边缘安全加速平台提供的爬虫防护，能够通过分布式架构形成云端BOT管理网络，提供BOT管理防护方案，协助客户积极管控肆虐的BOT流量，对抗BOT流量背后的黑灰产产业链，保护客户的正常流量，缓解大量针对网站的爬取和异常注册登录行为。

BOT防护开关

为爬虫防护的功能开关，提供拦截、告警、关闭三个选项，对具体防护规则有不同影响：

• 拦截：防护模式为拦截，具体防护规则按照其配置的处理动作生效
• 告警：防护模式为告警，具体防护规则处理动作为拦截也生效为告警
• 关闭：防护模式为关闭，具体防护规则配置的处理动作都不生效

通用配置

客户端标识过期时间：默认15天,单位天,最大值365天；

监测静态文件后缀：即不需要监测的静态文件，以后缀进行标识。若未填写的话，默认检测js,css,jpg,jpeg；

客户端标识检测：客户端标识检测是第一检测策略，校验下发的cookie个数和完整性，无客户端标识、客户端标识缺失、客户端标识解析失败都需要配置

• 无客户端标识。即针对请求没有cookie的情况进行处理；
  • 处理动作：拦截/告警/跳转/放行
    • 拦截：拦截请求
    • 告警：仅记录请求
    • 跳转：GET请求启动302跳转策略，POST请求启动307跳转策略
    • 放行：不对该异常做处理，另外不会再校验其他的BOT防护规则
  • 统计粒度：静态cookie/IP+UA/IP
  • 触发条件：达到触发条件的请求将对其执行处理动作，并支持配置处理动作持续时长（触发规则后的惩罚时间）
• 客户端标识缺失。即针对请求带回cookie个数小于下发的个数（最多会下发四个）进行处理；
• 客户端标识解析失败。即针对失败解析cookie的情况下进行处理

白名单：即例外条件，符合条件的请求不进行功能检测

安全与加速-域名详情-BOT防护-通用配置页

特性挑战

跳转挑战

功能介绍：跳转挑战通过302、307跳转去防护无法正常执行跳转的爬虫，还能通过图片验证和一些JS挑战检验用户交互行为。

配置介绍：对触发防护策略的请求进行跳转处理，并提供多次验证机会，不放过恶意爬虫请求，也避免误拦截正常请求

• 跳转方式：对于GET请求执行302跳转，对于POST请求执行307跳转，后续将支持图片验证码挑战、JS跳转等多种跳转方式；
• 首次失败机会时间：对于跳转失败的请求提供再次验证，即机会时间内，跳转失败次数不通过后面的条件计数；
• 处理动作：支持对触发防护策略的请求执行拦截、计数告警、跳转、放行的处理动作。处理动作为跳转、放行则无需配置触发条件；
• 统计粒度：静态cookie/IP+UA/IP；
• 触发条件：达到触发条件的请求将对其执行处理动作，并支持配置处理动作持续时长（触发规则后的惩罚时间）

静态cookie特性检测

功能介绍：主要针对盗用cookie的请求进行处理，即通过对cookie内容和请求内容的对比可以从不同维度进行爬虫检测，主要包括IP、UA、以及过期时间等

配置介绍

• 超时异常。静态cookie中包含了时间信息，若攻击者盗用cookie，则可能会使用已过期的cookie请求；
  • 初次验证阶段：对于超时的请求提供初次验证阶段。首次超时请求的【】时间后，达到第【】个超时请求将进入再次验证；
  • 处理动作：支持对触发再次验证防护策略的请求执行拦截、计数告警、跳转、放行的处理动作。处理动作为跳转、放行则无需配置触发条件；
  • 统计粒度：静态cookie/IP+UA/IP；
  • 触发条件：达到触发条件的请求将对其执行处理动作，并支持配置处理动作持续时长（触发规则后的惩罚时间）
• IP异常防护。静态cookie中包含了上次访问下发的ip信息，若攻击者盗用cookie，请求中获取到的ip会与cookie中记录的不同。配置说明同上。
• UA异常防护。静态cookie中包含了上次访问下发的UA信息，若攻击者盗用cookie，请求中获取到的UA会与cookie中记录的不同。配置说明同上

人机识别

功能介绍：针对无法正常加载js、或者模拟交互行为(例如移动鼠标等)的爬虫进行人机挑战。

配置介绍（超时异常与记录异常都需要配置）

• 超时异常。针对人机识别挑战成功但超过验证有效期的请求
  • 验证有效期：人机挑战成功，在验证有效期内的请求不做处理；
  • 处理动作：支持对触发防护策略的请求执行拦截、告警、跳转、放行的处理动作。处理动作为跳转、放行则无需配置触发条件；
  • 统计粒度：静态cookie/IP+UA/IP；
  • 触发条件：达到触发条件的请求将对其执行处理动作，并支持配置处理动作持续时长（触发规则后的惩罚时间）
• 记录异常。针对人机识别挑战失败的请求
  • 处理动作：支持对触发防护策略的请求执行拦截、告警、跳转、放行的处理动作。处理动作为跳转、放行则无需配置触发条件；
  • 统计粒度：静态cookie/IP+UA/IP；
  • 触发条件：达到触发条件的请求将对其执行处理动作，并支持配置处理动作持续时长（触发规则后的惩罚时间）

阈值限制

功能介绍：防止攻击者盗用合法cookie进行大量请求，限制不同粒度的访问速率。

配置介绍（支持最多配置5个条件，多个条件为或关系）

• 处理动作：支持拦截、告警、关闭；
• 统计粒度：IP/跳转cookie/静态cookie；
• 触发条件：达到触发条件的请求将对其执行处理动作，并支持配置处理动作持续时长（触发规则后的惩罚时间）

爬虫陷阱

功能介绍：即在页面里面嵌入不可见链接，正常浏览器不可见；当访问到达设定的拦截深度时，认为是爬虫行为并支持设置防护策略。

配置介绍（支持最多配置5个条件，多个条件为或关系）

• 防护开关：支持拦截、告警、关闭；
• 处理动作持续时间：即触发规则后的惩罚时间
• 统计粒度：IP/IP+UA/静态cookie；
• 防护范围：支持配置您要防护的请求范围，支持匹配字段为PATH、REQUEST_URI、URI