天翼云Web应用防火墙（边缘云版）设置爬虫情报规则
文档简介：
本文将介绍爬虫情报规则，从背景信息、相关配置项、相关操作帮助您更好地理解爬虫情报规则。
功能介绍：
支持针对搜索引擎IP放行、针对恶意Bot请求IP封禁，目前爬虫情报库已维护接近10万条数据
注意：目前控制台尚未开放爬虫情报规则功能，如有防护需求请通过提交工单给天翼云客服，由其人工操作开启。
咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！
微信咨询
免费试用、价格特惠
功能介绍
支持针对搜索引擎IP放行、针对恶意Bot请求IP封禁，目前爬虫情报库已维护接近10万条数据
注意：目前控制台尚未开放爬虫情报规则功能，如有防护需求请通过提交工单给天翼云客服，由其人工操作开启。
前提条件
- 已开通Web应用防火墙（边缘云版）
- 已新增域名并成功接入WAF，具体操作请见WAF接入
- 开通Web应用防火墙（边缘云版）扩展服务-Bot管理，支持使用Bot防护策略，具体请见套餐和版本说明
背景信息
边缘云WAF安全团队基于天翼云积累的海量威胁情报库，并经过离线分析技术，收集国内外公开的、已知的恶意爬虫IP；另外，通过反向解析技术，收录了众多SE类别的爬虫信息，两者结合形成爬虫情报库，内置近10万条友好爬虫与已知恶意爬虫IP信息，目前仍持续更新中。
针对已知爬虫，边缘云WAF为爬虫情报进行标识与分类，例如搜索引擎类的爬虫，分为谷歌爬虫、360爬虫、百度爬虫等各类标识，您可以仅针对其中的某类搜索引擎标识进行加白的动作，则后续此类爬虫IP将不经过边缘云WAF的Bot防护策略。对于恶意爬虫，您也可以对其进行一键封禁的操作，边缘云WAF将会对其进行拦截，避免网站业务遭受已知恶意爬虫的攻击。
相关配置项
| 配置项 | 说明 |
|---|---|
| Bot标识 | 即爬虫情报库中的IP标识，例如百度爬虫、谷歌爬虫等 |
| 情报类型 | 目前支持收录已知恶意Bot、搜索引擎、IDC机房三类情报 |
| 执行动作 |
支持对某一类的爬虫情报及爬虫标识一键加白、拦截、监控j 加白：加白后，访问将不经过Bot防护策略； 拦截：对IP访问请求进行拦截处理； 监控：不对请求拦截，但是会生成攻击日志 |
相关操作
- Bot防护策略
- 设置IP情报规则
