天翼云爬虫管理的功能
文档简介：
合法爬虫：
用户可以通过配置该功能，使合法爬虫（例如搜索引擎、市场分析等）可以正常获取网站数据，也可以基于业务需求对特定的爬虫进行处置。
威胁情报库：
依托天翼云网络安全经验和大数据情报，精准识别拨号池IP、IDC机房IP、恶意扫描工具IP等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求。
咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！
微信咨询
免费试用、价格特惠
合法爬虫
用户可以通过配置该功能，使合法爬虫（例如搜索引擎、市场分析等）可以正常获取网站数据，也可以基于业务需求对特定的爬虫进行处置
威胁情报库
依托天翼云网络安全经验和大数据情报，精准识别拨号池IP、IDC机房IP、恶意扫描工具IP等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求
访问控制
支持静态 IP 黑白名单、动态 IP 黑白名单、HTTP 报文的请求路径等多个特征进行组合，用户可以组合出有针对性的规则来阻断或者放行请求
频率控制
支持基于IP、User-agent、Cookie进行客户端定义，并限制客户端在统计时间内不同统计粒度的访问次数，超过阈值进行防护处理，有效缓解请求频率过高情况
客户端风险识别
该功能通过客户端动态安全验证技术，对业务请求的每个客户端生成唯一 ID，验证客户端的合法性，保护网站业务安全
人机交互验证
利用对人类不可见的挑战机制，在不影响用户体验的基础上，要求客户端证明其支持存储 Cookie 和执行 JavaScript，从而识别出爬虫和正常用户
业务安全防护
针对暴力破解、批量注册等攻击可以有效防护，避免用户密码被破解，造成信息泄露
