智能|安全可靠
机器学习结合威胁情报，构建一体化爬虫防护，精准管理Bot流量
全面|多种场景
结合各类爬虫行为特点，针对多种业务场景定义防护策略
便捷|极简的运维部署
零部署、零运维，一键CNAME接入，云端安全专家配置策略
扩展|扩展防护
动态调整边缘节点，无缝扩展防护能力；应对敏感大流量攻击，无惧突发
合法爬虫
用户可以通过配置该功能，使合法爬虫（例如搜索引擎、市场分析等）可以正常获取网站数据，也可以基于业务需求对特定的爬虫进行处置
威胁情报库
依托天翼云网络安全经验和大数据情报，精准识别拨号池IP、IDC机房IP、恶意扫描工具IP等多种维度的爬虫威胁情报规则，方便您在全域名或指定路径下设置阻断恶意爬虫的访问请求
访问控制
支持静态 IP 黑白名单、动态 IP 黑白名单、HTTP 报文的请求路径等多个特征进行组合，用户可以组合出有针对性的规则来阻断或者放行请求
频率控制
支持基于IP、User-agent、Cookie进行客户端定义，并限制客户端在统计时间内不同统计粒度的访问次数，超过阈值进行防护处理，有效缓解请求频率过高情况
客户端风险识别
该功能通过客户端动态安全验证技术，对业务请求的每个客户端生成唯一 ID，验证客户端的合法性，保护网站业务安全
人机交互验证
利用对人类不可见的挑战机制，在不影响用户体验的基础上，要求客户端证明其支持存储 Cookie 和执行 JavaScript，从而识别出爬虫和正常用户
业务安全防护
针对暴力破解、批量注册等攻击可以有效防护，避免用户密码被破解，造成信息泄露
电子商务
电商行业各种推广活动，比如发放优惠券、红包等，以此来获取用户、培养用户的消费习惯，但是这种方式也引来“羊毛党”通过恶意程序、软件等工具进行营销欺诈，“羊毛党”通过恶意Bot工具大量爬取优惠资源，通过转卖二次获利，不仅影响活动效果，也给商家造成了经济损失
建议搭配的产品：
Web应用防火墙（边缘云版）
网站安全监测
DDoS高防（边缘云版）
金融行业
金融平台对业务可用性要求非常高，同时需要保障用户个人数据和资金安全，一旦发生安全问题，也可能会引发投资人恐慌，对公司造成很大的影响。同时对新注册用户有一定的理财优惠，如年收益率翻倍、发现金红包等，容易被黑产觊觎爬取，使得优惠无法发放到正常目标客户，极大损害了商家的利益
建议搭配的产品：
Web应用防火墙（边缘云版）
DDoS高防（边缘云版）
网站安全监测
政府企业
政企行业的门户网站作为政府、企业的互联网信息服务的重要渠道，有着很重要的作用，要求网站需要保证稳定的运行
建议搭配的产品：
Web应用防火墙（边缘云版）
DDoS高防（边缘云版）
网站安全监测
常见问题
产品介绍
什么是爬虫管理服务
通过分布式架构形成云端BOT管理网络，提供BOT管理防护方案，协助客户积极管控肆虐的BOT流量，对抗BOT流量背后的黑灰产产业链，保护客户的正常流量，缓解大量针对网站的爬取和异常注册登录行为
爬虫管理服务支持哪些功能
支持合法爬虫、威胁情报库、访问控制、频率控制、客户端风险识别、人机交互验证、业务安全防护
爬虫管理应用场景
主要应用于电子商务、金融行业、政府行业
快速入门
如何购买爬虫服务
爬虫管理服务的开通首先需要注册天翼云官网的账号，通过产品栏目找到爬虫管理，点击开通
如何接入爬虫管理服务
开通产品后会跳转到CTBOT控制台，在控制台上配置爬虫管理的域名，配置成功后天翼云爬虫管理会提供域名对应的cname，客户切入cname后，开始使用天翼云的爬虫管理服务
如何关停爬虫管理服务
产品支持退订服务，登录官网-订单管理-产品-产品视图-退订管理，找到您要退订的订单，进行退订；客户套餐退订后，扩展服务也会一起退订
常见问题
爬虫管理服务怎么计费
爬虫管理为套餐包和扩展服务中的计费项，都是预付费方式
爬虫管理服务扩展服务有哪些
如果套餐内包含的用量不够，可以通过扩展服务来补充，扩展服务购买成功后，计费和域名数量总使用量是套餐内的量和扩展服务用量之和
欠费后爬虫服务会被关停吗
账户余额不足以支付服务费用将导致欠费，发生欠费后，Web应用防火墙服务的域名将被关停
DDoS高防（边缘云版）
依托于丰富的云清洗节点，结合天翼云自研的DDoS攻击检测和智能防护体系，实时检测阻断各类DDoS攻击。
Web应用防火墙（边缘云版）
边缘叠加云端大脑，提供云边Web防护
