上云无忧 > 文档中心 > 天翼云爬虫管理BOT接入配置实战教程
爬虫管理
天翼云爬虫管理BOT接入配置实战教程

文档简介:
步骤1:网站业务梳理。 建议您对所需接入爬虫管理的业务情况进行全面梳理,帮助您了解当前业务状况和具体数据,为后续配置爬虫防护策略提供依据。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

步骤1:网站业务梳理

建议您对所需接入爬虫管理的业务情况进行全面梳理,帮助您了解当前业务状况和具体数据,为后续配置爬虫防护策略提供依据。

梳理项

说明

网站和业务信息

网站/应用业务每天的流量峰值情况,包括Mbps、QPS

判断风险时间点,并且可作为WAF实例的业务带宽和业务QPS规格的选择依据。

业务的主要用户群体(例如,访问用户的主要来源地区)

判断非法攻击来源,后续可使用地理位置访问控制功能屏蔽非法来源地区。

业务是否为C/S架构

如果是C/S架构,进一步明确是否有App客户端、Windows客户端、Linux客户端、代码回调或其他环境的客户端。

源站服务器的操作系统(Linux、Windows)和所使用的Web服务中间件(Apache、Nginx、IIS等)

判断源站是否存在访问控制策略,避免源站误拦截BOT回源IP转发的流量。

域名使用协议

判断所使用的通信协议BOT是否支持。

业务端口

判断需要防护的业务端口是否在BOT支持的端口范围内。
标准端口:
80:HTTP对外协议默认使用端口
443:HTTPS对外协议默认使用端口
非标准端口:
80/443以外的端口

业务是否使用TLS 1.0或弱加密套件

判断业务使用的加密套件是否支持。

业务交互过程

了解业务交互过程、业务处理逻辑,便于后续配置针对性防护策略。

活跃用户数量

便于后续在处理紧急攻击事件时,判断事件严重程度,以采取风险较低的应急处理措施。

业务及攻击情况

业务类型及业务特征(例如,游戏、棋牌、网站、App等业务)

便于在后续攻击防护过程中分析攻击特征。

单用户、单IP的入方向流量范围和连接情况

帮助后续判断是否可针对单个IP制定限速策略。

用户群体属性

例如,个人用户、网吧用户、或通过代理访问的用户。

业务是否遭受过大流量攻击、攻击类型和最大的攻击流量峰值

判断是否需要增加DDoS防护服务,并根据攻击流量峰值判断需要的DDoS防护规格。

业务是否遭受过CC攻击和最大的CC攻击峰值QPS

通过分析历史攻击特征,配置预防性策略。

业务是否已完成压力测试

评估源站服务器的请求处理性能,帮助后续判断是否因遭受攻击导致业务发生异常。

相似文档
  • Q:购买爬虫管理套餐后,套餐内包含的带宽和域名数量不够怎么办? A:如果套餐内包含的用量不够,可以通过扩展服务来补充,扩展服务购买成功后,计费和域名数量总使用量是套餐内的量和扩展服务用量之和。
  • Q:怎么样开通爬虫管理服务和使用? A:爬虫管理服务的开通首先需要注册天翼云官网的账号,通过产品栏目找到爬虫管理,点击开通;开通后会跳转到CTBOT控制台,在控制台上配置爬虫管理的域名,配置成功后天翼云爬虫管理会提供域名对应的cname,客户切入cname后,开始使用天翼云的爬虫管理服务。
  • Q:如何判断爬虫管理配置生效? A:可ping、dig所添加的域名,若转向到*.ctycdn.com,即说明配置成功,爬虫管理已经接入服务,可以自定义配置安全防护功能。
  • Q:用户是否可以直接订购套餐包进行使用? A:可以,用户订购套餐包后,即可通过CTBOT控制台接入服务,如果套餐包的服务不能满足业务需求,并支持通过购买扩展服务来丰富安全能力和用量。
  • 点击观看:天翼云爬虫管理控制台使用教程(视频)。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部