阿里云航司AntiBot安全解决方案

阿里云航司Anti-Bot安全解决方案

（防爬）Bot现状与威胁解决方案客户收益成功案例目录BotTrafficReport2016byIncapsulaBotAnalysisReportof

Akamai

in

RSA

Conference爬虫是怎么爬票的黑产刷票流程1)充分的利用各种爬虫工具；2)大量下订单，规定时间内（各航线不同）不支付，并把抢占的舱位放到OTA、机票B2B上出售；

3)规定时间内卖不出去，在被取消订单前，订单失效前去追一个订单，继续把位置占住；

4)如果出售成功，就可以把原来占位的机票取消掉，再用客户的身份信息订票并出票。由于自动化工具的存在，真实的订票流量只占5%Bot现状与威胁解决方案客户收益成功案例目录云盾Anti-Bot

Service介绍Anti-botService（爬虫风险管理），基于阿里提供的专业的anti-bot产品和安全专家服务，致力提供从Web、App到API接口的一整套全面的恶意Bot防护解决方案，避免某一环节防护薄弱导致的安全短板。基于反向代理的部署结构，以SaaS的产品形态面向用户，用户在控制台可以选择合适的对抗策略来识别及管控bot流量，保证正常流量到达源站。WebAppAPI云盾Anti-Bot产品架构PC/H5APP黑白名单精准访问控制频率统计封禁威胁情报算法模型人机识别设备端指纹SDK采集JS采集策略引擎源站业务外部策略引擎签名合法性校验风险设备识别（猫池／牧场等）黑灰产设备指纹情报设备级别的限速浏览器挑战：JS挑战交互挑战：验证码／滑块生态风控能力防护策略总览防护策略总览策略说明黑白名单可按指定IP名单优先进行放过和阻断精准访问控制指对常见的HTTP字段（如IP、URL、Referer、UA、参数等）进行条件组合，配置支持业务场景定制化的防护策略，由匹配条件与匹配动作构成频次限制限制特定路径（URL）上单个IP/Cookie/Header的某个字段对服务器的访问频率，或者基于响应码的比例及数量达到一定阈值做封禁威胁情报收集行业的爬虫特征情报，共享云上业务大数据算法识别的爬虫资源情报，按多维度在云端统一输出给客户决策使用算法模型深度了解业务流程，基于机器学习算法，贴合业务风险定制化算法模型，增益于其他通用防护方案网页端防护基于人机识别技术，结合阿里云的大数据能力，利用业内领先的风险决策引擎，防止关键业务欺诈行为APP端防护SDK方案专门针对原生APP端，提供可信通信、防机器脚本滥刷等安全防护，可以有效识别高风险手机、猫池、牧场等特征1.黑白名单HTTPURLIPRefererUA参数对于明显的Bot特征：可任意上述条件组合的精准访问控制支持排序以实现不同优先级支持精确匹配和模糊匹配2.精准访问控制很大比例的爬虫是请求特定的URL，如查票接口根据自身业务特点，自定义防护规则支持前缀匹配和精确匹配可轻松配置xx秒访问xx次，响应码数量或比例达到xx时，封禁xx分钟，例如：主要针对低频但持续的爬虫，1小时内查询超过1000次且查询条件都不同针对爆发式的高频爬虫，5秒内超过12次且查询条件都不同

3.频次限制行为爬取时间不均匀，爆发式只爬取少量特定站点分布动态拨号爬虫IP池/IDC/云机房/识别合法爬虫白名单根据安全团队的威胁情报，大多数的恶意爬虫都来源于动态拨号爬虫IP池，以及IDC和云机房，可以基于该情报进行定向封禁。4.威胁情报：恶意爬虫库PhantomJSSelenium分布式模拟滑动/点击打码平台真人工具更智能，思路更猥琐5.算法模型：基于大数据的安全专家分析基于大数据的安全专家分析爬虫不断演进升级防爬检测算法孤立会话检测会话检测动静态资源占比检测…6.网页端防护：JS验证云盾Anti-Bot引擎处理6.网页端防护：滑块监控：配置需要防爬的目录后，Anti-bot将针对该目录下所有内容的请求进行监控识别：通过在页面中插入一段JS代码，Anti-bot能够对一个请求进行人机识别（如分析页面停留、滚动、点击等行为方式）、异常流量分析和征信模型匹配，综合判断这个请求是否来自于正常用户验证：可信的请求将直接被放行，用户完全无感知；可疑的请求将会被以滑块、验证码等方式验证，Anti-bot还会进一步检测访问者通过验证的方式是否可疑，直到完全可信才放行请求，否则拦截代理页面请求3、Anti-Bot返回注入hook及信息采集JSAnti-Bot7.APP端防护：SDK云管端全链路防护实时决策风险决策引擎国际化欧美、东南亚客户端APPAnti-Bot云端引擎APP

Server①安全SDK初始化采集客户端硬件信息对防护接口安全签名将签名和指纹封装进请求②Anti-Bot过滤掉风险请求脚本、自动化程序篡改设备/APP中间人劫持黑灰产不良信誉设备手机牧场/猫池设备精细化限速人机识别引擎设备级别的限速风险设备识别（猫池/牧场…）AI驱动的风控引擎签名合法性校验SDK③合法请求返回源站10亿级黑灰产设备指纹库共享阿里集团威胁情报（IP/手机号等）7.APP端防护：实时、可靠的黑产检测和处置业务上的“哨兵”，通过多年双11亿万次的真实攻防实践，使得风险识别系统具备了发现黑产的“眼睛”运行环境检测行为采集完整性检测威胁情报平台大数据引擎行为模型库机器、深度学习实时大数据决策引擎AVMP核心数据签名反调试……人工运营签名校验异常APP被二次打包模拟器黑名单人机识别白名单高净值用户风险用户黑、白、灰流量接入-网站/H5航司电商网站/h5接入，用到的安全产品为云盾Anti-Bot，基于云的架构对bot流量做拦截，以下是业务流量处理流程：网站入侵防御Anti-bot

Service恶意流量防御客户端开发新版本发布开启防护将SDK代码集成进APP，集成方便，一般一到两天足够可只针对重点接口防控，也可全量防护（取决于签名哪些接口）建议强制更新以达到最好的效果（防止攻击者继续刷老版本）如无法实行强制更新，也可根据版本号做访问控制，慢慢迭代更新完毕后可观察一段时间线上非法请求的量针对特定接口或全部请求开启防护针对特殊请求可加白放行流量接入-APP接入准备事项要接入的域名：如m.abc；可以是泛域名，一级域名或子域名，

不能是纯IP；如使用国内WAF节点，域名必须有工信部ICP备案；源站(真实服务器)的公网IP地址；如果需要测试HTTPS业务，需要服务器的证书(包含完整证书链)和私钥；修改测试域名DNS解析的权限，常见如万网、新网、DNSPod等；方案实施流程策略预设流量接入流量分析爬虫防御持续对抗就当前现状，双方讨论初步希望使用的策略：重点防护的接口（如有），如下单、查询、某目录/列表的地址等；希望使用的防爬策略（如有），如对某个接口进行限速，封禁IDC的IP等；提供衡量防爬效果的指标，如源站流量、服务器负载、某项业务指标等；配置Anti-bot产品，完成域名接入；所有域名的防护策略配置为观察模式；最后调整DNS域名解析，添加Anti-bot提供ame域名，将流量切到云上；观察3天左右的时间，阿里云安全团队统计预设策略的命中情况；根据命中情况，给出分析结果和策略优化建议；挑选一个防护对象的防护策略，从观察模式调整为防护模式，重点观察1-2天时间，确保正常业务不受影响；判断防护效果是否满足预定的防爬效果指标，如效果理想，则继续调整其他防护对象，直至全部完成；在配置和策略全部完成以后，防爬进入持续监控和对抗阶段；一旦出现QPS流量异常、放过请求比例明显增加、服务器负载升高等情况，第一时间人工介入判断爬虫是否绕过策略；如策略确被绕过，分析绕过原因并重新设定策略；注意事项WAF为七层反向代理架构，接入后源站看到的客户端IP会发生改变，真实客户端IP默认会存储在HTTP头部的X-Forwarded-For字段，如源站需要用特别定制的字段来存储源IP，需提前说明，详见：默认分配给所有接入域名的VIP为一个（独享），如需要不同域名对应不同VIP，需开启独享IP功能：防爬策略可能导致误伤，如果有明确需要加白的请求对象，可以是IP、user-agent、特定URL（如支付回调接口）、参数、Cookie、请求方法等，请用户提前给出防爬中用到的滑块验证样式默认由阿里云提供，如需定制页面请提前沟通是否有使用除了80/443以外的非标端口需注意开启数据风控功能（包括观察模式）会导致gzip功能失效，可能导致流量变大确认客户端是否支持SNI有关SNI的问题请参考，HTTPS业务，请务必确保在WAF控制台上上传完整的证书链。证书是否完整。请确保在WAF上上传了完整的证书链详情请见:

中的第二条是否进行压测。注意测试是否超过日常QPS阈值，(QPS:每秒的正常请求数阈值)增强版1000，专业版2000，企业版5000，旗舰版10000，超出需要联系后端开启务必在源站上放行WAF的回源IP段（否则很可能会误拦截正常请求）如有用到原生APP和API的环境请提前告知云盾Anti-Bot优势Anti-botService提供完整的端解决方案防止单一环节方案缺失造成的防控短板云上标准化接入模式，共享海量威胁情报，恶意流量不会到达源站威胁系统可用性高效的对抗响应服务和可视化的数据报表Bot现状与威胁解决方案客户收益成功案例目录客户收益过滤大量的垃圾流量，降低资源消耗提升客座率，提升航司净利润给客户更好的用户体验Bot现状与威胁解决方案客户收益成功案例目录案例-亚洲航空亚洲航空公司（AirAsia），简称亚航，成立于2001年；是亚第二家国际航空公司，也是亚洲地区首家低成本航空。截止到目前，一共192条国内及国际航线，覆盖20多个国家。亚航一直致力于将低成本飞行带到新的高度，使“现在人人都能飞”的信念成为现实，并连续6年获得“世界最佳低成本航空”称号。黄牛党/票务代理恶意锁定廉价座位填写虚假ContactDetailPurchase下单后不支付座位锁定30分钟等待支付超时释放专业刷票工具专业黄牛党业务系统网络架构桌面/手机应用CDNInstartlogic全球节点阿里云Anti-botXX地区IDC商户订单XX地区IDC商户订单东北华北西北华东华中华南西南Instartlogic全球节点阿里云Anti-botInstartlogic全球节点阿里云Anti-botNudataSecurity关键接口特征封禁行为封禁对抗黑产booking.airasia/Flight/Select?xxxxxx查票接口占了总流量的85.7%正常的一个查询->买票流程，这个接口的流量只占10%不到封禁非法cookies/referer/user-agent/path…IP信誉库合法用户会请求很分散的页面和资源类型，且速度不会很快爬虫会集中在其感兴趣的接口爬虫背后是越来越专业的黑产团队本质上是人与人的对抗方案效果案例证明某省市场（产业链）的规模和技术成熟度已经远超我们想象专业的Bots服务进一步降低了技术门槛随着技术发展，Bots的行为与真人的区别越来越模糊打码平台等人肉方式的辅助黑产对绕过Bots检测手段的研究从未停止Bots对抗，背后是人与人的持续对抗专家+产品+情报一体化服务，压制黑产才有保障结语方案价格产品大类产品小类模块名称模块内容规格价格（元/年）云盾Anti-Bot服务防爬功能基础接入能力1、支持HTTP\HTTPS\HTTP2\Websocket协议

2、支持端口，支持特定50个非标端口，详见PC\H5业务防护支持针对PC\H5业务的爬虫攻击防护能力，包括：

1.根据相关业务的具体特征进行规则定制

2.基于IP/cookie/header/参数等头部字段（支持自定义）对于任意URL进行异常行为识别和控制

3.对于可疑的请求提供基于cookie跳转、JS人机识别、滑块验证或直接拦截等处置手段

4.阿里云恶意IP库、恶意指纹库情报，云上威胁情报共享

5.关键接口的数据风控，防止各类活动作弊

6.提供蚁盾（蚂蚁金服旗下）恶意手机号识别和封禁能力

7.提供通用版的防爬报表

APP业务防护支持针对APP业务的爬虫攻击防护能力，包括：

1.提供阿里云防刷SDK并协助接入

2.确保APP端与服务端的可信通信，确保只有来自合法且可信设备的请求才会被转发到源站

3.共享阿里巴巴集团十亿级别覆盖国内及海外的恶意设备指纹库

4.识别模拟器、手机牧场、被篡改等几十种高风险身份或硬件信息

5.基于精确设备指纹（真实手机终端）的限速

6.阿里云恶意IP库、恶意指纹库情报，云上威胁情报共享

7.提供通用版的防爬报表售后服务标准服务1、建立专属某著名企业群进行项目沟通，提供防爬相关的在线咨询服务和技术支持，及时沟通并解答客户问题；

2、帮助客户进行Anti-Bot的接入配置，包括域名接入、HTTPS、与其他系统的对接配置等；增值服务1、对Anti-Bot系统的运行情况进行7*24监控，一旦出现异常，如大量访问失败、遭受攻击等等情况，系统将进行自动告警，安全服务人员将第一时间进行处置；

2、由安全专家跟踪网络安全攻击情况，根据安全态势调整优化防护策略，包括定义URL的访