寄生淘宝的反诚信软件防范.pptx

寄生淘宝的反诚信软件防范 千峰 彭渊 提纲 非诚信软件概览与背景秒杀器演示和原理刷钻原理防范措施防范成果技术架构技术延升 淘宝巨大的c2c b2c交易量和影响力 产生了秒杀器 刷钻软件 代拍器 爬虫等非诚信软件 秒杀 刷钻平台 泛滥 寄生淘宝牟取暴利 需要对市场上利用淘宝交易系统进行非诚信活动的秒杀器 虚假交易炒信用 爬虫的工具软件进行研究和防范 研究包括对该类软件的技术原理研究 防范包括请求识别并建立相应防范体系 非诚信软件的定位和防范 秒杀器的发展 网上商品秒杀活动经过淘宝策划和发展 目前已经成为知名度很高 市场效应很火爆的网络促销方式 但是目前遭受到市场上一些不正当的秒杀软件的干扰破坏 已经严重影响到秒杀活动的公正性 消费者失去参与信心和兴趣 在社会上对淘宝造成负面影响 为了保护秒杀业务能继续成功的发展下去 有必要采取一系列措施从各个方面进行防范 秒杀器的发展 2009年9月联想 飞利浦 惠普等名牌产品 在淘宝商城共同推出 1元秒杀 活动 每天20时上架20件不同的商品 包括液晶电视机 笔记本电脑等 全部以1元价格销售 秒杀活动结束后淘宝网统计发现 此次秒杀促销活动共有18亿人次参加 平均每天参加秒杀活动的人数达到3亿 没有秒杀器只能去抬轿2010年12月10日 网友 蔺先生 投诉国内某大型电器商城组织的 秒杀 活动 称网页显示 秒杀 成功的用户中有该电器商城的员工 但广大网民反映未能进入 秒杀 页面 进入后却显示活动结束 蔺先生 怀疑该电器商城发布虚假广告 诱导用户访问网站及注册 骗取流量 2010年11月11日 双十一大促 众多大型秒杀活动完全暴露出秒杀器泛滥的严重性 太多顾客无法手工秒杀成功 大量秒杀器四处销售 网络秒杀器利益链秒客月入数千至万元 淘宝交易团队被迫成立秒杀器等非诚信软件的防范小组 秒杀器的演示和原理 秒杀器 秒杀器是一个自动下单软件 可开启10个进程同时进行下单操作 下单的时间间隔为0 1至10秒之间可调 它可以在1分钟之内发送上百次订购请求 远远胜过手工下单的速度 用户在秒杀开始前提前几秒钟启动秒杀功能 软件即不断地发送订购请求 并且实时返回订购状态信息 秒杀器也叫 抢拍器 当时只是针对购买衣服的一些用户 近年多次淘宝的秒杀活动才让更多人认识了这种软件 它主要是为了把下单的流程量降到最低 并且将该操作提前进行 在提交抢拍数据时 会自动判读提交数据是否有效 如果无效可以瞬间再次自动提交 无需人工介入 这个功能在抢拍器中叫做 辅助抢拍 其速度是以毫秒为单位计算的 从此可见人工提交速度会被远远的抛在后面 秒杀器的演示和原理 秒杀器实际上是利用了淘宝交易业务系统的http请求接口 通过开发http通讯交互软件 伪装ie浏览器的合法请求 将人工交互变成机器交互的过程 目的为了尽可能的减少交互时间 高效完成下单 模仿编写的秒杀器演示 炒信刷钻的发展 来自卖家的心声 为什么要刷信誉 刷钻 信誉越高 买家在选择不同卖家相同产品时 首选信用级别高的 信誉越高 你的商品在同类商品中的排列位置就越靠前 信誉越高 淘宝店铺就会免费为你打广告 让你参加促销活动的 信誉越高 你的橱窗推广位置就越靠前 信誉越高 你的店在淘宝店铺的排列位置就越靠前 信誉越高 你的成交量 交易额便会递增 你的收入也就越来越高 炒信刷钻的发展 刷钻 卖家不得不做的信誉不到钻的卖家竞争力低下 随着越来越多的人拥入网络创业的行业里 市场竞争也越来越残酷 而淘宝又是以信誉从高到低来排列商品的 这样势必造成一种恶性循环 信誉高的越来越高生意越来越好 而没有信誉的卖家根本没有露脸的机会 生意越来越惨淡 最后退出市场 而后入的商家要先在激烈的网购市场里争得一份羹 必选择刷信誉 这是进入这个行业的敲门砖 市场越来越浮燥 没有信誉的商家更是被的入十八层地狱 永无出头之日 不能怪卖家们去刷信誉 实在是没有信誉就要关门 炒信刷钻的发展 刷钻折射出淘宝信用体系的问题1 信用评价体系单一仅对交易后评论 最初设计主要是为了防止网购开始时人们担心的交钱不给货的现象2 信用计算体系简单每一单交易评一次 每次算一分 不管交易额和类型 商家低价刷信用 高价卖商品3 评价单方向影响太大故意恶评影响太大4 信用累计效果太重后来者带来追赶成本过高 不 刷信用 难 立足 炒信刷钻的原理 1 角色A 发布任务 浪费一个发布点 发布一个任务 任务中要求写明 任务是去拍什么宝贝 会填写链接 宝贝的价格 商家的名称 是实物互刷还是虚拟 好评是及时确认还是几天 同时刷钻平台会扣下等额的金额作为保证金 2 角色B 看到任务选择后接手任务 按照任务提供的宝贝链接去拍 资金要用自己的支付宝或者网银去付 这个钱虽然是自己的 但是放心网站一定会保证你的安全 并且钱还没到卖家手里 支付宝帮忙代管 等自己收到货后确认 才会把钱给卖家 拍下付款后 卖家会收到信息 同时要到平台任务流程里面 确认自己已经拍下宝贝并且付款 使任务继续 3 角色A 收到被人拍下宝贝并且确认付款后 A会确认发货给B 并且在刷钻网的任务流程里面确认 确认B已经付款 并且自己已经发货 等待B来确认任务继续4 角色B 当自己收到货后 肯定是显示是收货 不是真正收货 就可以把钱支付给卖家 因为这个钱还在支付宝里面 需要确定卖家才能收到钱 并且评价 然后回到刷钻平台任务流程里确认 5 角色A A收到钱后 并且看到好评后 可以回评 然后回到刷钻平台确认任务 6 角色B 收到回评 确认任务最后一步 角色A在发布任务的时候 与任务宝贝等额的保证金 刷钻平台会自动转到B的账户 整个流程结束 角色A使用发布点 角色B挣得一个发布点 虽然看到有六步 但是分到每个人身上就只有三步 三步就能安全刷一个信誉 炒信刷钻的软件 辅助炒信的淘宝刷钻软件1 可以自动批量购买 可以设置购买数量和匿名购买等 可以自动选择运输方式 2 可以合并付款 只要点击下一个按钮 就可以自动弹出网银付款界面 3 批量自动确认收货 4 卖家批量发货 支持实物和虚拟发货 5 双方批量交叉互评 自定义评价内容 6 支持换ip功能 有了淘宝刷钻软件卖家再也不用一个一个辛苦的回评和发货了 只要点击按钮全部一次轻松搞定 迅速提高您的信誉评价等级 急速达到皇冠 防范技术方案概述 要能成功防范非诚信交易软件如秒杀器 我们制定了相关技术方案首先要能正确识别不正当的请求 需要对秒杀商品建立较齐全的日志记录 能够获取到秒杀成功的请求信息用于分析判断并给卖家反馈 也能方便我们逐个研究秒杀软件并观察它的请求内容 由于秒杀软件是跨多个页面的一系列操作行为 所以它相应的请求记录历史数据很重要 其次 需要深入了解秒杀软件的原理 只有这样才能采取最有效的措施进行阻止 仿照秒杀器实现机器下单的整个过程 掌握它跟网站交互的机制 我们通过报文分析 服务端验证 客户端安全控件 业务手段等多个措施全方位遏制住秒杀软件 并建立相应的数据资料监视其的升级发展 总共规划为3个阶段进行实施 防范措施 第一阶段 已完成 1 秒杀器原理分析 模仿实现市场秒杀器2 大型秒杀下单前后的日志记录3 虚拟脚本的日志记录第一阶段已经模仿实现秒杀器软件 实现了机器下单的整个过程 已基本掌握它跟网站交互的机制 并且对秒杀商品初步建立报文请求的的日志记录 能够获取到秒杀成功的请求信息用于分析判断并给卖家反馈 也能方便我们逐个研究秒杀软件并观察它的请求内容 第一阶段已可保证80 以上的秒杀合理性 防范措施 第二阶段 已完成 1 保证商城3周年大型秒杀结果分析 制定活动非法秒杀判断依据和处罚规章 每日反馈前日大型秒杀结果分析 保障活动公平性 2 服务端升级 包括服务端表单参数命名调整 秒杀问题加密 https 概率选择 动态换参等 通过服务端升级使市场上已有秒杀器失效 并能通过我们日志系统核对报文 3 日志体系完善 将普通秒杀纳入请求日志记录范围 4 抄信用软件的收集和归类 整理出典型的需要重点分析的几种软件 第二阶段在一系列防范措施和日志体系健全 并且服务端升级后实现98 以上的秒杀合理性 防范措施 第三阶段1 秒杀商品数量超过1000的大日志报文数据分析系统技术方案的建立 将人工分析升级为软件系统分析 包括自动合并日志 根据判断依据查找问题请求 产生结果和证据存档等 2 除交易外 采集登陆 我的淘宝 商品详情等系统的报文请求日志 如可以查到多机登陆 多账号同地址 非法 前科 交易历史等内容3 虚假交易炒信用软件原理分析和借助以上日志分析系统建立防范 第三阶段建立自动软件分析非法请求的系统 建立起对类似原理的爬虫软件防范体系 秒杀器 抓数据 虚假交易炒信用等 防范成果 成功保障了一系列大型秒杀活动1 商城3周年大型秒杀活动 首日20部iphone4秒杀结果分析 大型家电家具秒杀 查处所有作弊者 分为严重非法 非法 怀疑非法三个类别供运营决策处理 发现了很多垃圾小号的职业秒杀者 2 聚划算100部iphone4大型秒杀活动 结果很严重 使用秒杀器作弊者成普遍现象 给运营决策带来了很大压力 部分卖家拒绝发货导致买家投诉 结果分析保留了相关证据用于处理纠纷 3 广东卫视一元钻戒大型秒杀 通过几次技术改进 识别正确率已经接近100 这次活动没有发现作弊者 是最公正的一次 给运营部门的建议 如果买家主动配合我们查处秒杀器厂商 我们可以追究这些厂商法律责任 并对淘宝几亿消费者一个公正的宣告 保证诚信的电子商务环境 主动坦白的买家可以这次不要求其退货 技术架构 报文格式k v处理 GET auction buy now jhtml item id num 8343371551HTTP 1 1Host User Agent Mozilla 5 0 Windows U WindowsNT6 1 zh CN rv 1 9 2 13 Gecko 20101203Firefox 3 6 13Accept text html application xhtml xml application xml q 0 9 q 0 8Accept Language zh cn zh q 0 5Accept Encoding deflateAccept Charset GB2312 utf 8 q 0 7 q 0 7Keep Alive 115Connection keep aliveReferer 报文格式k v处理 tblistrowid itemid starttime selleridsellernameitemtitleitemidstarttimestock tb itemid starttime rowid sessionid itemid starttime buyersessionidbuyeridbuyernameitemtitleitemidwritetotaircountstarttimetimespentrequestbuynowjhtmlrequest timeclient iph methodh urlh versionheader content vjs buynowhtml resultmsginfouserinfo 技术延升 尝试套用map reduce的问题 1 http协议报文一个请求占多行 各行之前有一定逻辑关系 不能简单以行拆分和合并2 复杂的中间过程的计算套用m r不容易构思 如大数据的组合 多机计算并不只有拆分合并的需求 举例 3 hadoop实现的太复杂 api枯燥难懂 不利于程序员迅速上手并有驾驭感4 m r容易将逻辑思维框住 业务逻辑不连贯 容易让程序员使用过程中总是花大量时间去搞懂框架本身的实现5 在一台机器上未能很直接看出并行计算优势6 没有一个简单易用的window版 需要模仿linux环境 安装配置复杂 技术延升 抽取一个简化的并行计算