IT人角度分析京东商城Server is too busy事件

IT 人角度分析京东商城 Server is too busy 事件 转 浏览 677 评论 3 发表评论 作者 聖騎天下 京东商城策划的正常折扣之后 只要满 200 元就五折购书活动 营销活动策划 的非常成功 但是第一次活动出现无法下单或无法付款等一些问题 提示网购 者错误信息为 Server is too busy 然后京东商城创始人刘强东先生站在用户 角度表达不满意 并且要求加三倍机器也要第二天重新开启购书促销活动 但 是第二次活动继续出现 Server is too busy 纵观整个事件 不管是活动策划 效果 还是京东商城或创始人刘强东先生的危机公关 以及主动透露对待信息 部门的态度 都非常成功 唯一失败的是出现戏剧性的 Server is too busy 也许没有这个事件京东商城的促销活动并不会引起这么大的影响 个人相信这 不是事先策划过的事情 但是此事件暴露京东商城技术实力的薄弱和管理者的 落伍 甚至京东商城号称要招 5000 名工程师等 根据这一系列的信息 我们 分别从 IT 技术从业者和技术管理者的角度阐述一些个人的观点 希望对网络世 界的我们有所启发或帮助 一 营销活动的前期准备及部门协同 我们先围绕 2011 年 11 月 1 号京东商城促销购书营销活动事件展开 超低价促 销的营销活动 那么有一些信息就需要运营部门和技术部门合作一起梳理 1 参加促销活动的商品种类 商品名称和数量等信息 2 促销活动的力度 持续的时间 3 促销活动可能会吸引多少网购者参与 并发访问量能够达到什么规模 这 些要通过事先收集本站及其它竞争对手的过往数据及经验进行综合分析 4 网站不进行特殊的技术处理情况下 能承受多少用户并发购物 并且对不 同环节进行预估 尤其京东商城的购物车应用 5 网站提供服务的负载均衡设备 Web 应用服务器 后端应用服务器 MemCached 等可正常扩容情况下 可以支撑多少购物者同时在线完成购物流 程 挑选物品 添加到购物车 填写邮寄地址等信息 付款等 6 把第 4 5 步骤得出的系统能力 与营销策划活动的部门提供的可能购物者 有多少进行最大值和最小值比较 计算出差值并且做好最坏打算 如何保证一 定数额的购物者能正常完成购物流程 以及与运营部门商议是否可放宽促销活 动的时间宽度 减少并发购物人数的概率性 7 评估是否有条件 以及有合理的时间和资源对策划的运营活动开发一套新 的系统 以支撑运营活动的开展 8 对参与促销活动的物品信息及相关物品信息 比如促销为书籍 可能非促 销的书籍也会购买 尤其热门书籍 优先生成静态页面储存到专门开辟的 MemCached 服务器中 提高对用户的响应速度和减少现有系统的负载 9 大型营销活动 还可能涉及 CRM 部门 财务部门 物流等相关部门 尤其 物流涉及的仓储和配送预计能承担的负荷能力 事先告知而避免购物者下单之 后抱怨物流太慢或货物质量等问题 10 限时大规模的促销活动 也必定会带来带宽和安全方面的问题 必须做好 监测和防备 DDOS 攻击的能力 避免导致营销活动泡汤 11 运营活动结束之后 需要得到什么样的数据分析报告等 都要事先规划好 甚至预演过 相信京东商城能成为 B2C 领域独领风骚的公司 内部专业人士可以列出更多更 详细的信息 就不继续往下 把上述可能需要大家一起梳理的信息罗列出来一 部分 就是告诉大家 我们是一个整体 任何一个环节的疏忽都可能成为瓶颈 而导致出问题 要把部门与部门之间配合详细描述清楚 且使营销活动参与支 撑的每一个人都清楚自己要做什么 要给别人什么支持或信息 甚至通过梳理 信息和商议一些做法 可以达到承载更多的购物者参与促销运营活动 并且为 公司节省成本 二 营销活动期间出现的故障及关联信息 京东商城网站大量用户出现报错信息 注 笔者也是参与购书活动的用户之一 IT 人角度分析京东商城 Server is too busy 事件 这样大规模营销活动时 其他企业也出现类似的故障花絮 淘宝策划的双十一 促销活动也一样出现过故障 而且淘宝开展促销运营活动 是整个阿里的资源 都调动起来 支付宝 阿里巴巴 内称 B2B 阿里云 淘宝等子公司都有专 门的技术团队参与支持 活动开始之前就早早安排好值班的人员 而京东商城 属于 B2C 型电子商务 无论物品种类 数量等 还是在线购物者都是无法比拟 而且内部还称信息部 这更加证明京东商城 还是类似传统型企业 技术的积 累和接受过的挑战并没那么多 为此造成营销活动出现宕机的故障也在所难免 若是说找一个人承担责任的话 那么只能套用一句俗话 一切问题的发生都是 管理不当造成的 那么这个责任应该是京东商城的信息部经理承担 注 互联 网行业公司一般称技术总监 或 CTO 像阿里巴巴是副总裁 他应该要有能 力或意识提前预测可能发生的问题 以及组织架构师 开发人员 DBA 系统 工程师等人员寻找应对或解决的办法 我们继续围绕这一事件及京东商城刘强东先生微博透露的信息 先梳理知道或 可猜测的信息 1 单一品种 图书音像类 促销方式为折扣 满 200 元再打五折 点评 折扣是其他图书类网站都有 且并不占优势 但是满 200 元再打五折非 常诱人 2 第一次营销活动就出现 Server is toow busy 的问题且超严重 点评 技术人难得的挑战机会 结果是京东商城技术人的耻辱 3 第一次营销活动搞砸之后 京东商城创始人刘强东要求增加三倍服务器 坚持促销的 3 个小时 且确保大家的订单能提交 猜测 未必真添加 3 倍的服务器 若真增加了 说明之前使用的服务器数量太 少 没重视此事情 4 第二次营销活动依然出现 Server is too busy 但是相比较稍好 分析 部分网购者已经购买成功 系统有改进或优化 服务器也有增加 不少 人放弃参加第二次的促销活动 5 三小时促销活动订单为 数十万 注 具体数字不详 超过 300W 本书 籍出售 推测 订单数 30W 50W 之间 估计是 40W 订单出头 6 事后补偿机制 20 日内我们会给所有没抢到的老用户发放高额优惠券 点评 不靠谱的做法 即使发放也不需要等待那么长时间 这也更加间接说明 技术实力的薄弱 三 围绕技术方面如何应对高并发 根据官方微博透露出售的书籍信息 及订单数量级 我们可以再大胆猜测大概 有 30W 50W 的网络用户在三个小时促销期内参与购买 而且是分二天完成的 相信一天的促销时间段参与购买者的数字会更低一些 不过这对于一个 B2C 网 站而言确实并发压力不小 假设一台 Web 服务器能支撑 5000 个并发 所有用 户同时间点添加书籍到购物车中 那么需要 600 1000 台 Web 服务器 不过 这只是个极端假设 真实的情况肯定不是这样 有几个点肯定容易成为瓶颈 购物车服务 MemCached 服务 订单管理服务 支付服务 数据库服务 不 清楚内部具体情况 所以只能进行猜测性分析 1 京东商城采用购物车系统 方便网购客进行物品挑选 然后集中完成订单 的模式 有区别于淘宝网的模式 为此购物车系统的压力将会非常大 购物车 系统服务涉及大量的数据添加和显示操作 甚至修改和删除 数据必须考虑先 要你用内存 例如 MemCached Redis 等 方式支持物品数据的增加 修 改 删除 并异步更新到数据库中 因此购物车系统需要操作的内存缓存区最 好能支持分布式部署和提供数据服务的模式 否则容易成为瓶颈 若是无法水 平分布式的方式扩容 那必须进行垂直扩容 不得不考虑更换内存更大及性能 更优秀的服务器支持 2 MemCached 提供读服务是必须的且压力也会不小 但还必须考虑提供写 操作 即数据先写入 MemCached 再队列方式同步到数据库 3 队列服务 涉及到一些数据的异步执行和排队等待等事件 在电子商务领域 一样非常流行和成熟的技术 鄙人曾参与一个分布式队列项目的研发 达到可 以在线部署 停止 调度 监控等功能 尤其是这种网购促销活动队列尤其重 要 若是能有此类技术服务 会对整个系统的有序控制非常有帮助 4 提供数据服务的数据库产品为 SQL Server 这并不是意味着性能就差 关 键是要做到 操作系统不需要的服务必须关闭 磁盘 RAID 要合理 数据库的 设计要合理 索引组织结构要优化好 SQL Server 服务器端参数要配置和优 化 重点借助 Windows 自带的工具就足够监控和分析数据库服务器的性能和 瓶颈 主要是数据库服务器往往不容易进行拆分 而实现水平方向的分布式部 署 注释 SQL Server 有一个分布式分区视图功能 可以轻易实现数据的拆 分 且不需要应用做任何修改 只是性能相对而言会降低一点 故可对于一 些静态的数据提前预存到后端的缓存系统中 减少数据库服务器的压力 提高 对网购者物品信息查询的响应速度 5 提供 Web 服务的程序为 net 编写的 一般做到水平扩展 然后再搭配 LVS 或 F5 注释 听说京东商城使用 F5 实现负载均衡设备即可 Web 服务 层面不会成为瓶颈 若是 net 程序代码质量不高 则可能成为瓶颈 就需要更 多的机器支持 实际上 net 和 Java 都是这样的 对程序员的编码水平相对要 求较高 不是会写就行 代码质量必须保证很高系统效率才会高 否则写出来 的代码会成为网站的瓶颈 6 订单管理系统将会成为压力非常大的服务 需要合并订单和检查库存 分 配订单到不同的仓库所在地等 建议只做订单常规的检查 至于订单分配到不 同地方仓库处理等事情可以等活动结束之后的 1 2 个小时内再后台集中处理的 模式 7 支付服务方面 京东商场有自己的物流配送服务 且提供在线支付和货到付 款的模式 具体数字不详 网络上获得的京东商城货到付款比率高达 90 小结 曾经微博 mysqlops 上发过一段话形容 产品 运营 技术 的三角恋关系 成功的产品需要优秀的运营团队 好的运营团队也需要优秀的产品 再好的产 品和运营 也要坚如磐石的技术作支撑 否则最多是一座小洋楼 再牛的技术 人要是不能服务于产品和运营 就像深锁闺房的黄花大闺女 正确看待三者的 关系 就是肯定我们大家的工作 公司或团队才可能取得巨大的成功 这次大规模的促销毕竟是京东商城的第一次真正体验互联网网购压力 多少会 存在预备不足的情况 以及运营部门和技术部门衔接的信息不畅或不到位的情 况 关键是出现这些问题之后 是否能借助这些经验教训 进行深刻的对内性 反思且发现存在的问题 是否在高位的管理者意识到技术将成为业务发展的瓶 颈 毕竟京东商城的运营团队和产品团队已经做得非常棒了 而且 B2C 领域的 市场占有率也非常高 接下来就是如何把这些优势如何发挥得更加明显 那么 就需要技术支撑了 相信京东商城 2010 年至今从阿里系挖了不少技术人员 以及从其他公司搜刮了不少非常优秀的技术人 不至于愿意把他们束之高阁 若是京东商城想成为 B2C 平台 必须考虑投入资源和放权 让真正能结合业务 发展需求且能把握技术方向的能人志士成为主导者 从而实现技术的革新 使 其成为产品和运营的一把利剑 四 京东商城 2012 年招聘规划 前面围绕图书音像类满 200 元五折促销活动事件展开的分析和总结 并且分别 从管理和技术的角度给出相关改进建议 我们本节谈一谈京东商城宏伟的 2012 年招聘计划 相关背景信息 京东商城现有人员大概 1 3 万名员工 2012 年将 招收 2 万名电子商务人才 补充公司发展需要 包括 5000 名新毕业大学生 1000 名软件工程师和 1000 名有相关从业经历的行业人士 对我们技术圈人员而言是一大盛事 各大公司都争相聘请更多数量的技术人才 肯定会把技术人员的薪资待遇提高 也许又可以向欧美正常的待遇靠近一步 理智地想一想 这样的虚假繁荣又能维持多久呢 就像团购行业 一开始团购 行业的人才待遇风生水起 资本市场也加入这场游戏 谁又能想到最后的结局 可能都玩完 反而被淘宝聚划算 大众点评团购等几大原本就有资源优势的公 司后发制人 最后市场也做萎缩了 也就导致没有那么多企业生存下来 最后 会有很多技术人员被裁掉 好像这样这样做对社会 对企业 对个人而言都不 是好事情 我们接着从企业业务发展需求角度分析 京东商城的业务 主要是自营业务平 台 相信后续发展必然会考虑做 B2C 网购平台 以及自建的物流配送系统等组 合在一起 相对于淘宝网的业务和挑战 依然是相差甚远 原因很简单 淘宝 网上的注册网店和活跃用户的数量都非常庞大 而且其自己做很多帮助网店卖 家如何经营 如何判断自家网店经营状况 营销等方面提供技术支持 也相当 多的应用是第三方企业 API 函数调用的模式提供 也需要管理及监控 另外从 订单量和交易额度而言 更加无法比拟 用一句话概括 淘宝网那么大的布局 和业务需求 都不需要你所言的工程师数量 为何京东商城要考虑人海战术 我们再从企业管理的角度分析 先大致罗列几点 1 招聘的应届生需要非常多的培训资源 而且需要确保培训的质量 只好 要保证几个方面 技能培训 正确做事的方式 企业文化熏陶等方面 2 企业人数越来越多 不可避免地会出现企业文化稀释 3 部门内部 甚至部门与部门之间的利益或权利的争斗会越来越严重 4 正常事情的完成会涉及更多部门或人 而信息传递越来越困难 执行力 可能越来越差 5 公司的管理组织架构和绩效考核管理等 都必须做相应的变化 不同的 企业可能转变方式不太一样 转变的过程可能会出现很多意想不到的事情发展 容易出现严重的不公平性 6 技术人员一般都是有一定的技术追求的 若是没有事情可做就等于要废 了他们 而京东商城未必有那么的业务发展的事情需要他们去承担 最后的结 果可能是优秀的人才走了 剩下的是普通和混日子为主的雇员 7 雇佣大量员工 不论管理成本 日常办公等开销 还是最直接的薪资待 遇开销 都将是非常客观的数字 而且薪资待遇低还很难吸引到优秀人才 8 在 IT 企业中 千万别把技术人员 当 IT 民工使用 若是聘请普通或平庸 型的技术人才 会比优秀人才给企业带来的成本高得多 优秀人才 备注 指 综合素质 人才肯定需要搭配的 莫钻牛角尖 不管是做事情的速度 还是完 成的质量等各个方面都会远远超过其他类型人才 而且还可能给企业降低在管 理 带宽 硬件 机房等设施方面的资金投入 并且赢得更好的用户体验 小结 企业的雇员及业务规模做大并不是万能的 重要的是企业要注重责任 诚信 踏实做好每一件事情 考虑企业发展的速度 尽量挖掘企业内部现有资源 并 且补充必需资源 才能有长远的发展 特别注解 据我个人的了解 阿里对运维人员的要求过 于细分专业化 以至于他们的工程师更专注于自己细分的方向 而不擅长综合 性的处理问题 这样的企业更注重各部门的协作 离开了协作 运维部门无法 正常运转 曾经有位阿里的运维工程师到我这里应聘 除了他自己的方向 其 他一概不会 而我们需要的是在运维的各个方向都有所涉猎 能够独立处理问 题的工程师 这样就可以理解 为什么京东挖走了那么多阿里的运维工程师 如果对他们的分工协作安排不妥当的话 笔者猜测 就无法发挥其应有的作用 五 京东商场的云计算规划 看到京东刘强东先生及京东商城官方微博 提出京东商城也要做云计算 个人 感觉到非常吃惊 不知道京东商城是要为上市做准备 还是为了面子工程或说 为了国家提供的云计算补贴基金 还是京东商城有我们外面人都不曾可预计的 庞大业务正在秘密研发或业务将以火箭速度增长呢 以京东商城现在及未来的业务支撑点而言 不管从京东商城现在还是将来的业 务规模看 都没有必要自己做云计算 或说提供云计算服务 国内的情况不能 跟国外的 Amazon 等公司相比较 国内外的环境不