乐蜂周秋野：如何应对自营电商大促的技术和管理风险.doc

乐蜂周秋野：如何应对自营电商大促的技术和管理风险来源：钛媒体 发布时间：2013-4-28所有可能出现的故障都有可能出现。机器会挂掉，网络设备会挂掉，机房会挂掉，运营商的链路会挂掉，CDN会挂掉，连400电话也会挂掉。当然，没有哪个团队会惨到遇到所有这些问题，但任何一个问题都有可能致命。周秋野化妆品电商的促销大战，美女和帅哥的形象大战，让爱看热闹的人们看的好不开心，也让爱美的女士们抢的好不开心。不过在一场场华丽丽的大战背后，是一群辛勤的技术和运维人员辛勤方付出。“奋战连续加班48个小时，没有人忍心把谁叫起来。我们在报警的手机上接一个大音箱，一有紧急情况，音箱便开始报警，同时报警灯闪烁。这样不管睡的怎么死总还是会起来看一下的。”在一年一度的QCon大会上乐蜂网运维总监周秋野分享了在“桃花节”大促下，如何带领技术团队撑住高于正常情况下15倍的流量。没有淘宝那样的人力和财力，没有按G接入的带宽，没有几十万级别的硬件防火墙，数量有限的服务器资源，手下就那么几个兵，作为一个自营平台的”吊丝“电商，顶住了应用系统压力翻15倍，持续两天的压力，期间系统无宕机，超百万订单，成交额超两亿的。乐蜂网所面临的情况，对自建系统的中小型电商有很大的参考价值。钛媒小编通过现场笔记和记忆为大家分享其中部分精彩内容。不打没准备的仗，在大型促销来临之前，一定要通过各种途径，比如历史数据，竞争对手数据，行业调查数据尽量准确的估算要面临的流量规模，来源，入口等，以便合理的分配资源。确保所有的准备工作都可以在活动开始前完成，如果业务人员有过多的需求，可能危害整个系统安全，技术团队应该坚决拒绝。总结曾经犯过的错误，进行定点清除。一个系统经过很多人的手才开发而成，其中不免有很多未知的风险。对于曾经犯过的错误要细心的总结和排查，确保不会出现第二次。同时也要确保核心流程不会出现大的问题。周秋野很坦诚的说，去年大促的时候，因为一个低级的错误一个数据库表没有加索引，整个核心购物流程停摆两个小时，顾客无法下单。像这样的错误一定要消灭掉。要相信墨菲定理，所有可能出现的故障都有可能出现。机器会挂掉，网络设备会挂掉，机房会挂掉，运营商的链路会挂掉，CDN会挂掉，连400电话也会挂掉。当然，没有哪个团队会惨到会遇到所有这些问题，但任何一个问题都有可能致命。所以对任何可以想到的问题都要有Plan B，备用机器，备用设备，备用机房，备用线路，备用CDN，可以不多，但不能没有，并且在活动开始前对相关切换方案进行测试，才可以在问题出现的时候可以快速启动应急方案。对于系统内的一些故障，有经验的运维人员可能会考虑的比较多，可能不会有太多问题。但总有问题是你想不到的。周秋野说在“桃花节”促销中，联通的400电话服务竟然出故障了，当时他们只好把电话接入到公司里面，所有的人都变成了客服，才撑过去。和第三方搞好关系，用到的时候人家才会帮你。虽然是客户，但不要把自己和服务商的关系搞的太僵了，大战的时候需要他们一同帮忙。比如促销当天，需要设备提供商到机房驻场，以便应对突发状况。需要IDC提供更高的流量支持，需要CDN厂商提供更多的流量和节点支持。周秋野说为了应对其促销活动的突发流量，其CDN服务商特别为他们添加了相应的服务器。当然，如此级别的支持，只有像乐蜂这样中上规模的电商企业才可能获得。在安全方面，周秋野表示小公司是无力应对汹涌的攻击的。近日就有人撰文指出，互联网存在一个规模巨大的黑色产业链。周秋野也表示对该势力的无奈，“人家几十个G的流量打过来，你就垮了。”而购买价格昂贵的防火墙设备，对于他们来说也是一件不太可能的事情。对于该问题解决办法周秋野表示只能找像360这样“有背景”的第三方安全公司。成立现场指挥办公室，为了更好的调度资源和沟通，最好把主要负责人都聚集到一起，开辟一个专门的现场指挥办公室。并且规定只有指挥办公室的直属领导可以进入办公室，非技术部门的领导只和技术部门负责人沟通，避免给技术部门带来过多的压力影响工作开展。要考虑员工的体能和心理状态。大规模的促销对资源有限的电商来说所面临的挑战是巨大的，所有员工都处于超负荷状态。这时候，有人打瞌睡，人为叫醒是很不人道，所有所以他们把接收自动化运维报警短信接收的手机接在大音箱上，并安装了报警灯，在有紧急情况时，办公室里警灯闪烁，警笛长鸣，可以保证问题得到解决。当然，如此规模的活动，物质奖励是必须，周秋野向上级为每人申请了一台iPad mini作为无故障运行的奖励。不过警笛和警灯，还是iPad都是是外在手段，身体才是本钱，在“桃花节”大促后，周秋野意识到除了工作，还鼓励员工多锻炼身体，以便在大战时候体能上跟得上。从周秋野分享的案例可以看出，自营电商的大促下的运维，需要一整套从业务到技术，从技术到管理，从理性到人性的系统支持，其对独立电商的综合能力要求是极高的。可以说电商大促，对于以业务导向而非技术导向的自建平台电商来说是一件非常考验的事情。聚美优品在3.0