单日万单的背后京东技术首次全解密

1、11 1俘日1400万单的背后：京东技术首次全解密随 着移动终端和移动应用的发展将互联网的边界从空间和时间维度无限延伸，企业互联网的构建也成为2014 年企业 IT 的一大主题，互联网用户体验的保障则是企业面临的一道坎。在此背景下，阿里、京东等中国电商巨头如何通过技术创新来保证海量订单压力下的用户体验，成为业界研究的热门对象。对 于京东的技术团队而言，由于中国互联网经济呈现出让美国同行叹为观止的增长速度，每年的 6.18 、11.11 大促，总在不断挑战着他们的智慧。在刚刚过去的 2014 年的 11.11 促销中，京东当日订单量超过1400 万单（去年同期的 2.2 倍），网站的平均响应时间

2、、首屏时间等成绩均名列前茅。这一份答卷让京东集团高级副总裁立大学颇为满意。在 11.11 当天的 CSDN 独家放送的京东峰值系统设计一文中，京东首席技术顾问翁志已经解读了京要的不东如何在高流量、 高并发情况下保证整个系统的可靠性和稳定性。 但海量订单下出色的购物体验需仅仅是交易峰值的应对，还需要配套的系统运维、商品推荐、售前咨询、售后服务、物流配送体系等更加智能化、自动化。而整套智能电商平台的构建，也并密暨新书发布会”上， 京东集团高级副总裁李大学、术团队为我们全面解开了京东技术团队的成长的秘密，亚洲一号物流中心运营等相关技术细节。非一日之功。在 11 月 27 日的“11?11京东技术解京

3、东集团副总裁兼11.11 技术总指挥马松带领京东技披露了 11.11 运维、 JIMI 智能机器人、 大数据挖掘、新书解密十年技术研发成长路 京 东自 2004 年涉足电子商务以来，营业额成长上千倍的背后，京东的技术平台也在不断地变迁。京东集团高级副总裁李大学介绍，京东技术平台从2009 年开始 实现从 Windows 到 Linux 、 .net 到 Java 、传统hard coding 模式到 SOA 架构、基于API 的模式的迁移。与此同时，京东技术研发部门在10 年间从 30人发展到 4000 人，在产品、研发、测试的组织上也 完成了从职能化结构到事业部的转变，分为九大模块四个平台（

4、详见： 【 CTO 论道】京东商城李大学：京东研发团队管理经验谈），并形成了现在的北得到最大限度的发挥，目京、上海、深圳、成都、沈阳等五大研究院，这让京东技术研发的实力和能动性前在云平台、大数据、移动、人工智能、深度学习等领域都取得了创新的突破。京东集团高级副总裁李大学此 次发布的新书京东技术解密，全面展示了京东技术研发体系和各项技术细节。李大学认为，这本书完全浓缩了团队十年来的最佳实践经验。 记者观察到， 京东 技术解密 一书从 618 大促销、产品演进、技术演进、创新激发、牛人专家五个侧面，首次解密了京东技术研发部如何应对电商大节、如何跨系统整合、 如何建设海量处理系统等问题。 电子工业出

5、版社计算机分社社长、 博文视点公司总经理郭立盛赞这部书为“悬念丛生的技术大片”，她甚至认为翻译将其成英文会提振京东股票大涨。11.11 运维：海量订单实现的保障新 书的第一章就用“战斗”来形容京东技术团队在 618 、 11.11 的工作状态，流量高峰最能让他们心跳加速。 那么， 京东的系统， 一天能承受的订单数量到底是 多少？京东集团副总裁兼11.11 技术总指挥马松笑称，这个问题其实不是那么符合京东的追求，他们关注的是每秒承载的订单数量（每秒泄洪能力），而且这个 数量往往用几位数来计算（京东目前可以达到每秒五位数）。根据马松的解释，京东的系统背后运行有几千个服务，这些服务之间的复杂交互，都

6、要以不超过两位数的毫秒来计算。 电商系统的不同之处， 就是不仅不能限制流量， 而且还要保证所有客户都有很好的访问体验，这就需要很好的性能，同时对运维团队也提出了更高的要求。对 于运维， 首先， 京东系统的高性能、 冗余设计保证了提升了它在高流量高并发状态下的业务连续性保障；其次， 京东几年前解决问题时候“基本靠吼”的混乱局面已 经一去不复返， 目前已经建立起一套完善的监控和管理体系，各个生产系统已经实现集中监控，包括流量监控、服务器性能监控、接口性能监控等等，都放到大 屏幕上，每个系统都有专人来监控和管理，把每个环节协调和控制好，并做好通信机制，第一时间认定故障模块，并将其替换掉。为 了保证发

7、现问题后可以快速定位和处理， 京东专门设计了集系统处理能力、数据积压情况、 数据处理情况、 日志、 系统负载于一体的总和分析工具。 由于系统的复杂性， 京东还部署了一个正在不断优化的 SOA治理平台，可以在问题出现后及时评估出受影响的系统，以便快速做出应急响应。此外，京东还在机器学习、人工智能、神经网络、大数据等方面还做了很多研发工作，以此来提升京东技术体系的实力。客服的“秘密武器”： JIMI 智能机器人11.11 订单数量的激增，给京东客服人员也带来了巨大的压力，面对这个问题，京东技术团队研制出了一项“秘密武器”基于大数据的 JIMI 智能机器人，全天候、快速、 无限量地支持售前咨询、 售

8、后服务等环节，缓解了 11.11 的客户咨询压力。京东方面称， JIMI 从 2012 月上线售后咨询， 2014 年 5 月开放售前咨询。在过去的两年中， JIMI 已服务超过 1600 万用户。而在本次11.11 促销中， JIMI 总计接待近百万用户，大致相当于大型超市 45 天的客流量。JIMI 在京东成都研究院产品创新部刘丹介绍，作为京东自主研发的人工智能系统， JIMI 通过自然语言处理（ NLP ）、用户画像、知识图谱、机器学习（ ML ）、深度神经网络（ DNN ）等技术，很好地完成上述的用户服务任务。这些技术的具体作用如下：1 、 自然语言处理： 基于自然语言处理技术， 剖析

9、用户语言构成， 理解用户意图并响应， 是 JIMI 的核心“大 脑”。2 、用户画像：通过分析用户基本资料、历史行为、动作轨迹，构造出来用户的个人信息库，使JIMI 可以精准了解每个用户的性格、爱好、习惯，以便做出更好的服务。3、知识图谱：基于京东海量业务数据抽取知识卡片，在一定的模式约束下对齐实体并形成知识网络，从而构建 JIMI 知识图谱系统，实现信息可视化，为交互问答提供数据支撑。4 、机器学习：通过与用户的互动以及互联网数据挖掘开展的学习，使JIMI 能自动完善自身的知识数据，并随着时间推移越来越强大和智能。5、深度神经网络：构建大型神经网络集群，模拟出人类的思维过程，通过上万神经节点

10、的交叉计算达成高精度的智能意图识别及应答效果。DNN 深度神经网络刘丹认为，有了 JIMI 智能机器人，京东可以更好地实现“千人千面”的个性化服务。对于 JIMI 的未来，刘丹介绍，会用于如下四个场景：? 开放式智能服务：跨平台电商客服智能化解决方案。? 智能硬件中枢：智能家电，让家用电器也能“听话”。? 垂直领域专家：如医药咨询、旅游咨询、儿童教育。? 私人随身处理：移动式私人助理，解决日常衣食住行。JIMI 的智能之源：深层神经网络（ DNN ）JIMI 机器人的智能得以实现， 深度学习功不可没。 京东在 2014 年 9 月 9 日成立了 DNN 实验室 （DNN Lab ） ， 专注于

11、人工智能、大数据、深度学习、异构计算等技术，以确保京东技术在业界地位。京东 DNN Lab 首席科学家认为，由于深度学习模型层级更多， DNN 具有更强的学习能力、需要更少的人工干预、更懂用户、更精准、更智能等优势，随着数据量的增长，深度学习算法比传统机器学习算法具有更出色的性能。DNN 算法的优势目 前 DNN 在 JIMI 的应用，主要包括命名实体识别、用户意图识别、自动问答等三个层面。首先，对于用户输入的人名、地名、商品名等进行识别之后抽取命名实 体，可以更好地理解用户的语言和意图。意图识别对 JIMI 系统非常重要，因为只有意图识别正确，才能在相应的类别里面反馈用户的答案。在此之后，J

12、IMI 就会确定问题的分类（订单、售后、商品、闲聊等），进行答案匹配，候选答案抽取和排序，然后给用户反馈最佳答案和建议。京东正在通过推动用户使用，收集用户交互反馈，挖掘用户数据改进产品，推动产品的持续创新和改善，使之更懂用户，更加智能。JIMI 智能机器人是京东DNN 技术的第一次应用， 但 DNN Lab 的眼界并不局限于JIMI ， 京东未来计划探索 DNN 在销量预测、商品搜索/推荐 / 广告、互联网金融、智能硬件等多个领域的应用。闪电式响应之谜：亚洲一号物流中心从 马云打造“菜鸟”来看， 物流已经成为电商企业必须拿下的一个核心战场。 如果没有先进的电商物流中心的支撑， 11.11 订单

13、的生产能力就会遇到瓶颈。单就这 一领域而言，京东的优势还是比较明显的，一线城市当天派送是有口皆碑。 京东已经构建了国内最大的单体物流中心“亚洲一号”， 位于上海嘉定区，一期总建 筑面积约为10 万平方米（中件）， 90% 的操作实现了自动化，分拣处理能力每小时能达到 1.6万件（准确率99.99% ），达到了世界先进水平。京 东亚洲一号经理何慧琳演示了研发体系对亚洲一号的支撑。 上海亚洲一号包括4 个区域立体库区、多层阁楼拣货区、 生产作业区和出货分拣区。 其中， “立体库 区”库高 24 米， 利用自动存取系统（ AS/RS系统），实现了自动化高密度的储存和高速的拣货能力；“多层阁楼拣货区”

14、采用了各种现代化设备，实现了自动 补货、快速拣货、多重复核手段、多层阁楼自动输送能力，实现了京东巨量SKU 的高密度存储和快速准确的拣货和输送能力；“生产作业区”采用京东自主开发的 任务分配系统和自动化的输送设备，实现了每一个生产工位任务分配的自动化和合理化，保证了每一个生产岗位的满负荷运转，避免了任务分配不均的情况， 极大地 提高了劳动效率； “出货分拣区”采用了自动化的输送系统和代表目前全球最高水平的分拣系统，彻底解决了原先人工分拣效率差和分拣准确率低的问题。可 以看到， 自动化物流中心的核心是强大的系统， 包括针对各个场景的不同算法， 精确控制着货物的流向，尤其是面对 11.11 的海量

15、订单， 还需要极强的数据处理 能力。 何慧琳介绍， 京东上海亚洲一号的仓库管理系统（WMS ）、仓库设备控制系统（ WCS ）、分拣和配送系统等整个信息系统均由京东自主开发，所有从国外 进口的世界先进的自动化设备均由京东进行总集成。京东亚洲一号的系统建设，包括了如下的几个主要特点：1 、基于 SOA 的架构和流动驱动，服务化以降低系统之间的耦合，支持高并发处理，通过流程驱动，使得系统的作业节点是可配置的；2 、 由于存在自动化设备， 自建 WCS 支持编程作业， 支持与 WMS 各个模块的通信， 能够兼容不同的设备； 同时，还实现人员的分区管理和混编作业。3 、基于作业数据的算法研究， 实现大

16、数据的智能定位、自动补货等；以混沌算法支持看似混沌的情况下进 行有序生产；11.11 购物大数据深度分析及其商业价值京 东大数据平台数据创新部邢志峰通过对京东11.11 数据的深度分析解读了新的商业逻辑。例如， 2014年 11.11 数据显示，京东新用户具有更明确的目的 性，即直奔大促而来，他们在11 日当天下单的比例达到 34% 。而在购物品类上，双十一当天“服饰内衣、珠宝首饰”已经成为京东新用户选择最多的品类，取 代 了“电脑办公”的龙头位置。京东 11.11 用户消费行为数据还显示出用户特征、用户偏好的变化。例如，下单打破时段 限制，意味着上班族、熬夜族的崛起。移动端“随看随买”的特点

17、，导致其用户的下单时段分布更趋向扁平化。基于京东大数据“商品轮廓”模型则发现， 11.11 期间，平板电脑的存储容量比屏幕尺寸更受关注，衬衫、护发等价格较低的产品的品牌重要性迅速提升。这其实也是大数据的具体应用， 1400 万单的数据中蕴含的市场信息不可谓不丰富。 这些数据的得出及其可视化展现的形式，对于京东及其商户的营销部门制定相应的商品促销策略显然具有非常现实的指导意义。而这些数据的精确性、及时性，则得益于京东的大数据技术创新。从产品层面来看，京东大数据的突破性创新，主要体现在大数据管理应用上，包括如下几个层面：1 、自主研发面向复杂业务模型的海量数据生产调度管理平台；2、自主研发打通广告

18、点击与页面浏览的日志分析平台，同时也支持实时反作弊和用户模型研究；3、免推送至关系型数据库直接基于文件系统生成报表的前端展现平台；4、综合多种开源技术全新打造的流式计算平台；5、自助算法的数据挖掘平台；6、融合多产品功能的移动应用。京 东大数据平台是基于云计算的动态弹性平台，采用了 Hadoop 分布式技术，实现高性能、高可用的服务，在海量实时计算上，通过实时数据采集、底层基于Storm 的流式数据计算、使用 Spark 、 PrestoDB的实时查询服务、实时数据挖掘四个阶段，支持 11.11 中的实时查询和个性化搜索结果展现等场景。总结与展望正 如京东集团创始人兼首席执行官刘强东所说的，“ 在京东技术解密一书中，大家会看到技术驱动的力量”，京东已经从一家在线零售商变成一家技术驱动的互联网公司，京东敢于著作成书与业界交流，既表明京 东技术体系的成熟度， 其积累并不是一般的企业所能快速效仿， 也说明走向巨无霸的中国电商企业， 必将展开全方位的技术竞争， 包括云平台、 大数据、 人工智能、 深度学习、 物流自动化等所有的方面。京东希望通过京东研发体系与技术细节的披露，推动中国电子商务行业的技术进步，也希望以此为基础，实现其“做中国最有影响力的技术团队”的愿景。制度说明制度是以执行力为保障的。制度”之所以可以