PPT：支付宝背后大数据技术——DataLab、Higo.doc

注：本PPT来源于2013年11月第三届Oracle技术嘉年华，由支付宝DW/BI高级架构师周卫林 贡献。我们预计目前支付宝的大数据技术已经上升到了一个新的台阶，但是我们仍然想把这个PPT分享出来，让大家了解一下，一个风靡全球的支付系统背后到底使用了什么样的大数据技术，以及支付宝大数据技术的实践，给新入场的朋友们作为参考。正文如下：支付宝之所以备受大家的喜爱，更重要的是支付宝的安全机制和使用便捷性。但是，业界并不仅仅有支付宝一家支付产品，如今微信也已经推出了微支付。周卫林表示，支付宝的安全性机制要比微信高，比如大家在一个会场开会，通过后台的数据分析，基于这个位置的交易被认为是熟人之间的交易，不需要特别的验证，背后有强大的技术支撑。比如，在小区中，基于小区的地理位置信息，人与人之间的交易认为是家人之间的交易。目前，支付宝平台每年的数据的增长量超过以往所有年份数据累加之和还要多。不同的业务阶段，导致不同的数据诉求，业务模式在最开始的时候负责度比较高，随着业务的增长对于创新的要求比较高。数据诉求分析当前业务阶段的特点：1、“能一眼看得见的山头不多了”，面临创新压力；2、“生孩子容易，养孩子难”，如何做好精细化运营。 当前数据诉求的特点：1、主要用户不再是管理层(需求固定)，而是一线同学(需求不固定)；2、实现手段，不能仅是报表(T+1天)，数据需要对接生产系统(T+1秒)。 当前的主要矛盾：无法快速响应日常需求1、数据分析师/ETL工程师满足不了日益旺盛的数据需求，成为资源瓶颈；2、精细化运营带来数据粒度下降，业务发展带来数据指数增长，传统方案无法应对；3、缺乏数据化运营的业务支撑平台。传统BI产品存在的几个问题：1、对大数据支持不够：亿级数据的Ad-hoc，玩不了;2、有学习成本：比较专业，分析师也需要培训才能较好使用;3、License贵：依据账号数收费，无法大面积开放;4、需要二次开发：无法直接给一线人员使用，一般要二次封装，而且基本无技术支持。思路：人人都会用的大数据分析工具工具让数据的使用更简单，人人会使用数据，才是数据化运营的基础。数据逻辑如果不通过可视化的效果很难展现出来支付宝结合用户的使用习惯，自己开发一套工具，通过工具解决瓶颈的问题。如何让工具让数据使用更简单。站在内部角度看到工具的迫切需求，主要是因为数据越来越多，传统的工具支撑需求有很大的难度。HiGo特性介绍演示环境说明：数据量：18亿条记录，60个字段，占用空间1.4T机器量：3台，96G内存，2T SATA磁盘，6核*2 CPU分40个shard，每个shard4600万条记录 任意条件的统计汇总：求浙江和广东省 4钻店铺和5钻店铺的店铺数，申请贷款金额总和和申请贷款的笔数总和” 任意条件的多维度分组统计：从一年的贷款数据中，看淘宝和天猫每一天申请贷款总金额、申请贷款的笔数 任意条件的多维度分组统计，含count distinct：从一年的贷款数据中，看淘宝和天猫每一天申请贷款的用户数 Case when：从一年的贷款数据中，看淘宝和天猫每一天申请金额在100W以上的大额贷款的总额，以及所