ASBJ2014-TalkingData-大数据统计分析平台架构故事

从草根到云端TalkingData数据库技术进化,TalkingDataTechVP周海鹏2014-10,“人们”眼中的TalkingData,AppAnalytics,GameAnalytics,MobileAdTracking,Enterprise,游戏运营分析,移动广告监测,企业解决方案,移动应用统计分析,11500+,应用款数,7.5亿+,累计覆盖,2500万+,日活设备,35%覆盖,Top盈收游戏,2.5亿+,玩家覆盖,1000万+,日活玩家,49家,网盟对接,40%覆盖,行业广告主,1500万点击,日监测点,两大一线应用市场,三大运营商,四大银行,业务模型,计算需求,草根时代（HelloWorld）,草根时代（统计分析系统计算模型）,groupby,multijoin,distinctcount,青铜时代,草根时代,了解业务模型清晰计算模型,青铜时代,支持业务横向扩展数据量支持亿级表,2011,2012,2013,2014,青铜时代,基于Hadoop生态的批处理系统,数据库批量Insert/Update，压力大,数据库读压力小,Schema更新多,青铜时代（TokuDB）,大数据量Insert/Update/Delete/优化，均是message,lazy式操作，自上而下逐步Flush到leaf节点,天然多版本，无需做undolog,Fastinsert/Fastupdate，延迟小,Schema更改，例如Column增加/删除/更改,青铜时代,青铜时代,大数据量插入能力，更新能力的确比较突出,InnoDB也不差，和索引、数据Layout、操作模式有关,青铜时代,针对SSD有一定优化,如果考虑随机查询能力，不少专门针对SSD优化的KV库更合适，例如AeroSpike,黄金时代,草根时代,了解业务模型清晰计算模型,青铜时代,支持业务横向扩展数据量支持亿级表,2011,2012,2013,2014,黄金时代,数据量支持百亿表查询能力到毫秒级支持多维交叉业务,黄金时代（从行式到列式）,黄金时代,Infobright,InfiniDB,MonetDB,Vertica,黄金时代,selectavg(score)fromexamplewhereclass=Juniorandgrade=Agroupbygender;,黄金时代,查询速度（ms）,存储能力（G）,黄金时代,leftouterjoin,(selectdevidfromactiveuserwherejob_time=20141008001501andproductid=3012470groupbydevid)lon(n.devid=l.devid)wherel.devidisnotnull;,(selectdevidfromnewuserwherejob_time=20141007001501andproductid=3012470)n,selectcount(*)from,黄金时代：Join操作的难点和解决思路,以Bitmap计算替换原始日志扫描（优化存储，降低成本）,高效的内存计算（优化速度，优化功能）,优化：逻辑计算等价优化：串行改并行,黄金时代,Selectcount（*）fromuserwherestatus=marriedandregion=centralorregion=west,status=“married”,region=“central”,region=“west”,黄金时代,云端时代,草根时代,了解业务模型清晰计算模型,青铜时代,支持业务横向扩展数据量支持亿级表,2011,2012,2013,2014,黄金时代,数据量支持百亿表查询能力到毫秒级支持多维交叉业务,云端时代,支持统一数据查询能力支持多数据库混合存储面向场景的数据库研发,云端时代,云时代,列式数据库（count/Groupby）,HDFS/Kafka等文件存储（scan）,搜索引擎（文本随机查询）,Redis/LMDB/RocksDB等KV数据库,传统关系型数据库,云时代,JDBCclient,JDBCserver,SQLparser/validator,Queryoptimizer,3rdpartyops,3rdpartyops,3rdpartydata,3rdpartydata,Optional,Core,Pluggable,MetadataSPI,Pluggablerules,云时代,潜在高价值客群,居住城市：北、上、广、深等一线城市生活半径：上海内环以外，中环以内,年龄：2230岁生活特征：宅男腐女,至少拥有一张信用卡招行、交通、中信卡用户更为优质,iphone用户较多三星galaxy、note系列用户较多,总结,不同的时期不同的选型,每种数据库都有它特定的场景-读写