已阅读5页,还剩23页未读, 继续免费阅读
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
从草根到云端 TalkingData 数据库技术进化 TalkingData Tech VP 周海鹏 Copyright 2014 TalkingData Ltd., All Rights Reserved “人们”眼中的TalkingData App AnalyticsGame AnalyticsMobile Ad Tracking Enterprise 游戏运营分析移动广告监测企业解决方案移动应用统计分析 11500+l 应用款数 7.5亿+ l 累计覆盖 2500万+ l 日活设备 35%覆盖l Top盈收游 戏 2.5亿+ l 玩家覆盖 1000万+ l 日活玩家 49家l 网盟对接 40%覆盖 l 行业广告主 1500万点击 l 日监测点 l 两大一线应用市场 l 三大运营商 l 四大银行 Copyright 2014 TalkingData Ltd., All Rights Reserved 业务模型 TalkingDat a 大数据平台 移动互联网 数据 人口统计学 信息 Web 浏览日志 日常生活 数据 广告行业 投放、优 化、防作弊 O2O 旅游、餐饮、社区 游戏 虚拟生活 金融、证券 汽车、健康 服务 Copyright 2014 TalkingData Ltd., All Rights Reserved 计算需求 多维查询 功能扩展 Variety 秒级别查询 分钟级别更新 Velocity 8亿设备 2500W日活 Copyright 2014 TalkingData Ltd., All Rights Reserved 草根时代(HelloWorld) u 开发人员少 u 业务方向不清晰 u 产品需求简单 u 简单、可用、快速开发 u 批量插入效率一般 u 大数据量下Schema变化难 Copyright 2014 TalkingData Ltd., All Rights Reserved 草根时代(统计分析系统计算模型) u count u sum u group by u multi join u distinct count Copyright 2014 TalkingData Ltd., All Rights Reserved 青铜时代 草根时代 了解业务模型 清晰计算模型 青铜时代 支持业务横向扩展 数据量支持亿级表 201 1 2012 2013 2014 Copyright 2014 TalkingData Ltd., All Rights Reserved 青铜时代 u 基于Hadoop生态的批处理系统 u 数据库批量Insert/Update,压力大 u 数据库读压力小 u Schema 更新多 Copyright 2014 TalkingData Ltd., All Rights Reserved 青铜时代(TokuDB) u 大数据量 Insert/Update/Delete/优化,均是message u lazy式操作,自上而下逐步Flush到leaf节点 u 天然多版本,无需做undo log u Fast insert/ Fast update,延迟小 u Schema更改,例如Column增加/删除/更改 Copyright 2014 TalkingData Ltd., All Rights Reserved 青铜时代 Copyright 2014 TalkingData Ltd., All Rights Reserved 青铜时代 u 大数据量插入能力,更新能力 的确比较突出 u InnoDB也不差,和索引、数 据Layout、操作模式有关 Copyright 2014 TalkingData Ltd., All Rights Reserved 青铜时代 u 针对SSD有一定优化 u 如果考虑随机查询能力, 不少专门针对SSD优化的 KV库更合适,例如 AeroSpike Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代 草根时代 了解业务模型 清晰计算模型 青铜时代 支持业务横向扩展 数据量支持亿级表 201 1 2012 2013 2014 黄金时代 数据量支持百亿表 查询能力到毫秒级 支持多维交叉业务 Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代(从行式到列式) u 极高的装载速度(最高可以等于所有硬盘IO的总和,基本是极限了) u 适合大量的数据而不是小数据 u 高效的压缩率,不仅节省储存空间也节省计算内存和CPU u 非常适合做聚合操作 Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代 u Infobright u InfiniDB u MonetDB u Verticau 列存储 u AggressiveCompression(CPU/IO平衡) u shared-nothing,grid-based(并行查询) u 多备份(高可用性) Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代 select avg( score ) from example where class =Junior and grade = A group by gender; Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代 查询速度(ms)存储能力(G) Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代 left outer join (select devid from activeuser where job_time=20141008001501 and productid=3012470 group by devid) l on (n.devid=l.devid) where l.devid is not null; (select devid from newuser where job_time=20141007001501 and productid=3012470) n select count(*) from Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代:Join操作的难点和解决思路 u 以Bitmap计算替换原始日志扫描(优化存储,降低成本) Hash join hash table L Location S Location Hash join hash table A Agent Hash join hash table C Customer u 高效的内存计算(优化速度,优化功能) u 优化:逻辑计算等价 u 优化:串行改并行 Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代 Select count(*) from user where status = married and region = central or region = west status = “married” region = “central” region = “west” 0 1 1 0 0 1 AND 0 1 0 0 1 1 0 0 1 1 0 0 OR 0 1 1 0 0 1 0 1 1 1 1 1 =AND 0 1 1 0 0 1 = Copyright 2014 TalkingData Ltd., All Rights Reserved 黄金时代 172672 904 Copyright 2014 TalkingData Ltd., All Rights Reserved 云端时代 草根时代 了解业务模型 清晰计算模型 青铜时代 支持业务横向扩展 数据量支持亿级表 201 1 2012 2013 2014 黄金时代 数据量支持百亿表 查询能力到毫秒级 支持多维交叉业务 云端时代 支持统一数据查询能力 支持多数据库混合存储 面向场景的数据库研发 Copyright 2014 TalkingData Ltd., All Rights Reserved 云端时代 u Aerospike/Redis u LevelDB/RocksDB u Bitmap服务,高吞吐、高随机查询下下谁更合适? Copyright 2014 TalkingData Ltd., All Rights Reserved 云时代 u 列式数据库(count/Group by) u HDFS/Kafka等文件存储(scan) u 搜索引擎(文本随机查询) u Redis/LMDB/RocksDB等KV数据库 u 传统关系型数据库 Copyright 2014 TalkingData Ltd., All Rights Reserved 云时代 JDBC client JDBC server SQL parser / validator Query optimizer 3rd party ops3rd party ops 3rd party data3rd party data Optional Core Pluggable Metadata SPI Pluggable rules Copyright 2014 TalkingData Ltd., All Rights Reserved 云时代 潜在高价值客群 居住城市:北、上、广、深等一线城市 生活半径:上海内环以外,中环以内 年龄:22 30岁 生活特征:宅男腐女 至少拥有一张信用卡 招行、交通、中信卡用户更为优质 iphone用户较多 三星galaxy、note系列用户较多 KV数据库传统RDB Spatial 数据库移动统计分析数据库 Copyright 2014 TalkingData Ltd., All Rights Reserved 总结 u 不同的时期不同的
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2027届湖北省十堰市高三第六次模拟考试高考物理试卷(含答案解析)
- 十五五用户洞察:银发族对智能慢病管理付费意愿的深度调研
- 十五五出海战略中智能健康监测内衣在东南亚市场破局点
- 建筑空间革新:智能多功能训练椅重塑社区微型健身空间场景
- 双碳目标约束下:电动滑板车能否成为传统两轮车的第二曲线
- 双碳约束下智能合页:能否成为绿色建材行业的“第二曲线”
- 区块链赋能智慧交通:跨域数据共享与智能合约自动结算
- 行风学习教育培训制度2篇
- 2026年亚健康改善策略报告:运动康复行业体态管理创新案例
- 2026年汽车后市场消费提振措施分析报告
- 湖北武汉华师一附中2027届高三上学期11月期中考试数学试卷
- 2026年统编版新教材二年级上册道德与法治第11课《可亲可敬的家乡人》第2课时 可敬的家乡人 教学课件
- (统编新教材2027)八年级道法上册核心考点(填空版+背诵版)
- 2026年信托从业资格信托实务题库带答案
- 2026知识产权法考试题(含答案)
- 介入患者的围手术期的护理
- 安徽省建设工程工程量清单计价规程(2026版)
- 2026年中医康复理疗师题库及参考答案
- 长征胜利 90 周年 赓续长征血脉 坚守教书育人初心使命课件
- 2026年广东省职业病诊断医师试题(职业性放射性疾病)(附答案)
- 2026 年掌握消防技能守护生命安全课件
评论
0/150
提交评论