数据资产管理在腾讯游戏的实践

1、数据资产管理在腾讯游戏的实践技术创新，变革未来腾讯游戏大数据运营概况每日传输量：17000亿条，约260TB，总存储量为100PB+，公司占比为20%15w+表4000亿+数据4w+表600亿+数据30w+表13000亿+数据Dynamic Bitmap Index CacheBitmap Index GeneratorBitmap FilterBuilderExecute EngineAggregateMerger多维分析Data MapperCol-1Col-1ColTDW离线计算量：220+万/天100P+流式计算量：2000+万/秒端 游 100+ 款页 游 90+ 款手 游 300+

2、 款问题与痛点在游戏大数据管控中，面临着众多问题与痛点数据多样化，缺少统一标准计算逻辑理解一不致，导致统计结果有偏差03数据全链路质量问题，层次复杂、不能快速定位问题游戏数据管控的问题与难点04数据质量偏低给数据应用带来的各种挑战05数据标准缺乏结构化管理，集成困难数据分散，没有形成完整的成本管理数据价值的评估较为困难数据安全与合规保障的问题发展历程构建游戏大数据资产管理体系-历经6年在各阶段解决的关键问题数据集成数据治理数据孤岛形成没有统一数据平台数据流转架构混乱数据传输时延高数据集成效率低平台组件不够稳定资产运营数据标准缺失质量参差不齐数据安全防护差数据血缘不完整数据获取效率低数据驱动数据

3、成本剧增指标概念不一数据合规存在风险数据生命周期不合理数据价值难评估运营效率有待提升2013年2014年2016年2018年年游戏大数据资产管理：通过组织、流程、制度、技术等组合手段，确保数据交付的 质量、效率、成本和安全，助力业务数据价值提升能力模型“三好”“用好”数据资产“管好”数据资产“看好”数据资产产品PM知识图谱线下培训数据助手数据管理人员业务管理数据映射配置管理资源调度评估影响数据质量成本管理元数据管理产品开发产品运维数据字典数据源管理数据变更数据质量数据检索数据接入数据管理人员安全管理人员数据审计数据追溯血缘跟踪异常分析产品PM数据价值成本结算资源视图数据应用数据血缘数据热点数据

4、地图平台指引通用模块专属模块业务指标产品开发产品运维 产品PM权限流程安全规范安全策略制度管理体系架构资产管理平台资产总览资产治理资产服务资产安全数据增值服务可视化报表效果分析活动营销消息推送渠道管理战绩查询价值评估更多技术元数据业务元数据元数据存储元数据标准元数据检索元数据开放元数据管理更多数据集成数据整合数据传输数据清洗数据采集数据存储数据治理数据质量流程制度数据标准数据共享资产运营影响评估安全管理生命周期管理成本优化DevAIOps收益度分析广度分析热度分析价值评估数据开放数据血缘数据驱动更多游戏大数据资产管理体系元数据管理元数据（Metadata）描述数据的数据业务元数据技术元数据按服

5、务对象划分异构数据源元数据采集转换层元数据应用元数据检索数据一体化质量监控资源管理日志文本TDWDBMS业务系统外部接口NoSQL其它模型桥接器元数据存储数据映射桥接器技术元数据业务元数据其它元数据服务接口实时规则iDataDataMore更多一体化图灵用户管理权限管理元数据管理更新管理同步管理版本管理其他管理日志管理备份恢复可视化接口管理其他应用元数据管理体系技术架构元数据能力特点异构适配，集中存储业务指标，开放共享描述数据，理解业务自动构建血缘关系链扩展能力，辅助运营元数据管理数据资产目录-某业务视图TCPUDPKCPHTTPRPC明文结构自定义 序列化PB/TDR序列化RPC-Proto

6、DB-BinlogKV-JSONGW规范结构游戏客户端游戏服务端LBTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTGlog_SvrTDBANK AGENT 传 输 体 系服务发现Consul / L5Web管理端LogX在线实时检索布道专业运维管理元数据管理File I/O数据集成-数据采集架构服务特性：单机： UDP：5W qps; KCP: 9w; TCP:10w单机吞吐量：180Mbps分布式高可用，双方扩容互 不耦合高可用，高可靠：扩容不丢失数据；WAL双备数据完整率: 99.9999.9999%多协议支持；多数据格式支持专业数据管理、数据

7、运维周边系统完善支持数据标准管理组织职责数据标准服务制度规范流程管控标准维护数据项标准业务属性技术属性 管理属性指标项标准指标命名指标值域 生成逻辑统一日志规范统一接入流程数据治理-数据标准管理大数据质量监控多维覆盖数据采集数据传输数据存储+计算数据应用设备基础监控应用链路监控设备基础监控传输配置监控数据对账监控设备基础监控采集配置监控设备基础监控集群计算监控集群计算监控计算延迟监控传输流量监控来源变更监控字典变动监控集群存储监控来源变更监控数据对账监控计算延迟监控字典变动监控数据掉零监控集群存储监控服务心跳监控数据掉零监控服务心跳监控数据掉零监控资源容量监控服务可用监控任务状态监控完整性一致

8、性准确性及时性数据治理-数据质量监控覆盖数据治理-面临挑战数据服务运营质量面临三大挑战：全链路数据服务环节众多复杂，问题定位困难业务服务故障，回溯数据问题非常困难数据平台异常，如何快速评估影响面？解决方案：基于数据+业务血缘构建全链路质量保障体系TGlog采集数据传输数据透传微服务离线存储离线计算数据源服务网关服务治理运营策略基于数据流构建的微服务技术架构(起点)在线运营 (终点)Tredis存储Storm流式Kafka消息数据治理-血缘构建IaaS云服务器云存储云计算IDC服务器IDC存储IDC计算网络私有网络公有网络SDK非结构化结构化业务数据跨国传输跨城传输采集集群采集传输PaaS数据层

9、数据分发流式计算实时计算SparkMRHDFS离线计算PaaS计算层MQ消息中间件KV存储在线RMDB任务调度调度引擎iPaaSdSaaS分析报表精准推荐营销活动安全打击其他应用应用开发平台微服务调用跟踪链接口使用指标关系集群调度信息接口部署信息.集群负载情况数据消费关系数据指标关系数据存储关系离线计算关系.数据入库关系离线导入关系数据透传关系.基础指标信息项目与资源关系.数 据 与 业 务 血 缘 关 系 链数据与业务血缘关系链构建过程数据服务流转架构数据治理-血缘应用效果构建数据与业务血缘，保障数据全链路服务质量SLA达99.99+%1min内告警并评估影响面和问题快速定位存储引擎计算引擎

10、成本组成存储成本数据服务成本计算成本大数据引擎数据服务引擎成本评测成本对比资源盘点ROI评分成本优化生命周期推荐计算逻辑优化资源调度优化成本报告同比环比优化推荐增长趋势成本预警大数据成本管理架构预算Review资源降配资产运营-成本管理数据服务成本计算成本存储成本成本对比业务成本平均成本资产运营-成本管理某业务数据资产成本管理视图无数据生命周期管理会发生什么？数据无序增长成本快速上升 计算效率低下 数据维护困难资产运营-数据生命周期管理数据生命周期管理面临问题数据分类和重要等级数据在线度时间在线阶段近线阶段数据在线度与生命周期阈值1阈值2归档阶段数据在线度的评估随时间推移，数据使用价值不断衰减

11、，数据在 线度就是反应数据的在线程度和使用衰减情况影响数据在线度的因素：数据使用价值和数据 重要等级，而数据使用价值有跟数据访问热度 和应用广度有关，数据在线度的关联函数为() = (), )其中()为数据使用价值， 为数据重要等级数据生命周期管理策略随在线度的变化而变化数据分类说明重要等级收入类充值、消费类，跟资金财产有关的数据在线类用户注册、登录、登出等在线类数据状态类游戏用户属性、等级等状态类数据行为类用户在游戏内的体验操作等行为日志性能类服务器性能、资源容量等数据资产运营-数据生命周期管理1243制度规范制定和完善游戏用户核心数据 安全管理规范合法合规国内和出海游戏数据按各国家/组织相

12、关法案及监督要求合法合规采集、存储和使用技术保障采用数据脱敏、加密技术、租 户隔离、角色授权等技术手段 保障游戏数据安全传输、存储 和使用安全管理平台通过敏感度分级、安全审计、 数据脱敏等手段，做到“事前 可管 、事中可控 、事后可查 ”，防止数据非法使用。资产安全管理方法论：“制度先行、流程规范、技术保障、平台支撑”游戏数据资产安全管理“四大” 关键举措资产运营-数据安全管理资产安全管理合法合规制度规范技术保障资产安全管理平台数据使用方游戏工作室其他BG业务安全业务运维游戏研发更多TSpiderTGLogTRedisTDW数据平台更多事后可查事中可控敏感度分级权限管理 离转岗人员 合法合规检

13、查事前可管实时告警事件处理权限回收 授权监控更多加密存储/传输敏感数据脱敏 安全事件模拟 风险评估安全审计访问记录下载记录 安全报告游戏大数据安全管理体系资产运营-数据安全管理消息队列TubeReceiverReceiverStormTRedis告警 模块告警 结果实时计算安全审计和监控视图管理告警告警 规则实时计算框架异常权限检测配置和管理上报/审批/计算/视图/告警统计监控页面运营报表审计入口数据平台组织架构Receiver采集访问/下载记录权限管理敏感度管理数据安全实时监控和操作审计架构资产运营-数据安全管理分钟级的数据安全实时监控提供“事后”安全审计服务，回溯事件数据安全事故0起发生资

14、产运营-数据安全管理效果某业务资产安全管理视图总览数据驱动-数据价值评估实施数据价值评估的意义衡量业务的投入产出比衡量数据发挥的作用为产品提供运营决策依据衡量数据服务平台能力水平数据价值评估的难点行业内无统一标准和方法公司内缺乏可量化的估值体系数据价值存场景化差异性如何做数据资产价值评估？数据价值数据价值评估“三度”模型数据采集数据传输计算引擎存储引擎价值指标数据访问热度数据血缘关系业务运营指标评估模型热度评分模型依赖计算模型A/B Test计算模型价值表现热度评分与等级应用广度评分业务贡献评分热 度广 度模型成熟度成熟运营期研究观察期收益度分析报表营销活动数据挖掘精准推荐业务安全其他数据驱动

15、-数据价值评估数据流数据应用数据热度评估模型()假设 , , , (G)分别是数据节点, , , 的被调用次数。则每个节点的热度值通过下面公式得到： = + ()其中()表示节点的所有子节点的集合，比如，数据节点A的热度指数为 = + ( + ()可以发现，上面的模型为典型是递归计算模型，其特点是 父节点 子节点ABCDEFG数据节点的依赖关系热度等级（天）冷温热0(0,10(10,200200冰数据驱动-数据价值评估通过数据源S的应用依赖关系发现，数据服务的种类越 多，应用广度就越大，应用广度可表示为 S = 其中为数据服务的种类数， 为正相关系数，表示同 一个数据服务有多个功能模块依赖数据

16、源S，模块越多， 正相关系数越大。其中 为数据服务的模块个数 = =最终应用广度模型为 S = =SA1A2数据应用依赖关系A2AnF2F1F1F2F1F2数据源数据服务功能模块F1广度等级（天）小中大(0,10(10,100(100,500500微数据广度评估模型数据驱动-数据价值评估符合条件用户群时间周期1234567891011用户子群A4753585256646158636784用户子群B4955565861635962655959同等用户规模随机抽样数据应用干预A上图是用户子群A和用户子群B的平均用户收入数据，同时数据干预在时 间周期11，作用于用户子群A，那么可以通过如下的A/B

17、Test评估模型， 来计算数据干预的贡献收入值，活跃度PVUV等可采用同样思路 /= 为数据干预时间周期，其中为A、B两个用户子群的历史平均差值 =( )数据收益度评估模型数据驱动-数据价值评估A/B Test评估模型存储引擎计算引擎数据应用A/BTest评估模型数据应用平台 价值指标上报游戏数据资产管理平台按指定周期，结合A/B Test评估模型，计算数据应用平台给产品带来的业务价值评分V(i)为价值指标，如活跃、流水、PV、UV等P(i)为价值指标的权重()为该业务指定周期内的价值综合评分 = ()=1价值评分（天）(20,60(60,8080,100中良优0,20差基于业务价值上报价值指

18、标采集数据驱动-数据价值评估数据驱动-数据价值评估某业务数据热度和广度的分布视图数据价值评估数据 成本大数据投入产出比ROI数据 价值推动成本优化扩大数据价值1、投入产出比ROI计算结合数据成本与价值，计算数据服务平台投入产出比，为市场化数据管理运营提供直接依据2、推动数据成本优化减少投入，推动业务方实施数据服务成本优化3、数据深度挖掘到精细化场景落地放大价值，横向对比同类产品，协助业务方结合数据服务，发掘更多业务服务场景数据驱动-数据价值评估数据价值评估的作用计算资源静态分配存在问题计算集群资源使用率较低，CPU总体使 用率偏低大部分资源池，存在着空闲时间段，且相互错峰数据驱动-运营效率提升解决方案：基于技术元数据的资源动态调度第一步：应用组的预估分配核数 () = (_ , ( (), () , _ )其中， () 为预测算法的预测值() 为当前使用+等待分配核数（当前需要资源数）_ 为分配最小保护核数（静态分配值）_ 为应用组 的初始分配值（静态分配值） () = ()/ =第二步：应用组的实际分配核数 ()其中， 为个应用组的总分配核数 ()为应用组 的预估分配核数下限上限预测基线当前参考模型特点1、上下限保护机制2、繁忙时不缩容3、充分利用冗余资源数据驱动-运营效率提升）动态分配前动态分配后任务平均耗