超越成本：游戏数据平台效能提升之道白皮书

超越成本游戏数据平台效能提升之道目录行业背景产业愈发红布局难度加剧 1游戏数据平台发展现状 5一游戏数据平台建设发展历程⸺业务牵技术支撑 6二游戏公司数据平台建设现状 8业务建设 8技术建设 9团队建设 9三当前游戏数据平台建设痛点&挑战 10数据质量提升 10打破数据孤岛 11高效响应业务 12隐私合规要求 14游戏数据平台建设如何破局 15一游戏公司数据平台价值定位 16数据平台第一阶段建设 16数据平台第二阶段建设 17数据平台第三阶段建设 17数据平台第四阶段建设 185.总结 18二降本 19人力资源成本⸺成为懂业务的数据中台团队 19硬件资源成本⸺最大化资源利用率 21数据存储成本优化 21数据计算成本优化 23三提效数据民主化⸺让更多业务用户参与平台建设 24系统融合提效⸺业内先进技术综合降低成本 24实时迭代提效⸺节省开发资源 26数据分析效率提升 26精细化运营效率提升 30AIGC赋能游戏行业效率最大化 31海艺AI 32Mage.space 33StockImgAI 33游戏数据平台建设经典案例 34一中手游 351.客户背景352.TE系统解决方案353.落地效果354.方案价值36二、Habby1.客户背景36362.TE系统解决方案363.方案价值38三、青瓷1.客户背景38382.TE系统解决方案383.落地效果384.方案价值39四、某游戏头部企业客户案例1.客户背景39392.TE系统解决方案403.落地效果404.方案价值41游戏数据平台发展现状 42行业背景产业愈发红海，布局难度加剧2023年中国游戏市场实际销售收入达3029.64亿元，同比增长13.95%，市场呈现回暖趋势，但市场仍将面临增速不足的困境。1432023年中国自助研发游戏海外市场实际行业背景：产业愈发红海，布局难度加剧销售收入为163.666在游戏产业的严峻形势下，企业经营难度较大，主要上市游戏企业中连续多年仅6成左右企业能够盈利，其中2022年更是不足6成，企业效益被严重压缩。影响收益的投入。降低成本的行为中最具代表性的便是人力资源成本的减少，统计结果显示，越来越多的企业选择精简员工人数或维持原状，2023年仅23.1%的上市游戏企业增加员工数量。5202310009业者所在企业或项目用于技术研究与应用的投入增加。销售费用方面企业也在加码投入，2023年中国游戏产业主要上市企业销售费用同比增长15%。游戏数据平台发展现状一、游戏数据平台建设发展历程⸺业务牵引，技术支撑回顾数据平台的发展历史，本身也是一部「降本增效」的演进史。（2010年以前有游戏公司基于oraclerac买了TeradataGreenplum2010Google（GFSMapReduceBigTableHadoopHadoop平台通过其分布式计析应用的阶段。到了2016（SnowflakeDatabricksDoris二、游戏公司数据平台建设现状业务建设块。建议：技术建设的数据系统。团队建设目前数据中台在团队构建层面，基于企业规模和现状的不同，主要分为以下3种形态：减少在数据平台工具和基础数据架构的搭建工作投入，更多依赖于现成的三方平台和工具完成。减少增加增加AIDATA+AI代变化的游戏行业中抢占先机。三、当前游戏数据平台建设痛点&挑战数据质量提升对于游戏企业而言，数据质量可以从以下4个维度进行衡量：准确性情况相符。完整性业务语义。时效性维度。一致性间去验证哪个数据才是正确的。求的价值。打破数据孤岛数据孤岛指企业内部不同部门或系统之间的数据相互独立、无法共享和整合的现象，痛点：系统差异大打通数据的成本很高。数据格式杂标准统一难：不同系统的数据横跨了多个部门，难以制定统一的数据接入集成标准。业务迭代快价值落地慢则仍难以落地。高效响应业务在游戏数据分析的业务场景中，往往数据需求方与提供方会频繁产生交集。大型游戏企业的中台团队往往需要同时应对多个项目组的需求。大多数老项目较为稳却占据较多中台资源，而新项目也需要获得中台团队支持，使得中台团队在面对数据上述协作流程存在以下痛点：数据需求层出不穷人力。共性需求重复造轮子“重复造轮子的事始终存在。协作流程复杂耗时长大的浪费。数据口径难以对齐“指导业务。隐私合规要求（GeneralDataProtectionRegulation2018525202011“《加利福利亚消费者隐私法案（CaliforniaConsumerPriacyActCA2021111日生效。3个方面考量：数据安全性采集合规性及全面的数据收集能力。游戏出海合规游戏数据平台建设如何破局一、游戏公司数据平台价值定位数据平台第一阶段建设平台工具搭建BI工具等。架构设计数据的分层和分域架构设计，确保企业「统一清晰」的数据标准，保障数据质量。流动。平台工具。数据平台第二阶段建设数据开发能力建设数据加工处理，满足游戏业务方用数需求。casebycase数据管理能力建设制定数据标准和数据质量规则。制定数据治理流程。数据平台第三阶段建设数据服务能力建设数据服务是数据中台团队面向游戏业务方的统一窗口。构建游戏公司统一的一体化数据服务门户。构建游戏公司统一的一体化数据服务门户。数据资产运营能力建设促进游戏总体数据资产的使用。建立数据资产在成本和价值层面的衡量体系。数据本身不产生价值，中台团队需要聚焦在如何让数据发挥更大价值上。数据本身不产生价值，中台团队需要聚焦在如何让数据发挥更大价值上。数据平台第四阶段建设游戏全链路的数据深度服务能力建设进入游戏业务的深水区，通过数据驱动业务增长。DATA+AI能力建设DATA+AI预判和决策。总结ROI的方式完成前期两阶段的工作。二、降本人力资源成本⸺成为懂业务的数据中台团队目前游戏数据中台的人力资源大致按照上面的比例进行分配，日常的数据开发治理和常规的数据报表和分析需求的满足会占据团队的人力资源大头，只有少部分的精力可以投入到离业务更近的深度分析和应用场景以及「DATA+AI」在业务侧的探索和应用。这样的资源划分已不太能适应当下行业「降本增效」的大环境，数据平台面临着以下核心挑战：数据开发治理以及常规数据业务需求的满足很难体现到真正的业务价值上，这部分的价值很难衡量。较多的人力投入在被动地满足业务方数据需求，伴随着业务方数据需求的持续增人力资源与常态化业务数据需求的满足之间的投入产出比不高，进一步加剧了公司对于数据平台业务价值产出的挑战。以及垂直的业务深度中。AI数数科技提供一站式的从用户行为分析→用户画像→精细化运营触达的业务闭环工具，以及数据采集->数据清洗->数据建模→数据计算→数据可视化为一体的数据底层：用户行为分析用户画像&进行深度的挖掘。精细化运营触达系统能够基于分析结果和特征群体，通过AppPush（Email完成实时的效果回收和分析。API真正懂业务的数据中台团队。硬件资源成本⸺最大化资源利用率成本优化。数据存储成本优化化地利用不同存储载体的性能。由于越接近实时的热数据对于存取的性能开销越大，而历史数据因被读取使用的场景SSD磁盘的性能最强，成本最高，因此可仅存取最近N小时的数据。1AlluxioLocalCacheLocalCache能。TEROI1个月内的热数据。同时在本地集群中为了支持数据秒级别的实时写入，会基于kudu组件构建实时存储层，该部分数据只会维护最近3小时的数据，超过3小时的数据会自动沉降到本地HDFS中，这样可以充分利用SSD存储性能的同时控制好成本。低海量数据的存储成本。数据计算成本优化数据查询的一个比较大的特点是随时间的波动非常大，例如某出海游戏公司的数据平台在UTC-0T+1898的策略实k8sAWS的EKSASKTKETE系统目前已经适配了所有主流云厂商上的原生化框架以及自建k8s生态，能够实现以下核心能力：将支持在30秒内完成计算节点的动态扩缩本。4支持云上无状态spot（1/10～1/5三、提效：数据民主化⸺让更多业务用户参与平台建设系统融合提效⸺业内先进技术综合降低成本业务发展导致平台适配性不足数据平台成本难以持续优化于最新的技术和组件也能够可插拔式地快速引入，这样对于不可预见的业务场景也能够TETETETETETE系统的核心引擎⸺TrinoTE实时迭代提效⸺节省开发资源数据分析效率提升数据中台团队一般会采用以下的业务模式来满足需求：发完成后写入到BITableauBIMPP席查询能力通过SQLIDE工具直接暴露SQL来获得想要的数据结果。SQL的ad-hocSQLSQL也需要花费较长的时间，如果写出来的SQL例如有严重的笛卡尔积问题，也会对数据平台本身的查询资源产生极大的浪费。SQ的数据需求。SQL功能来解决非常复杂的业务场景需求。开发工作。数数科技的TESQLTE“注册首日不同等级玩家的次日留存SQL要100...约100行SQL代码 标签+留存模型...在熟练使用TE系统后，原来的业务需求只需要现有1/3的人力来支撑即可，剩余人员可以投入到AI应用研发等其他高价值工作中。精细化运营效率提升需要长时间的开发周期和高成本的持续投入。在传统的营销方式中，营销工具之间功能割裂，业务流程及数据互不打通，无法实现一站式的全渠道自动化游戏运营。通过TER。30%。TE50AIGC赋能游戏行业效率最大化AIGCTop50AIGCAI%的受访者所在公司/部门所使用的AIAIAIAI技海艺AIAIAIGCAIAIAI角色生成：可以根据预设的风格和特征，快速生成多样化的游戏角色，满足不同游戏类型的需求。沉浸式的体验。道具制作：自动生成各种游戏道具，增加游戏的丰富性和趣味性。Mage.spaceMage.space以其强大的可视化界面和用户友好的操作流程，使得非技术背景的用户也能轻松地创建和编辑游戏内容。3D环境构建：能够自动生成复杂的3D环境适应性：Mage.space生成的环境能够根据游戏剧情和玩家行为进行动态调整，提供更加真实的游戏体验。StockImgAIStockImgAI专注于提供高质量的图像生成服务，其AIGC技术能够根据用户输入的描述或关键词，快速生成具有商业价值的图像。角色立绘生成：StockImgAI能够根据角色设定，生成具有独特风格的角色立绘，丰富游戏的视觉表现。场景插画制作：它自动生成与游戏场景相匹配的插画，提升游戏的艺术性和叙事性。图形资源库构建：StockImgAI构建了一个庞大的图形资源库，为游戏开发者提供了丰富的视觉素材选择，加速了游戏开发流程。游戏数据平台建设经典案例客户背景客户内部产品具有大DAUTE系统解决方案TEIDC存储资源做集中规划，落地效果使用过保低配集群存储冷数据，该部分数据存储成本一半以上。方案价值Alluxio集群或LocalCache的方式做加速。降低数据存储成本。客户背景HabbyTE系统解决方案TE系统的三方集成模块提供了一系列第三方广告平台的集成能力，可以将这些平台的广告投放与广告变现数据同步到TE系统中来。目前支持一键集成的第三方平台：方案价值TEAPI接口将游戏上下游的数据汇聚到同一个系统中并完成数据的mappingROI分析。客户背景青瓷内部的数据应用场景存在客服系统通过API的方式调用查询引擎来获取玩家的API请求的业务波动性特征以及APIAPIAP