现代数据栈技术峰会-阿里云DataOps数据运营中心实

阿里云DataOps数据运营中心实践演讲人-李成强(愚篱)-阿里云DataFunSummit#2023CONTENT产生背景业务定义大数据平台建设带来的“数据繁荣”平台、用户、业务的正向循环，推动企业数据价值不断释放单日处理数据量单日调度实例数23000名年新增内部用户数淘宝天猫超市数据质量保障体系缺失数据安全体系不完善数据管理角色不健全数据质量保障体系缺失数据安全体系不完善数据管理角色不健全数据繁荣到数据“活起来、动起来、用起来”所面临的挑战标准规范的数据资产标准规范的数据资产安全可控的数据流通安全可控的数据流通敏捷高效的工具支撑敏捷高效的工具支撑面向企业数据研发管理部门，以DataOps为理念，以Dataphin/DataPro工具平台为支撑，提供一站式技术服务，构建企业级数据资产建设与运营能力，激活数据资产的流通和使用，促进企业数据价值化。标准流程标准动作工具支撑敏捷化客户第一增量交付更低门槛融合化研发与治理业务与技术管理与应用精益化减少浪费价值驱动持续优化智能化数据驱动算法辅助总体框架子方案&工具平台总体评价指标建运一体以运促建数据应用建设数据中台建设数据稳定性治理数据成本治理数据安全治理数据质量治理数据资产运营服务方案技术能力工具平台建运一体以运促建数据应用建设数据中台建设数据稳定性治理数据成本治理数据安全治理数据质量治理数据资产运营服务方案技术能力工具平台云产品数据运营中心，为客户提供从“建设”、到“治理”、再到“运营”，一站式、陪伴式技术服务建好数建好数，用好数大数据平台建设大数据平台建设分层分域模型设计流批分层分域模型设计流批体湖仓体分库分表分库分表数据权限数据权限数据探查数据建模数据开发数据探查数据建模数据开发数据集成数据集成代码扫描代码扫描数据校验监控分析驾驶舱分析应用决策应用监控分析驾驶舱分析应用决策应用数据门户数据门户预警应用预警应用链路监控应急处链路监控应急处理调度优化代码优化变更发布变更发布资源优化资源优化数据质量数据安全数据质量数据安全数据标准数据标准资产盘点资产编目资产盘点资产编目资产评价资产评价自助分析元数据主数据资产共享资产交换数据模型自助分析元数据主数据资产共享资产交换数据模型MaxcomputeDataWorksHologresDatahubQuickBIFlinkEdasDataV云效ADBACKRDS资产管理是资产管理是否 ADSADS:匹配业务需求CDM:OneData建模ODS:数据上云&标准化ADSADS:加速数据库ADSADS:匹配业务需求CDM:OneData建模ODS:数据上云&标准化Dataphin生产环境贴源层与源端保持一致 查找&消费 业务视角准资产准资产(待完善信息)企业数据门户领导驾驶舱业务监控预警数据分析类应用企业数据门户领导驾驶舱业务监控预警数据分析类应用企业营销端数据企业生产与供应链端数据外部共享交换数据建议统一的大数据平台、可复用的数据中台、低门槛的数据应用产品，高效率的满足客户数据需求数据要素交易安全交易风险监控机构合规审查数据生产安全敏感等级智能识别安全审计计算资源监测与治理平台应用监测与治理组件运行监测与治理任务运行监测与治理存储健康分计算健康分成本分摊以数据资产价值评估模型为牵引，构建持续数据资产治理与运营能力，让数据“动起来、用起来”模型质量数据测试数据质量代码质量数据治理流程数据运维监控流程资产流通运营流程业务监控预警数据消费数据运业务监控预警数据消费数据运营管理全域元数据中心数据生产提供数据资产从“可见、可知、可用、可评、可管”的业务用数闭环体验库表订阅接口订阅库表订阅接口订阅数据交换资产目录规划资产目录规划资产分类分级资产分类分级资产上下架资产上下架资产在线运营资产在线运营离线元数据实时元数据MaxCompute/Dataphin/DataWor以评价指标模型为牵引，让数据运营中心的价值“看得见”大数据平台建设建设完整度使用产品组件使用率数据中台建设盘数据数量覆盖率汇数据数量汇集率建资产沉淀公共数据资产数量资产复用率数据开发效率提升比率用资产可用数据资产数量自助式服务占比需求平均满足时长数据应用建设覆盖情况累计服务用户数累计部门数覆盖率活跃度使用深度平均使用时长数据稳定性治理过程基线设置率效果基线破线率平均产出时长数据成本治理资源使用率数据存储资源使用率数据计算资源使用率数据安全治理分类分级覆盖率标识率数据安全防护防护率数据权限治理完成率安全日志监测日志接入率数据安全风险自动识别数数据质量治理定标准覆盖业务范围数据质量业务标准完成率建规则数据质量规则数数据质量校验任务数推改进质量问题解决率XX%看效果质量分提升率故障次数故障影响时长数据资产运营可见上架资产总量可知可知资产占比查看资产数推荐资产渗透率兴趣用户感兴趣资产占比使用资产使用占比忠诚高活跃资产占比持续服务价值创造++++项目起航项目起航+DataVDataV可视化财务数据中台财务数据中台+深化数据应用建设深化数据应用建设数据运营中心数据运营中心