付成勇 - 大型企业集团数据管理的探索与实践_W

1、大型企业集团数据管理的探索与实践全球敏捷运维峰会 成都站演讲人：付成勇目录Directory2数 据 管理趋势与挑战1智能战略介绍34数据平台规划项目实践分享全球敏捷运维峰会 成都站1智能战略介绍全球敏捷运维峰会 成都站长虹智能战略 数据处理能力Z(协同化)智慧社区智慧家庭 数据接口能力个人强调系统集成，进行商业模式创新，形成智慧家庭、智慧社区、智慧城市的系统解决方案，并以基础为智能终端用户和系统集成用户提供更智能、更贴心的服务 创造全新商业模式长虹物联运营支撑平台UP(United Platforms)智能终端传感器接口X(智能化)强化协作创新，开展广泛的外部合作， 通过IPP软件平台和云服

2、务大数据平台，实现智能终端产品的连接、协同、交互，构建家庭互联网系统Y(网络化)大数据终端云平台 黑电智能化 白电智能化 新型智能终端强调依托产业集团，打造软件平台，形成终端+平台+应用+内容的产业生态， 实现产品的差异化全球敏捷运维峰会 成都站2数据管理趋势与挑战全球敏捷运维峰会 成都站全球敏捷运维峰会 成都站从数据管理的角度来看，国有大型银行、电信领域是最早建立统一数据标准和数据模型的行业 。 数据管理趋势部分行业数据应用状况数据来源：中国信息通信研究院数据平台数据管理体系数据应用组织机构银行2000 年开始建立数据仓库。2007 年建立了全行统一的数据体系。2013 年搭建Hadoop

3、信息库。2014 年研发了流数据平台，具备实时大数据应用能力。1996 年即成立软件开发中心专注电子化建设。运营商2011 年开始建立数据仓库。2012 年开始整合全国数据建立大数据中心。2015 年开始运营数据，与各行业结合做大数据应用。2017 年成立专门的大数据运营公司。电网2014 年开始大数据平台试点。2009 年启动国网SG-CIM 模型和主数据标准研究。2015 年开始大数据应用的建设和推广。2013 年成立专业的大数据团队，负责服务内部和外部客户。石化2016 年打造云计算大数据平台。2016 年启动 ERP 系统主数据管理平台。2015 年宣布借助互联网企业打造数据商业服务新

4、模式。早期即建立信息化管理部， 无专门数据管理部门。互联网2004 年开始建立数据仓库。2010 年引入Hadoop&Hive 平台进行新一代的数据平台的构建。2008 年，建立了数据平台，将交易核心过程进行重组，成立用户中心开展数据应用。2008 年确定了数据和云计算两个重要战略，建立全球顶尖团队，搭建全新技术架构。大数据是传统数据管理的补强，大数据应用场景适用于企业运营的方方面面，大数据从追溯静态的已知到探究动态的未知。 数据管理趋势企业数据应用状况企业数据来源企业生产数据客户用户数据企业经营数据 互联网开放数据49%47.80%42.40%34.30%营销分析客户分析运营管理企业大数据应

5、用场景数据来源：中国信息通信研究院61.70%50.20%48.40%外部购买数据政府开放数据社交平台数据16.70%13.50%11.00%供应链22.60%图形报表实时动态数据分析数 据 报 表分析历史数据企业数据分析、展现方式38.80%37.50%58.80%67.50%更智能的决策提升运营效率改善管理风险创造新业务收入企业应用大数据效果25.70%22.40%55.80%48.20%智能可视化大数据支撑决策22.50%50%提升客户满意度增强生产力21.60%21.40%全球敏捷运维峰会 成都站企业实践大数据仍步履维艰不足，包括数据采集、预处理、存储、分析、可视化的实用性差强人意。内

6、功 数据管理趋势企业大数据发展状况大数据基础平台产品逐步走向成熟大数据产品基础能力认证包括七大项：功能、运维、多租户、可用性、安全、兼容性、扩展性，2016年2015年自建大数据平台选择 数据来源：中国信息通信研究院32.70%53.90%.40%71%11%18%总共38项测试用例 。开源商业版开源社区版商业闭源软件数据清洗质量不高非结构化数据转换效率低缺乏跨界人才缺乏合适的算法缺乏数据训练模型数据产品意识薄弱数据运营待加强制约企业大数据发展的主要因素内部数据过于分散、难以集成外部数据获取成本高、质量低数据存储效率低数据存储容量小交付体验有待提高缺乏专业人才权属、隐私等政策数据资源短缺数据

7、人 才 缺 术能力不足应用模式不清晰投资效果无法考量15.90%14.30%44.10%42.60%35.10%31.20%全球敏捷运维峰会 成都站 企业数据管理 面临的问题与挑战数据资源分散数据孤岛，数据资源及管理、开发应用相对分散，数据采集、整合、分析以及数据应用没形成闭环。数据文化不强数据文化氛围不够，以数据说话， 基于数据的决策尚需强化。数据平台欠缺数据“肠梗阻”，系统间数据打通困难，数据平台投入产出效果较难评估。人才能力不足复合型数据人才短缺；数据分析、算法、数据挖掘能力不足。数据质量不高历史存量数据质量不高，存在大量重码、无效数据，治理任重道远。数据应用不够数据有效收集与应用不足，

8、数据对内的经营决策支持不够。全球敏捷运维峰会 成都站全球敏捷运维峰会3成都站数据管理规划 数据规划思路 原则、思路、对策现状与问题数据烟囱数据池塘数据自留地碎片化应用数据沼泽化数据治理 数据仓库思路与对策数据湖数据生态原则价值导向总体规划业务驱动分步实施数据文化缺失业务支撑不够交付体验欠佳人才及能力不足大数据共享中心数据工坊数据产品及服务数据汇聚全球敏捷运维峰会 成都站数据产业孵化统一管理开放共享 总体架构规划 全球敏捷运维峰会 成都站 数据应用规划 公司领导决策层HDFS标准数据产品（自有数据）作战室、驾驶舱、仪表板市场营销财务制造售后等主题融合数据产品（多源异构数据）用户画像、产品画像、竞

9、品画像、社区热力图、用户心声、销售预测数据分析报告三方数据合作、企业数据等， 提供深度数据分析报告数据服务数据工厂、数据工坊数据咨询、数据挖掘服价务值数据产品构建消费者BG 企业BG创开放Hbase造数据应用门户数面数信能Teradata据据息力开拓湖平放展DB2/Oracle SQL Server台数数据据共萃Mysql享取数据服务构建向业务用户用户第三方合作伙伴数据资源汇聚全球敏捷运维峰会 成都站 数据治理思路 管理数据的“一生一世”，实现数据全命周期管理。“1314”一体三数一化四平台一体数据治理体系建设（组织流程、制13度规范等）三数元数据主数据大数据14一化集约化管理，统一集中数据资

10、源四平台数据仓库-大数据共享中心（大数据）数据资产管理平台（元数据、数据目录） 主数据管理平台（MDM）自助分析平台（数据工坊）全球敏捷运维峰会 成都站4项目实践分享全球敏捷运维峰会 成都站 项目实践分享 数据治理成果体系规划与架构设计顶层设计建章立制数据治理体系建设数据管理制度数据标准规范数据咨询专家库建设能力培养专项治理数据治理项目群历史数据清理、归档数据权限清理全球敏捷运维峰会 成都站 项目实践分享 数据资产管理咨询规划全球敏捷运维峰会 成都站 项目实践分享 元数据、数据资产管理平台数据资产管理平台 数据展现 数据查询 数据门户 数据地图 数据资产视图系统管理 元数据管理 元数据维护元数

11、据查询元数据分析 元数据采集 数据管理 元数据导出元数据使用元数据统计 数据审查数据资产管理 数据模型数据生命周期数据资产管理规范自定义统计报表 数据采集数据仓库（FI）数据源 物流资源平台（LRP）预算费用管理平台（BRM）统一用户中心 USO、SRM、MDM主数据 长虹数据资产管理体系数据集成 全球敏捷运维峰会 成都站 项目实践分享 MDM主数据管理平台全球敏捷运维峰会 成都站全球敏捷运维峰会 成都站 项目实践分享 数据自助分析平台引入数据可视化工具，搭建自助分析平台，打造标准数据产品。围绕运营管理需求，开发各类经营分析报表推广业务单位自助分析ITIL大屏监控信息展示 项目实践分享 大数据分析产品画像电视机型画像电视特征画像受众群体画像地域分布模型产品售后体验产品优化角度生命周期预测产品受众类