程永新 - 数据资产化管理和运营之道

2017，一方面AI风起云涌然而，另一方面，我们大多数企业的数据并没有真正体现价值2015年2016年2017年(预估)极为初级33%即将快速扩张31%40%24%稳步成长中20%26%爆发增长中9%23%达到一个顶峰，上升力4%7%达到一个顶峰，将下降和幻灭5%0%4%数据来源：2015-2017年大数据发展阶段判断--中国计算机协会大数据专家委员会数据资产管理缺失，令企业IT系统数据黑盒化问题突出数据质量低下，脏数据、错数据质量低下，脏数据、错误数据影响分析精度据无法理解和运用，数据分析无从入手数据中心？数据沼泽？过多企业敏感数据存在，过多企业敏感数据存在，数据访问不受限制，数据安全问题突出以使用于分析和应用的数据只是冰山一角我们感觉企业数据资产管理存在问题，但是不知道差距在那里，该做些什么？定义了各种的数据资产管理活动，企业该怎么落地实施？怎我们感觉企业数据资产管理存在问题，但是不知道差距在那里，该做些什么？定义了各种的数据资产管理活动，企业该怎么落地实施？怎做什么做什么？各种的制度和流程制定以后，企业内部怎么样持续地执行下去？4.数据共享畅通流动、应用呈现l整合企业内外部数据；l企业内数据分享和应用能力；l提升企业数据的活性和价值。4.数据共享畅通流动、应用呈现l整合企业内外部数据；l企业内数据分享和应用能力；l提升企业数据的活性和价值。运营资产盘点、安全可视l不同层面(安全，存储等)的数据资源运营；运营；l使企业数据资产达到最佳的利用价值。架构打破黑盒、建立规范l构建数据资产管理组织架构；l梳理企业数据模型，打破数据黑盒；l建立数据架构管理规范。实现企业级数据资产化管理与运营的全生命周期交付l企业内的数据增值，强化自身业务；l企业间的数据跨界合作，实现共赢。变现跨界合作、价值变现l建立企业数据标准；l建立企业元数据管理体系；l建立数据质量体系，提升数据质量。治理规范落地、质量体系共享 业务推广计划分析Who?CDO质量优化交付 业务推广计划分析Who?CDO质量优化交付物评审基础架构数据架构 标准制定2017数据模型是打破数据黑盒的入口业务流程和业务需求的集合 分析业务层面，主动识别、定义业务根据概念模型，设计数据实体和数据属性，着重于系统的逻辑实现，不考虑物根据概念模型，设计数据实体和数据属性，着重于系统的逻辑实现，不考虑物理属性具体设计表、视图、字段、主/外具体设计表、视图、字段、主/外键、索引等物理对象0102逻辑模型03业务数据地图数据建模模型实施模型稽核变更管理在IT建设全生命周期中，全方位落地数据架构管控数据建模模型实施模型稽核变更管理 模型发布模型发布SQL评审模型评Yourtitle数据架构管控落地“四大王牌”最佳实践评审上线系统应用版本中新增的SQL，分析出其中有潜在性能问题的SQL并提交相应的优化建议到开发团队。析以最新发布数据模型基线作为基准，稽核生产数据库对象是否按模型基线建立，分析其中的差异.2.模型评审1.SQL评审3.版本管理4.稽核分析审评审所有涉及数据模型的变更，分析其中有问题的数据模型物理和逻辑设计，提交开发团队整改。整合版本中已经通过评审的数据模型设计变更，发布最新版本的数据模型基线，所有模型基线版本可管理和可回溯发和运维效率据的可信度和质量数据共享更于便利2Star.从建设企业级数据标准开始完善数据治理发和运维效率据的可信度和质量数据共享更于便利 企业数据标准 关联查询企业数据模型、数据标准与元数据管理一起，共同构建全关联查询姓CRM姓CRM权限集中式管理敏感数据自动识别和敏感目录管理安全环境角色脱敏策略帐号认证数据的用户、权限管理TEDDATETEDDATE/19962000非安全环境TEDDATE682动态脱敏静态脱敏敏感数据数据安全管理平台，实现敏感数据的自动化识别、脱敏和管理智能扫描发现敏感数据，省事可靠让数据不会再泄露前月+2,其他数据存放到历史数据库”控平台：“到时间了，开始工作前月+2,其他数据存放到历史数据库”控平台：“到时间了，开始工作”配置一个作业，并且安排在每月3日的凌晨3点执行”4.作业监控管理员：“看看昨晚干得怎么样”SQL全生命周期优化从源头上保证数据高性能访问和应用优化前移规范落地自动化工具SQL优化从上线运维建立适合企业自身SQL分析和优化的阶段前移到应用开发的SQL开发规范，将其切实落地并持降低对DBA的依赖题SQL上线引发诸多性能问题。续执行。和资源。明细存储数据共享服务享存储：Hadoop/MPP/RDBMS等传统数据采集加载大数据采集加载数据采集其他数据微博微信数化数据明细存储数据共享服务享存储：Hadoop/MPP/RDBMS等传统数据采集加载大数据采集加载数据采集其他数据微博微信数化数据与挖掘组织架构用组织架构用户与供应商数据报告数据报告行业趋势用户标签产品定用户标签产品定价分析用户行为分析数数据共享平台据据源企业内外各种数据源，包数据，效整合到一起依合，不同不一据产品定义、产品定价、数及数据对业务应用数据提取其他地市/厂家共享北向共享IBC数据仓库业务应用数据提取其他地市/厂家共享北向共享IBC数据仓库多数据源关联模型计算HIVE/SPARKSQL互联中心呈现门户网管数据分享案例(待补充1P)ODM模型计算SPARKSTREAMINGSPARK南向数据接入层非实时数据采集：Flume数据源实时数据采集：Kafka数据关联中心应应用层心业务数据告警资源投诉性能工单通过企业数据共享，为企业内数据分析应用带来的收益更多数据连接更快捷数据整合更简单数据价值评估更多数据交换更多数据产品定义更安全数据管理更准确数据分析计费5Star.跨界合作推动转型升级对内增值驱动企业主营业务跨界合作企业间的数据共享üüüüüü全面租售企业数据