年数据库技术大会_万振龙：数据治理与大数据平台设计40

1、1数据治理大数据平台设计2议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计3数据治理背景1大数据时代凸现数据重要性数据治理是大数据的基础2345信息孤岛现象严重数据质量问题严重数据应用未得到有效管理6数据安全问题日益严峻数据治理4意识到了问题的严重1数据治理现状2 “维持”代替“管理”3 历史“包袱”沉重4 相关方利益交织，协调困难5 方案规划容易，落地困难6 过度依赖技术工具7 对于数据没有明确区分5议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计6数据治理要素7数据治理策略获得支持引入外援找到“痛点”确定“起点”责任到人持

2、之以恒绩效评估8经验总结实事求是实事求是确定方法确定方法做好绩效做好绩效标准先行标准先行使用工具使用工具奖惩机制奖惩机制数据数据治理治理9实施建议*数据质量提升是目标*主数据管理是关键*元数据管理是基础10议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计11什么是元数据 元数据的定义 技术元数据 业务元数据 操作元数据12为什么要进行元数据管理Why?123456数据的参考框架解决数据模糊性可视化数据流动影响和血缘分析推进标准化建设规范化数据审计13经验分享1.2.3.4.5.6.标准先行全局治理尽快见效高层支持业务参与奖惩机制14数据定义标准化数量月销售量月

3、销售量标准单词对象词素词素词素词素分析原属性名(标准化对象)标准域数量类型： 数字型长度： 19，0分类词月度销售数量标准用语月度销售数量类型： 数字型长度： 19，0修饰词标准单词标准单词标准单词标准单词月度销售数量分类词(域)15标准体系数据定义标准体系标准单词标准域标准用语16数据模型标准化结构结构管理管理实体、属性、关系、主键，范式化等命名规则、用语词典、标准域等数据管理政策、方针等配置管理、版本管理等质量质量准确性 、完整性、实时性、一致性应用应用查询结果的准确性、使用便利性、查询结果的迅速性模型设计标准17模型优化实施路线模型诊断设计规范设计指南按照模型设计规范和指南统一设计企业内

4、部数据模型18可使用可使用可管理可管理可控制可控制模型要素关系定义规则应用系统应用系统注注册册元元数数据据库库脚脚本本同同步步指指导导数数据据库库设设计计审核、评估、发布元数据管理系统元数据管理系统提交反馈标准化体系（数据定义&模型设计）元元数数据据服服务务标准规范制定完善引用19元数据管理工具的选择元模型易于扩展界面友好安全和系统管理配置管理发布、查询、报表功能平台开放提前试用20议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计21什么是主数据 企业主数据分散存储在企业各系统内，对企业至关重要的核心业务实体的数据，比如客户、合作伙伴、员工等 关键 分

5、散 缓慢 共享22主数据类型当事人事物地域财务和组织23主数据与参考数据 参考数据可以是主数据，但不一定是主数据24为什么要作主数据管理数据冗余难亍应变数据冲突阻碍业务Why?25如何做好主数据管理经常遇到的问题26如何做好主数据管理识别并管理主数据相关方整理并分析主数据的生命周期识别主数据含义、上下文、类型27主数据实施流程运行维护项目实施主数据识别数据梳理项目实施要点选择工具选择工具定制开发定制开发制定标准规范制定标准规范确定组织架构确定组织架构28申请维护主数据管理系统注册 准入审批访问服务查询安全管理匹配查重CRM数据校验人事管管理理流流程程组组织织机机构构统一数据共享统一数据共享标准

6、规范标准规范强化决策支持强化决策支持提升数据质量提升数据质量主主数数据据 管理体系管理体系数据导入ERP数据分发版本管理财务通知废弃29议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计30数据质量问题数据质量1、数据的值域3、数据的完整性5、业务规则7、数据转换2、数据的定义4、数据的有效性6、结构完整性8、数据流31业务部门统计部门（业务部门）负责业务规则的制定，在业务层面统管数据质量和安全。技术主管部门技术部门负责数据集成、使用等过程中的数据质量，并对数据质量报告进行定期发布。评审委员会技术部门设置评审委员会，对数据方面的变更进行管控，具备技术方案否决权。

7、组织架构设计 业务与技术部门各司其职，共同做好数据质量管理工作32应用服务数据质量管理规范数据质量管理规范 二级检控数据质量治理流程数据录入/质量检查生产库 后台库复制数据仓库ETL一级检控短信通知录入修改确认技术主管部门短信通知业务部门管理员33策略和方法策略Description ofthe contents方法反面影响和正面的效果征得了领导层关注改进工作分布实施，循序渐进数据质量报告定期发布应用系统需求和架构经过严格评审系统的数据结构变更需要进行严格评估数据发生变更时，通报所有相关方Description ofthe contents34技术手段从源头改起，形成良性循环24小时监控，及时按照预案处理问题多环节设置数据质量监控功能短信及时通知相关业务人员核对问题BI系统不断整合不断改进工具软件35最佳实践从数据剖析（Profiling）开始尽量使用工具进行数据剖析数据剖析工作需要持续开展数据集成过程也需要进行数据剖析数据质量评估和改进需要被动和主动两种方式36最佳实践得到高层的支持关键数据先行，渐进开展在数据的“上游”解决质量问题“防患于未然”优于“后期治疗”数据质量报告要大范围发布37议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计38关于大数据的几个问题 什么是大数据 大数