数据治理与大数据平台设计方案

数据治理

大数据平台设计议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计1数据治理背景大数据时代凸现数据重要性数据治理是大数据的基础2信息孤岛现象严重数据质量问题严重345数据应用未得到有效管理6数据安全问题日益严峻数据治理意识到了问题的严重1数据治理现状2

“维持”代替“管理”3

历史“包袱”沉重4

相关方利益交织，协调困难方案规划容易，落地困难过度依赖技术工具对于数据没有明确区分议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计组织Organization流程、活动与机制Process&Activities&Mechanism计划、制度与标准规范Plan&Rule&Standards技术平台与工具Platform&Tools数据治理要素数据治理策略获得支持引入外援找到“痛点”确定“起点”责任到人持之以恒绩效评估••910、要阅学读生一做切的好事书，如教同职和员过躬去亲最共杰出做；的人要谈学话生学。:33:4817:37/14/20215:33:48PM317:33:4817的知识，教职员躬亲共学；要学生守的规则，教职员躬亲共守。14,2021uyadse,nd.W41.7.12417.12Jely••1112、一要个记好住的，教你师不，仅是一教个课懂的得教心师理，学也和是教学育生学的的教人育。者7:33J2l-2114Jul-21-u1.7.1417:33:481，生活的导师和道德的引路人。17:33:4817:33:4817:33Wednesday,July14,202113•、ewhoseizetherightmoment,istherigHtman.h谁把握机遇，谁就心想事成。21.7.1421.7.1417:3:4817:33:43July14,2021814、谁要是自己还没有发展培养和教育好，他就不能发展培养和教育别人。2021年7月14日星期三下午5时33分48秒17:33:4821.7.14•• 、提出一个问题往往比解决一个更重要。因为解决问题也，仅是一个数学上或实验上的技能而已，而提出新的问题，却需要有创造性的想像力，而且标志着科学的真正进步。年月日星期三时分秒1202yluJ4184:33:718433541712021y1uJ33:714.7.12l1202,433分5时午下7月2120年。人树如莫许计之身终；木树如莫，计之年十；谷树如莫，计之年一6151、儿童是中心，教育的措施便围绕他们而组织起来。下午时分秒下午时分41.7.1284:33:7133584335712、Our

destiny

offers

not

only

the

cup

of

despair,but

the

chalice

of

opportunity.(RichardNixon,AmericanPresident)命运给予我们的不是失望之酒，而是机会之杯。二〇二一年六月十七日2021年6月17日星期四•••3、Patience

is

bitter,but

its

fruit

is

sweet.(JeanJacquesRousseau,Frenchthinker)忍耐是痛苦的，但它的果实是甜蜜的。10:516.17.202110:516.17.202110:5110:51:196.17.202110:516.17.20214、All

that

you

do,do

with

your

might;things

done

by

halves

are

never

done

right.----R.H.Stoddard,Americanpoet做一切事都应尽力而为，半途而废永远不行6.17.20216.17.202110:5110:5110:51:1910:51:19

5、You

have

tobelieve

inyourself.That"s

thesecretof

success.----CharlesChaplin人必须相信自己，这是成功的秘诀。-Thursday,June17,2021June21Thursday,June17,20216/17/2021•实事求是确定方法做好绩效标准先行使用工具奖惩机制经验总结数据治理实施建议*数据质量提升是目标*主数据管理是关键*元数据管理是基础议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计什么是元数据元数据的定义技术元数据业务元数据操作元数据为什么要进行元数据管理Why?123456数据的参考框架解决数据模糊性可视化数据流动影响和血缘分析推进标准化建设规范化数据审计1.2.3.4.5.6.经验分享标准先行全局治理尽快见效高层支持业务参与奖惩机制数据定义标准化数量月销售量销售＋

＋词素月标准单词对象词素词素量词素分析原属性名(标准化对象)标准域数量类型：数字型长度：19，0分类词＋标准用语月度销售数量类型：数字型长度：19，0修饰词标准单词

标准单词月度

销售标准单词数量标准单词月度销售数量分类词(域)数据定义标准体系标准单词标准用语

标准体系标准域数据模型标准化结构实体、属性、关系、主键，范式化等命名规则、用语词典、标准域等管理数据管理政策、方针等配置管理、版本管理等质量准确性、完整性、实时性、一致性应用查询结果的准确性、使用便利性、查询结果的迅速性模型设计标准实施路线模型优化模型诊断设计规范设计指南按照模型设计规范和指南统一设计企业内部数据模型元数据管理系统可使用可管理可控制模型要素关系定义规则应用系统审核、评估、发布提交反馈指导库元数注脚数据册本据库元同服设数步务计据标准规范标准化体系（数据定义&模型设计）制定完善引用元数据管理工具的选择元模型易于扩展界面友好安全和系统管理配置管理发布、查询、报表功能平台开放提前试用议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计什么是主数据

企业主数据分散存储在企业各系统内，对企业至关重要的核心业务实体的数据，比如客户、合作伙伴、员工等关键分散缓慢共享主数据类型当事人事物地域财务和组织主数据与参考数据

参考数据可以是主数据，但不一定是主数据为什么要作主数据管理数据冗余难亍应变阻碍业务数据冲突Why?如何做好主数据管理经常遇到的问题如何做好主数据管理识别并管理主数据相关方整理并分析主数据的生命周期识别主数据含义、上下文、类型主数据实施流程运行维护项目实施主数据识别数据梳理项目实施要点•选择工具•定制开发•制定标准规范•确定组织架构申请维护主数据管理系统注册

准入审批访问服务查询安全管理匹配查重CRM数据校验人事管理流程组织机构统一数据共享标准规范强化决策支持主数据管理体系提升数据质量数据导入ERP数据分发……版本管理财务通知废弃议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计数据质量问题数据质量1、数据的值域3、数据的完整性5、业务规则7、数据转换2、数据的定义4、数据的有效性6、结构完整性8、数据流业务部门统计部门（业务部门）负责业务规则的制定，在业务层面统管数据质量和安全。技术主管部门技术部门负责数据集成、使用等过程中的数据质量，并对数据质量报告进行定期发布。评审委员会技术部门设置评审委员会，对数据方面的变更进行管控，具备技术方案否决权。组织架构设计业务与技术部门各司其职，共同做好数据质量管理工作应用服务数据质量治理流程数据录入/质量检查生产库

后台库复制数据仓库ETL短信通知录入修改确认技术主管部门《数据质量管理规范》二级检控一级检控短信通知业务部门管理员策略Description

ofthe

contents方法策略和方法反面影响和正面的效果征得了领导层关注改进工作分布实施，循序渐进数据质量报告定期发布应用系统需求和架构经过严格评审系统的数据结构变更需要进行严格评估数据发生变更时，通报所有相关方Description

ofthe

contents技术手段从源头改起，形成良性循环24小时监控，及时按照预案处理问题多环节设置数据质量监控功能短信及时通知相关业务人员核对问题BI系统不断整合不断改进工具软件最佳实践从数据剖析（Profiling）开始尽量使用工具进行数据剖析数据剖析工作需要持续开展数据集成过程也需要进行数据剖析数据质量评估和改进需要被动和主动两种方式最佳实践得到高层的支持关键数据先行，渐进开展在数据的“上游”解决质量问题

“防患于未然”优于“后期治疗”数