数据治理行业实践白皮书

一、数据治理是数字化转型的必经之路 1(一)数字全球化催生数字治理需求 1(二)中国数字时代治理新范式 2 3(一)DAMA体系 4(二)信通院数据治理服务商成熟度模型(DGS) 5(三)国家标准：数据治理规范 7(四)数据中台 7(五)数据治理与数据中台 8 9(一)构建数据标准体系 9(二)提升数据质量 (三)推动数据安全体系建设 (四)推动数据资产体系建设与管理 (五)推动数据管理组织体系建设 (六)促进数据应用及共享 (一)数据治理架构 (二)数据治理模式 1.数据治理模式介绍 2.数据治理模式对比 3.数据治理模式选择 (三)数据治理实施路径 (四)数据治理项目交付步骤 1.项目交付组织建议 2.项目交付步骤 3.项目交付成果 五、数据治理保障体系 (一)组织体系保障 (二)制度体系保障 六、数据治理平台工具 (一)数据治理平台工具全景图 (二)袋鼠云数据治理管理平台 2.数据开发 5.元数据管理 6.数据质量 7.数据服务 七、数据治理行业实践 (一)金融行业数据治理实践 1.银行机构数据治理实践 2.证券公司数据治理实践 3.基金公司数据治理实践 (二)集团型企业数据治理实践 1.某央企数据治理实践案例 2.某旅游投资集团数据治理实践案例 3.某控股集团数据治理实践案例 (三)制造行业数据治理实践 1.某汽车制造企业数据治理实践案例 2.某芯片制造企业数据治理实践案例 3.某半导体企业数据治理实践案例 1.某市住建局数据治理实践案例 3.某市数据治理实践案例 (五)港口行业数据治理实践 1.某大型港口数据治理实践案例 2.某码头数据治理实践案例 (六)教育行业数据治理实践 1.某高校数据治理实践案例 工业制成品贸易到中同品贸是数字推术优势与防动代员属可督代性通少增强产业错供应以进一步代的国系中国工人w10,0204n表1技术革命与经济全球化资料来源：《全球数字治理白皮书(2022年)》中国信息通信研究院《全球数字治理白皮书(2022年)》基于此，信通院在《全球数字治理白皮书(2022年)》首次尝试提出全球技术应用多利益攸关方模式主权国家、标准组织、平台企业技术社区，学者智库共同参与规范、规则、标准、程序及执行机制治理机制治理议题图1全球数字治理体系框架资料来源：《全球数字治理白皮书(2022年)》(二)中国数字时代治理新范式字化的全面协同与跨部门的流程再造，形成"用数据说基础制度的“四梁八柱”,将充分激活数据要素价值那么何为数据治理?数据治理包含哪些模块?本章将结合目前市面上比较作为数据管理十大知识领域的中心，负责知识领域的平衡和一致性。数据治理数据安全图2DAMA数据治理框架图资料来源：《DAMA数据管理知识体系指南(第2版)》沟通和实施数据管理的原则、政策、程序、指标、工具和责任；监控和指导政策合规性、数据使用和管理活动。是距离较远，更像是纲领性的介绍，因此对于如何进行数据标准的制定以及如何进行数据资产的评估都缺少具体的描述。数据管理协会(DAMA国际):《DAMA数据管理知识体系指南》,机械工业出版社2020年版目实施运维的流程为主线，融合数据治理核心能力，包括6大能力域、21个能力项，其中6大能力域遵循一般性数据治理项目流程，具体如下：4.方案设计能力域是数据治理项目的核心环节，提供方通过制定相关规范6.成果交付能力域包括试运行、成果验收2个能力项。1/6大领域己日个能力项//1/6大领域己日个能力项//数据标准数据质量数据安全风险管理试运行资料来源：《DAMA数据管理知识体系指南(第2版)》规范和评估标准。对于企业来说，不管是想自己做数据治理，还是通过服务商来实现部分数据治理工作，DGS都提供了一套相对全面的参考指南。目前数据治理提供商的数据工程服务能力优势集中于数据资源评估、数据质量、数据标准等能力项。O杭州玳数科技有限公司单们地量：新工临机市余机区已的伍通余航8201号5超中MB0星-5中国而尔其验皇《信息技术服务治理第5部分：数据治理规范》(GB/T34960.5-2018)(四)数据中台人工智能、大数据等技术发展和企业数字化转型加速的双重驱动下，2019年，;广义来看，数据中台是一套运用数据推动企业数字化转型升级的机制和方法数据应用数据安全管理数据运营管理即常直询日志数据网页及埋点数据图5数据中台核心架构图资料来源：艾瑞咨询《2022年中国数据中台行业研究报告》实现数据汇聚、治理、运营的架构。这与艾瑞化转型的模式。那么数据中台该如何落地?如何与数据治理有机结合呢?我们认题大第与完管专题及工具正(二)提升数据质量(六)促进数据应用及共享(一)数据治理架构t专题及工具得三项核心内容图7袋鼠云数据治理框架图治理管理体系"的过程。各IT系统获取业务活动产生的各类数据后，经过系统据应用核心，数据治理平台工具为支撑，在数据治理组织/应用层数据治理数据源应用层数据治理数据源领导驾驶仓(经营分析)物流管理数据治理与职责数据治理制度与流程理数据治理能力管t数据资产沉淀数据服务能力口图8数据治理蓝图架构示例(二)数据治理模式数据治理模式是指企业基于不同的数据治理目标，根据企业组织、据应用的现状，以何种数据治理策略开展数据治理活动。根据袋鼠云8年的实践制定全方位策略，哪些新建系统、新购数据源?哪些需化、标准化现有数据?哪些数据需求落地可行性较高?制定全面的规划体系，划tttt以装解架构大理开解图”肃点以装解架构大理开解图”肃点以其的款医用为面开展责产常点组合模式一：模式一&模式二组合，即全域数据治理+明确应用场景规划。这种模式兼顾底层数据与上层应用，可对冲底层数仓重建的部分风险，同时可有效地阐述数据价值，整体可行性较高。组合模式二：模式一&模式三组合，即全域数据治理+全面应用场景规划。这种模式从现在、未来的角度全面开展数据治理，业务、数据全面覆盖，返工重建风险小，同时有助于推动业务系统、数据全面升级，业务价值较高，但对组织协同要求高，且成本投入高、耗时久，对执行团队要求高，复合型人才需求大，属于高风险高收益模式，需要企业高战略、高执行的推进落地。合接式合接式一)全可款据治，新确应用场其是转细出病式二：尘以其其之明，学间以用维黄能+--2.数据治理模式对比三大数据治理模式开展方式、适用场景、优劣势、资源投入各不相同。模式一，自下而上，切入方便，成本可控，重架构，但脱离应用，对执行团队架构能力要求较高，成效慢；以基单表aa.大用知全面aas*.编入方量再作的间路中明入方费a未a,ai人量nta.aa国建库排用价情中转大bn3.数据治理模式选择治理水平包括数据基础(数据量、数据质量等)以及数据治理能力，数据治理能力主要体现在数据治理团队专业度以及数据治理体系(组织、制度及流程)完善数探油理满足应用全需所型相织联状数据孤状应用现状期镇方南企业各阶层(高层、中层、基层员工)的人员共同配合，全面盘点业务的痛点及通相要重A企业数据治理并不是一蹴而就的，它需要企业不断地进行规划、治理、监测、优化，通过数据治理不断完善企业的组织、制度、流程管理体系，同时不断提升企业数据治理管理水平，包括数据标准、数据质量、数据架构及模型、数据应用等模块的管理水平提升。数据治理是一个持续循环的过程，需通过不断地改进提升及完善。PDCA'循环不是在同一水平上循环，而是呈阶梯式推动上升，每次循环将推进企业的数据治理水平及组织协同性向新的、更高的层级进阶，最终实现企业数字化转型。用主教试理安r改进(三)数据治理实施路径企业数据治理实施路径通常包含三个阶段。第一阶段：起步阶段，业务运营数字化阶段。这个阶段主要是梳理企业面临的现状，响应痛点，探索业务场景化。企业逐步开始由信息化向数字化转型，这个阶段企业会重新审视原有的数据治理策略，重构数据治理战略及实现路径，逐步开始搭建数据治理框架、数据治理体系框架，升级原有的数据处理、应用模式，搭建大数据平台，构建大数据采集、汇集、存储、计算、服务的基础能力，逐步整合各系统的数据，打破数据孤岛，沉淀数据资产，探索业务场景化。升，初步完成由“经验主义"向"数据主义”的转型，数据决策成为企业决策主(四)数据治理项目交付步骤长长满常有得*e图14数据治理项目交付人员配置均通过后进行产品验收及正式上线，质保期间由运维部门进行巡检及售后工作。1.1.管求调锈2.方案设注3.并发实策、上特及适境项目交付成果与交付步骤紧密相关，需求调研阶段以调研会议纪要、数据资产清单为主，方案设计阶段以产品需求文档、数据架构设计文档、数据标准方案为主，开发实施阶段以数据模型设计、需求变更清单为主，上线运维阶段以试运行报告、验收报告、售后运维方案为主，结合客户实际需求，交付相应的数据治理成果。速费更文桥mbi调行u2.方基设出时文(一)组织体系保障建和维护组织级架构(包括业务架构、数据架构、IT架构),制定数据治理制CiOCiO或CDO决策层组织协调层工作执行层图17数据治理组织框架图资料来源：信通院《数据资产管理实践白皮书6.0》决策星负责监督、支持和资助数据治理活动和升级)的平台运营人员负责举头制定数据责产管理的政策。标准、规则、流程，协调认责冲突；体数摄的管控流程制定和平台功能系统支挥的实施：负责数据平台的整体道营、组织、协调。各业务、技术部门相关数贯所有人和权图管理人员配合制定相关数据标准、数据制度和的流程，根提数据标准要求提供相关的主要责任者，数据开发人员负责散据开发，有责任执行数据标准和数据质量问题，作为数据出现质量间题时的次要责任者。含内部用户和外部用户(二)制度体系保障为了保障数据治理工作和组织架构正常运转，数据管理流程制度数据管理流程制度治理范围管理权责流程梳理标准制定系统支撑数器责源化数据责产化考核评估表4数据管理制度体系(一)数据治理平台工具全景图数据开发与治理一体化是将数据治理的过程融入到数据开发的全生命周期中，强调"先设计、后开发、先标准、后建模"的原则，其目标就是将数据治理指标和数据标准的定义实现"规范即设计，设计即开发，开发即治理"的开发治的中后期阶段。平台覆盖了日常数据治理过程中的核心资产管理模块。数媒质具管理平台贯穿全领域战略目标与规划组织体系保障管理机制图19数据治理平台工具全景图(二)袋鼠云数据治理管理平台数据可视化分析数据可视化分析湖仓一体客户数据洞察治理管理理成图20袋鼠云数据治理产品框架图袋鼠云数据治理产品体系(图20),能够基本覆盖数据治理的八大专题(图19),实现一站式数据治理工作：1.数据模型基于数据标准和数据模型的规范设计，通过标准化建表的功能，对Hive数*新方式信定0表oW王试o图21数据资产平台Hive建表1w青M器w7税燃者0图22数据资产平台Hive建表2在传统的实时开发过程中，每个任务需要开发任务临时映射FlinkTable,相关内容无法沉淀并且重复开发。Flink建表可赋能实时开发平台，一次创建重复使用，并可结合数据权限管理保护数据安全，支持Kafka2.X、Kafka0.10、MySQL、Oracle数据源类型，通过映射Kafka字符串和RDBMS表结构，转化为FlinkTable的表结构。加n生*单教年n*参配置参配置量量(1)实时开发袋鼠云实时开发平台，面向实时数仓构建的云原生一站式大数据实时开发平台，实现从实时数据采集、实时数据处理、任务监控运维的全链路覆盖。基于先进的Flink计算框架，具备高性能且功能丰富的大数据实时处理能力。计算处理延时最低可达亚秒级别，并提供丰富的Metric运维监控曲线和日志功能。并且计算引擎(Flink1.10/Flink1.12)和调度引擎(Yarn/K8S)支持根据实际进行调整，从而快速实现实时智能推荐、IoT传感信息分析、实时反欺诈等场景，助力企业搭建实时数据处理平台。(2)离线开发袋鼠云离线开发平台是数据中台中的基座，包含全链路的数据集成、数据开发、周期调度、任务运维、监控告警等功能，具备灵活的多集群、多引擎对接能力。采用先进的大数据生态底层技术，通过Hadoop等开放的体系架构提供离线计算框架，具备高性能且功能丰富的大数据处理能力，可以最大化地萃取数据价值，完整实现数据应用的闭环。在提供开发环境和平台接口的同时，对大数据离线计算、数据仓库建设、企业图谱等多种应用提供有效支撑。同时还拥有多项自研核心技术，帮助企业快速完成数据中台离线计算部分的建设，加速释放数据价(3)任务发布Taier是由数栈研发团队自研的一套分布式调度系统，与离线开发平台的数据开发模块无缝集成，用户完成代码编写后，仅需开启右侧调度面板即可完成依赖和周期配置，且相比开源方案可支持更多的配置内容。U图25运维总览页面(4)任务运维分日周明产例院或情况saohsgicpatumuntetace.sstdondskmbiemuspencanLf下一面城实例别井依量果a(1)数据脱敏管理*m图27数据脱敏管理(2)数据权限管理A题分银分类Hk(3)数据分级分类根据分级结果可对数据进行权限访问控制，如数据加aimrdotiscizie材，性放作，H作考自前分额晴w制2021-11-14212累w4.数据标准(1)词根管理对词根信息进行线上化管理，词根信息可用于数据标准的定义。电声人评o9通中Banttattc52-11264日(2)码表管理费产重点m代Un中d4Au(3)行业模板置中*8信让B共年月10T地M1日常常(4)数据库拾取o度温标准设计量要量始取是面ya排传排206国青或到笔河村管理a·结新元对21092cn1**10m120231011116献0a52c2151*1.面面0理时2022-15-121557.管Fsa4434加ii(5)标准定义支持数据标准的管理维护。支持自动关联已建好的词根、行业模板，引入码DataAssots资产盘点元数靠数富机准数露顿nshcom符业推准目录n1中手简高合生生和样发长号通州为空(6)标准映射将已发布的数据标准和平台已采集到的字段进行映射匹配，评估企业数据的规范性。DataAssets奥产盘点辑T中国生数血计工电核山中结告机。黄产量点黄产量点元数谢标铁计数城标准标碳射标生严类型id图36数据标准统计看板5.元数据管理 元产类量订阅的国大AM血分析sMpsa.置标n重 重 河可的数题 河可的数题h品以面看重镇别计响bngr人山iie20-44:07onnnmeus平04ngDS变年1025-04.72___6taa8四是任务依赖：自动解析当前数据表的相关任务依赖关系。DataAssetsDataAssets黄产盘点元故累数据标准数解模型数照质量数宽治理数据安全so曲__元故域与量元批控督母九规粉析n数-关数料D0.6支年：200-54-17170611表人m五是版本变更：每次元数据变更，系统会自动记录并生成新版本，支持任意选择两个版本进行元数据比对，更好地定位问题、对比前后变更差异。*511(1343'="主是5'6pt'1'3341='运管主题4'sate''6'there'm'地遗主题'ther1"'1i1"5'raneper's"niredtsteck.10'xaoin''dd'..11'12323123'=*P112'catafld'm'经建录13‘Tabletype"-'霞15tettmt11*'216'persnheath'='Z'(12323123'=*P11'counti11''sdf'24'loan','gè','string','门'25.'applytise',"中的间','int',申时间"(2)元数据应用3望s适置备n人t同a矿*na矿*元款调量itarwthar hmm同agag(3)元模型管理数据安全网性htvachenwa《(4)元数据管理DataAssetsDataAssets产读点元数据数据标准数据债型数流质量数密治理数据acut/BD元屋用参西用业性元模业管理a人a元固量th加样上*图44元数据管理(5)元数据质量支持对平台的元数据进行完整度分析和血缘分析，整体元数据维护质量通过指标分析展示。一是完整度分析：统计每张表的业务属性(必填项)是否均已完成维护。数胞标准数胞标准款解模型数据质量数据治习数据安全tr元数摘问2.99%元质量分析名m计)二是血缘分析，及时发现一些肯定存在血缘关系，但是血缘关系缺失的表，如数仓下游层级的表、BI报表等。用户可以通过添加数据库，系统自动根据「数据地图一血缘关系」的解析结果，统计库中血缘孤立的表。量选M2gieust34724小性u,Wsa01elyimprgrntaeapapwah0工(1)规则配置一是单表校验：单表校验规则主要包括完整性校验、准确性校验、规范性校验、唯一性校验、自定义SQL。位θcθ资产业点元款见数据标准数财核型数量责量数附边理数指安全平士管理hhstuan字时二是多表校验：多表校验适用于对两张表的数据进比如A表与B表的数据是否完全一致；A表的某列数据，是否存在于码表B。DataAssetsDataAssets费产盘点元教则数据标准数据模型数理质量数据贴理数国安全平台管理snrttos支·上nk和探，升为动配批hg(2)任务管理DataAssetsDataAssets皮广虚森元监落教据标准数器相量数据联量数据起理数据安金平白管理auism配t果活课构密其校管UB任务录测有志城技影有志城技影制二是表级报告：从多种维度自动统计表级的质量情况，包括校验记录情况、告警情况。DataAssets资产盘点元数据数据标准数据项型甲出管理o计230次绿9帮告23致中均就平中2策01.:6图50自动统计两张表的差异总数和差异比例情况。 DataAssets商产意点元数据数据标准数案领型数据股量数规治理数擅安全平合管理 肝精警理提型1提体程验 面xrxr.(3)实时校验支持对Kafka数据进行周期抽样校验。系统根据调度周期和样本量上限，定时进行抽样校验。taa的元数据数据标里数盛模型数程员量数握治理数据安金平台管理k表e袋鼠云数据服务平台定位于统一的企业数据资源"纵向贯通”“横向互联"的共享通道，实现快速创建API、企业级API市场管理、丰富的调用安全策略等，快速释放数据价值。支持可视化生成与注册API,快速构建OneService数据共享服务，通过多种手段标准化管控服务，可完成从API创建、发布、申请/审批、调用的全生命周期管控，形成企业级API市场和API服务管理平台，提高数据开发与共享效率。AA替进A与单政*志最图53数据服务API管理Phoenix等数据源。数据服务目前已覆盖主流数据库，支持创建多种类型数据服API注册支持将平台外部的API注册至API网关，可在数据服务平台进行统API管理者可对生成和注册API进行统一管理，进行API的发布，禁用、删inar (API维度)、USER-TOKEN(用户维度)的加密方式适用于对安全等级要求较低的场景，用户在调用API时需要在Headers中传入API-TOKEN/USER-TOKEN才可成功调用。通过AK/SK的方式调用者需要根据APPSecret以及API入参根据加密算法生成API签名，结合API调用URL和请求示例，按照一定的数据格式开始API测试来保障API的可用性，防止出现申请者使用不可用API服务的情况。值，就可以开始测试，最终返回JSON调用结果，系统会告诉用户mutr:”201411-2112.24mutr:”201411-2112.24pw输入参数eAPI在生成时，可设置API单秒/单分调用次数，保证API网关的稳定，限允许对API调用进行IP地址黑白名单的访问限制，允许特定IP地址访问或API调用时，需将API-TOKEN/USER-TOKEN填写至Header中进行调用，适API测试、企业内部等安全性要求不高的使用场景。RSA/SM2公钥用途：对AES密钥进行加密处理。RSA/SM2私钥用途：对RSA公钥加密后的AES密钥进行解密。RSA/SM2公钥查看路径：我的API—API调用。AES密钥用途：对请求/返回信息进行加密/解(1)案例背景(2)解决方案数露元信息数露元信息数算来置oe数据性质aato表t数据位置Nayda准一般分为基础指标标准和计算指标(又称组合指标)标准。基础类数据标准和指标类数据标准通过分别建立基础类数据元和指标类数数据类型和值域等属性)映射，实现该字段的标准化(符合命名规则、数据类型和值域的规定);当其具备指标特征时，可直接将其与某一业务类别下的指标类数据元(如命名规则、约束规则、数据类型和值域等)映射，实现该字段的标准化(符合命名规则、约束规则、数据类型和值域的规定)。tnsx●基于法律法规构建数据分级分类体系根据《个人金融信息保护技术规范》(JR/T0171-2020)及《某银行数据安全管理办法》要求，个人客户C3、C2类别信息在后台管理与业务支撑系统展示时，除银行卡有效期外，C3类别信息不应明文展示；C2类中支定名称、支付预留手机号码、证件类或其他类识别标识信息应当做遮蔽处理，且不提供批量查询和批量下载功能。如特殊情况C2类上述敏感字段仍需完整展示或明文下载，则必须有如下管控措施：D需求提出部门必须限定最小用户使用范围，并经过本部门总经理(如果是分行，则为分行主要负责人)审批授权。审批单参照《某银行个人分类分级数据授权审批单》,并在OA项目需求发起时必须含有该审批单附件。②系统内应当做好相关角色权限的设置和管控。3C2类中支付账号、客户法定名称、支付预留手机号码、证件类或其他类识别标识信息前台页面展现需增加水印处理，禁止复制粘贴；且批量下载时文件必须通过DRM加密，并经过审批授权流程，审批授权至少至分管部门总经理或分行主要负责人。④个人客户C2类敏感信息在做批量查询或者下载必须有审计日志功能，必5所有数据使用均遵循"谁使用谁负责"的原则。机制(包含相关业务需求的提出到业务验收测试环节)。对于涉及上述敏感信息展示但没有提供经领导审批的《某银行个人分类分级数据授权审批单》,一律不7涉及业务部门授权审批的管理环节，需求提出部门需要做好相关审批授naa/*n交中(3)交付内容协助完善数据治理组织架构(涵盖数据治理决策层、管理层和执行层)及数据治理相关的制度、流程和评估标准。完善数据标准，完成10个系统的数据流程，提升数据质量。制定数据资产盘点、评估与管理工作机制，完成10个系完成面向大数据平台的数据血缘关系梳理。重构大数据平台中间层(200张表)数据模型，并进行落标实施。根据数据质量检核规则，在数据平台上对源头数据和结果数据进行规则稽核。结合营销与风控应用场景，完成至少200个基础指标加工。提供不少于5个建模场景要求的数据支持和不少5个应用场景的功能支持(开展数据自主分析、开发报表和管理驾驶舱等)。(4)建设成果监管数据检核规则，包括监管报表单体校验、跨系统数据校验(1104与East)、三是大数据模型重构，根据某银行项目要求重构大数据平台中间层(近200张表)数据模型，通过数据模型平台进行模型研指标体系，并针对业务实际需求完成至少200个基础指搭建；数据资产及标准梳理：梳理数据资产(包括核心、信贷、网贷等至少10个系统)并搭建数据资产目录；根据监管及内部管理需求五是数据分析场景服务，根据某银行应用需求提供不少于5个建模场景要求的数据支持和不少于5个应用场景的功能支持开展数据自主分析、开发报表2.证券公司数据治理实践(1)案例背景随着证券行业发展，2016年证监会《证券公司全面风险管理规范》提出建立健全数据治理和质量控制机制。2018年证监会发布《证券数据治理操作指引(征求意见稿)》及《证券期货业数据分类分级指引》,同年，国家工信部发布DCMM数据管理能力成熟度评估模型，提炼组织数据管理的八大过程域，将数据展"十四五"规划》《金融标准化“十四五"发展规划》的相继发布，以夯实证(2)解决方案图59基于Data0ps数据治理架构图通过梳理市场证券、基金、期货、债券、回购等主要交易行为，形成行业交易模式；通过逆向梳理即将上线和线上化的信息披露项目，形成行业信息披露模式。根据证券行业相关法律法规、业务规则、制度及流程等，提取市场全业务流程和数据共性，形成具有通用性、稳定性和可扩展性的围绕客户、公司、监管、产品、交易等数据模型。体体种务a资讯数据作为券商主要数据源之一，应用广泛，涉及投资交易、资产管理、经纪与财富管理、资产托管等各个领域，往往会将资讯数据应用到资管投研一体=Wins撑aa性性物w交*asmn美重而美体美看模●基于OneService理念打造数据服务市场数据平台将投研、资讯、投顾数据以服务化、接口化的方式提供数据使用方，屏蔽底层数据存储、计算细节，简化和加强数据的使用。可视化生成与注册数据服务管理，快速构建数据共享服务，通过多种手段标准化管控服务，可完成从数据接口创建、发布、申请/审批、调用的全生命周期管控，形成数据市场和数据服务管理平台，提高数据开发与共享效率。控研醒务市场*知密数显中台公州乱址行情费讯域市费我址发规责试址行金费机域监督资认址研相数面时其他费测域重好子公毒服务其布报务罪计服务监控服务础排服务安全wsuaa(3)交付内容D实时采集，具备基于日志的实时数据采集和基于间隔轮询的实时数据采入、更新、删除的动作转换为消息中间件的动态数据变化，或直接写入到Hive2)任务管理，平台应支持对实时同步任务的统一管理，支持FlinkSQL和FlinkAPI作业开发支持，支持环境参数配置，历史版本1)封装数据能力，对外提供RESTful接口。应用通过调用RESTful服务即2)横向扩展能力支持高并发和数据增长。通过增加存储节点支持数据量的3)配置化创建数据服务。开发人员可以基于底层的数据库，在管理界面配8前端应用8前端应用DM(DataWarehouse)流域数据发布/订阅据聚合数据服务平台的建设，将带来以下效益：D减少数据复制，降低成本。应用系统无需拷贝数据内容，通过服务调用获取数据，从而降低数据存储成本，特别是包含历史数据查询的应用场景。同时，降低备份、安全等管理成本。②提升应用开发效率。应用程序无需考虑大数据的分库分表设计、无需了解底层的数据存储细节，通过服务调用即可获得返回结果。大大避免数据不一致的冲突。由于同样数据无需管理多个副本，在数据发生变更时，无需复制更新，减少数据不一致的冲突。●数据应用实施(4)建设成果大数据引擎+流批一体数据采集满足证券公司业务系统的数据汇聚，对线上实时开发平台满足证券公司科技部门能统一在一个平台上进行集中开发和1)实时获取柜台行情数据，并按照分钟级进行行情聚合。2)实时获取客户的股票持仓数据，并将客户持仓数据按照状态进行管理并3)实时获取两融客户合约流数据，根据合约类型分类计算融资负债、融券4)实时获取客户资金转入数据，并更新客户的总资金资产和可用资金。5)实时获取客户的融券卖出获得资金以及资金使用情况并动态更新客户资6)通过多流关联的方式整合持仓、合约、资金转入、融券交易的数据最终7)实时获取客户两融授信申请、客户征信申请、客户征信审批等数据，实二是实时获取财务凭证流水：关联辅助核算维表(维表也存在日间变动的可能),根据财务指标计算规则，按照部门、科目维度计算财务指标日间变动数据1)当日股基交易量、当日理财交易量2)当日开户数和开户流水3)可转债提前赎回提醒4)中证易签私募回访：生成回访任务提醒、回访任务成功提醒3.基金公司数据治理实践(1)案例背景(2)解决方案●围绕监管规范打造基金行业数据治理体系数据治理战路口标数据治理战路口标理《证参物负业数解模)性减w式an人-a人矿期aAn●围绕基金业务构建全维度画像体系近些年，随着投资者对专业资产管理的需求日趋旺盛，资产管理行业的竞争也在加剧，这迫使基金公司着重于投资者教育和陪伴工作。基金公司的数字化营销能力也逐渐成为企业关键竞争力，但建设过程主要存在以下难点：一是基础弱，由于公募基金存量客户庞大，而公募基金销售长期依托代销渠道和互联网渠道，客户数据分散、多端身份不统一，导致基金公司对自身客户的理解能力比较有限，缺少对投资者需求变化和行为变化有效研究手段。二是难匹配，透过大量问卷和数据分析发现，不同人群、不同需求的投资者，对产品要求和收益目标等有明显的差异，操作行为也有明显的不同。这就要求基金公司具备有效客户分层识别能力，产品推荐的精细化能力，投教内容差异化能力，进而提升投资者投资体验。但由于营销系统的闭环能力较弱，很难了解基金产品是否满足了用户的需求，改善了投资体验。三是应用浅，在指标不科学、无体系，数据分析深度不够，缺乏业务洞察和建议等问题面前，很多企业止步在有数据和看数据阶段，并未将数据分析与营销业务结合起来，提出有意义的洞察和建议。通过袋鼠云客户数据洞察平台，建立涉及客户、产品、渠道的三层标签体系，支持销售、服务、合规等不同角度的需求，支持便捷的标签开发、运算、展示和相签面像化原子标签衍生标签复合标签算法标签(3)建设成果公司按照"点线面体"的方法推进数据治理落地，从数据源头系统开始全面治理，撇弃"头痛医头、脚痛医脚"临时解决方案。点是对点状的自研业务系统当前数字资产管理平台已覆盖40个系统，且对于新增或重构的系统已实现中台、数据中台3大中台技术能力，通过三者紧密协同合作，对业务运营进行全服务进行梳理、抽象，采用容器+微服务技术架构，根据业务域进行服务细化、分布情况、投资风险偏好等信息，运用技术中台提供的大数据AI算法能力，为采用微服务+微前端的技术架构，对TA、估值、资金清算等中后台运营支撑系统中的运营管理服务进行归集整合，实现登记结算部门分配、团队协作、分红事项跟进等)集中式、标准上重复“造轮子”,部门成立了技术中台小组，专门负责公共服务能力沉淀及建人等AI智能服务，这些服务已被广泛应用于产品管理系统、投研一体化、智能三是数据中台：公司基于Hadoop技术生态体系，采用湖仓一体的数据技术构建全局的指标体系，统一数据出口标准，实现“数(二)集团型企业数据治理实践1.某央企数据治理实践案例(1)案例背景随着企业股份数字化转型不断深化，数据应用方面的需求不断扩展。但公(2)解决方案数据中台设计为多项目空间加经典ODS、DWD、DWS、ADS四层结构，其中企业股1)客商域：企业所服务的所有客户及供应商；3)交易域：客户与企业发生的所有交易行为，包括交易合同、订单、采购4)风险域：企业发生诉讼、处罚等风险数据；5)仓储物流域：所有仓库出入库、在途等信息；2、数据开发平台最保一结式、全流验并发技用，相括线开提供成照教国治芽营件，它括关数据管理公共城交易域客商库风险址仓储物流域商品域6)公共域：系统码值、参数信息、组织架构、人员以及标准化映射信息。波此一体数固同步植策ChunJunx客户与国贸发生所有交易行为，包结交易合同、订单、尿购等得界面全量数据或为高度汇总报表数据等问题，使用数栈底层数据同步工具手工填报数据通过完成填报报表的初步设计后，回流方式一，标准流程.的提描取方共为式二、总记W以下小数器方式二、总记承W下小数提期验素日计证用饭软),进行定期同步，定期填报，定期回流采集的形式来完成数据的收集。是是是是是西否系设计方法论，统一定义指标体系的各信息(包含指标ID,指标名称，指标主开发负责人),在接下来企业的数据应用过程中，完成数据指标口径的收口和统一。务报表数据逻辑为基础，结合大数据平台从SAP底表取数能力，实现[风险周报填报]、[签约情况分析]、[重大事项填报]场景建设，[物流合同看板]、[物流供应商看板]、[库点盘点密度看板]、[库存看板]四大结合业务逻辑指标进行数据开发，实现[授信额(3)建设成果截至目前，集团内部数据中台共构建751张表，数据执行任务总量493个，其中ODS数据源始层同步任务247个、DWD数据明细层清DWS层业务场景数据推送任务108个。满足集团供应链运管部用管理、价格管理、运营管理等部门数据分析需求，2.某旅游投资集团数据治理实践案例(1)案例背景某省旅游投资集团以"旅游产业"为主体，以“医疗健康”和"人力资源服务"为两翼，以产业资本和数字科技为支撑，重点打旗下参控股了140多家企业。近年来，围绕省委、省政府提出的"打造省级旅游(2)解决方案段"做治理，立标准";三阶段“建应用，启服务”。医疗健康专题分析医疗健康专题分析数据资产建设同用户址地教量公数据质量平台数据中台数据应用酒店管理专题分析成本道治理层平台层数据开发平台旅踏投贵集团数据醒务平台数据资产平台大数据平台数据服务力、财务、酒店管理、医疗健康等业务板块180个划分8个主题域，形成430G数据资产，包含2000多项指标和300多个标签。了集团管理的13个主题驾驶舱，帮助管理者掌握集团"人"“财”"物"家底酒店名片在线化，打造了全国酒店对外数字化展示窗口。通过建立起支撑4大业(3)建设成果二级板块数据中台二级板块数据中台应用能力资源能力集团数据中台数据中台性，实现数据从"层层上报"向"实时采集"转变。●洞察多类消费者偏好特征，发现业务增长潜力以文旅产业中的酒店管理为试点，盘活集团会员资产，以客史数据作为营销链路中每一环节间的纽带，进行住前、住中、住后3个阶段消费场景的多点触达，对消费者施加个性化影响，提升消费者的五感六觉，收集消费者的实际反馈，实现消费者住宿习惯、餐饮口味的偏好分析，最后回流数据用于下一次营销的催化，形成通过数据反馈指导运营策略的良性循环。通过优化重要业务场景的运营链路，推动营销活动从“广撒网”向"精细化"转型，实现“扩增量提转换”的运营目3.某控股集团数据治理实践案例再逐步展开。1)调研诊断，全面盘点现有数据、业务现状，定位目前问题。一是现有源系统及现状盘点，包括内部系统、对外服务平台、外部数据盘点；二是数据架构的现状一数据流转过程盘点，以ERP为核心系统与对外服务平台、内部业务系统和外部数据进行数据交互的过程分析；三是数据应用的现状盘点，面向集团管理层、行业板块中层管理等不同层级的数据应用现状盘点，整体以散点式基础统计为主，覆盖率不高；四是数据权限管理，目前尚未建立权限管理，需求盘点；五是数据质量及管理情况盘点。2)数据治理模式选择，集团总部数据部门统筹规划集团的数字化建设工作，作为集团整体系统建设、数据应用建设的核心实施部门，板块集团承接小部分数据需求，数据团队主要集中在股份总部。核心数据管理团队在集团内拥有10年以上工作经验，对集团各板块业务内容非常了解，数据架构师具备集团架构设计及整体规划的能力。基于集团的现状及组织团队的现状，选择自下而上的数据治理模式。3)架构规划设计，集团整体升级大数据架构，打破数据孤岛，统一规划数据治理体系。架构规划整体采用中台的数据体系，即在全域原始数据的基础上，进行标准定义及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以支撑数据应用。以此将数据资产全面汇集、建设、管理起来。针对股份集团而言，基于业务模式不同、管控权限差异，在架构设计上，设置集团通用模块、板块业务独立模块，满足不同的数据应用需求。应用层模型属4)大数据平台规划，搭建集团大数据平台体系，满足集团大数据汇集、存其他数块其他数块a产a份理数般份看块BA板缺应用8板快互用世1)调研诊断，全面调研方向系统使用现状及痛点、业务现状、业务流程、2)架构设计，以波特价值链分析模型为理论基础，全面梳理企业的业务领合同运输资产公共数据层3)数据资产目录建设，以架构框架为基础，在大数据平台中，采集数据，并按照架构框架进行分类整理，建立数据资产目录，将数据分类分级管理，详细描述数据的生产方式、业务信息、技术信息、管理信息等基础内容。不断梳理数据资产，构建数据资产地图，通过平台进行管理，逐步沉淀集团整体的数据资产。技术指述文件系统数仓加工业务描述用财务业务系统管理描述权限销售采购数据交换人工教据数据权责安全分级数测存储数据资产目录(3)建设成果标准体系，梳理词根标准2300+,为数据标准体系建立，奠定了坚定的基础。(三)制造行业数据治理实践1.某汽车制造企业数据治理实践案例(1)案例背景自己的数据?如何建立数据治理运营团队?如何在短期内快速展现成果，在企业核心理念在于“数据取之于业务，用之于业务”,即完整构建某车企从数据生产(2)解决方案于事前的控制(如字段的约束)、事中的逻辑控制(例如控制不能为空)、事后数据留务平台大数据平台图79某车企数据治理架构图梳理营销业务线、制造业务线、研发业务线数据资产，划分数据域，构建数据应用，实现数据生命周期全流程打通。具体实施内容包括数据资产地图、数据模型、数据标准、元数据管理、数据血缘、数据分级分类、数据质量规则及报告一是数据资产门户全局统计企业数据资产情况，让企业管理者对数据的分布、增长、使用、质量情况有直观的了解。包括不限于：1)数据指标的统计：数据源数量、表数量、存储量、使用量、质量评分。2)数据趋势的统计：数据分布情况、数据增长趋势、数据使用热度。3)数据使用排行：数据存储排行；元数据质量：规范趋势、规范排行。1)数据查找：汇聚平台内的所有数据表信息，方便开发人员快速定位所需2)数据表元数据展现：用户指定某张表后，可以查看此表的基本信息，包3)数据类目管理：当平台内的数据表越来越多时，数据类目的重要性就会4)数据审批授权：提供表级数据权限的管理，当用户需要跨项目访问表时 4)生命周期管理：提供表的生命周期管理，用户可在建表时指定生命周期，系统定时检测每张表/分区的数据更新时间，超5)数据血缘解析：提供自动解析同步任务和SQL代码，自动建立各个数据地ao行e通规费式(3)建设成果2.某芯片制造企业数据治理实践案例(1)案例背景某芯片制造企业是一家专注于3DNAND闪存设计IDM企业，同时也提供完整的存储器解决方案。该企业为全球合作伙伴供应3DNAND(2)解决方案元数拟查询权限申请鼓据任务分析元数据变更日志平台管理用户(管理员领导平台应用资源目录服务API图82某芯片制造企业数据治理架构通过建设离线开发平台采集某芯片制造企业30+种数访问权限控制、对接LDAP账号体系、数据脱敏技术，实现多租户权限隔离，生中心，盘点数据资产，为数据价值挖掘提供“全、统、通”的元数据基础。布、增长、使用、质量情况有直观的了解。包括300余数据库，6000余数据表、40余PB存储量、使用量、质量评分；趋势类的数据分布情况、数据增长趋势、数据使用趋势；元数据质量：规范趋势、规范排行等等。●第三步建设数据质量平台，治理数据通过对某芯片制造企业生产经营数据事前规则配置、事中规则校验、事后分析报告的流程化方式，对数据的完整性、准确性、规范性、唯一性、一致性等方面进行多维度评估，保障企业数据服务，提高数据质量管理。断数规安全图84某芯片制造企业数据质量管理示意图(3)建设成果避免用户使用多个系统反复登录，和企业集团内部OSS到的"难题"也越来越多。从牢记单个系统账密、频繁切换应用系统到复杂账密3.某半导体企业数据治理实践案例(1)案例背景某半导体企业是一家为信息交互和人类健康提供智慧端口产品和专业服务目前客户着力聚焦信息科技和制造业结合，提出实现从“制造”到“智造”业模式的创新，满足多场景需求，以科技赋能(2)解决方案"数据资产化”"数据服务化"“数据安全化"来实现企业数字化转型。