2023数据中台参考指南

Data Middle O让数据用起来

fice Best Practices数据中台参考2023 刊首语刊首语拥抱数据中台加速数字化转型一个事物的数据化程度越高，人们对这个事物的解读、解构、判断、分析、复制、预测的能力就越强。比如，一个苹果如何用数据的方式呈现出来？我们可以把苹果量化分解成一系列数据指标，如大小、重量、含糖度、成熟度、软硬度，甚至含量成分的比例等。现在，随着科学对世界的不断探索，人们越来越相信，万事万物皆可以用数据的方式呈现出来。也就是说，一切皆可量化。数字化转型下，数据中台概念应运而生。数据中台面向全域数据资产化，能够帮助企业聚合内外部数据，支持生产、研发、营销、管理等多场景的数据高效应用，最终提升企业智能决策水平和业务创新。数据资产是数据中台的核心，“存”、“通”、“治”、“用”是完成原始数据的处理加工、资产化建设必要路径。“存”，指业务产生的数据统一存放，形成最原始的数据资源；“通”，即对数据资源汇聚、开发，形成可供给业务使用的数据资产；“用”，即可构建符合业务需要的服务，并嵌入系统应用中供业务使用；“治”处于“存”、“通”、“用”三者之中，通过“治”定义数据的标准、监督数据的质量、把控数据的安全，是数据中台的核心环节。通过存、通、治、用往复循环，践行业务数据化、数据资产化、资产服务化再到服务业务化的数据价值闭环，让企业的数据持续用起来，这就是数据中台。随着5G、AI、物联网等技术的普及应用，数据将对企业未来发展产生深远的影响。数据应用场景不断被释放，数据源越发丰富，数据量快速攀升，数据真正进入爆炸式增长及价值的扩大化阶段，如何管好数据，用好数据，以数据中台为代表的数据应用基础设施将成为推动数据价值流通的关键。本刊聚焦数据中台与数据应用视角，总结与汇聚数据应用实战专家经验、技术创新、优秀案例、趋势洞察等内容，为各界数据人提供数据中台建设与数据应用新思路。CONTENTS目录CONTENTS目录拥抱数据中台，加速数字化转型中台风向政策速递：2021-2023国家级数字经济相关政策汇总及解读权威发布：数据领域十大热门报告（2022年6月-2023年1月专家观点：解码数据中台，打造数据价值与能力共享中心中台问道1、趋势篇：数据中台市场发展方向2、技术篇：数据中台行业技术趋势3、能力篇：建设数据中台必备能力4、实践篇：数据中台创新应用场景

实践案例1、大型央国企：某文旅地产集团、某大型国有企业医药集团2、制造：三一集团有限公司3、汽车：中国长安汽车集团有限公司、宝马(中国)汽车贸易有限公司4、政务：苍南县人民政府5、零售：瑞安地产有限公司6、农业：云南褚氏农业有限公司实战指南1、能力实战：实现数据中台和数据治理的有效融合从数据中台的角度看主数据的价值漫谈数据分类分级体系建设是数据安全管理“护身符”数据中台工程化体系建设指南2、技术实战：白松：湖仓一体实践与探索杨森：隐私保护计算在数据中台的实践应用3、场景实战：数字化创新场景全景图中台风向

数据中台参考2023政策速递

政治速递2021-2023国家级数字经济相关政策汇总及解读中台风向

《数字中国建设整体布局规划》数据资源规模化｜数据技术创新｜数据治理体系内容概要：到2025年，基本形成横向打通、纵向贯通、协调有力的一体化推进格局。数字基础设施高效联通，数据资源规模和质量加快提升，数据要素价值有效释放，数字经济发展质量效益大幅增强，政务数字化智能化水平明显提升，数字技术创新实现重大突破，应用创新全球领先，数字安全保障能力全面提升，数字治理体系更加完善。zhong tai feng xiang

发布时间：2023.2

发布单位：中共中央国务院《关于构建数据基础制度更好发挥数据要素作用的意见》数据要素市场化｜数据流通内容概要：要建立数据产权制度，完善数据要素市场化配置机制；促进数据高效流通使用、赋能实体经济，充分发挥我国海量数据规模和丰富应用场景优势，激活数据要素潜能；推进公共数据、企业数据、个人数据分类分级确权授权使用，要把安全贯穿数据供给、流通、使用全过程。发布时间：2022.12 发布单位：中共中央国务院《工业和信息化领域数据安全管理办法（试行）》数据安全｜数据分级分类内容概要：要求实施数据分类分级管理，建立数据全生命周期安全管理制度、健全数据安全风险监测机制，从数据收集、存储、加工、传输、提供、公开、销毁、跨境、承接、委托处理等环节落实分级保护要求。以规范工业和信息化领域数据处理活动，加强数据安全管理，保障数据安全，促进数据开发利用，保护个人、组织的合法权益，维护国家安全和发展利益。发布时间：2022.12 发布单位：工业和信息化部DataMiddleOfficeBestPractices中台风向5 6DataMiddleOfficeBestPractices中台风向中台风向数据中台参考2023专家观点中台风向数据中台参考2023专家观点专家观点

ZHUANJIAGUANDIAN

首当其冲的是在面对数字化转型时缺少体系化的方法论，不知如何下手。许多公司误以为将业务整合成一个APP，用到了数据的能力就完成了数字化转型，但其实它缺少体系化的建设框架，也缺少数据的建模与管理方法，对数据建设的周期也没有清晰的规划。解码数据中台

第二大痛点在于没有系统化的平台产品作为支撑。虽然市场上有大量做大数据业务的公司，也做出了可圈可点的成绩，但要指出，不是所有的公司都能做数字化转型的平台建设。未来，平台性产品才会成为主流，正如90年代传统软件被ERP所取代一般。打造数据价值与能力共享中心文/甘云锋数澜科技创始人&董事长、杭州市余杭区政协委员、中国软件行业协会企业中台顾问团副主任专家、ID-Mapping专利发明人来源/2022年4月长江商学院主题直播演讲数字化浪潮正以一种大势所趋的姿态汹涌而来。面对如此澎湃之伟力，产业数字化的转型之路正面临哪些痛点，又迎来何种机遇？怎样构建可数字化浪潮正以一种大势所趋的姿态汹涌而来。面对如此澎湃之伟力，产业数字化的转型之路正面临哪些痛点，又迎来何种机遇？怎样构建可持续发展的技术构架体系以激活数据要素的潜能？数澜科技创始人&董事长、杭州市余杭区政协委员、中国软件行业协会企业中台顾问团副主任专家、ID-Mapping专利发明人，甘云锋（花名：风剑）受长江商学院数字经济学会邀请，作《数字经济底层技术支持及新技术在企业数字化的应用》主题演讲。摘要一、数据应用的演进与核心痛点阿里巴巴的数字化进程历程非常具有代表性与前沿性。从2010年宣布要做数据分享的第一平台，到2015年提出以数据中台和业务中台为立足点的中台战略，阿里巴巴用6年时间完成了基于数据驱动的经济体构建和商业模式创新。利用数据，对内可拉动业务，对外则技术赋能。纵观过去几十年的IT进程，伴随了大量的信息系统建设，这个过程积攒沉淀了大量的数据成果。特别是近年来，随着数字经济占比逐步提升，数据应用能力成为关键的竞争优势。数字化时代分两个阶段，第一是业务的数据化阶段，第二是数据的业务化阶段。在第一阶段，企业通过业务建设和IT投入，沉淀了大量数据。但由于对数据的认知理解不足，许多人对所谓大数据业务产生一些误解，认为业务上“云”就是大数据，甚至认为大数据发展已经进入下半场。但其实云就是一个数据存储的载体，即便运营它的厂商达到了一定的高度，但并不意味着大数据的应用能力也随之迎来爆发式提升。我们对于数据应用的理解和认知远远落后于硬件的发展速度。基于这种背景，可以关注到数据应用在政策、经济、市场、技术以及应用价值方面都有足够驱动力，但企业在进行数字化转型当下，仍面临一些突出的普遍性困难。

第三大痛点在于缺少成熟的数据服务能力与体系。包括缺少体系化服务运转机制，缺少各行业成功案例，缺少成熟的数据服务体系，缺少成熟的数据服务应用场景。目前，互联网大厂提供的数据中台服务，并不能适配企业个性化的应用需求，反而加剧了彼此之间的数据孤岛。二、数字化时代的历史机遇：数据定义未来基于企业在数字化转型中遇到的各种问题，催生了对大数据应用理解与认知的反思，这也让我们嗅到了数字化的历史机遇或许已经到来。从需求端来看：过去几十年的全球IT进程让企业（或政府）积淀了大量的数据，如何利用好这些数据成为势在必行的选择。DataMiddleOfficeBestPractices中台风向｜专家观点13 14DataMiddleOfficeBestPractices中台风向｜专家观点中台风向数据中台参考2023专家观点中台风向数据中台参考2023专家观点从政策端而言：全球范围内各级政府出台了大量的相关政策支持数字化转型，例如中国的十四五规划就明确提出要把数字化转型作为核心。从供给端来看：也有实际的利好。国际知名信息技术研究公司Gartner连续两年将“数据中台”纳入了ICT增长曲线。因此目前比较显见的至少有两大历史机遇，一是数字化转型的基础技术平台搭建，另一个机会点则是数据应用服务的开放性。曾经在软件时代有个经典名句是“软件定义世界”，在未来5年，把握住以上趋势我们将会洞察到新时代的另一个核心关键——数据定义未来。它将在5大核心方向上慢慢显现。未来五年会出现真正意义上的数据操作系统，数据处理平台通过统一操作界面就能完成数据的处理。数据操作平台作为DPaaS（DataPlatformasaService）平台独立存在。第三方服务商，特别是IDV-独立数据服务开发商将兴起。当数据操作系统开始出现时，就需要大量的IDV，所以绝大多数企业将会以更开放的心态去接纳第三方服务商。数字化转型的基础技术平台将慢慢成为必选项，这也意味着数据中台的真正兴起。数据中台将慢慢落地成为数字化转型的基础技术平台，能够应用于各种各样的业务体系与场景。能完成数据的处理。企业对于数据的需求不仅仅是用数据，更多的是使用数据的能力与价值，这也将造就数据能力与价值的服务化（DaaS）。中台风向｜专家观点15中台风向｜专家观点

三、解码数据中台：数据价值与能力的共享中心基于数字化转型中的两大历史机遇，下面我从五个方面对数据中台的数据价值与能力进行详细的拆解。第一，数据中台是一套可持续的“让数据用起来”的机制。其重点在于实施，作为一种战略选择和组织形式，数据中台不是一个产品，它必须依赖于企业的业务模式和组织架构完成构建，通过有形的产品和实施方法论支撑，构建一套持续不断地把数据变成资产并服务于业务的机制。16中台风向数据中台参考2023专家观点中台风向数据中台参考2023专家观点第二，数据中台的使命是持续地让数据用起来，将场景业务化。它的一个根本性创新就是把数据资产作为一个基础要素独立出来，让成为资产的数据作为生产资料融入业务价值创造过程，从而持续产生价值。它的重点在于持续，旨在通过自身的平台能力和业务对数据的不断滋养，沉淀数据的能力和价值，形成一套高效可靠的数据资产体系和数据服务能力，在业务、数据、资产与服务之间形成一个良性循环的闭环。第三，涉及到数据中台的方法论，如何让数据真正被“用起来”。其基本的建设原则是让数据可见、可用、可懂、可运营。可见意味着建立数据台账，对底层的支配能力提出要求，使数据资产易查找，数据加工、去向、使用效果的台账都清晰可见，最终实现数据的可流通。可用可见意味着建立数据台账，对底层的支配能力提出要求，使数据资产易查找，数据加工、去向、使用效果的台账都清晰可见，最终实现数据的可流通。可用包括业务上可用和技术上可用两方面，既要将数据标签化或指标化，符合业务适用标准和质量要求，又要使数据开放、方便、安全。可懂意味着数据在使用端可以清晰地识别并理解与数据相关的信息，使之能在适用的场景下选择合适的数据，这对数据识别技术和底层的扩展性提出能力要求。可运营要求数据清晰、有效地作用到业务域中，用越多越有信息活性，数据运营团队可清晰接收到来自业务端的数据需求以获得持续改善。中台风向｜专家观点17中台风向｜专家观点

第四，执行层面如何建设数据中台？秘诀是围绕“汇、存、通、治、用、营”能力建设。通过建立统一的数据中台及应用平台，提供数据汇聚、存储、打通、治理、服务、应用和运营能力，以此为框架来夯实企业经营管理智能化、业务运营智能化、客户营销智能化的应用基础支撑能力。数据中台的建设不可一蹴而就，需要一步一步脚踏实地建设。DataMiddleOfficeBestPractices18DataMiddleOfficeBestPractices数据中台参考2023数据中台参考2023中台问道中台问道zhong tai wen dao趋势篇：数据中台市场发展方向技术篇：数据中台行业技术趋势能力篇：建设数据中台必备能力实践篇：数据中台创新应用场景20DataMiddleOfficeBestPractices 中台风向第五，数据中台的应用问题，应用的中心思想是要让业务高效、准确、价值化地使用数据。这里涉及三个要素：产品、服务和行业支持。因此，随着第三方服务的兴起，未来的格局应该是专门做产品的公司、专门做服务的公司和行业相关支持的公司加客户支撑，共同作用形成大数据产业发展的合力。数字化是未来企业发展的必然要求，而在企业数字化转型过程中，数据将作为基础要素，赋能业务领域，促进数据驱动的良性循环，从而真正实现“数据定义未来”。数字化是未来企业发展的必然要求，而在企业数字化转型过程中，数据将作为基础要素，赋能业务领域，促进数据驱动的良性循环，从而真正实现“数据定义未来”。中台风向｜专家观点19中台风向｜专家观点中台问道中台问道大家好，我是小澜同学，从事于大数据行业，热爱探究数据中台在企业应用中的实际效果和最佳范式。今年3月开始，我与我1万多名数据人好朋友们，一起探讨了数据治理、数据资产管理、数据中台等话题，也与很多专家、客户、科创媒体进行深度对话，在本期中台问道栏目，我将从未来趋势、技术能力、数据能力、业务实践4个方向，盘点热度较高的问题和大家一起探讨。数据中台参考中台问道中台问道大家好，我是小澜同学，从事于大数据行业，热爱探究数据中台在企业应用中的实际效果和最佳范式。今年3月开始，我与我1万多名数据人好朋友们，一起探讨了数据治理、数据资产管理、数据中台等话题，也与很多专家、客户、科创媒体进行深度对话，在本期中台问道栏目，我将从未来趋势、技术能力、数据能力、业务实践4个方向，盘点热度较高的问题和大家一起探讨。数智融合：即构筑数据治理和AI开发的统一底座，将AI算法模型植入数据治理，高质量数据反哺AI开发能数智融合：即构筑数据治理和AI开发的统一底座，将AI算法模型植入数据治理，高质量数据反哺AI开发能力，让数据和人工智能相互作用。泛中台化：业务场景需求的解决方案/产品趋于“中台化”，以数据中台为基础的中台体系不断丰富，数据中台理念逐渐完善，相关产品、规范、以及标准也趋向统一，大数据项目纷纷与数据中台结合，数据中台开始从概念热点向项目起点转变。——观点摘录于艾瑞咨询发布《2022中国数据中台行业研究报告》趋势篇趋势篇数据中台市场发展方向Q2：数据智能如何与数据中台深度融合？爱学习的小澜同学数据中台的建设，除了要有具备丰富行业经验的技术团队之外，还要有一套健全的、经受过大量项目的沉淀与检验的产品与工具，数据中台的最终效果和建设成本将取决于这套产品工具的自动化、智能化程度，所以通过人工智能技术来优化和改造数据中台也将成为重要的趋势。Q2：数据智能如何与数据中台深度融合？爱学习的小澜同学数据中台的建设，除了要有具备丰富行业经验的技术团队之外，还要有一套健全的、经受过大量项目的沉淀与检验的产品与工具，数据中台的最终效果和建设成本将取决于这套产品工具的自动化、智能化程度，所以通过人工智能技术来优化和改造数据中台也将成为重要的趋势。一方面，DataforAI。由于传统数仓或者湖仓分离架构让数智融合和企业敏捷决策变得困难，数据中台可以通过对元数据统一管理，解决传统数据分析与AI模型间的“数据搬家”问题，打通数据分析与AI模型引擎，提升数据驱动决策的准确性和可信性，比如自然语言生成、问答机器人、知识图谱等等，有利于智能模型的训练和应用的创新。另一方面，AIforData。将人工智能算法模型的能力植入到数据治理，通过机器学习自动发现数据管理的规则，可以让数据中台更加敏捷和高效，目前已在数据模型管理、元数据管理、主数据管理、数据安全等多场景中广泛应用。——观点摘录于艾瑞咨询发布《2022中国数据中台行业研究报告》Q1：数据中台未来将走向何方？爱学习的小澜同学Q1：数据中台未来将走向何方？爱学习的小澜同学云原生：云原生是当下最为确定的技术趋势。存算分离、微服务、ServerLess等核心技术要素驱动数据中台走向云原生，此外，企业客户对数据安全、合规数据合作技术等需求和关注度增强，云原生天然具备的对象体系、容器化编排、跨云多域数据治理等技术属性，都驱动数据中台走向云原生。Q3：云原生数据中台是追赶风口or业务驱动？能解决什么问题？爱学习的小澜同学云原生数据中台一定是未来趋势，但是并不是一蹴而就的，还需要一个长期的过程。降低存算成本：传统大数据架构，缺少计算资源时需要扩充服务器，会连带部署存储资源，造成资源浪费。存算分离有助于平衡成本与效率，是大数据低成本落地的重要保障，也将是真正意义上云原生的显著特征。未来，数据中台的数据存储量剧增，且作业高吞吐高并发，对存算分离的要求明显高于其他应用领域，数据中台中的重要组件，如MPP及智能湖仓等，都将遵循存算分离架构。DataMiddleOfficeBestPractices中台问道｜趋势篇21 22DataMiddleOfficeBestPractices中台问道｜趋势篇中台问道数据中台参考2023技术篇中台问道数据中台参考2023技术篇保障数据安全：保障数据安全：企业客户对数据安全的关注度不断提升，对数据安全、合规数据合作技术等需求增强。云原生天然具备的对象体系、容器化编排、CI/CD（持续集成持续交付）、跨云多域数据治理等技术属性具有资源和数据的隔离性，能够提供强大的数据安全保障，满足企业对于数据安全的高要求。提升运维能力：云原生时代，运维流程相比传统运维自动化、智能化程度上更加标准、高效，可以以微服务的架构形式去开发应用功能，以敏捷的方式去完成持续的交付和集成，通过Devops实现自动发布和稳定高效的系统运维，实现数据能力的共享和复用。——工信一所数据要素委员专家团特聘专家许锡彬的数据存储及高性能的联机处理能力。——观点摘录于《湖仓一体会成为企业的必选项嘛？》“InfoQ”(微信公众号：infoqchina)技术篇技术篇数据中台行业技术趋势2、Dataops：数据中台落地实践过程中的加速器数据中台项目失败的原因多数离不开：数据组织形式越来越复杂，数据链路变长，团队协作要求变高，2、Dataops：数据中台落地实践过程中的加速器数据中台项目失败的原因多数离不开：数据组织形式越来越复杂，数据链路变长，团队协作要求变高，新的数据需求变多……亟需新的开发与协作模式来提升数据供给效率，而Dataops是面向数据全生命周期，以价值最大化为目标的最佳实践，聚焦于从数据需求输入到交付物输出的全链路过程，可以以一种更敏捷的方式提高企业数据开发、交付和协同效率，提高数据分析的质量并缩短数据分析的周期，快速满足分析需求和业务需求。其次，虽然Dataops与数据中台两者在解决问题的方向上类似，都希望能更快、更好地实现数据价值，实现数字化运营。但前者强调的是数据应用的开发和运维效率提升，后者强调的是数据统一管理和避免重复造轮子，是对数据能力的抽象、共享以及复用，也就是说数据中台描述最终目标，而DataOp能够为其提供路径保障的方法论，帮助数据应用的开发和管理更加高效，是数据中台区别于传统企业数据架构的核心差异。未来，Dataops因其快速敏捷、开放协同的特性，能够助力数据中台建设获得更高质量的数据，更智能的数据管理，加快企业数据洞察的步伐。——观点摘录于《为什么说DataOps是数据中台的拐点？》“新眸”（微信公众号xinmouls)1、湖仓一体：数据平台一体化趋势新起点湖和仓是大数据架构两种设计取向，在湖仓一体出现前是并行存在。数据湖优点是能够保障数据完整性，灵活度高，但由于它的包容性强，可存储任何形式和格式的数据，数据不够规范，一旦没有治理好容易变成数据沼泽，维护成本较高；而数据仓库存储的都是结构化数据，支撑业务决策的效率更高，其特点是需要事先建模，这也意味着数据仓库的启动成本要高于数据湖，且难以快速支持业务的变化。由于两者各自特有的优势和局限性，伴随企业数据需求不断变化，经常会陷入到架构选择的困境。1、湖仓一体：数据平台一体化趋势新起点湖和仓是大数据架构两种设计取向，在湖仓一体出现前是并行存在。数据湖优点是能够保障数据完整性，灵活度高，但由于它的包容性强，可存储任何形式和格式的数据，数据不够规范，一旦没有治理好容易变成数据沼泽，维护成本较高；而数据仓库存储的都是结构化数据，支撑业务决策的效率更高，其特点是需要事先建模，这也意味着数据仓库的启动成本要高于数据湖，且难以快速支持业务的变化。由于两者各自特有的优势和局限性，伴随企业数据需求不断变化，经常会陷入到架构选择的困境。湖仓一体简单理解是打通数仓和数据湖两套体系，构架一套有机的大数据技术生态体系，在数据湖低成本的数据存储架构之上，弥补Hadoop下数据湖实时处理数据的缺失，降低事后数据治理难度；又继承了数据仓库的数据处理和管理功能，提供实时处理多引擎、多数据类型能力；可以兼顾数据湖的灵活性和云数据仓库的成长，能够降低大数据分析的技术复杂度，同时满足了用户对性能和易用性的更高要求。数据中台建设在过去多采用湖仓分离的方式，极易造成重复的数据开发成本，以及两套存储共存数据冗余、数据不一致等风险。选择湖仓一体作为更适用的数据存储架构，可以规避上述问题，具备完善3、数据编织：连接数据的管理架构统一语义和持续洞察力：数据编织使用先进的人工智能、机器学习算法连接不同数据源的数据以及数据之间的业务关系，建立知识图谱，提供持续分析能力，使业务用户能够轻松发现和访问相关的数据，企业能更容易地获得高质量的数据，从而能更快和更精确地洞察企业数据。统一治理和审计合规：数据编织“连接”数据而非“搬运”数据，省去复杂、耗时、耗神的ETL/ELT过程。本地化管理企业内部、外部、云端的数据资产的元数据；通过AI/ML技术，自动化应用策略、使得DataMiddleOfficeBestPractices中台问道｜技术篇23 24DataMiddleOfficeBestPractices中台问道｜技术篇中台问道数据中台参考2023能力篇中台问道数据中台参考2023能力篇审计合规性和识别系统中的潜在数据漏洞变得更加容易；通过整合所有数据环境，落地整体数据治理和安全流程集中且一致的治理体系。自动化和动态集成能力：审计合规性和识别系统中的潜在数据漏洞变得更加容易；通过整合所有数据环境，落地整体数据治理和安全流程集中且一致的治理体系。自动化和动态集成能力：数据编织的设计和部署天然具备对跨分布式的多种基础设施环境的数据进行集成的能力，为孤立的数据源提供自动创建数据集成管道，支持ETL、web服务、API接口等多种集成管道。通过预定义的数据集成策略，自助、动态获取最新的数据资产，让企业的数据资产可见、可查、可管、可用。自动编排和统一数据生命周期：数据编织采用人工智能、机器学习、数据湖以及其他平台和技术，对不同数据源进行自助编排，确保企业全面了解所有数据环境中的数据管道并支持数据的统一生命周期管理，包括数据驱动应用的开发、运营、测试和生产发布。据Gartner公开报道显示，数据编织使数据管理工作量减少70%，并加快数据价值实现。——观点摘录于《你知道数据治理，你听过数据编织嘛？》“谈数据”（微信公众号learning-bigdata）使用数据湖替代Kappa架构中Kafka地位的混合架构。首先，数据湖本身的ACID特性，能保证数据的准确性；其次，虽然在实时性上，相对Kappa架构较慢，但仍然可以提供毫秒级的数据计算分析；第三，数据湖存储本身提供表格形式供应用读取，对SQL语言兼容性强，所以在任何数仓层级的数据都可以被随时消费使用；第四，部分数据湖技术如Iceberg还可以直接对接Presto/Trino计算引擎，可以快速支持实时数据即席分析的场景，对于数据分析人员更友好，但对数据基础设施和数据处理技能要求高，适合能力较为成熟的研发团队。——工业信息安全发展研究中心数据专委会高级专家白松能力篇能力篇建设数据中台必备能力Q2：如何统一数仓层建模流程及规范？爱学习的小澜同学Q2：如何统一数仓层建模流程及规范？爱学习的小澜同学统一数仓层建设过程以维度建模为理论基础，包含构建总线矩阵，划分业务板块，定义数据域、业务过程、维度、原子指标、修饰类型、修饰词、时间周期、派生指标，确定维度表、事实表的模型设计等流程，呈现结果是一套数据体系，能够覆盖全域数据，保障数据准确一致。数据调研，梳理业务过程：了解业务系统的业务，收集分析师、运营人员对数据或者报表需求，面向业务分析，整理所有的业务过程，进行适当的拆分。数据域划分：数据域是DW层的顶层划分，是对企业业务的抽象提炼，面向业务分析，包含当前所有业务需求，也便于未来扩展。比如：采购域、库存域、商品域等。包含数据调研、业务分类、数据域定义、构建总线矩阵四个阶段。明确指标，规范定义：明确原子指标和派生指标，构建一致性逻辑维度及维度属性，构建一致性度量和指标，一致性指标定义就是定义原子指标、修饰词、时间周期和派生指标的含义、类型、命名等，被用于模型设计，是建模的基础；模型设计-维度表：维度设计的核心是确定维度属性，维度属性尽可能丰富。维度属性设计中会有一些反规范化设计，把相关维度的属性也合并到主维度属性中，达到易用减少关联的效果。维度设计主要包括选择维度、确定主维表、梳理关联维表、定义维度属性等过程。模型设计-事实表：事实表通过粒度和事实度量来描述业务过程，是统一数仓层建设的主要产出物，事实表就包含表达粒度的键值部分、事实度量及退化的维度属性。一切数据应用和分析都是围绕事实表来展开的，适当冗余的事实表能够提高数据易用性并降低平台计算成本。代码开发，部署运维：数据业务逻辑实现；生成ETL任务，运行状态监控。——畅销书《数据中台：让数据用起来》作者付登坡11力？爱学习的小澜同学随着业务规模增长，企业对于数据的实时性要求会越来越强，甚至将借用大数据技术来直接解决业务问题，流批计算的常见架构主要有Lambda架构、Kappa、flink+数据湖的Kappa架构。Lambda架构是将流与批分开，架构复杂，需要搭建两套环境、写两份相同逻辑的代码，造成整体运维成本、资源需求都将翻倍以及数据口径不一致的问题，但由于批量计算的成熟稳定的基座，其架构比较稳定，建议应用在业务简单，且以流式数据为主数据流的大数据架构；Kappa架构是仅使用流计算处理引擎的模式，架构简单，不同的数仓层级中使用Kafka消息队列来缓存数据，这种架构的好处是只需要编写一套代码即可以完成数据处理，但kafka存储成本高且数据量大，无法支持海量数据存储及高效的OLAP查询。DataMiddleOfficeBestPractices中台问道｜能力篇25 26DataMiddleOfficeBestPractices中台问道｜能力篇3品技术能力？爱学习的小澜同学按阶段可分为基于规则的数据质量管控（RQC:TheRegulation-BasedQualityControl)、基于成本的数据价值运营（CVO：TheCost-BasedValueOperation）治理模式，前者核心关注如何让数据内容本身变得“可信”，而后者更加关注如何让数据的价值运营变得“可度量”。数据治理整体框架围绕“115N”进行开展。即以1套平台为支撑，构建5大治理体系，承载N个业务场景，实现1个目标。五大治理体系即管控体系、标准体系、质量体系、安全体系、资产体系。管控体系：是组织保障、制度保障和流程保障，需要明确各级数据管理部门，数据使用部门在数据治理中的活动职责，建立数据全生命周期流程。数据标准：是保障数据内外部使用和交换的一致性和准确性的规范性约束需要，需要完善数据相关的标准、规范建立数据标准迭代管理机制，保障数据标准的有效性。质量体系：目的是保证数据的应用效果，需要建立数据质量评价规则体系，开展数据质量评价，建立数据质量监控机制，完善数据质量问题的闭环管理。安全体系：数据分类分级是数据安全管理的基础，保障数据安全共享，需要建立数据分类分级管理规范，明确数据脱敏加密管理方案，识别敏感数据，确保敏感数据被保护。资产体系：建设目的是为了让数据好找、好用，需要构建数据资产目录，让数据可见、可用完善数据资产的共享机制，充分发挥数据资产价值。——数据治理专家、DAMA数据治理工程师、CDO首席数据官培训讲师蒋梦琴异常数据监控：通过数据集成流程来集成数据质量规则和活动，这对提高数据资产的准确度和价值至关重要。检查、分析数据质量的异常情况，并对规则进行验证，并确定、评估数据质量的服务水平，根据评估结果完善规则。数据质量可视化：对照目标，监测数据质量，并形成报告。管理监控数据质量，与预设目标进行对比，并形成数据质量报告，使数据责任部门的同事能够及时掌握数据的质量问题。组织体系保障：建立数据质量管理的组织体系并为具有适当技能的人员分配角色以确保数据质量，如数据治理委员会、数据分析师、数据管理员，还可制定数据质量绩效考核，提升数据质量管理意识。——数据资产管理专家、DAMA数据治理工程师、项目管理专家姚秀清4品技术能力？爱学习的小澜同学4品技术能力？爱学习的小澜同学数据质量盘点：对于已确权的数据集，开展数据质量识别工作，掌握数据集的基本情况及可能出现的情况。设计量化指标：根据数据识别的结果，对数据质量的标准进行设定，对目标进行量化，给出数据质量的维度、评估指标和度量的方法，以便开展后续的数据质量评估工作。明确数据质量规则：对数据集的计算口径是否符合规则进行监控。如果发现数据集不满足要求，则及时向数据责任部门和同事发出数据质量问题告警。同时建立缺陷数据纠错机制，完善并实施数据质量规则，以达到最好的预期。Q5：保障数据安全，如何推进数据分类分级管理？爱学习的小澜同学“人工+智能”实施数据分类分级：利用知识图谱、数据标签技术进行系统自动化扫描可以简化数据分类分级的过程，根据预定参数对数据进行分类和定级，但较为复杂的数据需要人为手动定义。加强IT与业务合作：数据安全治理需要以业务为基础，技术为支撑，IT人员能够实现标准化或自动化识别的流程，从而简化数据分类分级过程；业务人员深度参与，能够提供业务视角的建议和指导。为不同的分类分级定义不同安全策略：基于企业数据的分类分级制定数据访问控制策略，形成敏感分级数据与用户角色的访问控制矩阵，为数据的安全合规使用提供支撑。尽量缩小敏感数据流转路径：企业数据安全治理环境复杂多变，对敏感数据的防泄漏变得极其困难，企业应当遵循“最小可用”原则，尽量减少敏感数据存储位置的数量并及时删除无关的数据。创建数据安全保护的文化：加强数据安全意识宣贯，明确数据的管理和使用流程，强调数据的隐私和安全对企业和个人的重要意义，形成对数据隐私和安全的整体认知和数据文化。——观点摘录于《数据安全治理：数据的分类分级指南》“谈数据”微信公众号learning-bigdata）DataMiddleOfficeBestPractices中台问道｜能力篇中台问道数据中台参考2023实践篇中台问道数据中台参考2023实践篇6规边界？爱学习的小澜同学数据流通依旧面临着数据资产梳理和分类分级难度大、数据滥用、数据污染、数据防护压力加大等问题，如何在保证数据安全的前提下促进数据要素有效流动和高效释放，成为数字中国建设中必须突破的核心问题。应围绕数据流通在数据层面、活动层面、设施层面的需求，充分发挥政府、行业、企业各方资源和技术优势，推动形成多方协同、齐抓共管的治理格局。政府部门应通过政策引领等方式，在流通数据层，明确各类各级数据差异化的流通条件和安全要求，并结合流通利用和安全保护需求制定流通数据负面清单；在流通活动层，探索分级分层市场准入、“沙盒”监管等创新机制，适度给予创新容错空间；在流通设施层，建立交易平台准入评估机制，探索建设跨区域一体化数据流通平台、“数据银行”等基础设施，搭建安全流通环境。行业机构应结合各领域特点，在流通数据层，加快制定数据分类分级标准规范，开展非结构化数据、重要数据自动识别、分析、达标等技术攻关；在流通活动层，开展安全多方计算、联邦计算、隐私计算等流通安全技术攻关；在流通设施层，大力发展面向流通需求的安全检测、评估、认证等专业服务。企业主体应全面落实国家和行业数据分类分级管理要求，在流通数据层，积极应对新技术提升数据分类分级的及时性和准确度；在流通活动层，建设内部数据流通安全一体化的管理平台，强化政企协同联动；在流通设施层，定期开展流通设施安全监测评估，持续提升安全保护能力。——观点摘录于中国信息通信研究院副院长魏亮2022中国互联网大会数据安全论坛演讲内容数据中台创新应用场景实践篇盘点风险相关的数据（体量、覆盖范围、数据质量等），形成风险数据资产，进一步判断这些风险数据是否能够支持风险指标与风险模型的开发。建模型：结合风控专家和业务专家梳理的风控业务逻辑，数据开发人员转化成风险指标，进而通过规则引擎等工具配置风控模型，以支持风险的自动预警。管风险：包括模型管理、风险预警、风险分发、风险处理、整改追责、自查纠偏。不仅仅是给审计风控部门使用，同时会根据风险管理级别和响应模式，将预警风险同步给业务部门，实现风险的信息共享，达到赋能业务的目标。供保障：为保证审计风控数字化转型有效落地，切实产出业务价值，除了提供数字化工具，还需要从组织层面落实数字化绩效考核、营造数字化审计风控氛围、提供数据分析培训，构建三道防线协同机制等动作来保障审计风控数字化落地效果。——工信部两化融合管理标准化技术委员会工作组成员汪国强1术能力？爱学习的小澜同学1术能力？爱学习的小澜同学找风险：审计风控专家和业务专家协同合作，梳理好整个企业的风险管控点，对风险进行分类分级管理，聚焦于企业战略目标相关的核心风险，并构建企业风险管理的风险业务逻辑规则。盘数据：在梳理好企业风险点，形成企业风险管理的标准风险库或风险地图后，需要数据开发人员介入,2力？爱学习的小澜同学边缘数仓是基于边缘计算实现工厂端的数据汇聚拉通，通过维度建模构建工厂端一体化数据湖仓，以下以C汽车集团建设经验为例。C集团汽车主机厂的制造工厂分布在全国各地，制造工厂数据量庞大，非结构化数据多，如采用常规的集中式数据管理，存在数据传输成本高（专线传输），数据实时性无法保障，数据安全隐患等风险，所以需要在制造工厂端构建边缘数仓，对工厂的数据进行统一处理，满足工厂端的数据管理，快速响应业务。基于经典数仓建模方法维度建模构建工厂端一体化数据湖仓，集合汽车制造工厂的对象形成人、机、料、法、环、测、能数据主题域，将制造工厂的MES系统，LMS系统，MQS系统，物联系统，线下填报系统等全厂二十多个系统的数据快速汇聚到边缘数仓。通过汽车制造工厂边缘数据仓建设，形成了一套高效、先进、易用、稳定的制造工厂边缘仓数据开发及管理工具，实现了工厂端数据集中、业务边缘计算、数据轻度汇总，向大数据平台提供开放式接口，实现数据互通互联，为汽车制造企业深化数字化转型奠定了基础。——制造行业专家、供应链管理师、高级项目管理师张瑞红DataMiddleOfficeBestPractices中台问道｜实践篇实践案例

数据中台参考2023某文旅地产集团国资集团践行

某文旅地产集团WENLVDICHAN实践案例shi jian an li

”数字新基建大型央国企：某文旅地产集团、某大型国有企业医药集团制造：三一集团有限公司汽车：中国长安汽车集团有限公司、宝马（中国）汽车贸易有限公司政务：苍南县人民政府零售：瑞安房地产有限公司农业：云南褚氏农业有限公司

项目动因2021年，某文旅地产集团制订了面向未来的数字化转型“133”蓝图规划，围绕管理信息化、业务数字化和数字产业化，全面推动规划落地实施。纳入董事会应建范围的子企业全部实现应建尽建；对标世界一流管理提升行动集团项目平均进度达90%；市场化薪酬分配与激励约束机制项目入选国资委标杆项目······DataMiddleOfficeBestPractices实践案例31 32DataMiddleOfficeBestPractices实践案例国央企/制国央企/制造/汽车 /政务/零售/农业数据中台参考2023某文旅地产集团数字化愿景全方位打造（全连接、数字孪生）产品创新能力数字化愿景全方位打造（全连接、数字孪生）产品创新能力运营协同能力提升效率内外赋能 消费互联网升级用户服务能力科学决策生态合作能力极致体验 产业互联网落地数字化能力知识沉淀能力数据洞察能力数字化新基建数字化转型保障上云入湖保安全队伍建设 预算支持 考核保障数字化转型双轮驱动业务价值 技术能力数字产业化业务数字化管理信息化4、针对项目、分期、产品、楼栋、房间、客户、供应商等相关数据进行清洗加工，形成集团统一标准主数据，提供数据共享服务；5、针对新型城镇化场景，以全周期动态货值管理为切入点，为管理层和业务运营层提供数据洞察。解决方案集团数据湖项目从平台、数据、应用三方面建设展开，整体解决方案如下：客户中台（CDP）：标签管理、客户分层、客户画像、客户旅程、价值挖掘、客群API······客户中台（CDP）：标签管理、客户分层、客户画像、客户旅程、价值挖掘、客群API······动态货值经营货值档案 货值合理性...满意度客户运营地产营销文旅营销客户洞察客户运营数据应用用户中心角色管理环境安全多租户环境隔离用户中心角色管理环境安全多租户环境隔离数据标准管理数据标准制定标准导入数据资产管理资产门户数据概览元数据数据质量质量监控质量告警生命周期周期设置周期变更标准稽核质量分、价值分数据血缘质量报告周期建议资产管理数据服务数据服务API主数据数据资产数据建模主题划分数据打通ODSDWDTDM数据资产数据建模主题划分数据打通ODSDWDTDMADS客户数据资产景区数据资产其他数据资产离线开发数据协同开发实时开发运维管理离线开发数据协同开发实时开发运维管理任务发布管理任务生产监控各监控告警数据开发建设目标以集团数字化发展战略为指导、“上云入湖”为手段，构建可支撑集团实现“可见、可用、可运营”的全面数据资产管理的基础设施，通过完善数据体系建设，加强数据治理工作，形成内外部数据交易生态，满足各分子公司数据应用建设需求，让数据湖的“湖水”真正流转起来，用数据能力创造业务价值。本期项目建设目标如下：1、借助互联网思维和大数据技术，打造统一数据共享和数据应用建设基础平台，支撑集团各业务板块数字化创新应用场景建设；2、采集并拉通业务（文化、旅游、投资、地产、财务等）及第三方（舆情、网评、行业数据等）数据，构建以客户为中心的数据共享服务中心，赋能管理与运营；

底层计算底层计算 数据存储华为私有云CDH计算层一、建设一体化数据平台，实现数据入湖搭建一体化大数据平台，提供数据接入、数据开发、数据管理、数据服务的全生命周期数据管理能力，实现从数据入湖到数据共享的一站式基础设施能力构建。DataMiddleOfficeBestPractices国央企｜某文旅地产集团33 34DataMiddleOfficeBestPractices国央企｜某文旅地产集团数据接入数据加工数据运维数据接入数据加工数据运维数据服务资产管理站一 站的式 资金”、“财务”各类指标，实现指标资产可视化、指标数据服务化，具备基于指标数据进行战略调整和决策规划的数据的数 基础，为运营策略和业务活动开展提供数据能力支撑。据应用基设础 指标体系化设指标规范化施搭建符合企业业务实际情况的数据指标体系，划分指标关联的业务域。指标规范化施统一指标和维度管理，指标命名、计算口径、统计来源唯一、维度定义规范、维度值一致，避免歧义和理解偏差，从而提升组织效率。指标统一化指标统一化二、数据资产建设与管理依托大数据平台，推进数据入湖，打通全集团数据，实现客户数据、指标数据、主数据三类核心数据资产的构建和管理。客户数据建设：实现集团全景客户画像，通过客户标签体系的建设，形成集团客户数据资产；指标数据建设：实现文旅、城镇化及财务板块的指标建设和管理；主数据建设：包括客户、项目在内的九类主数据资产，并进行管理与服务输出。1、客户数据全面贯通基于大数据平台的数据处理能力，通过构建客户标签体系，利用ID-mapping技术，将各业务系统客户数据进行融合拉通，形成集团统一客户数据中心，实现集团全景客户画像。

统一数据出口、场景化覆盖，为企业构建完善的数字化指标管理体系从而建立数据管理共识，最终提升企业的管理能力。指标可视化指标可视化提供给业务人员可查询企业使用的各类指标的检索门户，方便业务人员快速了解企业指标、使用指标，实现企业指标资产可视化。风险可控风险可控通过制定各业务链路关键节点的指标，实时监控预警业务节点状态结合各种维度为业务全面体检，诊断业务健康情况。用数自主用数自主3、形成跨系统、跨部门和跨业务共享的主数据建设包括客户、项目、产品、供应商在内的9大类集团标准主数据，通过大数据平台数据服务能力，形成API，实现为全集团提供跨系统、跨部门和跨业务的便捷数据共享服务。单一可信数据共享/透明(开放)单一可信数据建立(锁定)单一可信数据共享/透明(开放)单一可信数据建立(锁定)形成跨系统、跨部门和跨业务共享的核心业务实体数据DataMiddleOfficeBestPractices国央企｜某文旅地产集团35 36DataMiddleOfficeBestPractices国央企｜某文旅地产集团三、数据应用：实现货值运营体系构建，辅助决策分析以城镇化业务全周期动态货值管理为切入点，在指标体系建设的基础上，结合数据可视化技术，构建决策辅助分析系统，实现管理和运营决策支撑。1、立等可取改变原有完全通过人工汇总上报的月度模式，随时可以在线查看数据情况；2、一屏总览一屏展现总体态势，多方位体现经营情况。销售、回款、总货值、待售 一览无余；3、多维洞察多层下钻分析，按组织、地区及项目多维度分析；

应用价值集团数据湖项目，以数字化新基建的“上云入湖”为指导，助力并推进集团数字化转型。1、建设数据共享服务中心，支持集团与子公司之间统一业务数据交换实现数据交换处理，建设数据共享服务中心：作为集团数据湖建设的基础设施，承载集团各业务板块离散系统数据打通的职能，为实现集团各分子公司数据入湖提供技术基础。平台支持不同架构下的数据持续入湖、加工与管理，日常数据处理任务数超6千个，日处理数量超千万。目前已帮助集团打通地产、文旅、财务、资产等多个业态及部门，近20个系统数据，实现超8亿条数据入湖工作，为全集团的数据开发、数据管理和数据应用提供有力支撑。2、构建企业级指标体系，形成集团数据资产1.0版本建设支付、会员、营销、产品四大统一平台，构建底层支撑能力，打通业务和数据壁垒，形成集团数据资产1.0版本，完成全集团超6000万用户数据汇集，实现灵活运营和精准营销；构建企业级指标体系，具备基于指标数据进行战略调整和决策规划的数据支撑能力；构建集团标准主数据，提供跨系统、跨部门和跨业务的便捷数据共享服务。以成本监控平台、货值管理和财务共享系统为抓手，助力旅游及城镇化业务标准化。3、构建数据应用，赋能业务提效与智能决策以全周期动态货值管理为切入点，完成决策经营分析大屏建设，一屏展现总体态势，支持在线查看和下钻分析，多方位体现经营情况，实现对货值精细化、可视化、动态化管理，为管理层和业务运营层提供决策数据支持。客户评价集团正在开展以“上云入湖保安全”为重点的数字化新基建项目，希望通过与数澜的合作，加快构建集团数据湖建设并推进数据入湖，推动数据共享与流动，实现数据资产化、服务化，为集团提供真正可信、有用、高效的数字化转型基础技术平台。某文旅地产集团数据湖项目组DataMiddleOfficeBestPractices国央企｜某文旅地产集团37 38DataMiddleOfficeBestPractices国央企｜某文旅地产集团国央企/制国央企/制造/汽车 /政务/零售/农业数据中台参考2023某大型国有企业医药集团某大型国有企业医药集团YIYAO完善业务、数据一体化打造医药数字化某大型国企医药集团OTC事业部数字化转型项目转型新标杆某大型国企医药集团OTC事业部数字化转型项目

2、医药行业新零售发展趋势据有关数据统计，2020年中国三大终端药品销售额为16,437亿元，受疫情、集采和重点监控目录影响，公立医院终端近年来首次出现负增长，而零售药店终端在三大终端中受疫情影响最小，恢复较快，2020年零售药店终端销售额达4,330元，同比增长3.2.%，其中网上药店销售同比增长高达75.6%。药店连锁化率将持续提升，对于大型连锁药店来说，数据整合难度降低，有益于集团进行战略规划和营销培训。而对于中小型连锁及单体药店，互相合作，可以挖掘新的市场获得增长空间。医药新零售风口已来，机遇和挑战并存，传统零售药店、医药企业、互联网巨头纷纷入局医药电商，该集团需抓住机遇。3、内部战略牵引数字化转型的核心目标是实现业务增长、客户满意、内部管理和效率提升，甚至于探索发现新的商机，为企业未来的持续发展增加更多动能。面对科技发展大势,把握行业变革方向，集团坚持“技术+业务”双轮驱动，实施“以科技创新为驱动,打造国际领先药企”的发展战略，以大型医药企业主营业务为基点积极建设数字化，数智化转型。集团未来数字化的演进有四大趋势一、医药数字化创新沿着“要素一、医药数字化创新沿着“要素—流程—服务”的演变路径递进，集团应当抓住此次市场契机，进行数字化战略布局，在医药数字化浪潮中构筑竞争优势；二、客户与数字化原生企业之间的融合加速，客户作为医药营销的核心支撑，将协力打造营销推广综合体系；三、数据分析是竞争优势，产品定制化是服务关键，数据安全将成为重点问题，已经有越来越多的医药企业开始认真地对待隐私和数据安全问题，将数据安全及数据透明度作为品牌差异化工具；四、集团加速从医药IT应用向医药DT（数字）应用演进。在此背景牵引下，数澜对集团0TC事业部数字化转型需求进行深入调研的基础上，结合行业趋势、技术发展现状，规划集团未来数字化转型蓝图，制定切实可行的数字化转型建设策略、演进路径、实施方案并主导实施，以实现集团在降本增效的基础上，开拓新场景，寻找新增量的目的。项目将以数据资产平台为基础，构建数据应用平台和业务应用平台，并对价值业务场景进行深入分析，挖掘开拓新场景，最终实现OTC事业部的数字化转型。项目动因具体来看，集团OTC项目动因具体来看，集团OTC事业部数字化转型主要来自以下三方面驱动：1、政策牵引2、医药行业新零售发展趋势3、内部战略牵引1、政策牵引为深入贯彻落实习近平总书记关于促进数字经济和实体经济融合发展的重要指示精神，落实党中央、国务院关于深化新一代信息技术与制造业融合发展、打造数字经济新优势等决策部署，引导国有企业把握数字经济发展机遇，加速提升企业创新能力，自2020年起陆续出台多项政策，加快部署推进国有企业数字化转型。集团0TC事业部积极推动数字化转型及布局数字化新赛道，希望通过数字化转型达成0TC事业部降本增效和实现新场景、新增量的目标。DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团39 40DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团国央企/制造/国央企/制造/汽车 /政务/零售/农业数据中台参考2023某大型国有企业医药集团1、洞察新场景、新增量基于数据应用平台及业务应用平台，探索新场景的构建，新场景的模式既是可以通过数据优化形成的，亦是可以通过人工智能等技术运用形成的，在新场景的探索中，尤其针对集团0TC事业部数字化转型的实际需求，通过内部业务管理和整体的营销管理入手，探索有价值有意义的场景模式，并基于场景模式为集团带来新的增量范式。2、探索新技术与医药企业数字化转型新模式本项目的建设立足于数字化转型，结合现有业务状况及未来发展趋势，以数据资产平台建设为基础，通过业务数据化、业务线上化实现数据驱动业务的运营模式，同时在数据洞悉的过程中，探索出具有医药行业特点的，可落地的场景，为集团数字化转型及体系创新型应用建设进行持续探索、研究、深化，分享数字化创新成果。

业务中台：业务中台是后台的延伸，实现资源或能力的极度共享，沉淀出可以“被共享的能力”，因此需要将现有的业务流程的能力进行提取，形成中台能力，供前台直接调用。包括客户中心、产品中心、促销中心、组织中心、交易中心、订单中心、结算中心等。数据应用场景：数据应用场景是基于数据资产平台的应用，但应用场景更侧重于人工智能建模，以大数据为基础，利用算法来实现一些智能化的模型，包括经营分析、领导驾驶舱、销售看板、运营预警、客户画像、员工画像等数据应用场景，来做为传统经营分析系统的补充和完善，并结合可视化工具进行呈现，同时发挥大数据平台特有的价值。数字化宣贯人员数字化宣贯人员分知识体系类数字化转型蓝图面向对象面向对象一线员工中层领导管理者解决方案为确保数字化转型项目的持续性推进，项目内容共包含：数字化宣贯、数字化转型蓝图设计、业务中台及数据中台的双中台建设以及基于数字化转型蓝图及双中台的数据应用场景和业务应用场景构建，因此集团OTC事业部的数字化转型是一站式、一体化的转型构建模式。 解决方案为确保数字化转型项目的持续性推进，项目内容共包含：数字化宣贯、数字化转型蓝图设计、业务中台及数据中台的双中台建设以及基于数字化转型蓝图及双中台的数据应用场景和业务应用场景构建，因此集团OTC事业部的数字化转型是一站式、一体化的转型构建模式。业务分析中心竞品分析智能决策风险预测......业务应用场景直控业务销控管理销售助手商控业务KA业务销售业务数据应用场景数据应用客户画像员工画像经营分析中心领导驾驶舱 销售看板财务看板 人力看板项目规划设计该集团数字化转型项目总体架构根据项目的建设原则一共分为七个模块，分别如下：数字化宣贯：数字化宣贯的核心目标是通过现场培训、远程培训等方式，全面提升全体员工对数字化的认知，为该集团发掘数字化管理人才、数字化专业人才以及数字化应用人才提供平台服务。数字化转型蓝图：是从顶层视角，在数据资产平台、业务应用平台建设完成之后，如何实现场景落地以及未来数字化转型实施路径的关键，是指导与把控数字化建设的重要手段，因此数字化转型蓝图至少需要满足未来3-5年的数字化转型需求。大数据平台底座：最底层的大数据平台底座用于大数据集群的搭建、运维、管理，支撑多源异构数据的存储和计算，将ERP系统、资金系统、OA系统、数据流向系统、财务系统等业务系统的源数据同步、抽取到大数据平台底座中，供上层数据中台和业务中台的建设使用。数据资产平台：数据资产平台主要负责数据资产开发、数据资产治理、数据资产运营、基础组件四大模块。数据资产开发：包含离线开发、实时开发、算法开发、数据服务四个子系统，提供对数据资产的各种开发支撑功能；数据资产治理：对数据资产进行统一管控治理，包括数据标准、资产全景、数据模型、数据地图、数据安全、数据质量等模块；数据资产运营：利用OLP的方式构建和管理标签体系，主要包括标签管理、标签加工、标签应用等功能；基础组件：为整个数据资产平台能力提供统一的职能管理，包括项目管理、集群管理、用户管理、资源管理、数据源管理、平台管理、系统配置等模块。

大数据平台底座大数据平台底座渠道流向系统 财务系统ERP系统 资金系统 OA系统 MCC系统业务系统......订单中心组织中心员工中心商品中心促销中心......订单中心组织中心员工中心商品中心促销中心结算中心产品中心客户中心业务中台数据资产开发数据资产平台数据资产治理离线开发 数据服务 数据标准 数据模型 数据安全算法开发 实时开发 资产全景 数据地图 数据质量数据资产运营标签中心基础组件组织管理标签管理 标签加工 项目管理集群管理标签应用 用户管理资源管理 ......控制台一、数字化宣贯与组织能力建设1、数字化宣贯的目的数字化宣贯的目的在于帮助集团构建数字化人才体系，提升整体数字化素质能力，包括提升业务部门的数据化分析、数据化运营、数据化创新能力，区域管理的数据化思维、数据化管理、数据化服务等能力。宣贯课程如下：DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团41 42DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团国央企/制国央企/制造/汽车 /政务/零售/农业数据中台参考2023某大型国有企业医药集团数据汇聚可视化任务调度配置 数据汇聚可视化任务调度配置 可视化任务调度配置 实时/增量数据同步 多数据源支持 统一数据交换序号课程名称课程简介认知课1数字化转型的定义和本质了解什么是数字化，企业为什么要进行数字化，以及数字化未来所能带来的影响2新技术赋能数字化转型与中台战略理解主流技术的基本概念及应用价值，如人工智能、物联网、区块链、工业互联网；企业中台战略的认知及战略3数字驱动创新营销实践分享数字化浪潮之下如何看待数据驱动营销、实施路径及场景实例4人工智能在企业经营的应用价值人工智能相关技术介绍及应用场景落地实践案例分享入门课5从企业的数据汇聚看业务数据化企业部门间的数据如何汇聚价值及价值应用实践6数据资产构建及服务业务化企业基于场景驱动为企业经营生活提供服务的应用能力及实践分享7数据分析思维与科学决策数据决策对企业管理的使用价值、实施路径及场景实例8业务中台保障企业的稳定经营和灵活创新企业通过业务中台建设实现各业务板块之间的协同，持续提升业务创新效率高阶课9数据定义未来数字化管理观念、方法沉淀过程中的思考，对趋势的理解和判断10数据驱动企业升级企业数智化的思考，企业落地路径、问题及价值11数据中台落地实践案例各行业在数据应用落地的典型案例分享统一数据资产建设数据开发数据资产体系数据管控离线数据开发实时数据开发算法建模 数据应用层（ADM) 数据标签（TDM)【客户/药品标签体系】 公共数据层（CDM) 数据标准管理数据质量管理元数据管理数据资产建设监控运维 贴源数据层（ODS) 数据安全管理面向决策层领导：剖析研判趋势政策，提高思想认识，探讨医药领域布局，提升决策层系统性统筹和规划数字化转型工作的思维和能力，从而站在企业经营决策管理的高度指导后续数字化转型实施计划。面向管理层领导：提升数字化意识，掌握数字化管理的应用方法，从而提升管理人员的数字化能力，为OTC事业部的数字化转型提供强大的支撑，使事业部的各类业务快速地推进数字化转型变革。面向执行层员工：从数字化视角审视工作内容，发现工作中的冗余流程，进而优化掉这些冗余，简化工作流程，提升了工作开展的效率，节约运营成本，为OTC事业部的数字化转型提供优化想法和改进建议。二、数字化转型蓝图设计1、背景数澜通过自身的数字化转型与项目经验，与集团OTC事业部竭诚合作，通过调研事业部的业务模式与流程，向“智能营销模式及价值创造性组织的转变”提供现有流程梳理与后续提升优化、业务管理咨询、应用场景构建等数字化内容。具体内容包括：梳理业务现状，找到提升效率的关键点与方法，通过科学的方法理顺业务流程，职责清晰，工作有序，过程可视；结合集团OTC事业部业务与客户的特性，对事业部的管理及产品的推广给予指导和建议；根据业务工作特性与实际需求，构建数字化架构蓝图，为未来3-5年运营效率和销售业绩提升奠定数字化基础。

渠道流向数据 ERP数据 财务数据 电商数据 埋点数据 ......渠道流向数据ERP数据财务数据电商数据埋点数据......2、数字化转型蓝图结合集团实际需求，采用以下思路实现总体规划：顶层设计，是数据资产平台、业务应用平台建设完成之后，如何实现场景落地以及未来事业部数字化蓝图设计的关键，是指导与把控本次项目在后续建设的重要手段，至少需要未来3-5年的数字化转型路径。场景驱动：在项目实施过程中，需要寻找迫切的业务需求场景进行相应的实施开发支撑，最终以满足业务场景为目的，达到场景驱动项目建设的目标。分布实施：分步实施方法，作为开工前期一项重要的策划工作，是项目建设中重要的控制和管理手段，是对整个项目一次系统性的梳理与分解工作，从整体到局部的建设思路。由易到难：采用由易到难的方式，优先完成较为容易实现的场景，将较为复杂困难的场景优先级排到后面，可保证项目风险可控，增强双方项目参与人员的项目实施自信。持续迭代：数字化转型工作是一个持续迭代的过程，不可能一蹴而就，因此在项目实施过程中，建议采用持续迭代方式建设，使场景以进化的方式逐渐推进。三、数据中台、业务中台双中台及业务场景建设以数据中台为基础，构建数据应用平台和业务应用平台，并对价值业务场景进行深入分析，挖掘开拓新场景，最终实现OTC事业部的数字化转型。领导驾驶舱数据看板客户画像渠道画像辅助决策智能审批......数据应用API创建API管理统一数据服务API授权API调用应用管理数据服务 领导驾驶舱数据看板客户画像渠道画像辅助决策智能审批......数据应用API创建API管理统一数据服务API授权API调用应用管理数据服务 资产门户 数据地图 统一数据资产管理标签管理......数据资产管理DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团43 44DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团国央企/制造国央企/制造/汽车 /政务/零售/农业数据中台参考2023某大型国有企业医药集团1、构建数据资产化能力构建数据资产平台，实现数据的整合互通，并实现跨部门、跨区域、跨层级、跨网系间的数据共享；针对已建设的系统之间数据关联程度不高的问题，通过业务的主线建立数据之间的关联，实现数据的融合，将数据变为有价值的数据资产。2、提升业务数据化分析应用能力构建数据应用平台，实现营销信息的主动推送，指标分析及决策场景落地，以实时反映企业的运行状态，将数据形象化、直观化、具体化。并通过对信息资源的多元检索和深入分析，支持及时、准确、动态的智能化服务；以此为基础，借助“管理驾驶舱”、“数据看板”等前台应用，为集团OTC事业部的各业务部门提供数据应用服务，包括数据可视化，基于数据的预警能力，基于数据的预测能力。3、业务线上化的数据驱动能力构建通过业务应用平台，基于数据资产平台的算法能力和数据处理能力，构建数据驱动业务的业务线上化能力，实现数据驱动的决策，而非经验的驱动，最终实现在数字化运营过程中，直接用数据价值驱动业务和干预业务，从而实现业务的智能化。4、场景建设及应用价值审批流程智能审核

疫情影响+配货场景动作问题动作问题销售配货疫情影响销量测算地方政策客户库存数据不清缺乏依据销售策略 智能化应用流程 智能预警数据洞察营销机器学习模型智能模型、研判模型研判分析销量预测营销建议外部客户疫情预警风险评估内部人员库存分析营销策略库存评估/分配比例/时间周期智能配送药品配送促销启停/动态营销/卡卷管理营销手段营销策略库存数据/销售情况/订单挖掘疫情爬取/政策评估/销量预测业务智能场景场景建设背景：由于疫情形式的不稳定，如某地突发疫情，该区域管辖内相关退烧、感冒药品直接禁售，导致供应链、库存等情况无法及时调整，销售策略缺乏依据进行针对性制定。需要建设业务智能场景实现智能预警、数据洞察、营销策略分析建议、库存分析等大数据分析能力，同时构建智能化应用流程包括疫情预警、营销策略、药品配送等功能，降低特殊形势下（如现阶段的疫情）对区域药品配送、营销策略的影响。（2）应用价值：①通过业务智能场景实现对疫情的智能预警，内部人员可进行风险评估，同时对外部客户提出营销建议；②通过业务智能场景中营销策略分析建议结果并提供营销手段，协助进行营销活动的展开，以及活动销量的预测，同时反馈营销机器学习模型，进行迭代优化；③通过对库存的智能分析，生成药品的配送策略，实现智能配送，并同时进行研判分析，反馈营销策略模型的迭代优化。片区总部片区业务片区总部片区业务片区财务活动发起申请审批流程片区区总总部领导总部财务不通过，打回重新调整不通过发起增加销量或者终端覆盖的活动申请 审核活动方案通过审核活动方案（主题、时间、范围、费用）通过(主题、时间、范围、费用)通过审核片区活动费用不通过开展活动通过发起活动 总结申请活动总结申请审批流程流程与活动发起申请审批流程一致模型应用目标用户输出模型销售系统目标定义宽带加工模型应用目标用户输出模型销售系统目标定义宽带加工特征工程构建模型评估调优营销活动系统正负例·终端客户信息·终端客户位置·筛选基础特征·加工衍生变量·推荐算法·协同过滤·交叉验证·网络搜索预测精准营销系统·终端客户规模·分箱筛选·......·终端客户类型（药店、诊所、·矩阵相关性分析乡镇卫生院、·IV值与WOE分析院边店、等级医院等）·前向逐步回归法·购进产品信息·购进产品数量·购进频率·......·业务经验筛选应用价值：审批流程涉及数据流向的各系统的数据打通，提取关键信息如活动费用、销量数据、覆盖终端数量等内容，实现通过数据比对直接判断，审批流程中直接呈现，作为领导审批的判断依据，从而提升审批效率以及准确性。DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团45 46DataMiddleOfficeBestPractices国央企｜某大型国有企业医药集团国央企/制国央企/制造/汽车 /政务/零售/农业数据中台参考2023三一集团场景建设背景：依照现有数据显示，大部分终端客户只购进了集团1-2个产品，实际集团常年销售的处方、OTC共一百多品种，如何依据同类标杆终端，对产品单一终端的潜在购进品种进行拓展；购进频次，购进单价等异动数据监控。建模流程：首先确定目标终端，针对模型目标构建模型宽表，将与模型相关的字段信息进行补充，包括客户信息、位置、规模、类型、构建产品情况等内容；然后通过特征工程对宽表数据进行探索分析，包括值分析、统计分

三一集团

SANYIJITUAN三一集团有限公司析、频次分析、直方图分析、数据标准化和归一化处理、空值缺失处理、特征提取等方式，最终形成真正的入模字段；采用决策树、随机森林、XGBoos