共建共赢 打造中建企业互联网开放平台-数据供应链

用友网络科技股份有限公司中建企业互联网开放平台试点建设数据供应链2024/5/3目录数据供应链背景与理解数据供应链建设目标数据供应链整体架构数据供应链下的数据驱动应用场景12345数据供应链下的数据仓库构建路径系统数据手工数据外部数据非结构化数据数据存储数据传输数据整合数据生产数据使用系统间数据传输组织间数据传输内外部数据传输系统间数据整合异构系统数据整合实时数据整合结构与非结构数据整合接口数据层整合数据层汇总数据层面准实时数据层数据共享数据分析数据智能数据服务数据供应链的背景与理解企业数据供应链——企业应将数据视为供应链，使其在企业整个组织内便利和有效的流通来，从企业自身数据中充分挖掘价值潜力，最终形成贯穿企业组织间、业务间、产业链伙伴间的完成数据生态系统。数据供应链的背景与理解

“DT”时代的到来，让企业重新审视自已所拥有的数据，如何利用好已有的数据，让“沉睡”的数据产生价值并成为企业的核心竞争力之一，是企业面临的机遇和挑战。在”DT“时代背景下，企业应该将数据流动性充分释放，赋予数据以应用场景，对内以企业管理为基础，实现企业内部数据共享，建立符合企业经营监管的决策与管控分析体系。对外可将一部分(可公开)高质量、高价值的数据以合适的价格交付给我们重要的合作伙伴或客户，对一些潜在的客户可将一些低价值的数据作为营销手段进行赠送。内外内外高值数据卖产业链利益参与方实现价值构建中建总分析体系分析报表、考核指标低值数据送潜在客户维系关系数据目录数据供应链背景与理解数据供应链建设目标数据供应链整体架构数据供应链下的数据驱动应用场景12345数据供应链下的数据仓库构建路径数据供应链-总体目标智慧中建互联网+企业运营平台定标准建体系搭平台立应用实现企业自上而下的数据管理规范与标准的顶层设计跨业务、跨组织、跨领域统一标准与规范建设企业经营监管的决策与管控分析体系、多层级、多角色、多领域实现由“数据驱动”的企业经营与管控目标建设企业级的数据管理平台，实现“数据供应链”的数据生产、数据传输、数据采集、数据整合、数据存储全过程，为数据应用奠定平台基础实现知识共享、监控预警、运营评价、决策分析、数据智能、数据服务等多种数据应用方式，满足“用户至上”的企业要求目录数据供应链背景与理解数据供应链建设目标数据供应链整体架构数据供应链下的数据驱动应用场景12345数据供应链下的数据仓库构建路径数据供应链-整体架构图财务人力供应链资金成本预算售楼商务其他业务系统音频视频SNS网站文本微信微博行业其他非结构化半结构化UDH（低价值密度数据）半结构化数据非结构化数据结构化数据HIVEPIGMapReduceHDFS流处理技术列存储粗粒度索引压缩技术SQL优化动态扩展资源管理大表关联并行数据加载ODSDW元数据管理主数据管理数据质量数据安全ODSODSDMDMDMETLETLETLCDCETLMQ存储数据模型算法管理数据挖掘多维模型建模……数据仓库统一数据服务统一数据应用数据接口数据共享业务报表分析指标预警考核指标业务问题流程优化数据产品数据服务管理报表统一访问PCPAD移动APPMPP数据库（高价值密度结构化数据）行业对标宏观经济目录数据供应链背景与理解数据供应链建设目标数据供应链整体架构数据供应链下的数据驱动应用场景12345数据供应链下的数据仓库构建路径技术业务管理数据驱动数据管理规模：GB-〉TB、PB数据管理类型：行存储、列存储-------------------------------------数据服务：DaaS数据挖掘：OLAP、DM、机器学习、R、Spark-------------------------------------数据集成：ETL\ELT、实时、MDM数据采集：ERP、CRM、在线、移动商业模式创新--------------------营销策划流程绩效优化------------------分析决策指标监控思想、思维、文化--------------------数据架构数据标准数据质量数据服务数据供应链-数据驱动数据驱动会对管理、业务、技术三方面影响数据供应链-数据驱动-业务场景以下示例用“工程盈利率”指标为案例理解数据驱动对业务的影响。首先将工程盈利率指标进行分解，从最基础的数据进行取数，经过加工计算，得到最终的单个项目工程盈利率工程盈利率项目盈利额项目总收入项目总收入自行施工总收入+

–参与成本分析的总收入指定分包完成的总收入劳务分供成本专业分供成本内部分包冲减成本材料成本机械费用项目管理费用税金成本资金成本涉及部门+项目总成本项目部财务部数据供应链-数据驱动-业务场景项目级公司级局级通过相同的方法，可以将各项目“工程盈利率”全部计算出来，并以一些适当方法（比如加权平均），汇总算出公司级和局的“工程盈利率”，这样站在局级角度可以看各公司级的”工程盈利率”对比，站在公司级角度可以看各项目“工程盈利率”对比。同时可以以局级“工程盈利率”指标值为标准，制定此指标的考核范围，例如：11%以上为优，7%-10%为正常，6%以下为差，各公司可进行以对标。数据供应链-数据驱动-业务场景第一建设公司项目A盈利率16.08%局平均盈利率第三建设公司项目C盈利率5.53%局平均盈利率平均盈利率=7.89%第二建设公司项目B盈利率7.96%局平均盈利率由于”项目总收入“中的“指定分包完成的总收入”高，并且”项目总成本“中“资金成本”低，所以一公司项目A的盈利率高于平均水平由于”项目总成本“中”项目管理费用”明显高于正常水平，所以三公司项目C的盈利率低于平均水平通过数据分析结果，看到业务问题，并追踪问题原因，体现数据驱动对业务提升或变革目录数据供应链背景与理解数据供应链建设目标数据供应链整体架构数据供应链下的数据驱动应用场景12345数据供应链下的数据仓库构建路径4.数据存储5.数据应用3.数据集成1.数据探查2.数据模型迭代数据供应链-数据仓库数据仓库的构建遵从以下原则：实用性：符合中建总信息发展需求，并与其他系统支持平台相适应，建设成果能够满足企业的管理需求前瞻性：建设成果应满足中建总数据仓库系统未来几年不同发展阶段的业务需求，具有较强的预见性扩展性：在满足现有需求的同时，充分考虑后期的可扩展性，适应企业不同阶段的发展要求开放性：具有良好的开放性，支持本身需求的同时，可与其他应用系统进行数据共享及数据接口灵活性：系统架构要适应经营战略调整、组织架构变化、以及信息化规划变化的灵活性要求，全面考虑系统当前与远期的建设需求安全性：提供系统全方位的安全保障，要从网络接入、数据传输、系统管理、权限控制等多个方面采取措施，充分保证系统安全性数据仓库的构建是一个迭代的过程数据供应链-数据仓库数据探查数据模型数据集成数据存储数据应用数据探查梳理应用系统、数据流、数据关联、数据分布等现状，为后续工作做好基础准备。数据模型构建企业信息的完整统一数据模型，包含了现有系统的数据实体和实体间的关系、属性、定义、描述和范例，综合展现数据之间的关系，并适应新的数据要求。数据集成多异构环境下的数据整合、多数据源下的结构化和非结构化数据整合、同时实现各级组织之间的数据传输。数据存储数据仓库设计方法数据仓库总体架构数据仓库部署架构数据应用定义数据的应用类型、应用对象及应用范畴。应用方式：数据接口型云端自助型移动分析型主数据规范元数据规范数据集成规范数据安全规范数据仓库构建过程12345数据质量规范关键步骤数据治理01、数据采集接口标准实现方式实现流程接口内容双方责任2、数据模型标准命名规范脚本规范注释规范维护规范3、统一业务编码标准基础编码规范总部业务编码编码映射4、ETL作业标准统一调度统一监控统一配置统一界面5、数据服务标准数据封装服务交互服务管理6、数据质量管理标准文件审核记录审核业务逻辑审核7、元数据管理标准元数据定义元数据采集元数据服务8、数据安全管理标准数据安全分级应用安全管理统一日志管理4A安全管理9、数据生命周期标准在线区近线区归档区DW九个统一标准ODS自动手工填报业务系统数据源…………DWDM指标库接口AI-DI/CDCETL数据服务数据仓库数据服务数据采集数据质量元数据数据安全数据生命周期ETLETLETLETL分析报表绩效评价经营监控问题发现数据服务商机挖掘数据封装应用123456789数据供应链-数据仓库-数据治理数据治理中的标准贯穿整个数据仓库构建过程，是项目成功的有效保障，内容包含但不限于如下：数据标准与规范定义数据标准规范是对企业客户管理所涉及的各项数据的定义与解释，以及数据质量及安全性要求的统一定义，主要内容包含数据在业务层面的定义和在技术层面的定义。数据在业务层面的定义可称为业务标准，主要包括信息大类、信息小类、英文名称、中文名称、业务含义、数据管理部门和重要程度等内容

数据的技术标准，从技术层面描述数据项的定义。数据的技术标准包括：数据类型、数据格式、有效值域、是否可空、缺省值等内容根据企业的业务数据特点，对来源于各个系统中的数据实体进行统一代码定义，包括定义代码编号、中文名称、英文名称、业务含义、编码规则、字段规则等内容，实现各个系统间数据的一致性数据供应链-数据仓库-数据治理数据供应链-数据仓库-数据治理唯一性：数据定义的唯一性一致性：同一信息项数据在系统内或不同系统间保持一致、口径的一致性。准确性：数据正确的体现真实情况，数据符合具体业务规则关联性：数据项取值满足与其他数据项之间的依赖关系。完整性：对一项业务数据的完整性进行缺失考察、所必须的数据项及数据项的必须属性均被记录有效性：数据符合已定义的格式规范、有效的数据格式或数值正确性：ETL过程正确性/加工过程正确性/数据整合正确性/模型正确性/展现正确性可用性：主要体现在使用的效率上时效性：能够按照业务需求集市产生所需的数据充足性：在保证数据正确性基础上对主要业务专题提供足够的数据进行高精度的分析数据质量原则与流程安全与风险识别模型数据供应链-数据仓库-数据治理数据仓库安全架构数据供应链-数据仓库-数据探查生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4数据供应链-数据仓库-数据探查通过数据的业务分布与系统应用分布的分析方法(CRUD矩阵)形成数据分布矩阵CRUD:表达了数据实体也功能的关系、CD事件提供了数据仓库的数据源的数据质量和数据完整性信息、U事件对数据仓库的维护具有重要意义。生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4数据供应链-数据仓库-数据探查数据实体间的数据流转；业务数据实体之间关系：各系统之间数据流转关系，数据关联关系，及接口定义。生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4数据供应链-数据仓库-数据探查生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4组织间的数据流转不同组织间的数据流转：包括同级组织横向数据流转，上下组织纵向数据流转数据供应链-数据仓库-企业数据模型使企业数据从部门级提升至企业级实现信息资产的协同与共享在建设业务系统时作为其逻辑数据模型的重要参考,最终实施全企业数据存储标准的统一数据与应用分离统一企业核心业务概念，作为业务部门与业务部门，业务人员和业务人员之间沟通的桥梁在业务系统数据交换、整合时,作为系统之间信息交换标准的参考，以及ODS层数据整合的标准统一业务概念提高数据质量规范数据标准找出多个系统相关和重合的信息，减少多系统之间信息的重复定义直接用于构建数据仓库的逻辑数据模型。整合来自不同源系统的数据统一查询口径整合数据资源企业数据模型设计目标数据供应链-数据仓库-企业数据模型概念模型逻辑模型物理模型定义了企业级的主题域、层面、主要的实体及实体间的业务关系对概念数据模型的进一步分解和细化，描述模型实体以及它们如何关联描述模型实体的细节，包括通过使用特定的(数据库)产品如何实施模型的信息。数据模型建设层级手工填报ESBETL实时数据集成非（半）结构化数据集成各级单位手工数据业务系统财务人力供应链半结构化/非结构化数据文档音频邮件图片视频单据数据集成标准规范异构整合：区域异构、网络异构、系统异构、数据格式异构等异构环境下的数据整合结构化与非结构化的数据来源整合针对没有信息化的数据资源，现阶段可以采用填报方式进行数据获取数据采集监控

平台运营监控数据质量监控日志监控多级填报自动汇总数据校验审核流程总线结构柔性扩展分布部署自由交换数据共享数据采集数据清洗数据转换数据加载基于日志增量捕捉实时同步实时分析海量多样数据分布集群部署极速处理架构价值挖掘模型结构化数据仓库半（非）结构化数据仓库数据供应链-数据仓库-数据集成数据集成是数据仓库建设中最复杂也是耗时最多的一个环节，此步骤直接影响项目整体进度与质量，数据集成包含但不限于如下内容：数据供应链-数据仓库-数据仓库设计方法星型模型正确的数据仓库模型选择，会使后续分析工作达到事半功倍的效果。目前数据仓库常用的两种模型为星型和雪花型:雪花模型模型主要优势主要不足星型模型ETL复杂度相对较低、查询性能稍好数据冗余高雪花模型数据冗余少ETL复杂度高、查询性能稍差数据供应链-数据仓库-数据仓库架构设计整合数据层是EDW存储数据的核心层，是对ODS整合数据按主题、维度的深度整合汇总数据层对整合层的数据按照主题分析的需要进行汇总，实现数据的收敛应用数据层为各级各层用户提供综合查询统计、主题分析、专题分析以及决策支持数据共享层是数据服务层，本身不存储数据。通过提供准实时批量数据共享和实时查询服务来实现跨系统数据共享汇总数据层针对ODS支撑的跨系统生产报表等应用需要，根据主题的维度形成的企业统计、汇总数据整合数据层经过数据淸洗、转换、整合后的业务数据，是ODS的核心数据层接口数据层存储从源业务系统采集的数据，作为进行数据整合工作的临时工作区。数据供应链-数据仓库-数据仓库部署模式数据仓库部署一般有三种方式，可根据总局实际需求选择合适的部署方式：数据与应用全集中集中式架构适用于集约化管理要求很高，各类业务系统集中部署的企业分布采集应用集中混合式适用于集约化管理要求高，业务系统分布部署，且数据量适中的企业数据与应用全分散分散式架构适用于总部对二级单位管控需求较少的企业财务HR生产管理商务协同办公其他下属单位DWODS财务HR集团分析系统财务HR生产管理商务协同办公其他下属单位DWODS财务HR分析系统集团ODS生产管理商务协同办公下属单位DWODS财务HR分析系统ODS财务HR其他DW集团数据供应链-数据仓库-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用数据信息检索数据交换数据推送数据发布权限管理数据供应链-数据仓库-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用数据供应链-数据仓库-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用数据供应链-数据仓库-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用数据供应链-数据仓库-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用37文档编制谷文用友网络BA产品事业部闫霞用友网络建筑事业部高幸用友网络BA产品事业部【简介】用友股份BA事业部高级专家。15年IT行业经验，10年商业分析领域经验，曾负责BA咨询实施总部、技术与研发部等多个部门工作。十多年BA咨询实施与产品研发经验，专注于商业分析与大数据方向，担任数十个商业分析项目的项目总监、项目经理，具有丰富的BA项目实施规划、项目总体设计、商业分析产品规划与设计经验。【专业领域】聚焦大数据、商业分析、数据中心与数据治理解决方案近年来致力于行业大数据分析与挖掘的最佳实践应用推广与研究。擅长于战略绩效、财务、供应链、资金、人力资本、客户关系、投资等多领域的业务