某公司数据标准体系建议

某公司集团数据标准体系与数据湖交流部门Division版本号Version日期Date某公司数据管理制度和标准的体系建议01基于大数据平台的数据湖建设方案02数据入湖策略03目录CONTENTS实施困难与建议04数据管理部门的期望33盘点“两化”集团及各事业部同类业务的属性，以业务重组为出发点，以应用系统为落脚点；深度挖掘国资监管系统的数据报送需求，制定出符合某公司集团“科学至上”的数据标准体系。以集团迫切需求为核心出发点通过模型体系，提供规范、完善的数据管理支撑；通过数据服务域的数据管控，建立企业级面向定向域的数据标准，为后期数据入湖和大数据分析提供坚实的基础。以”数据湖“为核心的数据管理机制基于“星环”的大数据平台，建立数据资源层、平台服务层和平台接入层的数据闭环管理。符合现有数据平台需求充分利用在其他某著名企业的应用成果，从总部职能层面，梳理出高可用，快见效的经营体系数据标准。专业与高效技术要求快速实施“两化”及报送需求入湖准备信息标准体系现状-现存不足4在数字化转型大背景下，对数据的管理逐渐细化，大型集团现有的数据标准体系已体现出一些瓶颈，不能有效的支持数据管理工作的需求，具体说明如下：标准实施受限时效性不足分类不适合内容格式不统一信息标准目前更多的着力于业务流程及系统应用固化层面的标准化，而对于数据在系统技术实现及存储层面上的管控较弱，体现在标准与系统中的数据关联关系难以建立与维护，标准的执行情况很难去评估、检查与跟踪；信息标准从计划、起草、征求意见到审批发布的一年，且标准在发布后原则上三年以内不允，难以及时的响应目前较快节奏的业务革新所对应的数据标准需求；数据层标准之前的分类是根据数据的类型进行分类，不利于从业务角度去进行标准化规范化；目前信息标准对于各类型的数据标准的格式与内容的规范缺乏统一定义。各标准文件中的数据标准的格式与内容范围参差不齐。缺乏整体规划设计由于总部业务部门、事业部没有参与到标准管理过程中，目前数据的标准较多以项目为维度编制，较难形成具有全局视角的企业级数据标准。某公司数据管理制度和标准的体系建议数据标准体系规划构思6信标委“十四五”信息技术标准体系框架，规划上分为数据、平台、应用、基础设施、信息安全、运营与管理，其中数据标准包括数据管理与技术、公共数据编码、生产运行数据、经营管理数据四大部分。信息技术标准体系规划构思数据数据管理与技术规范公共数据编码生产运行数据经营管理数据化工农业…数据管理与技术规范，承接数据管理办法，为各级单位开展数据管理工作提供框架、方法以及技术方面的指导数据管理规范数据应用技术规范标准工作导则基础设施运营与管理安全应用网络生产运行经营管理数据中心应用安全数据安全云计算基础应用基础设施安全信息项目管理运营管理信息安全管理平台技术中台数据中台物联网平台平台安全数据标准规范，包括主数据管理标准（物资分类及属性标准规范、客户供应商主数据标准规范、组织机构与员工数据标准规范）公共数据编码物资分类及属性标准规范客户供应商主数据标准规范组织机构与员工数据标准规范经营管理企业风险管理数据标准…。。。。。。创战与战略数据标准人力资源管理数据标准财务管理数据标准数据规范数据管理与技术规范–总体说明数据管理与技术规范建议包括三部分内容：数据标准工作导则：明确数据标准定义规范，为数据相关标准的编制提供纲领与规则数据管理规范：为标准化、规范化数据管理活动的管理性规范数据应用技术指南：数据分析与应用过程中的技术性工作指南2.数据管理规范3.数据应用技术指南数据血缘分析数据规划与架构统一数据规划数据架构管理数据资源目录…数据创建与维护数据创建数据维护数据质量…数据共享与应用数据归集数据应用数据共享授权…检查与考核数据管理检查通报机制追责数据安全与审计分级保护访问控制审计监督…数据服务注册大数据建模可视化分析预测分析语义引擎数据挖掘…主要覆盖管理活动中对于标准化、规范化需求较高的领域，包含：企业数据架构建设数据资源盘点与登记注册数据质量管理数据安全管理数据归集与共享1.数据标准工作导则…业务术语主数据标准数据元标准指标数据标准参考数据标准业务属性管理属性技术属性数据管理与技术规范–规划清单©某著名企业8数据管理与技术规范主要包括：数据标准工作导则、企业数据架构建设规范、数据资源盘点与登记注册规范三册标准规范。序号标准分类标准名称内容说明1数据层数据管理与技术规范数据标准工作导则数据标准工作导则数据标准相关工作的导则，包含数据管理与技术规范的编制规则，以及数据规范（包括数据元、指标数据、参考数据、主数据、业务术语等标准类型）的编制规则、方法及落地实施指引。适用于集团总部、事业部负责数据管理工作的管理者和实施者开展数据标准的编制与实施工作。2数据管理规范企业数据架构建设规范包含集团数据主题划分，集团及各专业领域的数据模型、分布、血缘等数据架构组成的建设工作的规范，以及信息系统遵循数据架构进行数据建设等落实工作的指引。适用于集团总部、事业部负责数据管理工作的管理者和实施者开展数据架构的构建与落实工作。3数据资源盘点与登记注册规范集团各级单位进行数据资源盘点、登记注册与认责以及数据目录建设等工作的指导与规范。适用于集团总部、事业部负责数据管理工作的管理者和实施者开展数据资源的盘点、登记、认责及数据目录构建工作。4数据质量控制规范集团数据质量控制体系框架（包括评估维度、流程等）的定义，数据质量规则创建与维护，以及数据质量评估、监督、检查、问题处理等工作的规范。适用于集团总部、事业部负责数据管理工作的管理者和实施者开展数据质量控制工作。5数据安全与审计控制规范数据的安全保护等级的分级定级规则，数据脱敏的方法与规则，以及对数据访问控制中的访问日志、访问权限等机制的建设与管理的指导。适用于集团总部、事业部负责数据管理工作的管理者和实施者开展数据安全保护控制工作。6数据归集与共享规范包含数据归集工作的要求、规则与执行指南，以及数据共享与授权使用的规则、管理流程、合规要求等内容。适用于集团总部、事业部负责数据管理工作的管理者和实施者开展数据归集与共享工作。7数据应用技术规范数据应用技术规范为数据分析、数据挖掘、数据可视化等分析类数据应用的开发指南。适用于集团总部、事业部负责数据应用开发工作的管理者和实施者。数据管理与技术规范–《数据资源盘点与登记注册规范》内容说明9数据实体与数据项管理属性业务属性技术属性共享属性安全属性参考数据数据资源中文名称、数据项中文名称、代码取值、代码名称代码级别、上级代码名称、代码取值规则系统交互接口信息系统信息、信息系统交互信息、接口服务信息对应数据资源及数据项属性信息数据管理属性数据实体管理属性数据实体共享属性逻辑模型安全属性逻辑模型标准属性逻辑模型质量属性数据模型信息数据主题域划分概念模型信息逻辑模型信息数据系统属性系统信息系统物理模型信息系统物理模型对应字段信息《数据资源盘点与登记注册规范》指导集团总部和各事业部开展本单位的数据资源的盘点与登记注册工作。主要内容包括数据资源盘点、数据资源登记注册、数据资源目录构建等三项的活动的实施方法论。数据资源注册数据资源盘点数据资源目录构建示例数据规范–总体说明10数据规范生产运行能源领域示例能源业务标准勘探开发管理数据规范石油贸务数据归档规范炼油化工数据处理规则油品及化工品销售数据填报规范仓储物流数据填报规范…应用层标准补充引用公共数据为各业务领域提供公共数据的标准规范，包括当事人、客户、供应商和产品等决策支持经营管理农业业务领域金融业务领域农用化学品业务领域化工装备业务领域化工业务领域地产业务领域新材料及特种化学l领域橡胶轮胎业务领域科研设计业务领域生产经营管理报表管理驾驶舱能源业务领域规划计划领域财务管理领域人力资源管理领域创战领域法务管理领域物资供应链领域企业风险管理领域安全节能领域数据规范内容说明如下：指导与约束提供引用提供引用提供引用数据管理规范–数据标准工作导则为数据规范的编制工作提供规则、方法及落地实施指引数据规范构建思路11指标数据数据元参考数据建议原数据层、应用层数据相关标准遵循数据标准工作导则中的标准定义规范及方法，进行整理与规范化，形成领域数据标准并纳入数据规范中进行管理。应用层标准涉及数据时，通过引用数据层数据规范中业务领域数据标准的形式实现。能源领域业务数据相关标准能源领域业务数据结构第2部分：生产数据能源领域业务数据结构第3部分：技术数据能源领域业务生产运行数据填报规范能源领域业务数据产能建设数据填报规范等能源领域业务数据结构第1部分：基础数据人力资源管理数据填报规范财务经营管理数据填报规范企业风险管理数据规范创战与战略管理数据规范引用引用合并补充…经营管理数据标准业务术语主数据业务领域数据相关标准本领域应用标准领域数据标准整合引用以业务领域为维度，根据标准导则中标准的规范整合形成领域数据标准应用层的标准涉及数据时，引用数据层数据规范中的数据标准应用标准…参考国标DCMM数据标准分类数据规范清单12数据规范的规划方案：主要内容：数据规范层依据数据资源目录对于数据领域的划分，各领域均规划一册数据标准；原数据层标准及应用层数据相关标准的内容根据所属数据领域，整理纳入数据规范对应分册中；序号标准分类标准名称内容说明1数据规范能源数据标准勘探开发、炼油化工、石油贸务、油品及化工品销售、仓储物流等标准规范2化工数据标准氟化工、中间体及新材料、农用化学品、聚合物添加剂、天然橡胶、石化原料营销、医药健康等标准规范3农业数据标准农业投入品(化肥、种子、农药)和现代农业服务等标准规范4地产数据标准地产开发和酒店经营等标准规范5油品销售数据标准成品油、润滑油、燃料油沥青及其他炼油小产品的、非油产品的销售等领域的数据标准规范金融数据标准信托、融资租赁、财务公司、人寿保险、产业基金、新产业孵化、商业保理等标准规范6创战业务数据标准某著名企业业务发展的规划计划以及投资项目的项目前期、投资计划、经济评价、工程造价管理、后评价等领域的数据标准规范7财务管理数据标准会计核算、预算管理、资金管理、资产管理、关联交、报账管理等领域的数据标准规范8人力资源管理数据标准招聘管理、考勤管理、人事管理、职称评审等领域的数据标准规范9资本运营数据标准股权投资、股权管理、企业法人等领域的数据标准规范10物资与装备数据标准物料、物资采购、物资仓储、采购质量管理，以及装备制造业务等领域的数据标准规范11法务管理数据标准合同与法务管理数据标准规范12综合管理数据标准包含综合办公、政策研究、质量安全环保、科技、信息、外事、企改、矿区服务、思想政治、离退休干部等职能管理业务的数据标准规范13综合管理数据标准包含综合办公、政策研究、质量安全环保、科技、信息、外事、企改、矿区服务、思想政治、离退休干部等职能管理业务的数据标准规范14审计管理数据标准巡视、审计、违规投资经营追责所涉及计划需求报送、任务分配、项目管理、资源管理等数据标准规范15纪检管理数据标准信访、线索、案件、党风政风、八项规定等标准规范安全环保数据标准包括QHSE、应急、安全、质量、环保以及生产运行项目中的HSE标准规范16安全环保数据标准17党群管理数据标准包括基层管理、党组织管理、党员管理、党费管理、文化建设考评、党务公开、支部管理以及工会、共青团管理标准规范18公共数据标准员工、组织机构、物料、会计科目、往来单位、产品、基础数据等各领域公共的数据标准规范工作机制–数据管理组织13信息化工作领导小组信息中心数据管理部门管理技术支持管理指导信息管理部数据管理中心协同管理所属企业业务管理职能管理各事业部数据管理责任部门业务处室总部职能部门数据管理责任部门业务处室数据管理责任部门业务处室信息化领导小组是数据管理工作的领导决策机构，负责落实数据管理政策，审议数据规划方案和工作计划，决策重大事项信息管理部门是数据工作归口管理部门，负责决策落实，数据管理相关工作，组织数据生态建设数据管理中心是数据管理工作实施部门，负责数据的具体实施工作；由信息管理部统一指导总部职能部门按职能分工负责本业务领域数据建设、数据保护、数据应用与共享工作，是本业务领域数据管理工作责任主体各事业部负责本专业数据建设、数据保护、数据应用与共享工作，是本专业领域数据管理工作责任主体所属企业是本单位数据的创建者、管理者、使用者信息中心数某著名企业信息系统的数据创建、管理与应用等全过程建设与运维工作机构职责工作机制–数据权责14在业务范围内全面梳理数据-组织、数据-流程、数据-系统之间的操作关系矩阵，梳理形成需求认责的核心数据清单，形成数据认责管理矩阵，同时结合梳理的数据标准、质量规则等规范，形成数据管理要求清册、操作指引，形成数据管理岗位责任要求，作为日常工作职责，并纳入绩效考核中。综合管控要求与问题分析梳理认责数据项清单，识别需要认责的核心数据认责数据清单按组织机构岗位编制岗位数据责任要求数据管理岗位责任要求数据对象明确数据的管理组织数据项各层级、各类型责任岗位（人员）数据认责管理矩阵数据标准数据质量规则数据管理规定数据管理要求清册数据项与各个组织机构-岗位（人员）间的操作关系数据-组织/流程/系统的操作关系矩阵认责关系责任要求数据校验脚本数据质量稽核、校验问题数据集、纳入质量分析报告，纳入绩效考核扫描提取问题数据集纳入年度考核1.2.3.4.5.6.7.绩效考核日常工作与管理要求工作机制–制度体系15参照行业实践，依据授权决策次序，结合某公司集团实际情况，落实各方数据管理职责，建立层次化的数据管理制度体系框架，分为三层：集团数据管理办法：明确数据管理组织架构，及各方工作职责；明确数据职能领域划分；提出各数据职能领域总体要求集团数据标准规范：为各数据职能域提供规范要求，并制定指南，指导专业领域开展工作；为了与《数据管理办法》进行下一步的落地执行，制定形成6个规范的管理规范体系专业领域某著名企业办法、标准规范的前提下，职能处室、专业领域可制定符合本板块的实际情况、专业特色实施细则、行动指南、操作手册集团公司数据管理办法数据管理组织与职责数据管理原则数据管理总体要求集团层数据管理标准规范专业领域实施细则人力资源实施细则财务资产实施细则企业风险实施细则化工领域实施细则农业领域实施细则……数据资源盘点与登记注册管理规范企业数据架构建设规范数据安全管理规范数据归集与共享技术标准数据质量管理规范数据检查与考核规范基于大数据平台的数据湖建设方案数据湖–建设方案–目标及内容17建设目标：以大数据、云计算、人工智能等新技术搭建某公司集团数据湖平台，汇聚某公司集团内外数据；规范数据入湖标准和数据统一注册和发布，通过安全管理机制实现某公司集团数据资产共享并提供数据服务；建设配套的数据湖监控和安全管理能力，为集团各级单位开展和创新数据应用提供坚实的数据基础，助力集团十四五数字化转型战略实施建设内容统一设计和建设某公司集团数据湖管理平台，实现对数据采集、存储、管理、共享与应用的基础管理用管采存发布数据标准定义数据密集明确数据所有者认证可信数据源数据质量评估元数据注册汇聚集团内外海量数据，包括结构化数据、半结构化数据、非结构化数据，构建集团数据资产目录，逐步实现数据共享和资产化管理技术体系建设入湖规范与流程数据汇聚与共享化工能源集团总部人、财、物、ERP金融…数据治理体系建设集团数据治理体系设计，包括数据政策、数据组织、数据流程、数据架构、数据质量等，支撑数据湖的建设和运维运营依据现有数据资产，规范数据入湖标准，统一数据注册发布数据湖–架构思路演进传统数仓架构以ETL批处理与离线数据建模加工为主结构化数据ETL数据仓库BI分析报表可视化结构化、半结构化、非结构化数据数据湖ETL数据仓库BI分析报表可视化数据科学人工智能数据湖架构统一汇聚结构化与非结构化数据基于数据湖搭建数据仓库数仓与数据湖结合方式支持数据分析挖掘结构化、半结构化、非结构化数据数据湖统一元数据管理、数据存储格式，数据模型计算引擎与数据访问BI分析报表可视化数据科学人工智能湖仓一体架构统一汇聚结构化与非结构化数据数据湖向数仓能力扩展，湖某著名企业仓基于数据湖存储架构实现数仓与数据治理体系参考UC伯克利与斯坦福发表的Lakehouse论文数据湖–蓝图全景图191、数据治理体系建立：由集团总部统一建设；2、数据湖平台搭建：属于公共的IT平台能力，集团总部统一建设；3、数据入湖实施：集团总部负责标准及能力支持，数据运营团队负责入湖。4、数据湖应用基于数据湖的数据分析和智能服务……数据服务人力财务主数据数据消费数据源批量/实时采集数据运营数据治理体系物理入湖两种入湖方式、六项入湖标准数据金库离线分析模型……数据入湖XX数字化运营XX数字化运营业务流效率提升数据中枢服务数据分析XX数字化运营数据外部数据安全数据服务报告/自助分析实时可视智能决策风险预警……虚拟入湖明确数据Owner发布数据标准管理数据源定义数据密级制定数据质量方案注册元数据实时分析模型智能标签多维分析模型算法模型数据治理战略制定制定数据治理愿景与目标数据管理规划现状诊断与评估数字化治理体系蓝图规划管理体系建设政策指引数据架构管理数据质量管理数据管理流程数据管理组织运作数据安全管理体系数据方案设计数据架构设计数据质量设计元数据管理方案设计主数据方案设计数据安全方案设计数据运营数据资产与服务运营数据质量例行度量与优化数据湖平台运维数据建模数据脱敏数据分类分级数据目录数据架构数据标准数据质量元数据管理大数据基础支撑统一数据湖技术平台数据资产管理数据集成数据交换数据计算数据存储治理能力及体系：由集团公司统一建设❶数据入湖：集团负责制定标准及能力支持，各业务域负责入湖❸数据湖平台：：属于公共的IT平台能力，统一建设。❷资源调度监控运维数据湖应用：

基于数据湖的数据分析与智能服务。4.数据湖–技术平台底座20汇聚：打破数据孤岛汇聚内/外部、结构化/非结构化等异构多源数据，按需整合，确保数据不重不漏数据资产统一注册管理按照六项标准要求入湖及注册数据资产（六项标准：数据Owner、数据标准、数据密级、数据源、质量评估、元数据注册）联接：支撑业务作业及分析通过数据关联整合分析，支撑业务的推演、分析及决策数据消费数据源结构化数据半结构化数据半结构化数据邓白氏自助分析应用集成数据探索（AI）…XXIoCXXIoCXXIoC…能源业务农业业务化工业务…IBFMVP沙盘项目盈利风险探针货量预估库表数据、结构化文件日志、点击流JSON

XML文件…IoT数据图像/视频/音频数据外部数据数据底座数据清洗聚合多维模型图模型指标标签算法模型物理表虚拟表结构化非结构化SDLTCITRSCMIPDHRMFGPROChannelSales……FIN跨领域数据服务数据服务客户主题员工主题财经主题产品主题合作伙伴主题供应商主题……关联整合分析支撑消费支撑数据入湖数据资产管理数据建模数据脱敏数据目录数据架构数据标准数据质量元数据管理数据分类分级数据湖–建设方案–功能架构设计21数据湖功能架构设计主要包括基础服务、数据采集、存储计算、数据展现、数据管理、数据运维运营六部分。数据运营存储计算数据展现数据检索数据订阅智能推送数据地图数据下载对外服务接口……数据采集互联网数据采集业务系统数据采集IOT数据采集外部数据采集7543数据管理6云平台虚拟机容器通用组件数据库应用服务基础硬件1基础服务流计算内存计算非结构化数据存储图计算结构化数据存储批量计算半结构化数据存储批量采集实时采集流式数据采集服务计量链路监控数据开发任务调度元数据管理数据质管理模型管理数据资产目录类目管理资源发布资源上架市场管理基础资源扩容2数据安全管理应用集成管理数据生命理数据标准管理数据共享管理数据服务管理参数管理管理控制台流程管理个人待办流程配置租户管理租户申请资源管理系统管理门户管理数据湖–建设方案–功能架构设计22数据湖功能架构设计主要包括数据集中式存储、数据湖管理、计算引擎管理、数据资产管理等部分。大数据集中式存储结构化数据半结构化数据非结构化数据外部数据来源关系型数据库日志系统消息中间件…..云底座数据湖统一管理任务管理统一元数据管理访问控制数据源管理数据目录质量管理数据接入数据治理计算分析引擎批处理引擎流计算引擎机器学习实时交互分析数据湖资产管理资产目录数据地图数据检索数据标准生命理数据湖–建设方案-技术架构设计23数据治理工具数据标准管理数据质量管理元数据管理数据开发组件任务调度数据开发与分析数据加抽取加载结构化数据Oracle/MySQL等流数据源数据层实时处理区准实时处理区结构化数据文件表格等离线处理区非结构化数据贴源层基础数据层主题数据区历史数据区流数据处理批处理进行模型加工数据抽取专题服务层（某省市）专题库专题服务层（在线查询区）挖掘数据区数据抽取数据抽取非结构化文件区结构化数据区HDFS/HiveHDFSHBaseStreamingMPPDB/PrestoHDFS/HiveSpark

MLlibTensorflow/TorchHBaseESMPPDBRDSLoaderLoaderHueOozieLoader数据资产目录数据安全血缘分析权限管控指标设计码表设计…分析应用预测预警多维分析数据服务目录数据目录检索查询…数据应用数据湖–建设方案–数据架构设计24基于某公司集团数据湖构成条件，需要明确数据入湖时，数据源的权责，如果入湖数据源归属于集团职能部门或处室的，数据入总部数据存储域，如果入湖数据源归属于业务公司的，数据入业务公司数据存储域。数据一次入湖，多方共享原则，禁止某业务系统中的数据在总部或业务公司数据存储域中同时出现；避免原始数据重复，禁止总部或各业务数据存储域里原始数据区中的数据进行数据流转；总部数据存储域能源数据存储域化工数据存储域农业数据存储域地产数据存储域金融数据存储域创战数据存储域安全环保数据存储域人力数据存储域财务数据存储域物资数据存储域数据湖存储域数据源系统业务系统原始数据满足入湖标准方可入湖原始数据原始数据原始数据原始数据原始数据原始数据原始数据原始数据原始数据原始数据原始数据原始数据区汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据汇合数据区12总部管理系统能源业务系统化工业务系统农业业务系统地产业务系统金融业务系统创战业务系统安全环保业务系统人力系统财务系统物资系统数据湖–建设方案-体系架构设计25云计算在线交离线分析区数据库数据库现有业务系统数据库业务中台数据中台数据湖数据中心一数据中心二数据中心三中台某省市场随着系统改造，所有传统业务系统数据会迁移到在线交，未来将演变成双模式IT，所有应用基于中台A系统B系统C系统数据湖–建设方案–建设思路26快速基建：在十四五开年，快速搭建数据湖基础技术体系，通过逻辑分区方式划分总部数据存储区和业务公司数据湖供总部和业务公司使用；双模驱动：新建系统数据直接入湖；现有系统数据按需入湖，以用促建，急用先行。规范入湖：集团数据管理中心提供入湖标准和指导，总部和业务公司遵照集团六项入湖标准，规范各自系统数据入湖；两级管理：集团提供数据湖技术体系（包括数据湖存储体系和数据湖管理能力）统一运维管理，总部和业务公司湖内用户、数据、权限等分别由总部和业务分公司进行各自管理；安全共享：通过信息系统数据入湖消弭数据共享物理壁垒，通过脱敏加密等技术手段和分级分类授等权管理措施打通数据应用壁垒，通过数据资产目录和数据地图实现全域数据安全共享；智能管控：集团将利用大数据与人工智能等技术，逐步提升数据湖的数据采集和注册自动化能力，提升数据湖监测预警，提升数据授权和使用安全数据湖–入湖方式：包含两种方式,4种技术手段274在数据源系统云化、服务化的基础上，数据底座通过元数据集中管理，并以此建立动态数据路由，实现从数据源到数据消费之间的数据传输通道。虚拟链接1在数据湖中落地储存与数据源中内容完全相同的副本。镜像同步(实时）2从数据源抽取出所需的数据经过数据清洗最终按照预先定义好的模型落地储存在数据湖中。传统ETL（离线）3从数据源主动把源系统数据推送到数据底座中，并且落地储存。订阅与推送(实时）物理入湖虚拟入湖数据湖–入湖6项标准28数据源数据外部数据能源化工农业金融地产……创战市场人力财务社交网络元数据中心数据湖物理表虚拟表结构化非结构化SDLTCITRSCMIPDHRMFGPROChannelSales……FINRetail物理入湖离线数据入湖实时数据入湖虚拟入湖入底座六项标准明确数据组织架构发布数据标准评估数据质量注册元数据管理数据源定义数据密级数据入湖：数据资产完成入底座6项标准所规定的活动后即实现入湖，实现数据资产找得到、可理解、可信任。数据入湖的方式包括物理入湖和虚拟入湖。物理入湖：指将原始数据物理复制到数据湖中，包括离线数据集成和实时数据集成两种方式。虚拟入湖：指原始数据不在数据湖中进行物理存储，而通过建立对应虚拟表的集成方式实现入湖，实时性强，大批量的数据操作对源系统的性能有较高要求。数据入湖策略设计原则30系统方案必须体现一定的灵活性，要能适应中长期的运行需要，快速灵活响应不同范围、不同层次、不同管理模式特性，不同信息系统需求系统建设不仅要考虑系统本身的安全性，更要在数据全生命（数据采集、存储、处理、访问、应用、废弃），确保符合数据安全的4A原则（认证、授权、记录、审计）系统建设立足于全局，摒弃单一平台建设思维，以数据湖系统为核心构建集团数据生态系统，实现数据应用的目标。详细设计原则系统建设将充分利用最新的信息技术发展成果，借鉴国内外最佳实践经验，采用国际领先设计理念和技术，为集团数据应用和业务创新提供更具前瞻性的技术支撑。系统设计应尽量利用现有信息资源，坚持在先进、高效前提下合理投资，以期在成本最佳的前提下获得最大的信息管理水平提升效果，以较少的投资获得较高的效益在建设过程中应基于业界开放标准，支持主流的技术规范，保证系统在符合标准的前提下又能够受益于业界发展成果，未来可以考虑参与开放社区建设，提升影响力构建构建外部生态系统全局性经济性敏捷性安全性开放性先进性数据标准与体系与数据湖建设路径31数据湖建设项目数据中台建设项目数据治理建设数据治理提升大数据分析平台项目数据资源盘点与登记注册管理规范数据管理规划与准备阶段数据管理标准建设阶段数据管理标准提升完善阶段企业数据架构标准规范能源领域数据标准规范数据入湖标准规范数据安全标准规范数据质量标准规范数据考核标准规范数据标准导则|--——--—--——2021—--————|————2022--—--—--—————|———--—--——2023—--—-———|按照“标准先行、同步提升”的原则，采用“急用先建”的策略，结合数据专项规划的总体设计，和数据管理办法管理要素，提出数据标准建设建议。先行建设标准数据湖建设策略32数据湖建设是一个循环迭代和螺旋上升的过程数据湖建设是一个庞大复杂的系统工程，难以在一次项目建设中完成业务需求是伴随着基础数据平台的建设逐步提升和细化的数据规模随着业务增长和源数据范围的扩大而不断增长开发团队规模和技术能力需要一个适应和提升的过程采用分阶段建设，不断改善提高的建设方法工程化的项目实施工艺管理是数据湖健壮的基础数据湖长远规划数据资产化应用模型基础架构1需求优先级排序业务：重要性、紧急性技术：容、稳定性标准体系与规范经营管理能源领域234远景优先级排序标准与示范应用数据平台远景规划优先级领域新增需求5建议采用连环湖的方式33按照战略管控型总部定位，充分考虑某公司集团“小总部、大业务”的管理模式，在明确集团总部与事业部的权责关系后，建议采用连环湖的方式。存储策略数据路由同步同步主湖金融湖能源湖化工湖地产湖同步同步数据入湖数据治理数据共享区域湖：负责各事业部（能源、化工、农业、地产和金融等）数据体、实时数据存储，负责本业务领域的数据治理，并支撑扩展业务数据管理与共享应用。主湖：负责公共数据的集中管理与共享应用。为各业务领域提供公共数据的标准规范，包括当事人、资源、产品等。连环湖架构优势某著名企业特色数据架构适配组织结构的数据存储架构数据治理职责清晰两级（或多级）数据治理体系保障数据应用效率分布存储、就近访问提升效率农业湖。。。集团核心级-总部职能部门跟踪级-事业部关注级实施策略–常规应用34数据湖建设需要分阶段开展，在初始建设，建议采用标准与规范、数据入湖与治理、示范应用三条主线方式进行。标准与规范和数据治理与入湖并行开展，示范应用适度展示的节奏开展相关工作。数据采用统一设计，分批采集的方式进行。现状调研方案设计实施示范应用数据入湖与治理标准与规范最佳实践研究源系统数据调研统一调研方法模板业务分析需求范围和方案数据准备就绪度确定示范应用场景选择国资监管数据范围选择生产领域事业部业务分析详细设计第一批设计第二批设计第三批设计数据模型设计数据质量评估模型设计数据治理ETL设计集成设计数据整合设计规范层设计主题层设计数据标准规范总体设计专项治理基础共享迭代更新数据湖落实第一批次第二批次第三批次应用展现测试第一批次第二批次第三批次质量检核ETL质量检核ETL质量检核ETL切换上线应用展现测试切换上线应用展现测试切换上线映射映射数据管理与技术规范业务需求调研业务架构主数据数据标准参考架构集市层设计映射映射统一管理元数据管理质量管理数据架构资产整合实施策略–快速建设35EBITDA税息折旧及摊销前利润ROIC资本回报率净利润EVA(经济增加值)国资委考核市场对标净销售额营业费用折旧费用摊销费用无形资产长期待摊财务费用ERP司库银行实施策略对比36开展深度交付物阶段衔接风险常规应用全域数据，主湖与子湖共同建设全面、有序推进，预计1-3年的时间数源湖->子湖；体系化标准制度规划先行，基于规划结果适度开展示范应用时间跨度较大，系统间定位需要先行明确项目收益显现慢快速建设基于管理要求的主湖建设基于已有大数据平台，以国资监管指标开展数据入湖工作，预计6-12月为一期迭代建设子湖->数据湖；填补式制度规范规划要保持与示范应用的一致性，适当情况需要让步数据的遗漏和冲突实施困难与建议实施困难与建议38难点措施难以确定核心应用系统数据标准化的工作涉及经营管理、生产管理以及综合办公等多类系统，在业务与技术层面涵盖了不同维度的标准，标准制定后不可避免的面临着大量系统的数据治理。在确保现有独立系统稳定运行的前提下，明确核心的一个应用系统，尽可能减少治理工作量。通过数据标准机构要充分发挥管理角色，在标准制定初期即确认核心应用系统；同时在标准制定过程中，要给予足够的时间供各系统项目进一步深入探讨。重要性认识不足长期的挑战性工作降低效率和灵活性标准化的对象是企业的业务执行和管理，企业的执行和管理方式是动态变化的，伴随地标准化的工作也是动态变化的，长期的。标准规范的制定会改变固有工作流程或者习惯，将面临不可避免的阻力和挑战。集团的核心管理层将标准规范工作提到必要的的高度；建立专门的标准规范部门执行这项工作；在集团层面针对全员宣贯和建设标准规范工作重要性、长期性的意识。在流程和数据的标准化过程