数据入湖方案

数据入湖方案目录1.入湖总体蓝图1.数据入湖及治数据理蓝图一：按需急用-需求驱动入湖二：依序入湖-规划驱动入湖数据资产盘点数据资产目录数据资产挂接业务盘点系统盘点围绕数据入湖设计治理核心内容数据标准定标数据标准落标数据标准数据资产目录可信数据源数据架构数据安全管理数据安全授权访问流程安全分类分级数据质量质量评估模型数据质量报告数据质量规则库针对第一批入湖数据优先开展数据治理活动针对后续批次入湖数据，迭代开展数据治理活动湖外治理组织主数据新建系统可改造的已建系统湖内湖外双线治理迭代开展湖内治理急用数据集团数据湖数据需求数据项清单数据分析及风险预警全面预算智慧税务数据问题目录1.入湖总体蓝图1.1入湖范围1.2入湖策略1.3入湖原则1.4入湖流程1.5接入策略1.6湖内治理1.1数据入湖范围：分析场景推动首批入湖、已建系统第二批次入湖、新建系统第三批次入湖管理数据湖管理数据入湖数据入湖第一批次

(分析需求)第二批次

（已建系统）第三批次（新建系统）-10个系统急用先行（4个）按序入湖（6个）MDM-1个系统组织主数据人员主数据物资主数据人力域其他域其他主数据零管系统进出口贸易系统电商系统其他域系统其他域数据入湖贸销数据湖销售类数据入湖目录1.入湖总体蓝图1.1入湖范围1.2入湖策略1.3入湖原则1.4入湖流程1.5接入策略1.6湖内治理湖外治理涉及源系统落标等旧系统改造工作，实施周期较长

。为满足应用需求，针对急用数据、不可改造系统的数据采取湖内治理策略；新建系统及支持改造的系统采取湖外治理策略。湖外治理数据范围源系统数据湖湖内治理湖内治理范围湖外治理范围数据入湖治理实施数据标准落标数据质量清洗数据标准落标数据质量清洗数据共享等级管控数据共享等级管控……涉及源系统改造元数据注册元数据注册数据入湖治理设计定数据所有者定可信数据源定质量定安全分级定标准定数据所有者定可信数据源定质量定安全分级定标准不涉及源系统改造1.2.1湖内湖外双线治理：分批结合，急用数据湖内治理，主数据及非急用数据湖外治理新建系统数据急用数据1.2.3治理策略：执行先入后治策略，逐步扩大湖内治理范围，最终达成全面治理入湖原则安全入湖共享入湖全表入湖需求入湖入湖四原则治理标准1.明确数据所有者2.发布数据标准3.认证数据源前置条件：数据分析与风险预警组提出数据分析需求资产目录完成6.数据分析需求与质量评估4.定义数据安全分类分级5.元数据注册治理三标准阶段治理六标准阶段湖内治理前置条件：数据治理工具具备集团数据安全等级规划完成治理标准数据入湖湖外落标目录1.入湖总体蓝图1.1入湖范围1.2入湖策略1.3入湖原则1.4入湖流程1.5接入策略1.6湖内治理入湖原则全表入湖目标：应入必入共享入湖按需入湖安全入湖治理标准1.明确数据所有者2.可信数据源3.定义数据分级4.发布数据标准5.数据质量评估6.业务元数据注册第一批次全表入湖共享入湖按需入湖安全入湖明确数据所有者可信数据源定义数据分级数据治理1.3.1

入湖原则及优先级注：其中红色字体待讨论；“原表”指未加工的基础表1.3.24项入湖原则：入湖原则决定了哪些数据应入湖按需入湖共享入湖全表入湖安全入湖业务表、结果表、源头表全表数据需入湖企业个性化、与生产活动强相关、实时性强、专业内各企业基本无共享需求的数据（例如观测数据）不入湖根据国密网络、商密网络的隔离要求，以及集团核心商密和普通商密的分级要求，仅商密网络、非涉密网络中的普通商密和非涉密数据可以入湖对于公开、内部、重要和核心数据需要遵循业务的安全需求，对涉及企业敏感的信息进行脱敏处理后才能实施数据入湖：治理所需：实行边治理边入湖稳态数据必须入湖，非稳态数据按需入湖分析所需：进行先入湖，后治理的原则核心、重要数据：核心数据原则上不入湖重要数据根据管理部门定期审视是否入湖，入湖须有明确分析目的，并获取数据所有者同意个人数据：特殊个人数据严禁入湖，敏感个人数据原则上不入湖，一般个人数据和商业联系个人数据按需入湖，由数据归口管理部门审定入湖原则1.3.36项治理标准：通过湖内治理工作使数据达到治理标准2.发布数据标准入湖数据要有相应的业务数据标准。业务数据标准描述公司层面需共同遵守的“属性层”数据含义和业务规则，是公司层面对某个数据的共同理解，这些理解一旦明确并发布，就需要作为标准在企业内被共同遵守。数据所有者由数据产生对应的流程所有者担任，是所辖数据端到端管理的责任人，负责对入湖的数据定义、数据标准和安全分级，承接数据应用中的数据质量问题，并制定数据管理工作路标，持续提升数据质量。1.明确数据所有者3.认证数据源通过认证数据源，能够确保数据从正确的数据源头入湖。认证数据源需遵循公司数据源管理的要求，一般数据源是指业务上首次正式发布某项数据的应用系统，并经过数据管理专业组织认证。认证过的数据源作为唯一数据源头被分析应用调用。当承载数据源的应用系统岀现合并、分拆、下线情况时，需及时对数据源进行失效，并启动新数据源认证。4.定义数据安全分级定义数据安全分级是数据入湖的必要条件，为了确保数据湖中的数据能充分地共享、同时又不发生信息安全问题，入湖的数据必须要分级。数据定密的责任主体是数据所有者，数据湖管理者有责任审视入湖数据安全分级的完整性，并推动、协调数据定密工作。数据安全分级在属性层级，根据资产的重要程度，定义不同等级。数据质量是数据应用结果的保证，数据入湖不需要对数据进行清洗，提升数据质量，但需要对数据质量进行评估，让数据应用的人员了解数据的质量情况，并了解应用该数据的质量风险。同时数据所有者和数据管家可以根据数据质量评估的情况，实现源头数据质量的提升，满足数据应用的质量要求。5.元数据注册元数据注册是指将入湖数据的业务元数据和技术元数据进行关联，包括逻辑实体与物理表的对应关系，及业务属性和表字段的对应关系。通过联接业务元数据和技术元数据的关系，能够支撑数据应用人员通过业务语义快速地搜索到数据湖中的数据，降低数据湖中数据应用的门槛，能让更多的业务分析人员理解和应用数据。6.数据质量评估六项数据治理标准能确保入湖的数据都有明确的业务责任人，各项数据都可理解，同时都能在相应的信息安全保证下进行应用。目录1.入湖总体蓝图1.1入湖范围1.2入湖策略1.3入湖原则1.4入湖流程1.5接入策略1.6湖内治理1.4.2入湖审批阶段：满足入湖原则的前提下，由相关方参与审批流程数据供方系统负责方申请单位/部门处级领导签字申请单位科信部主管处级领导签字数据所有者主管处级领导签字数据所有者主管处级领导签字数据对外跨域提供需财务资金域部门领导签字经营管理大数据平台主管处级别领导签字

数据需方数据共享审批流程包含由数据需方、数据供方和系统负责方相关负责人签字授权数据共享1.4.3数据入湖共享流程:由数据消费方提出用数申请，各业务域数据Owner负责数据治理入湖域内数据数据是否已入湖？消费方发起用数申请数据Owner发起入湖申请数据管理部门负责入湖治理数据管理部门跨域沟通由业务域数据Owner发起入湖申请跨域业务数据消费方发起用数申请数据Owner审批其他域数据Owner审批数据是否已入湖？通过未通过通过未通过否否入湖申请阶段共享申请阶段是是各业务域数据管理部门负责入湖治理数据共享数据共享数据管理部门统一管理*待建立*待建立目录1.入湖总体蓝图1.1入湖范围1.2入湖策略1.3入湖原则1.4入湖流程1.5接入策略1.6湖内治理1.5.1数据接入策略数据接入全量抽取增量抽取数据库直连中间库中转是否小数据量是否提供中间库是否首次抽取全量抽取是否能够采集数据库日志根据业务表增量标识抽取业务表有增量标识根据数据库日志增量抽取结束开始增全量合并是否否是是是否否否是数据库是否可以读取日志，如mysql的binlog和Oracle的OGG业务表上是否存在创建时间、最后更新时间等能够标识增量数据的字段由基础数据平台对接业务系统基础数据平台将初始数据量小于200万，且增量和变化较小，如年增量数据小于60万的数据表定义为小数据量表。1000万条以上记录的表如无增量标识且源系统不提供数据库增量日志，原则上不进行接入。数据入湖优先从业务系统的从库、备份库抽取，如果源系统无法提供从库、备份库的情况下，基础数据平台会采用合理的方式进行抽取，降低对源系统的影响。1.5.2数据接入策略总结表数据量首次抽取增量标识/数据库日志接入策略抽取方式<200万是-首次全量抽取数据库直连/中间库否-定时全量抽取200-1000万是-首次全量抽取优先备库否无定时增量抽取否有>1000万是-首次全量抽取备库否无定时增量抽取否有目录1.入湖总体蓝图1.1入湖范围1.2入湖策略1.3入湖原则1.4入湖流程1.5接入策略1.6湖内治理1.6.1数据入湖治理：围绕数据分析需求开展数据入湖及数据治理4.治理设计6.湖内治理实施

5.元数据注册

(资产目录挂接）3.入湖申请、审批、接入1.数据分析需求2.数据表探源外采与内采分析场景：通过外部采购发票与内部采购发票的价格差异，对外部采购的风险进行分析与预判。寻表5定工具挂接湖内治理序号原则1可信源:xx系统2数据等级分级：银行账号（核心），发票金额（重要），发票日期（一般)3数据Owner

:会计管理处4数据标准：产品名称统一、供应商名称统一、日期格式统一5数据质量规则：检查供应商名称不为空，日期统一用英文格式6元数据收集：数据字典入湖范围：全表入湖策略：T+1Owner：会计管理处通过SQL完成数据治理:Select*FromODSxxxxxxxxSETtime=FROM_UNIXTIME(timestamp,H:%i:%s’)1.6.3治理设计成果：数据标准、数据质量、数据安全治理成果示例安全级别属性是否个人数据数据共享属性内部级非个人数据授权共享数据一级主题域标准编码标准中文名称(CHN)标准英文名称(ENG)业务定义数据类别数据长度标准归口单位财务XXXX财务组织机构名称Fin_Org_Name在生产经营管理工作中按分工协作、职务范围、责任、权利方面所形成的层级结构体系，是实际业务发生的所属单位名称。文本类60财务部关联标准名称(CHN)*规则维度*规则模板名称*检查逻辑检查范围告警条件财务组织机构名称有效性非空性校验财务组织机构名称不为空此实体全表若不符合标准，则告警数据标准数据质量规则数据安全分级及共享属性业务属性管理属性技术属性安全级别是否个人数据共享属性关联数据标准质量规则信息质量检查范围示例示例示例1.6.4数据入湖：职责划分数据建模与服务发布工作内容湖外治理实施数据标准落地数据质量规则落地入湖申请，审批，接入入湖申请入湖审批入湖接入元数据注册数据资源目录

(L1-L5)数据标准注册数据模型注册治理设计1.数据架构-梳理可