2023发电企业工业互联网平台数据入湖标准_第1页
2023发电企业工业互联网平台数据入湖标准_第2页
2023发电企业工业互联网平台数据入湖标准_第3页
2023发电企业工业互联网平台数据入湖标准_第4页
2023发电企业工业互联网平台数据入湖标准_第5页
已阅读5页,还剩5页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

工业互联网平台数据入湖标准发电企业工业互联网平台数据入湖标准目录TOC\o"1-4"\h\u268261.概述 4292311.1.编写目的 425911.2.适用范围 4130301.3.数据湖定义 532.数据入湖标准 5140212.1.明确数据Owner 568842.2.发布数据标准 6279742.3.认证数据源 8291982.4.定义数据密级 9182672.5.数据质量评估 10220762.6.元数据注册 1141433.数据入湖方式 11概述根据XX发电公司企业信息化现状和数字化前期建设要求,规划建设XX发电工业互联网平台,增强业务协同和集中管控能力,实现XX发电各信息化系统数据的快速接入,构建工业互联网数据湖。打破目前各业务系统之间的数据壁垒,实现数据资源横向集成、纵向贯通,实现XX发电企业级数据共享,解决数据与业务紧密耦合、数据分析应用重复建设、需要出台数据入湖的标准,指导企业的通过统一的标准开展业务系统数据入湖工作。编写目的本文档目的是对工业互联网平台项目建设过程中的数据入湖标准进行详细的介绍,明确数据入湖标准整体思路和流程,对数据进行统一的管理及维护,编写此文档,指导读者开展数据入湖工作。适用范围适用于项目组成员、平台设计、开发、维护技术人员及平台管理员。数据湖定义数据湖是一个以原始格式(通常是对象块或文件)存储数据的系统或存储库。数据湖通常是所有企业数据的单一存储,用于报告、可视化、高级分析和机器学习等任务。数据湖可以包括来自关系数据库的结构化数据(行和列)、半结构化数据(CSV、日志、XML、JSON)、非结构化数据(电子邮件、文档、pdf)和二进制数据(图像、音频、视频)。数据作为一项重要资产,已经成为企业的共识,为了更好地存储数据、挖掘数据,使用数据湖,企业在快速实现企业中各类的数据集成的同时,也能轻松获取企业外部数据,打通产业链上下游数据,实现生态化数据整合,实现全貌数据分析。同时,数据存储量大,支持批量历史数据和实时流数据的处理,能够实现数据的快速查询和高级分析。数据入湖标准数据入湖要遵从6项入湖标准,基于6项标准保证入湖的质量,同时面向不同的消费场景提供两种入湖方式,满足数据使用的要求。数据入湖是数据消费的基础,需要严格满足入湖的6项标准,包括明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。通过这6项标准保证入湖的数据都有明确的业务责任人,各项数据都可理解,同时都能在相应的信息安全保障下进行消费。明确数据Owner数据Owner由数据产生对应的流程Owner担任,是所辖数据端到端管理的责任人,负责对入湖的数据定义数据标准和密级,承接数据消费中的数据质量问题,并制定数据管理工作路标,持续提升数据质量。如下表梳理:序号系统责任部门责任人1核心业务一体化系统-财务财务张三2全面预算系统财务李四3资金调度中心财务张三4普联报表系统财务李四5财务共享中心财务李四发布数据标准入湖数据要有相应的业务数据标准。业务数据标准描述公司层面需共同遵守的“属性层”数据的含义和业务规则,是对某个数据的共同理解。数据标准的信息如下表所示。根据上面要求梳理各个业务系统提供的数据较准要求的内容,提供业务数据资产分类(即数据表属于哪个主题域),数据表字段类型、字段中文名、表间关系。举例如下,下面是财务域二级主题划分,根据业务系统提供的数据信息来分类到具体主题域下,并开展与对应逻辑模型和物理模型的数据入湖对接工作。同时提供详细的业务系统的表台账,如下表所示:认证数据源通过认证数据源,能够确保数据从正确的数据源头入湖。认证数据源应遵循公司数据源管理的要求。认证过的数据源作为唯一数据源头被数据湖调用。在开始数据入湖时,确认如下几个内容数据源:记录数据源的基本信息,例如:URL、用户名、密码等。确认数据结构及其约束条件。确认数据源接口和数据交换协议。定义数据密级定义数据密级是数据入湖的必要条件,为了确保数据湖中的数据能充分地共享,同时又不发生信息安全问题,入湖的数据必须要定密。数据定密的责任主体是数据Owner,数据管家有责任审视入湖数据密级的完整性,并推动、协调数据定密工作。数据定级密度在属性层级,根据资产的重要程度,定义不同等级,数据保密级别分为“公开”、“内部”,秘密”和“机密”四个级别,管控级别依次上升。各级别定义如下:非授权的公开、泄露将直接对公司、客户或者员工经济损失、严发生重大法的数据。一旦泄露、非法提供或滥用可能危害人身和财产安性待遇等公司重大战略决策用户身份证号银行卡号公司核心算法代码等非授权的公开、泄露将直接对公司、客户或者员工失、破坏公司声发生法律责任等)的数据。能够单独识别自然人身份或者反映特定自然人活人力资源数据财务数据商务合作合同信息产品策划信息等可在公司内部进行发放和传播的信息,需要控制信非授权的公开、泄露将直接对公司、客户或者员工造成较小不利影响的数据。单独无法识别自然人身份或者反映特定自然人活别自然人身份或者与个人。产品运营指标内部发布的制度、规范、通知等布而不会产生任何安全和法律问题。公司数据分类分级矩阵关系如下:公开秘密机密用户数据用户公开数据用户内部数据用户秘密数据用户机密数据业务数据业务公开数据业务内部数据业务秘密数据业务机密数据公司数据公司公开数据公司内部数据公司秘密数据公司机密数据其他数据其他公开数据其他内部数据其他秘密数据其他机密数据数据质量评估数据质量是数据消费结果的保证,数据入湖不需要对数据进行清洗,但需要对数据质量进行评估,让数据的消费人员了解数据的质量情况,并了解消费该数据的质量风险。同时数据Owner和数据管家可以根据数据质量评估的情况,推动源头数据质量的提升,满足数据质量的消费要求。可以开展规则算法质量校验,对数据质量进行评估,如下是一些常用的校验规则。元数据注册元数据注册是指将入湖数据的业务元数据和技术元数据进行关联,包括逻辑实体与物理表的对应关系,以及业务属性和表字段的对应关系。通过联接业务元数据和技术元数据的关系,能够支撑数据消费人员通过业务语义快速地搜索到数据湖中的数据,降低数据湖中数据消费的门槛,能让更多的业务分析人员理解和消费数据。数据入湖方式数据入湖遵循信息架构,以逻辑数据实体为粒度入湖,逻辑数据实体在首次入湖时应该考虑信息的完整性。原则上,一个逻辑数据实体的所有属性应该一次性进湖,避免一个逻辑实体多次入湖,增加入湖工作量。一个逻辑实体可以有不同的入湖方式:批量集成(ETL)对于需要进行复杂数据清理和转换且数据量较大的场景,采用全量的批量集成,主要有jdbc直连库、文件数据集成等。调度作业每小时或每天执行。批量集成不适合低数据延迟和高灵活性的场景。接口集成(API)通过AP提取数据,适用于处理不同数据结构以及需要高可靠性和复杂转换的场景。接口集成不适合处

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论