政务大数据平台-数据智能治理子平台建设方案

1、政务大数据平台_数据智能子平台建设方案项目概述按照S市大数据中心对市区两级大数据资源平台建设统一标准规范的要求下，以实际需求为导向，搭建m区大数据资源平台，加快推进与承接S市大数据资源平台的落地数据资源，归集区内各单位公共数据资源，按需实现共享交换，逐步构建形成m区公共数据汇聚、整合、共享、应用、展示、评价为“六位一体”的大数据资源体系，构建m区数据基础库、专题库和主题库为核心的数据资产，充分挖掘与发挥数据应用价值，构建数据集成、数据共享、数据管理、数据决策的综合管理服务体系按照总集规划，对m区大数据资源平台中的数据智能子系统进行建设，数据智能子系统作为大数据资源平台的核心系统，包括：数据资产

2、、数据治理2大核心管理；通过数据资产子模块管控整个大数据资源平台中的数据资产，围绕数据资产的全生命周期进行管理；数据治理作为大数据资源平台中作为数据清洗、融合、挖掘的核心工具，对平台内的数据进行治理。项目概述平台上下文2数据底座数据资产（自研）共享交换数据目录委办局数据归集前置机数据脱敏门户数据治理（产品）12233456798101010总体架构第三方系统门户系统归集系统编目系统共享交换系统GIS系统数据资产平台目录管理资产管理目录分类管理目录上报目录浏览资源浏览组织机构管理应用管理数据治理平台数据标准管理主题管理数据工厂元数据管理任务调度数据质量数据服务控制中心存储临时归集库（ GP库）临

3、时治理库（ PG库）XH底座平台应用库（ MySQL库）编目对接中间库库（ MySQL库）安全中心身份认证数据安全运维监控监控平台运维平台应用架构委办局编目系统归集系统门户接口服务数据治理平台XH数据湖前置机市大数据中心归集消息通知前置机共享交换MQ数据资产平台MySQL应用库WEB后端同步服务存储MySQL目录同步中间库目录数据同步安全身份认证同步MQ其他系统GIS系统物联系统监控系统系统跳转目录资源查询归集消息处理用户、组织同步认证、鉴权目录同步接口调用目录上报数据共享资源申请审批流程驱动数据共享开发审批流程驱动数据治理开发需求单查询门户前端iframe访问WEB前端目录数据同步归集触发治

4、理任务数据归集API目录数据同步脱敏安全MySQL安全同步中间库安全探查结果同步目录数据流委办局编目系统归集系统门户数据资产数据治理上报目录目录同步目录同步数据湖归集数据落地到ODS层前置机同步目录对应的业务数据到前置机数据归集通知目录归集完成归集完成，根据数据湖的实际表信息生成元数据的表、字段（需要对比历史元数据的MD5，如有差异生成新版本的元数据）元数据保存目录查询目录浏览&申请元数据查询1 根据需求单治理形成新目录2 目录挂载元数据市大数据中心目录上报前置机目录采集市级&国家级目录下发归集数据落地到DWD层数据归集共享系统API服务目录同步数据共享保存目录的原始资源表、开放资源表目录同步

5、流程数据资产数据治理定时把中间库的数据同步到资产归集完成，根据数据湖的实际表信息生成元数据的表、字段（需要对比历史元数据的MD5，如有差异生成新版本的元数据）元数据保存每天定时目录同步数据湖委办上报目录：根据归集消息&元数据，保存目录的原始资源表市区下发目录：无操作；市区会级联下发目录的开放资源 MQMySQL同步中间库编目系统归集系统消费归集消息归集通知目录实时更新消息目录实时同步更新共享交换API目录同步API目录实时更新消息目录分类同步目录分类同步数据治理流程委办局门户数据资产数据治理1 目录浏览&申请数据湖ODS贴源层数据DWD清洗层数据DWS融合层数据2.2 申请未治理的数据：数据开

6、发人员，根据任务清单，在数据治理平台进行开发治理任务4.1 对于新的目录：选择治理后的元数据，创建目录&目录开放资源&目录原始资源（可根据任务的输入、输出表自动生成）共享交换5 治理任务完成6.1 数据查询6.2 数据共享3 从ODS清洗到DWD，从DWD融合到DWS，把DWD/DWS数据同步至ADS层2.1 申请已治理数据：直接通过共享交换系统，对外共享数据ADS共享层数据4.2 已有目录：查询元数据，进行 目录开放资源的挂载（或根据任务的输入、输出表自动生成）目录、资源、元数据的关联流程第三方系统数据资产数据治理归集系统编目系统目录同步服务目录原始资源归集同步服务同步更新委办目录归集，生成

7、原始资源元数据采集XH表结构生成数据治理平台的元数据（需要对比历史元数据的MD5，如有差异生成新版本的元数据）开放资源市区目录同步，更新开放资源数据开发人员根据需求单治理开发创建元数据治理开发完成，创建目录（已有目录的，只需要挂载资源）挂载原始资源、开放资源调度任务治理完成目录创建：选择数据治理平台中的元数据，自动创建目录、开放资源（程序根据元数据生成目录、开放资源的信息）、原始资源原始资源挂载：委办上报的编目在归集通知处理时创建；其他目录根据治理调度任务的输入表、输出表的关系 自动挂载原始资源 或 手动挂载开放资源挂载：市区下发的编目在目录同步时创建；其他目录根据治理调度任务的输入表、输出表

8、的关系 自动挂载开放资源 或者 手动挂载关联逻辑共享交换目录创建资源挂载治理开发数据资产同步工程ES定时同步任务数据资产平台目录、资源全文检索（延迟1天）开始定时每天4:30执行创建表&修改max_result_window表名称 xxxx_20200914查询每页的目录数据插入最新的目录数据产品库查询XHSearch修改最新查询的表名为新表名建表插入配置表删除15天前表删除表结束ID配置key配置value备注1TDH_ES_TAB_NAMEHG_TAB_20200914TDH的ES中存储编目的表名2.3配置表循环分页查询修改存储格式接口工程数据查询API门户查询最新表名通过最新表名查询目录

9、、资源数据数据资产平台目录、资源全文检索（准实时）接口工程数据查询API门户XHSearch管理后端工程数据库目录/资源/字段变更日志表直接更新其他系统推送目录、资源通过触发器新增变更日志首次初始化ES数据每隔1分钟通过定时任务扫描，对新变更的数据同步更新到ES同步工程数据初始化程序目录、资源修改更新到数据资产的 目录、资源等表中数据资产目录的血缘分析原始资源（目录的原始资源）开放资源（目录的原始资源）需求单（门户的申请需求单）委办目录：原始资源为奥腾归集后的表市区级联目录：无原始资源融合目录：治理人员手动挂载原始资源 或者 创建目录时根据开放资源的元数据血缘（调度任务的输入、输出表）自动挂载

10、原始资源委办目录：手动挂载 或 自动根据治理任务的 输入表、输出表自动挂载资源市区级联目录：市区级联下发的目录的资源融合目录：手动挂载 或 创建目录时根据选择的元数据 自动创建查询门户的需求单目录样例数据的处理方式编目系统A.1 目录同步归集系统A.3 归集完成通知MySQLXH库A.2 数据归集到XH库A.4 获取新归集表的前10条，存储到 资产平台的 样例数据表中样例表门户样例数据展示注：A.x：委办上报目录、市区级联目录的样例数据处理逻辑B.x：通过数据治理融合产生的新目录的样例数据处理逻辑样例数据格式：以JSON方式存储，Key为目录项的字段英文名，Value为抽取数据的字段值样例数据

11、维护：在目录管理中，增加样例数据维护功能，对样例数据进行编辑数据资产数据治理B.1 治理开发B.2 目录创建 & 资源挂载B.3 抽取挂载的开放资源表的前10条，存储到样例数据表中数据质量检查职责划分质量报告资产平台对外提供治理平台目录规范目录项规范命名规范长度规范完整性检查唯一主键时间戳字段长度规范删除位规范共享条件规范唯一性规范SQL方式检查统计查询SQL查询数据规范表不为空不能有空值枚举检查范围检查格式检查波动检查元数据一致性产品配置检查资产平台职责1、质量报告的统一入口2、对目录、资源相关规范进行检查3、汇总治理平台的检查结果，并向外提供治理平台职责1、只做表的数据内容范围的质量检查2

12、、不做目录、目录项的质量检查数据质量检查实现方式定时任务规则名称检查表规则SQL不能为空zc_catalogselect id from zc_catalog where CATA_TITLE_ is null or TRIM(CATA_TITLE_) = ;包含中文zc_catalog_fieldselect id from zc_catalog_field where LENGTH(FIELD_NAME_) = CHAR_LENGTH(FIELD_NAME_);循环执行每个规则SQL结果ID检查规则ID检查规则内容总数异常数检查时间11Select * from 20000102020-1

13、1-04 19:00:0021Select * from 20000102020-11-04 19:00:00明细ID结果ID业务ID111211规则配置表规则检查结果表规则检查结果明细表规则执行结果规则执行异常明细数据湖分层分库设计贴源层清洗层融合层共享层存储介质InceptorInceptor、PostgreSQLInceptorSearch、PostgreSQL、HyperBase权限说明归集系统读写市级联 读写无权限无权限治理系统只读市级联 只读区政务 读写图层 只读读写读写共享系统无权限无权限无权限只读库命名规范规范层名_库名层名_库名层名_库名层名_存储类型示例ODS_SJHDWD

14、_SJHDWS_RKKADS_SEARCH表命名规范规范数据层_委办局缩写_应用缩写_数据库名_原表名_表类型_时间戳（增量归集用）市级联和区政务 - 数据层_委办局缩写_应用缩写_数据库名_原表名_表类型数据层_库名_表名不适用，同清洗层和融合层示例ODS_ABCDE_ABCDE_ABCDE_User_TXT市级联和区政务 - DWD_ABCDE_ABCDE_ABCDE_User_TXTDWS_RKK_People不适用，同清洗层和融合层数据湖分层分库命名规范数据权限控制数据治理平台：用户：由身份认证平台同步过来，也可自行创建团队：由身份认证平台同步过来，也可自行创建；一个用户默认关联的团队

15、为：用户关联的组织机构，治理组人员可在数据治理平台中关联多个团队数据权限：根据当前登录用户所属的团队，切换不同的团队，看各个团队及子团队下的数据；数据资产平台：用户：由身份认证平台同步过来，也可自行创建团队：使用数据治理平台中的团队数据；可考虑后续再数据资产平台中 增加团队管理功能，方便功能改造数据权限：根据当前登录用户所属的团队，切换不同的团队，看各个团队及子团队下的数据；用户数据治理平台团队用户数据资产平台用户身份认证平台组织机构1:N1:1用户同步用户同步组织机构同步业务数据业务数据1:N1:N1:N数据资产身份认证集成用户角色团队菜单1：N1：N目录1：N1：N自有用户角色、菜单的关联

16、数据来自于 数据库（用户-角色-团队）通过数据库查询，不通过身份认证接口获取角色菜单1：N用户用户操作权限来源有2种统一用户角色、菜单的关联数据来自于 身份认证角色、菜单信息，不查询自有数据库的数据，只通过身份接口获取1：11：N身份认证平台数据资产平台1：N数据治理平台团队团队使用 数据治理平台 中的团队用户与团队的关联，使用 数据治理平台中的用户团队关联用户1：11：N任务调度依赖归集消息的流程数据资产数据治理归集系统目录原始资源归集同步服务更新委办目录归集，生成原始资源元数据采集XH表结构生成数据治理平台的元数据开放资源调度任务根据元数据ID，触发执行 输入表是此元数据的 调度任务市区目

17、录归集，生成开放资源数据共享脱敏方案共享交换XH库安全信息表门户数据资产数据治理脱敏系统敏感数据探查探查结果实时同步目录浏览&申请根据安全级别进行脱敏查询数据对外提供查询目录、资产的安全信息查询目录、资产、表的安全信息资产表安全同步中间库业务操作通过触发器更新查询安全信息，更新资产表2个安全信息更新逻辑1、触发器更新：脱敏系统 探查 XH库中 表的 安全信息后，会 通过 Otter组件，实时同步到 资产平台数据库中的 安全信息相关表中；通过安全信息表中的触发器，更新 目录、资源 的 探查状态和安全标签2、业务操作更新：通过数据资产平台，进行目录创建、资源挂载时；查询表的 探查状态和安全标签；保

18、存到 目录和资源相关表中应用库产品表资产表安全同步中间库数据共享脱敏方案脱敏探查数据同步脱敏系统XH库数据资产实时同步探查记录表敏感数据表安全标签目录资产元数据敏感数据探查查询触发器更新元数据：元数据相关的表，仅是关联查询；无需保存安全相关数据到元数据表中；关联方式为：通过 schema + tab_name + colum_name 查询ODS层的表：更新原始资源中zc_origin_resource. DP_META_ID_等于对应ODS元数据tab_id的目录的探查状态，目录项的安全标签DWD层的表：更新开放资源中zc_open_resource.DP_META_ID_等于对应DWD元数

19、据tab_id的开放资源的探查状态、开放资源项的安全标签DWS层的表：更新开放资源中zc_open_resource.DP_META_ID_等于对应DWS元数据tab_id的开放资源的探查状态、开放资源项的安全标签；以及对应目录的 探查状态、目录项的安全级别ADS层表：不做处理逻辑1：通过触发器更新只需要对探查记录表（ais_database_record）做触发器即可，触发类型（On Insert/Update/Delete），其他表关联查询产品表资产表安全同步中间库数据共享脱敏方案脱敏探查数据同步 数据资产探查记录表敏感数据表安全标签目录资产元数据委办上报目录：(CATA_TYPE_ =

20、1)挂载开放资源：通过 手动挂载 或者 平台自动挂载时，根据元数据查询 探查状态、字段安全标签；保存到 开放资源、开放资源项中挂载原始资源：通过归集消息 自动挂载 原始资源 或 手动挂载原始资源时，根据元数据查询 探查状态、字段安全标签；保存到 目录、目录项中平台新增目录（融合目录）：(CATA_TYPE_ = 2)挂载开放资源：通过 手动挂载 或者 平台自动挂载时，根据元数据查询 探查状态、字段安全标签；保存到 开放资源、开放资源项、目录、目录项中挂载原始资源：无处理市级/国家目录：不会通过资产平台操作市级目录和国家目录逻辑2：通过业务操作更新资产后端用户操作目录、资源查询写入脱敏系统XH库

21、实时同步敏感数据探查查询数据共享脱敏方案数据库划分安全同步中间库ais_mid应用库kun_dam探查记录表敏感数据表安全标签目录资产元数据ais 用户脱敏系统数据资产dam 用户触发器用户权限划分：1、ais用户：具备ais_mid库的 所有表的 insert/update/delete/select 权限2、dam用户：具备 kun_dam 库的所有权限具备 ais_mid 库的 所有表的 select/create/drop/alter/trigger/create view 的权限数据共享脱敏方案相关问题确认database_record 每个XH湖中的表，最多再此表中仅有一条记录？而

22、且每次探查后，record_time 都会更新？每个XH湖中的表，最多在此表中仅有一条记录；record_time都会更新。sensitive_data_database 与 database_record 表的关联字段是什么？两个表的关系是否为：一条 database_record对应多条 sensitive_data_database？sensitive_data_database与database_record没有关联关系sensitive_data_database是关系型数据库敏感数据表，表示探测关系型数据库后存在敏感数据的表，并记录此表的字段和类型等信息；database_reco

23、rd是探测记录表，只要此表被探测过，就会记表表sensitive_data_database中字段database_model_id、table_name与表database_record中字段database_model_id、table_name是匹配的。sensitive_data_database 与 sensitive_tag 表是多对多的关系？一个字段可能有 多个标签? 是多对多关系，一个敏感表字段可以对应多个标签。几个表有会有一些 状态或删除字段，可否给一个确认的说明?我们使用时认为每个表中的哪些数据是有效的？ 表database_model 字段status = enable：

24、使用中，新增数据源的状态；disable：下线，删除时的状态，属于逻辑删除 表sensitive_tag 字段status = enable：使用中 disable：禁止使用，此敏感标签失效数据入湖小文件合并背景实时数据的场景下，数据以流式方式入湖，存储方式方式为：hyperbase表和hive的text表；其中text表对于每一次的入湖操作都会产生一次小文件影响从Hive的角度看，小文件会开很多map，一个map开一个JVM去执行，所以这些任务的初始化，启动，执行会浪费大量的资源，严重影响性能HDFS存储太多小文件, 会导致namenode元数据特别大, 占用太多内存, 制约了集群的扩展解决

25、方案将SlipStream的参数(morphling.hdfs.flush.size、erval.ms)调大，减小每次入湖的频率Text表创建为分区表，如：按天分区；每天凌晨对前一天分区的小文件进行合并通过Inceptor的 INSERT OVERWRITE 的方式，合并每个分区下的小文件数据入湖小文件合并INSERT OVERWRITE 的验证验证说明：di.test_small_file_text 共 4个字段 , 1 个分区字段Part=1分区 共： 35782656 条数据，672 个 3M 小文件验证语句：set mapred.redu

26、ce.tasks=3;INSERT OVERWRITE table di.test_small_file_text PARTITION(part = 1) select id, name, date,remark from di.test_small_file_text where part = 1 distribute by rand() ; set mapred.reduce.tasks=-1;验证结果：执行时间： 148.338 秒合并后小文件个数：3个，每个文件大小为：700M左右其他说明：根据不同场景、小文件个数、小文件大小，来决定 mapred.reduce.tasks 的值数据入

27、湖小文件合并参考资料distribute by ：用来控制map输出结果的分发，即map端如何拆分数据给reduce端。 会根据distribute by 后边定义的列，根据reduce的个数进行数据分发，默认是采用hash算法。当 distribute by 后边跟的列是：rand()时，即保证每个分区的数据量基本一致mapred.reduce.tasks ：reduce task的数量；在本例中：决定了 最终结果产生文件的数据量物联实时数据入湖ODS层方案ODS-区政务库SlipStreamkafka物联实时数据Idreport_timeevent_timecontent（上报内容，json存储）12020-12-09 12:12:122020-12-09 12:12:12“firstName”:“Brett”,“lastName”:“McLaughlin”,“email”:“aaaa”, firstName,email示例表JSON格式存储：