元数据、主数据.docx

1、第一章元数据管理全民健康信息平台的数据层实现对元数据的管理。元数据，主要是各主数据相关的数据标准，标准规定了数据集概述、卫生信息数据集元数据规范、元数据内容框架、卫生信息数据集核心元数据、元数据子集、引用信息与代码表。元数据采集全民健康信息平台需要全面充分的采集分布在各个系统中的元数据，但是元数据构成十分复杂，业务流转的每个环节过程中，都存在要采集的元数据。元数据采集是全民健康信息平台的核心部分，如何提升采集效率、既要保持稳定性也要保持跟上主流技术的发展趋势。全民健康信息平台从最初集中式WEB应用系统到现在的分布式、微服务这种系统架构，原有元数据采集效率已不能满足应用的需求了。通过构建元数据模

2、型，基于业务元数据、技术元数据、操作元数据间的关联关系，建立基于主题域等层次结构，增强元数据的可读性，使之有利于用户充分理解元数据对应的业务含义。元数据管理自动化元数据管理自动化主要是遵循统一的元数据模型和元数据规范，建立逻辑层次元数据和物理层次元数据的关联，实现逻辑层次元数据和物理层次元数据的自动更新，实现各个应用系统间数据格式的映射和自动产生。元数据全文检索提供对元数据的全文检索功能，检索支持对检索范围、检索类型、时间进行过滤，过滤条件支持保存，让用户可以将常用的过滤条件保存使用，以便能够更加快速浏览所需元数据。系统根据用户的查询条件，自动搜索数据集的元数据信息，返回相关的查询结果。在数据

3、集查询界面，系统以列表的形式展现重点元数据信息内容，若用户需要查看元数据详细信息，可以点击查看元数据属性按钮，浏览详细的元数据信息。第二章主数据管理全民健康信息平台的数据层实现对主数据的管理。主数据，主要是纳入全民健康信息平台的基础数据信息。如：医疗机构信息、员工信息、居民信息等。主数据生成注册管理包括对个人、医疗卫生人员、医疗卫生机构、医疗卫生术语的注册管理服务，系统对这些实体提供唯一的标识。针对各类实体形成各类注册库（如个人注册库、医疗卫生机构注册库等），每个注册库都具有管理和解决单个实体具有多个标识符问题的能力。注册库保有一个内部的非公布的标识符。1. 用户注册服务个人注册服务是指在一定

4、区域管辖范围内，形成一个个人注册库，个人的健康标识号、基本信息被安全地保存和维护着，提供给区域卫生信息平台所使用，并可为医疗就诊及公共卫生相关的业务系统提供人员身份识别功能。个人注册库主要扮演着两大角色。其一，它是唯一的权威信息来源，并尽可能地成为唯一的个人基本信息来源，用于医疗卫生信息系统确认一个人是某个居民或患者。其二，解决在跨越多个系统时用到居民身份唯一性识别问题。个人注册服务是区域卫生信息平台正常运行所不可或缺的,以确保记录在健康档案中的每个人被唯一地标识，他们的数据被一致地管理且永不会丢失。该注册服务主要由各医院、社区和公共卫生机构来使用，完成居民的注册功能。2. 医疗人员注册服务医

5、疗卫生人员注册，是一个单一的目录服务，为本区域内所有卫生管理机构的医疗服务提供者，包括全科医生、专科医生、护士、实验室医师、医学影像专业人员、疾病预防控制专业人员、妇幼保健人员及其他从事与居民健康服务相关的从业人员，系统为每一位医疗卫生人员分配一个唯一的标识，并提供给平台以及与平台交互的系统和用户所使用。该功能的基本流程为，各医院、社区和公共卫生机构提供所辖医疗卫生人员基础信息给医政，医政完成审核并将这些医疗卫生人员信息在平台上给予注册。3. 医疗机构注册服务通过建立医疗卫生机构注册库，提供本区域内所有医疗机构的综合目录，相关的机构包括二三级医院、社区卫生服务中心、疾病预防控制中心、卫生监督所

6、、妇幼保健所等。系统为每个机构分配唯一的标识，可以解决居民所获取的医疗卫生服务场所唯一性识别问题，从而保证在维护居民健康信息的不同系统中使用统一的规范化的标识符，同时也满足区域卫生信息平台层与下属医疗卫生机构服务点层的互联互通要求。医疗卫生机构注册服务主要由医政（卫监）来使用，完成医疗卫生机构的注册。4. 居民信息注册业务系统将一个居民的索引加入到交叉索引系统时，向交叉索引系统传送请求注册消息.消息中包含待注册的个人信息，主要元素包括：业务系统ID、个人ID、姓名、性别，出生日期、出生地、民族、母亲姓名、婚姻状况、身份证号、住址、电话等。交叉索引透过匹配规则检查系统中是否已存在该居民的索引，按

7、照新增索引或更新索引两种情况分别处理。新增索引需要存交叉索引系统中记录业务系统的索引，同时产生主索引。如果该居民在交叉索引系统中潜在重复的记录，还需要记录潜在重复信息。更新索引需要更新匹配的业务系统的索引，同时更新主索引。主索引更新时，需要对订阅主索引的系统发布更新的主索引。主数据申请区域医疗卫生应用根据需要向全民健康信息平台发布主数据订阅申请，申请平台通过服务推送调阅的主数据，主要包括医疗卫生机构信息订阅、医疗卫生人员信息订阅、居民信息订阅等申请。主数据审批主数据的订阅巾请审批流程在平台进行，由统一分配编码后，发布给各个相关的业务应用系统。各类公共数据编码及部分专业主数据，这些编码的巾请审批

8、流程涉及跨区域、跨系统，或需要进行较为复杂的数据质量校验、监控等，其审批流程需要统一支持。主数据服务在主数据管理形成了完整的主数据视图后，更加重要的是能够快速灵活的将已有的完格的主数据开放和共享出去供其它业务系统使用。因此在这里涉及到将主数据快速发表为数据接口服务的能力，同时也涉及到第三方业务系统查看和申请主数据服务的服务开通和管控能力。为了实现服务接口的发布，平台需要从服务元数据的数据对象定义服务定义，从数据集成接口服务接口，并在数据对象和服务接口间形成完整的映射，该部分内容在全民健康信息平台已经做了完整的集成，即形成了一整套从服务全生命周期管理到数据服务能力快速开放共享的完整解决方案。平台

9、集成部署完成后，可以发布MPI服务，供区域其他系统调用。主要接口包括：居民注册服务、医疗卫生机构注册服务、医疗卫生人员注册服务等。如居民注册服务：交叉索引系统存储了居民在多个系统中的局部标识信息，并由此维护一个主索引，记录最准确的个人基本信息，该信息可以提供给业务系统使用，提高业务系统中个人信息的质量。获取居民主索引信息的使用方法要求与获取居民交叉索引类似，可以由业务系统提供个人全局标识获取，也可以由业务系统提供居民本地信息获取。查询居民个人信息。允许管理人员使用全局个人标识(groupID,GID)或业务系统局部个人标识(LID)检索居民；或者输入个人部分信息，如姓名、性别、出生日期、身份证

10、号等检索居民，检索结果以列表形式返回。主数据版本管理主数据版本管理可应用户需要，设置数据变更审批流程，系统记录数据变更日志，数据版本历史可查询，还可进行多版本控制。主数据系统通过和区域医疗卫生系统对接，以服务的方式将统一、完整、准确的主数据分发和共享给区域范围内需要这些数据的医疗卫生业务系统、业务流程和决策支持系统，如HIS、远程医疗、双向转诊、综管等系统，保证整个区域医疗卫生信息化数据流的畅通。由于主数据跨多个业务系统，所以对数据的一致性以及版本控制要求很高。全民健康信息平台提供完备的数据版本管理功能，满足用户的多样化需求：用户可自定义数据变更审批流程，在系统中查看数据变更日志,追溯数据变更

11、的历史,并对多个系统开展数据的多版本控制。1. 元数据采集原理元数据贯穿大数据平台数据流动的全过程，主要包括数据源元数据、数据加工处理过程元数据、数据主题库专题库元数据、服务层元数据、应用层元数据等。数据治理关键就是收集信息，很明显，没有数据就无从分析，也就无法有效的对平台的数据链路进行管理和改进。所以元数据管理平台很重要的一个功能就是信息的收集，至于收集哪些信息，取决于业务的需求和我们需要解决的目标问题。如何采集元数据？元数据采集是指获取数据生命周期中的元数据，对元数据进行组织，然后将元数据写入数据库中的过程。不同来源的元数据获取获取方式也不大相同，在采集方式上有使用包括数据库直连、接口、日

12、志文件等技术手段，对结构化数据的数据字典、非结构化数据的元数据信息、业务指标、代码、数据加工过程等元数据信息进行自动化和手动采集，元数据采集完成后，存储在关系型数据库中。EXCE成件方式XMLJZW5zC分布式采集架构现在人们对全民健康信息平台采集的元数据时效性要求越来越高，平台会管理不同数据源的元数据,配置多采集任务定时去采集，如何高效的完成采集任务,影响着元数据管理工具存储的元数据时效性。传统平台采集任务策略是单一采集程序串行执行采集任务，这样的策略采集效率是很低的，为了提高采集效率，大数据全民健康信息平台采用多个采集程序并发执行采集任务。传统平台架构是传统的集中式WEB应用架构，所有的功

13、能模块都集中在一个应用程序中。常见的元数据管理工具架构图3.分布式采集架构的应用对一的关系，针对这种网络情况，全民健康信息平台架构如下:一对掘式，沛执行采集®任务分发顿块应用程序任务分发顿块应用程序一、将元数据的应用程序与采集服务改为一对多模式，平台的采集服务管理模块可以对采集服务的信息（1P,端口）进行维护（增删改）,采集的目标数据源与采集程序服务进行映射，一个目标数据源可以配置主备采集服务，主采集服务发生故障后，可以通过备采集服务继续采集工作。采集服务管理模块要考虑易操作性和适用性，如：查看采集服务运行情况、设置默认采集服务等等。二、元数据采集任务调整为并行执行，现在采集元数据步

14、骤为获取元数据入临时表与正式表比对，更新元数据ID,得到元数据的变更信息将元数据和变更信息入正式表。将元数据的所有属性值进行MD5加密生成的字符串作为元数据的属性1D,这样通过比对元数据的属性1D就可得知该元数据是否修改了。在采集服务程序中就可以将元数据和正式表数据作比对，得到变化的元数据，将元数据记录直接写入到数据库中的正式表，元数据采集任务也就可以并行执行了。在数据采集层各个网段都部署采集服务，这样就实现了高并发元数据采集,这种分布式采集策略优点是：1、采集元数据效率快2、可以并行执行采集任务3、可以适应复杂网络环境的元数据采集。元数据属性管理1.元数据配置管理系统提供元数据属性的管理和配

15、置功能：元数据属性维护元数据属性包括：字符型、数值型、日期型、大字段型、Bool型等多种类型。点击保存按钮可以保存该元数据标准，保存时判断是否存在相同名称的元数据标准。元数据标准维护选择某个元数据标准进行修改和删除。2. 元数据维护元数据维护主要用于维护、查看已发布的元数据，山于元数据发布需要经过严格的审核流程，一旦审核通过，原则上元数据的更改需要重新走元数据申报流程，包括已发布元数据的实效申请和新元数据的添加巾请，而不允许对已发布的元数据进行直接修改。但为了应急，特设立了此功能，但此功能只能开放给管理用户使用，为了安全起见,元数据维护功能的所有操作都记录到操作审计日志中。普通人员只有查看、检

16、索元数据的权限。而管理员除了具有查看、检索元数据权限外，可以使用新增目录的功能，将元数据字典中定义的目录结构添加到现有目录中，并且可以修改、更新、删除元数据。元数据维护设计包括根据元数据字典创建目录、打印现有目录结构、根据目录发现、查找元数据、查看元数据内容等功能，还可以查询、修改、删除、移动已经发布的元数据内容。3. 元数据审核元数据审核主要用于元数据采集到平台中心库但还没正式发布的元数据。元数据有效性审核分为0动审核和手动审核两个部分，平台在采集数据肘会启动自动审核，对数据进行初步的有效性审核，主要以过滤数据结构性错误为主，例如缺少字段，类型错误、编码缺失或不可识别字符编码等.如自动检查发

17、现错误，会将错误数据放入问题数据栏，以便管理员进行人工审核，如果人工审核认为数据没问题，可以强制确认有效，系统会自动生成日志,作为自动审核功能改进的依据。手工审核设计包括确认无误、退回重报、打印错误清单、直接更新元数据内容、打印元数据内容等功能，为了安全起见，更新元数据功能会记录详细的操作审核口志。4. 元数据发布如果数据库中的元数据已经通过审核，元数据将自动进入待发布流程，可以从元数据管理的待发布数据栏中看到所有等待发布的数据，数据管理可以在此页面中看到所有等待发布的数据，并作最后确认，系统在等到发布确认消息后会成批的将所有采集的元数据从前置机数据库转移到平台中心库中，完成正式的发布过程，同

18、时发生消息，提示发布成功。元数据发布设计包括确认发布、发布注销、打印发布清单、更新元数据、打印元数据内容等内容。更新元数据功能会记录详细的操作审计日志。5. 元数据入库当元数据通过语法检查后，可以通过目录服务上传到元数据中。元数据检查元数据检查是指对采集生成的元数据进行合法性检查。主要检查信息资源元数据的内容、格式符合标准规范的要求，信息资源元数据内容必须符合元数据规范的要求。形式化审核工作由系统自动完成，其他非形式化的审核工作，如资源分类是否准确，关键词提取是否准确等等，需要由人工检查完成。未通过审核要求的信息资源元数据需要人匚重新修订后提交。元数据入库元数据通过检查后上传到元数据库中存储6.元数据删除系统提供元数据删除功能，没有通过审核的元数据信息可以由创