数据整合方案

数据整合方案1.信息资源标准化数据标准化实现了数据格式、内容和语义的映射、转换，以实现编码一致化、面向主题集成和数据聚合等功能。通过数据交换和采集，形成的基础业务数据，通过数据整合进一步进行数据ETL（数据抽取、转换、加载），按照定制的标准信息规范进行匹配映射（Match）、数据格式转换（Transform），并对重复数据进行数据清洗（Cleanse）、过滤（Filtrate）和聚合（Aggregate），最后进行多维加载（Load）后形成标准化数据。数据同步工具和ETL工具可用于完成数据抽取、同步等整合工作，并通过任务调度管理实现对整合工具的集中管理和执行。在采集抽取数据时，可以按信息资源平台的要求将数据标准化。如果采集的数据没有按信息资源平台转换为标准数据，则需要按照信息资源平台的要求转换成标准的数据，例如字典的统一。2.数据加工管理2.1.数据抽取数据抽取是利用抽取工具，建立抽取模型，将多个数据源数据汇总到一个数据库的过程。2.2.数据清洗由于数据来自多个业务系统，而且包含历史数据，需要按照一定的规划把数据进行清洗。整个数据清洗的对象应包括不完整的数据、错误的数据和重复的数据等三大类。2.3.数据转换数据转换主要实现数据标准化的过程。信息资源平台的数据来自多个业务系统，有些数据源没有按照统一的标准规范设计，因此会造成数据难以与其他数据共享。数据转换应实现按照统一的数据标准和既定的格式转换规则，对数据的整理和格式统一。2.4.数据装载数据装载操作效率是数据资源平台需要考虑的重要环节。投标人应详细描述针对本项目的不同数据资源所应采用的数据装载策略。2.5.数据标识数据标识主要为了突出数据的关键性信息，便于实时的统计和更有效的比对，进而获取符合用户业务办理相关的结果。3.数据整合处理系统3.1.数据处理流程数据中心的构建，基础和核心的工作是需要对来自各方的数据进行充分的整合和处理。对获取的各类源数据，需要进行大量的数据梳理、分析，并作相关的数据整理工作。通过数据梳理和转换工作，把不同来源的数据基于数据标准，转换成标准化数据后，再进行入库，从而保证进入数据中心的数据质量，不产生垃圾数据，从而为数据中心的全局应用奠定基础。数据处理的流程如下图所示：数据中心基础数据企业基础数据许可信息日常监管信息企业信用信息产品基础数据从业人员基础数据业务数据处理根据制定的标准化处理规则，对企业关键码进行标准化处理，确保各个业务系统中的企业编码标识一致性，避免因企业编码不一致而导致的数据分析混乱和错误。4、企业关键码关联整合以标准化处理后的企业关键码为关联，对各方汇聚的有关企业的各类信息进行关联整合，形成企业综合资源，为后续的企业综合分析提供数据支撑。3.2.2.食品安全监管数据整合处理在企业关键码标准化处理的基础上，对采集的食品安全监管数据进行整合处理，包括企业基础信息整合处理、企业许可数据整合处理、企业监管数据整合处理等。通过整合处理，可以将来自不同部门的监管数据整合到一个系统中，实现数据共享和交换，提高数据利用效率和监管效果。同时，通过对历史数据的整合处理，可以形成完整的数据历史记录，为数据分析和挖掘提供更加丰富的数据资源。数据处理流程主要包括获取源数据、数据整合处理和数据中心数据入库。在食品安全监管数据整合处理中，企业关键码标准化处理是重要的一环。由于不同系统对企业唯一编码的标识不统一，需要以企业关键码为关联，对各方汇聚的有关企业的各类信息进行关联整合，形成企业综合资源，为后续的企业综合分析提供数据支撑。因此，需要对采集的原始企业业务数据的企业编码进行标准化处理，确保各个业务系统中的企业编码标识一致性。在食品安全监管数据整合处理中，还包括企业基础信息整合处理、企业许可数据整合处理、企业监管数据整合处理等。通过整合处理，可以将来自不同部门的监管数据整合到一个系统中，实现数据共享和交换，提高数据利用效率和监管效果。同时，通过对历史数据的整合处理，可以形成完整的数据历史记录，为数据分析和挖掘提供更加丰富的数据资源。企业关键码数据需要按照标准化处理规则进行转换、补充等处理。在不同的业务系统中，对企业基础信息描述存在差异，包括企业字段和相关的数据结构的设计等。因此，需要对各方汇聚的企业基础信息按照统一的企业基础数据标准进行整合处理，构建企业基础数据库。当前，XX市相关企业许可数据主要分布在两个渠道：网上办事大厅XX分厅和XX省XX监管平台。对于网上办事大厅XX分厅许可数据，可以通过和网上办事大厅XX分厅进行对接，获取相关的企业许可数据。对获取的企业许可数据按照统一的数据标准进行整合处理，经过规则转换后形成标准的企业许可数据导入到数据中心。若属于XX省监督管理局办理的许可事项，则对接XX省监督管理局的数据中心，获取XX市XX相关企业的许可信息，按照企业的许可标准导入到市局数据中心。以企业为主线，对分散在不同渠道的企业监管数据进行梳理，按照数据标准要求，对和企业相关的监管数据进行整合处理并入库。需要进行整合处理的监管数据大类包括四品一械企业日常监管数据、四品一械企业行政执法数据、四品一械企业抽样检验数据、四品一械企业信用数据、食品追溯数据、广告监管系统的抓取视频、抓拍图片和抓取音频等广告监测数据以及其他数据。对于XX市XX监督管理局上报省局的统计报表数据（以电子表格方式），需要将这部分数据导入到数据中心，提供全局应用的数据支撑。在融合数据库中，必须从不同的操作型数据库系统以及其它形式外部数据源中有选择地抽取数据，而不应该将所有源数据全部塞入融合数据库。在具体的抽取过程中，还必须根据是增量装载工作还是初始完全装载等不同情况的变化规划抽取任务。有效的数据抽取对于数据仓库的成功很关键，需要合理细致地制订数据抽取策略，包括数据源确认、列出对事实表的每一个数据项和事实、对于每个目标数据项找出源数据项、选择最好的数据来源等。在建立数据融合中心之前，需要先确定目标字段的多个源字段，并建立分离规则。同时，需要确定默认值以及检查缺失值的源数据。对于每个数据源，需要定义抽取过程是人工抽取还是基于工具抽取，并确定数据抽取的频率和时间窗口。还需要决定抽取任务中某项工作是否必须等到前面的工作成功完成，才能开始，并确定如何处理无法抽取的输入记录。抽取得到的数据是没有经过加工的数据，不能直接应用于融合数据中心。因此，所有抽取的数据必须按照标准数据集转换为融合数据库可以使用的数据。在转换过程中，需要考虑融合数据库中需要的数据结构和数据元素，并综合采用多种类型的转换工作来符合融合数据库的要求。数据转换的基本任务包括数据或记录的选择、对所选择的数据或记录进行分离或合并处理、转化和丰富。主要的转换类型包括格式修正、字段的解码、计算值和导出值、单个字段的分离、信息的合并、特征集合转化、度量单位的转化、日期/时间转化、汇总和键的重构等等。在实施数据转换的过程中，需要结合使用转换工具和手工技术。使用自动的工具可以提高效率和准确性，并记录元数据，以便在转换功能变化时进行调整。在实际应用中，即使使用最精良的转换工具组合，也难以完全排除手工开发内部程序的需求，需要进行复杂的手工编码和人工测试工作。手工技术不仅成本高、错误率高，还会在数据库环境中产生相互独立的程序，最大的缺点是元数据的记录、管理和维护问题。数据清洗过程中可以检查拼写错误、编码错误、补充数据错误值，也可以解决从多个数据源系统中取同一个数值时出现的重复问题。数据元素的标准化是数据转换过程的重要组成部分。需要对数据类型进行标准化，对不同数据源的相同数值的长度进行补充，并解决同义和同音异义的问题。数据转换过程解决了从不同数据源提取数据的问题。需要组合一个源记录中提取的数据，或对多个源记录中提取的数据进行组合。同时，数据转换还包括清洗没有用的源数据，并将它们进行新的组合。在数据准备阶段，对数据的分类和聚类也很重要。数据转换具有基本功能，包括选择、分离/合并、转化、汇总和清晰。转换类型包括格式修正、字段的解码、计算值和导出值、单个字段的分离、信息的合并、特征集合转化、度量单位的转化、关键字重新构造、汇总和日期/时间转化。数据整合和合并是将相关的源数据组合成一致的数据结构，装入整合层数据库。实体识别问题包括将数据来源于多个不同的客户系统，对相同客户可能分别有不同的键码，将它们组合成一条单独的记录。多数据源相同属性不同值的问题需要给出合理的值。数据装载分为初始装载、增量装载和完全刷新。初始装载是第一次对所有的数据库表进行迁移；增量装载是根据需要定期装载应用运行过程中发生的变化；完全刷新是指完全刷新一个或多个表的内容，并重新装载新的数据。处理重复数据。如果没有重复数据，就直接将输入数据追加到目标表中。替换：替换过程会先删除目标表中的所有数据，然后再将输入文件中的数据应用到目标表中。这种方式适用于需要完全替换目标表数据的情况。合并：合并过程会将输入文件中的数据与目标表中的数据进行比较，如果存在重复数据，就需要定义如何处理。如果没有重复数据，就将输入数据与目标表中的数据合并，并将结果