ETL技术在电网信息系统业务数据迁移中的应用研究

1、    etl技术在电网信息系统业务数据迁移中的应用研究    杜荣良 陈浩 余修成摘要：随着现代化电网信息系统中的业务量增加及变化，原有的信息数据业务处理系统难以保证日常工作业务正常进行。本文通过对etl技术的介绍，分析其在电网信息系统业务数据迁移中的应用意义，并基于etl技术对数据迁移技术进行设计讨论，总结了电网信息系统业务数据迁移项目中的操作方法。关键词：et啵术;电网信息;系统业务;数据迁移在长时间的运作经营下，电网信息原有系统中积累了大量珍贵的数据资源，这些数据对于企业的现代化运营有着积极作用。但由于软件信息的更迭，旧的信息系统逐渐被淘汰，而新

2、旧系统的数据结构差异使得旧系统的数据不能直接应用于新系统，这就需要采用高质量的数据迁移技术来实现历史数据的完整利用。1etl技术在数据迁移中的应用意义etl技术，即对信息数据的抽取、转换和加载，它能够将不同结构、不同排列方式、不同数据源的相关数据进行整理，将其抽取到临时的中间数据库后进行清洗、转换、集成，最后加载到另一个数据仓库或数据集市中，帮助进行数据处理分析。etl技术的应用是一个长期的过程，只有在运用的同时不断发现问题并解决问题，才能使etl技术的运行效率更高，为项目实施开发提供准确的数据。etl技术是数据仓库中的重要组成部分，对数据传递转移起到承上启下的作用，与数据库相比，etl技术不

3、需要精细的数学理论知识的基础应用，它更面向实际工程的应用。所以就工程应用而言，利用etl技术进行数据模型加载及处理，与原数据库中的數据质量息息相关，更影响着数据的分析处理结果。通常情况下，数据仓库是一个较为独立的环境，它需要对数据进行提取处理后，将其导入到性的数据库中，涉及数据的转换、提取、整理、管控的操作技术。在数据使用过程中并不需要数据仓库系统中的数据与事务处理系统中的数据同步，因此etl技术可以多个同时进行，这也为etl技术应用的高效性提供便利。2etl技术在电网信息系统业务数据迁移中的作用2.1数据收集在进行电网信息系统业务数据迁移时，要事先创造一个数据库，用以实现数据的输入记录，其原

4、理是利用datastagei具，将电网中原有的信息数据进行整理收集整理到数据库中，并将数据库中的项目信息与电网原有数据进行对比归纳，整合称为数据输入表。数据库在整个信息数据转移过程中起到的是过渡作用，它的建立是方便对不同信息的分类整合，以提高数据迁移上传时的效率。在这个过程中要注意编码方式的转换，以及根据记录项目情况的不同，选择空格的去留。数据收集的目标，是从电网信息系统原有数据中寻找出具有迁移意义的部分，包括结构化与非结构化数据，通过对数据的情况分析，选择全量抽取或增量抽取的收集方式。收集时要保证不影响电网信息系统的正常运行，并对相关工作环节进行监管，通过对新数据的提取，实现各个模块的数据链

5、接。2.2数据融合在完成数据库收集整理工作后，对数据库中的部分数据，其精准度还有待商榷。应通过对多源数据的信息整合，分析其历史情况，以一定规则进行数据融合，保证其所代表的可信度，增强数据的迁移效益。在这个过程中，通过不同数据的综合分析，能够对电网信息系统的实际性质进行了解，以此强化数据转移的意义。要注意数据融合时所用的传感器不一定是机械形式的，系统信息源甚至人力资源数据都有可能成为传感器。数据融合还能够将不同的数据信息进行转化，通过固有的准则模式计算，分析数据间的类型特点，将不同系统间的相同类型数据进行整合，提高数据迁移效率。在进行数据融合时，通常会创建一个中间数据库，这个数据库与数据收集环节

6、创建的数据库不同，它所包含的表格项目信息是与数据迁移后的新系统相匹配的。将输入数据库的信息转换后插入到这个中间数据库，并对两个数据库中的数据进行对比检查，分析其中的异同点。其中，不需要变换就能直接迁移的数据称为无变化数据，而需要通过各种转换方式导人中间数据库中的数据称为变化数据。在进行业务数据迁移时，业务数据经常会与电网企业的正常工作流程有联系，在进行新旧系统的数据转换时候，由于企业的业务流程会发生变化等原因，业务流程的信息系统的技术设置也会出现一定差异。在这个过程中，工作人员要制定详细的数据迁移策略，保证数据迁移工作的有效性。2.3数据提交在完成电网信息系统业务数据融合转换后，就可以将数据向

7、新系统进行提交加载，完成数据迁移。数据整理的最终目的便是提供信息资料查询，在迁移过程中将数据构建为框架模型，不仅能简化查询流程，还能减少数据迁移时间。通过对数据的抽取及划分，实现业务数据的结合，为工作人员提供有用信息，完善数据迁移的结构层次。经过转换迁移的数据可以直接被新系统使用，但在新系统使用前，要先将中间数据库中的数据信息集中转换到新系统的数据库中，为其操作使用做好铺垫。要注意数据转换后的检查校验工作，其核心内容是对数据转换情况及转换效果进行检查，判断经过数据迁移后的系统能否正常工作。其主要包含对相同含义的数据位置一致性检查、数据库中的数据信息数量检查、特殊数据样本的内容详情检查，力求做到

8、新数据系统中的数据与原电网信息系统业务数据相同。最后，通过系统的查询工具，分析新旧系统中不同指标数据的异同情况，比较最终的查询结果，根据对比分析结果确定数据迁移质量。具体做法是将新信息数据系统中的数据还原到数据迁移前的状态，并将旧系统最后一天的全部工作业务信息录入到新系统中，将产生的结果与旧系统相比较。对于有条件的电网企业，可以让新旧系统在同一状态下进行运行，在一段时间后将业务信息进行对比，若数据隋况一致，则说明数据迁移完成。3结束语电网信息系统业务数据迁移是项复杂的工作，而数据迁移的质量会直接影响着新系统的稳定运行程度。探讨利用etl技术进行数据迁移的应用，并制定相应的实施方案，能够实现电网营销管理系统数据的可靠、准确及快速地迁移，为新营销系统的稳定运行提供了重要保障。科学与信