“信息孤岛”问题与信息整合.doc

利用信息整合技术解决“信息孤岛”问题1 信息孤岛的形成与弊端所谓的“信息孤岛”，是指相互之间在功能上不关联互助、信息不共享互换以及信息与业务流程和应用相互脱节的计算机应用系统。应当看到，在整个信息技术产业飞速发展过程中，企业的IT应用也伴随着技术的发展而前进。但与企业的其它变革明显不同的是，IT应用的变化速度更快，也就是说，企业进行的每一次局部的IT应用都可能与以前的应用不配套，也可能与以后的“更高级”的应用不兼容。因此，从产业发展的角度来看，信息孤岛的产生有着一定的必然性。从企业的自身原因分析，前期的信息化建设大多缺乏长远与统筹规划，不同阶段只考虑各种局部需求，造成了各种不同应用系统的盲目引进，如其中有上级部门下发推广的，也有自行开发或合作开发引进的等渠道。由于大多数应用系统之间没有统一的技术和数据标准，数据不能自动传递，缺乏有效的关联和共享，从而形成一个个彼此隔离的信息孤岛。信息孤岛有“单项孤岛”和“系统孤岛”之分，它们的存在所带来的弊端是显而易见的。首先是导致信息的多口采集、重复输入以及多头使用和维护，信息更新的同步性差，从而影响了数据的一致性和正确性，并使企业的信息资源拆乱分散和大量冗余，信息使用和管理效率低下，且失去了统一的、准确的依据。其次是由于缺乏业务功能交互与信息共享，致使企业的物流、资金流和信息流的脱节，结果造成账账不符、账物不符，不仅难以进行准确的财务核算，而且难以对业务过程及业务标准实施有效监控，导致不能及时发现经营管理过程中的问题，造成计划失控、库存过量、采购与销售环节的暗箱操作等现象，给企业带来无效劳动、资源浪费和效益流失等严重后果。再次是孤立的信息系统无法有效地提供跨部门、跨系统的综合性信息，各类数据不能形成有价值的信息，局部的信息不能提升为管理知识，以致对企业的决策支持只能流于空谈。同时由于企业信息孤岛的存在，还将影响信息化的集团化、行业化应用。2 信息整合2.1信息整合的含义信息整合就是通过各种有效的手段和工具将已有信息集合在一起，生成满足不同用户需求的新的信息集合体，在已有信息的基础上实现信息价值的增值。信息整合的目标是融合外部信息、消灭信息孤岛、实现信息增值，提高信息的利用率。2.2 信息整合的作用与目标（1）信息整合可以使企业内分散的文件、技术资料、工程图纸、设备图片、新闻素材、音像资料、日常宣传资料、规章制度等信息资源都被有效地管理起来，经过不断的积累将成为企业资源，方便企业员工查询。（2）信息整合可以使企业对有用信息资源实施有效管理；实现员工协同工作、应用系统协同工作；综合、统一利用现有信息资源，提高数据使用率；为每个员工提供个性化信息平台，管理自己需要的信息，提高工作效率。在不增加应用系统的前提下，提高信息系统的综合效能。（3）信息整合以后，企业不必担心不同应用系统、异构数据库间的集成问题，可以分步推进企业信息化建设，在此进程中逐步提高企业自身的信息技术水平，进而增加对企业信息化建设的操控能力，选择优秀的产品和资质信誉好的集成商不断推进企业信息化建设，避免一次性大量投资给企业带来损失。另外，利用信息整合技术可以将企业已经建成的应用系统与新建成的应用系统集成到统一的企业信息平台，不必因其软件技术落后而淘汰它们，不必因更换应用软件而再进行培训，保护原有投资。（4）利用信息整合技术，可以将企业的信息资源有效管理和综合利用，从而为企业领导提供定制信息、提供综合经营报表、提供多种数据展现方式，为企业领导决策提供依据。通过信息整合，可以达到如下目标：(1)消除信息孤岛，使企业信息系统形成互通互联的整体(2)形成了各个应用系统的统一访问入口(3)提供满足信息安全的统一数据发布平台(4)提供了已有业务系统升级的新手段(5)为建立企业决策系统提供了数据准备(6)解决了数据不规范、编码不一致等问题(7)规范了信息模型，遵循国际标准(8)形成了“按需定制”的企业信息架构2.3信息整合的三个层面（1）数据整合数据是组成信息的基本元素，各种原始数据的积累与集中是一个组织机构开展业务的底层基础，而这些数据大多数是由各种应用系统所生成的结构化数据。企业的结构化数据存放在各种不同的数据库中，新增加的每个企业应用系统都会带来一系列新的结构化数据。数据整合就是对分散异构的多数据源实现统一的访问，实时地、智能地将有价值的数据传递给分析系统或其他应用系统，进行信息的进一步加工。数据整合的目的是将不同的数据库集成起来，提供一种单一的虚拟数据库，这样就不会出现与核心业务不一致的多个数据库，保持应用软件数据相互一致并与企业实际情况相符。（2）内容整合 内容是指非结构化的信息，例如电子表格、文本文件、图像、图表、报告、音频文件和视频文件等。这类信息通常占企业信息的80%左右。在进行内容整合时，企业可以建立一个内容管理平台，以提供对非结构化信息的管理功能。公司的文件、图片、多媒体等办公信息，搜索软件搜索整理的信息，翻译系统翻译的信息等非结构化信息可以进入内容管理系统。内容管理系统对各类信息进行编、审、校等步骤，对各类信息进行分类管理，并控制信息的发布与访问权限。（3）过程整合在数据整合与内容整合的基础上，企业可以寻求业务过程的整合。过程整合能将企业规则和过程转移到企业应用软件以外，变成一种外在的过程和规则引擎。过程和企业规则的这种外在转移增加了灵活性，从而可以对过程的改善或者新的商业机会做出更加有效的反应。最终，通过提高外在的和内在的过程自动化水平，可以提高过程执行的整体效率，达到优化过程的目的。信息整合主要的建设任务、用时估算及它们之间关系如图1-1及其相关文字说明。 北京赛迪世纪信息工程顾问有限公司 第9页 共9页：这个阶段要做的是：对企业的业务、管理活动中发生的数据进行调研、分析、整理、提炼、描述出数据的构成。数据间层次结构、数据间相互关系，建立体系化数据资源体系的过程。是从企业数据流的视角对数据结构进行一个全面、系统的看待，最终形成标准总体框架（详见后续章节的描述）、业务数据分类及数据管理技术架构等。主要解决“有哪些数据”、“数据之间什么关系”、采取怎样的技术、方法和架构进行数据管理、共享的问题（这也反过来对标准框架的涉及产生影响）。 这部分工作一般是通过前期的咨或者可行性研究工作来完成。而且，只有在这部分工作完成后，后续工作才有了依据，招标中才可以明确地告诉投标人需要做什么。例如，如果在前期的工作中未形成标准总体框架，那么在招标中也就无法清晰地告诉投标人招标人具体地需要那些标准。投标人就会根据自己的经验及对招标项目的理解给出解决方案这往是不能达到用户要求。投标报价也会相差较大，给评标带来很大困难。：这个阶段要做的是相关标准的制订阶段（详细过程见后续章节），是一个相对规范的过程。这个阶段的关键要点是： 在编制前面标准体系的基础上，明确急需制定的一系列关键技术标准，包括数据管理的总体标准、数据标准、交换标准、技术规范和管理规范等 实现互联互通、信息共享、业务协同、安全可靠运行的前提和基础。这句话可以是所完成的标准化内容应达到验收目标。判断本项目工程标准质量好坏的唯一准则是该标准是否能够正确地指导项目建设和运营维护，达到项目的建设目标。因此要把数据能否正确地进行共享与交换，业务处理是否正常，管理标准是否能够确实指导、约束承建单位的行为，运营维护标准的实用性等方面作为质量标准，结合使用标准的参建单位和专家评审意见，最终确认工程标准的质量是否达到合同要求。 标准是否能够正确地指导项目建设和运营维护，可以通过测试或者试点的方式进行，这两种方式各有优势，可以根据用户的实际情况进行选择。：在前面两个阶段的工作成果基础上，根据标准规范中规定的总体框架和技术架构，建立统一的信息共享平台，从技术层面上为整合各个部门的数据资源提供保证。信息共享平台的建设可以在标准建设进行到一定阶段（例如草案基本完成）的时候即可启动，而不一定要等到标准经过评审甚至验证后再进行可以根据用户的需要进行安排。：本是将需求变为实际系统的最重要的部分，也是数据整合的关键点之一。在这里，共享数据库（操作型数据）和数据仓库建模和设计是重点，数据仓库的建模和设计需要投入大量的技术经验。数据仓库内部的模型分为不同的层次，每个层次又采用不同的数据模型进行存储。大体来说，数据仓库基本分为两个层次，一是数据登台区，二是星型模型区，在这两个区域用不同的数据模型进行存储。一般数据登台区基本采用和数据源相同的结构，也就是传统的范式数据结构，而在星型模型区一般都是采用由维表和事实表构建的星型结构。将数据从原始的数据源之中抽取、转换和加载也是在这个过程中进行的。ETL的设计开发就是用于对数据进行清洗，数据源有可能来至于各种业务系统，也可能是系统之外的数据，这些数据以各种形式存储，ETL的功能就是要将这些不同的数据源进行清洗流程整合到一个统一的数据仓库中。数据清洗又称为合并/净化问题(merge/purge ):它涉及到记录联接(recordlinkage)、语义集成(semantic integration)、实例标识(instance identification),对象识别问题，数据清理目的就是要在数据中消除错误和不一致，并解决对象识别的问题。重复数据清理的公认的方法:对合并/净化问题用基本的排序冷fl居方法进行解决的过程。 清洗主要是针对系统的各个环节可能出现的数据二义性、重复、不完整、违反业务规则等问题，允许通过试抽取，将有问题的纪录先剔除出来，根据实际情况调整相应的清洗操作。 客户数据清理的六个步骤: 元素化(elementizing):将数分解为最小的原子单元 标准化(standardizing):将缩写，大小写等都转换为同一格式 校验(verifying):利用规则或已有的数据集合验证数据的有效性 匹配(matching):主要是判别冗余数据 户主化(householding):主要是确定数据之间的联系 文档化(documenting):将清洗好的数据以同一的标准格式保存：这个阶段对数据进行整体集成、在共享数据的基础上，实