（工商管理专业论文）电力企业数据中心的架构设计研究.pdf

0 6 3 0 2 5 1 1 7 谢红涛 电力企业数据中心的架构设计研究 摘要 电力企业信息化建设经过近几年的迅速发展，建立了大量的信息系统来管理企业 的信息资源，这些系统为电力企业各业务部门作出了较大的贡献，并已被部门使用者 和管理者所熟悉和认可，同时积累了大量的实用珍贵的数据。由于业务系统的相对独 立性，信息的综合运用和深层次挖掘没有开展，形成事实上的信息“孤岛 。一方面 信息大量存在于数据仓库中；另一方面信息的提供和展示十分困难和有限。 如何让原有的系统实时的、安全的、有效的互联起来，并实现自动流程，使互联 的各个系统工作协同工作，为各级管理人员提供实时的企业生产、经营、管理信息和 分析服务，进而为企业经营管理决策提供数据支撑。 为此，本文结合国家电网公司“十一五信息规划目标，提出了一个具有实践指 导意义的基于一体化企业级信息集成平台的数据中心的架构设计方案。该方案立足公 司实际，结合企业现状，主要从数据中心的逻辑架构、数据中心数据架构、数据仓库 总体执行架构、数据中心应用架构等方面提出了数据中心的架构设计方案，并提出了 数据中心架构的实施原则，对数据中心的实施效果进行了分析，对公司数据中心的建 设起到了很好的指导意义。 关键词：电力企业，信息化，数据中心，架构设计 a b s t r a c t t h ec o n s t r u c t i o no fe l e c t r i c p o w e re n t e r p r i s e i n f o r m a t i o nt h r o u g ht h er a p i d d e v e l o p m e n ti nr e c e n ty e a r s ，t h ee s t a b l i s h m e n to f al a r g en u m b e ro fi n f o r m a t i o ns y g e m st o m a n a g ee n t e r p r i s ei n f o r m a t i o nr e s o u r c e s ，t h e s es y s t e m sf o rp o w e re n t e r p r i s e sh a sm a d e t h e b u s i n e s ss e c t o rag r e a t e rc o n t r i b u t i o n ，a n dh a sb e e nd e p a r t m e n tu s e r sa n dm a n a g e r sa n d r e c o g n i t i o no ff a m i l i a ra n da tt h es a l l l et i m et h ea c c u m u l a t i o no fag r e a td e a lo fv a l u a b l e p r a c t i c a li n f o r m a t i o n b u s i n e s ss y s t e m sa sar e s u l to ft h er e l a t i v ei n d e p e n d e n c eo ft h e i n t e g r a t e du s eo fi n f o r m a t i o na n dt h ea b s e n c eo fd e e p l e v e lm i n i n g ，t h ef o r m a t i o no fd e f a c t oi n f o r m a t i o n i s l a n d s ”o nt h eo n eh a n d ，t h e r ea r eal o to fi n f o r m a t i o ni nt h ed a t a w a r e h o u s e ；o nt h eo t h e rh a n dt op r o v i d ei n f o r m a t i o na n dd i s p l a yv e r y d i f f i c u l ta n d l i m i t e d h o wt om a k et h eo r i g i n a lr e a l - t i m e ，s e c u r e ，c o n n e c t e da n de f f e c t i v e ，a n da u t o m a t i c p r o c e s s e s ，s ot h a t a l ls y s t e m sw o r kt h ei n t e r n e tt ow o r kt o g e t h e ra ta l ll e v e l so f m a n a g e m e n tt op r o v i d er e a l - t i m ep r o d u c t i o n , m a n a g e m e n t , m a n a g e m e n ti n f o r m a t i o na n d a n a l y t i c a ls e r v i c e s ，f o rb u s i n e s st op r o v i d ed a t at os u p p o r tm a n a g e m e n td e c i s i o n - m a k i n g t ot h i se n d ，t h es t a t eg r i dc o r p o r a t i o no ft h i sp a p e r , ”f i v e i n f o r m a t i o np l a n n i n g o b j e c t i v e s ，ap r a c t i c a lg u i d eb a s e d0 1 1t h ei n t e g r a t i o no fe n t e r p r i s e - c l a s sp l a t f o r mf o r i n f o r m a t i o ni n t e g r a t i o nf r a m e w o r kf o rd a t ac e n t e rd e s i g n t h ep r o g r a mb a s e do na c t u a l ， c o m b i n e dw i t hc o r p o r a t es t a t u sq u o ，m a i n l yf r o mt h el o g i c a ls t r u c t u r eo ft h ed a t ac e n t e r , d a t ac e n t e rd a t as t r u c t u r e ，t h eo v e r a l li m p l e m e n t a t i o no fd a t aw a r e h o u s ea r c h i t e c t u r e ，d a t a c e n t e ra p p l i c a t i o n sa n do t h e ra s p e c t so ft h es t r u c t u r eo ft h ed a t ac e n t e ra r c h i t e c t u r ed e s i g n , a n dp r o p o s e dad a t ac e n t e r 缸c k t e c t u r et h ei m p l e m e n t a t i o no ft h ep r i n c i p l eo ft h e i m p l e m e n t a t i o no ft h ed a t ac e n t e rt oc a r r yo u ta na n a l y s i so f t h ee f f e c to nt h ec o r p o r a t e d a t ac e n t e rh a sp l a y e dav e r y9 0 0 dg u i d e k e yw o r d s ：p o w e re n t e r p r i s e s ，i n f o r m a t i o nt e c h n o l o g y , d a t a c e n t e ra r c h i t e c t u r e 2 0 6 3 0 2 5 1 1 7 谢红涛电力企业数据中心的架构设计研究 前言 为实现“一强三优”现代公司( 注：电网坚强、资产优良、服务优质、业绩优秀) 发展战略目标，落实“三抓一创 工作思路，加快推进信息化建设，国家电网公司制 定了“十一五”信息发展规划，决定实施“s g l 8 6 工程( 注：s g 是国家电网公司 英文缩写，“l ”是指构筑一体化企业级信息平台，“8 是指建设安全生产管理、营销 管理、项目管理、人力资源管理、财务资金管理、物资管理、协同办公、综合管理八 大业务系统，“6 ”是指建立健全管理控制体系、评价考核体系、安全防护体系、技术 研究体系、人才队伍体系六个保障体系) ，构筑一体化信息平台，建设八大业务系统， 建立健全六个保障体系，为公司发展提供信息支撑。 依据国家电网公司“s g l 8 6 工程的总体规划，山东电力集团公司于2 0 0 7 年开 始实施数据中心项目。本文立足公司实际，结合企业现状，主要从数据中心的逻辑架 构、数据中心数据架构、数据仓库总体执行架构、数据中心应用架构等方面提出了数 据中心的架构设计方案，并提出了数据中心架构的实施原则，对数据中心的实施效果 进行了分析，对公司数据中心的建设起到了很好的指导意义。 本人参与了公司一体化信息平台的数据中心典型设计，有些结论已在公司信息化 工程内部报告中体现，现经过整理，通过论文形式呈现出来。本文第一章介绍了研究 背景与现状，第二章介绍了电力企业数据中心的设计原则与定位，第三章介绍了数据 中心的架构设计，第四、五章分别介绍了数据中心架构的实施原则和数据中心的实施 效果分析，第六章进行了最后总结。 0 6 3 0 2 5 1 1 7 谢红涛电力企业数据中心的架构设计研究 第一章研究背景与现状 1 1 研究背景 2 0 0 2 年国家电力体制改革，控制着中国这个世界第二大电力市场绝大多数发电 输电能力的原国家电力公司，拆分为发电侧的五大发电集团、电网环节的国家电网、 南方电网和四家辅业集团，在发电环节引入了竞争机制，实现了“厂网分开 。随着 以“厂网分离、竞价上网”为主旨的电力市场化的不断深入，电力市场体系的重新构 筑和激烈竞争，使提升企业核心竞争力成为电力企业生存和发展的当务之急。今天， 信息技术的迅猛发展，既为电力企业带来发展的契机，又使电力企业面临严峻的挑战。 在信息化过程中企业业务系统沉淀了大量的数据，涉及生产、财务、人事等方方 面面。这些数据一方面成为有用的资源，另一方面大量宝贵信息的流失，直接影响企 业的安全和发展。数据分散、残缺、冗余、杂乱无章，统计口径和来源不统一，企业 横向很难实现数据交流与共享。这种状况已不能满足电力企业管理的需要，更不适应 新的市场环境。电力企业要想在瞬息万变的市场环境中立于不败之地，就必须依托现 代化的管理思想和管理手段，有效地对企业的内部资源和外部资源进行整合。 “十一五 期间，国家电网公司提出大力推进集团化运作、集约化发展、精益 化管理、标准化建设，全面提高“四个服务 水平，实现“两个转变 ，初步实现建 成“一强三优”的现代公司的战略目标。服务服从公司发展战略是信息化工作的基本 使命，它要求信息化工作依托现代管理理念，面向流程优化和应用整合，提供一体化 解决方案，构建企业级信息系统，以提高公司管理水平，提升集中管控能力，增强核 心竞争力，为推动公司发展迈上新台阶提供支撑。构建电力企业数据中心开始提上议 事日程。 1 2 企业现状分析 “厂网分开 后，发、输、配、用构成的纵向一体的电力产业链被打断，山东电 力集团公司成为电网经营企业，主要承担规划、建设、运营山东电网，为山东国民经 济和社会发展提供安全、可靠、优质电力供应，优化全省电力资源配置的重要责任。 随着业务变化，企业价值链发生了变化，购电、输电、配电、销售和客户服务等主题 活动构成了公司的核心价值链。公司为了提高信息化管理水平，建立了许多用于满足 业务需求的信息管理系统，这些系统在企业发展早期均为企业管理作出了重要贡献， 但已不能满足目前企业高速发展的需要，甚至成为制约企业数据进一步共享的瓶颈。 1 2 1 信息化建设发展迅速，但缺乏严谨科学一体化的规划 在国家电网公司的统一领导下，山东电力集团公司的信息化建设一直在快速发 4 0 6 3 0 2 5 11 7 谢红涛 电力企业数据中心的架构设计研究 展，并充分展现了山东电力集团公司的特点和优势，但是目前已经建设的业务系统， 基本是都是按照国网统一推广的软件功能来实施的，在信息化技术层次上，专注于单 项应用，以部门或专业的内部封闭的业务处理为应用边界，缺乏站在企业整体角度的 对其信息进行科学合理的整体规划。 这种满足独立的事务处理的软件系统，未能从基础数据方面解决好各业务应用系 统之间的关系，系统内部信息之间关联性差，无法形成涵盖整个电力业务体系和不同 业务层次的一体化系统，无法有效地协同工作，对企业管理决策的作用十分有限。 从管理决策方面，这些系统基本都是基于统计分析与统计报表方面应用的系统， 不是严格意义上的业务工作系统，所以采用的是面向报表或记录的数据结构设计，系 统中收集的数据仅是针对某种具体管理模式所需的报表管理数据。当管理模式与相应 的工作报表内容、格式发生变化时，系统的数据结构难以跟随改变，常常导致需要对 系统进行大的变更与升级。 1 2 2 信息化建设缺乏相应的标准 相关业务标准的空白和欠缺是制约信息化全面提升的一个关键因素。虽然，在不 同的系统建设中也做到了坚持规范化标准化管理，国家电网公司也一直在不断完善 标准体系，但是，目前尚未形成相对完备的标准体系，且不同专业之间也存在一些类 似编码不统一的情况。缺乏企业整体的编码标准、数据标准和流程标准。 由此，在系统建设中各行其是，存在不同系统功能互相重叠和同样的数据在多处 ( 或一处多次) 重复录入的现象。由于应用的软件标准不够统一，没有统一的信息编 码标准，造成信息的利用率和整合程度不高，各业务应用子系统集成度低，核心业务 系统没有实现整合，信息资源共享程度低。 1 2 3 没有标准的、实用化的电网公共数据模型 此前，虽然国内部分省公司也组织了大量人力，投入大量资金，进行企业数据规 划、建立数据模型，但是至今未能大规模实用化。山东电力同样也没有一个科学、完 整、实用的公共数据模型，未能实现对电网资源的统一描述。已有的业务系统的数据 模型较少考虑与其他业务系统进行数据集成，更少从全局的角度考虑数据的集成应 用。数据模型的不一致增加了数据共享和集成的难度，导致各级组织与部门间的信息 交互不畅。 为实现建设“一强三优”现代公司的战略目标，加快转变公司发展方式和电网发 展方式，必须大力推进信息化建设，坚持以信息化带动生产专业化，推动管理现代化， 为建设世界一流电网、国际一流企业提供坚强支撑。根据国家电网公司信息规划要求， 建成“纵向贯通、横向集成 的一体化企业级信息集成平台，实现公司系统上下信息 畅通和数据共享。数据中心是企业一体化信息平台的基础，它可以有效解决应用系统 0 6 3 0 2 5 1 1 7谢红涛 电力企业数据中心的架构设计研究 的整合与数据共享，实现企业数据的一致性、及时性、完整性、安全性、有效性和准 确性，提高企业信息系统的统一性，解决电力企业普遍存在的信息孤岛和信息系统沟 通不畅的问题，建立统一的数据中心，实现数据资源整合，统一信息管理十分必要。 数据中心建设的必要性表现在以下几个方面：第一，数据中心的建设成为企业信 息化建设中的必经阶段。早期的企业信息化建设集中在网络等基础设施建设及管理信 息系统开发方面，现在的企业信息化建设将以数据中心建设为核心，并将其作为企业 的知识中心及通用的业务平台；第二，数据中心采取“数据集中、应用分布的方式， 可以有效地提高信息资源的利用率；第三，企业知识的集中沉淀与优化应用，将成为 企业扩张经营的必备条件，数据中心将在这方面扮演极为重要的角色：第四，国际上 许多大企业正在建设或已经建设了各自的数据中心，企业关键应用系统和关键硬件设 施均统一集中在数据中心，支持企业核心业务运作。建立数据中心是电力企业提高竞 争力，实现可持续高速发展的必由之路。 6 0 6 3 0 2 5 1 1 7 谢红涛电力企业数据中心的架构设计研究 第二章电力企业数据中心的设计原则与定位 因为企业数据中心建设涉及到企业的方方面面，所以电力企业在进行数据中心建 设的时候，必须有明确的设计原则与准确的定位。 依据国家电网公司“十一五”信息发展规划，山东电力集团公司决定实施公司信 息化“s g l 8 6 工程，即“构筑一体化企业级信息集成平台，建设八大业务应用，建 立健全六个保障体系 。一体化企业级信息平台由信息网络、数据交换、数据中心、 应用集成和企业门户五部分组成，数据中心是“s g l 8 6 - r 程的重点之一，也是八大 核心业务应用的关键支撑。 数据中心系统是对各种业务应用系统与数据资源进行集中、集成、共享、分析的 中心。其核心内容包括数据抽取、操作型数据库、数据仓库、数据集市、商务智能等， 也包括业务系统中的数据信息、物理运行环境和运行维护管理服务。目前山东电力集 团公司数据中心系统项目的重点工作是建设数据仓库、实现数据共享，解决数据信息 不统一的问题，建立数据仓库之上的决策分析系统，实现为公司提供辅助决策分析能 力。 公司数据中心设计遵循“架构统一、标准统一、规范建设、保护投资的整体设 计原则，采用模块化设计手段，努力做到统一性、可靠性、先进性、经济性、适应性、 灵活性的协调统一。同时数据中心设计工作坚持以需求为本，满足公司数据中心建设 的要求，并随着八大业务系统应用的逐步推广，对数据中心的设计不断完善。 为帮助大家对数据中心有个清晰的认识，更好地理解数据中心架构设计的思想， 现引入数据中心的定义。 2 1 广义数据中心和狭义数据中心的定义 在一体化信息平台建设中，有广义数据中心和狭义数据中心两个概念。 广义的数据中心是指：企业业务应用与数据资源进行集中、集成、共享、分析的 场地、工具、流程等的有机组合。其核心内容包括业务应用、数据e t l 、o d s 数据 库、数据仓库、数据集市、商务智能等，也包括物理的运行环境( 中心机房) 和运行 维护管理服务。 具体的来说广义的数据中心应至少包含四个方面的含义： 首先，数据中心是提供所有应用系统( 包括集中的业务应用系统、数据交换平台、 应用集成平台) 的运营场所。 其次，数据中心也是容纳用以支持应用系统运行的基础设施( 包括服务器、网络、 存储设备) 的物理地点。 再次，包括数据中心本身的o d s 、数据仓库及建立在其上的决策分析应用。 7 0 6 3 0 2 5 1 1 7 谢红涛 i l 力企业数欹l ：q ；| 心的架构设计研究 最后，数据c h 心需要有套成熟的运行、维护体系支持其常运行，保证应用系 统高效地不f h j 断运jj ：，数据被正确的访问。 狭义的数据中心仪包含心川层面的数据巾心，具体包括数捌仓库和建立在数据仓 库之上的决策分析应用、数据的e t l 、o d s 数据库、数据仓库、商务智能应用和元 数据管理等。在本文以下的论述中，如不特别指出，所捉到的数据中心为狭义数据中 心。 2 2 数据中心的定位 2 2 1 数据中心同一体化信息平台的关系 如下图所示，根据圈家电网公司“s g l8 6 ”信息化规划，一体化信息平台由企业 门户、数据中心、应j f 】集成、数据交换、信息网络等五部分构成。 图2 一l 一体化信恩平台 完善信息网络，加强基础建设。制定标准规范，统一进行部署，以国家电网公司 通信网络为基础，分级建设覆盖国网公司、省公司、地r h 公司等的安全、可靠、快速、 畅通的信息网络。 部署数据交换，畅通信息渠道。建立省公司与国网公司统一的数据交换，实现公 r 习关键业务数据的纵向快速交换，确保信息上下畅通。 建设数掘中心，实现数据共享。结合数掘中心建设，完蒋数据交换体系，逐步实 现数据【f 1 心川的交换和数据点播。 推进应 j 集成，促进流程优化。按照先易后难的原则，结合业务流程的梳理，制 定标准，设计架构，实现财务、营销等关键业务应用的横向集成。 搭建氽、j k 门户，统一展示内容。建成囤网公司系统统一域名系统，规范业务应用 界嘶风格，统+ 】，、身份铃：理。建立凼网公叫和省公司两层企业门，“，实王见信息系统 安全、统的入f 及食q k 范【；f ；l 内信息资源的综合展现，并可根据、i k 务需要定制展现内 容，实现门，、级联。 体化信息平台的建设的口标足：以整合的基础架构平台( 物理数据中心) 为艇 0 6 3 0 2 5 1 1 7 谢红涛 l 乜力企业数据中心的架构设计研究 础，实现应用的集中，数据的整合，业务流程的集成，信息准确及时的交换，基于门 ，、的统展现与工作界【n f 。根据此目标，未来一体化信息、f 台的示意图如图2 - 2 ： 篷型! 二： 熙疆 _ = f ，篱1 ： 一_ i 固围= = 二工三 三j 三王三e j e r 图2 2 一体化信息平台详图 壮础设施层足一体化信息甲台的支撑部分。摹础设施层不仪为平台本身应用的运 行提供支持，而且为八大业务应用提供支持；一体化信息平台的基础设施层将构成国 家电网信息化系统的公共基础设施。基础设施包括网络、存储、服务器等：服务器根 据使用目的的不同，分为表示层服务器、应用层服务器、数据层服务器。 应用层是位于基础设施之上的数据、应用( 包括业务应用和分析应用) 及其集成。 企业门户位于应用层的顶端，是与一体化信息平台与用户交互的主要渠道；应用集成 在业务应用之 ：，为业务应用提供集成服务，并在企业门户进行展现；数据仓库及相 关部件是数据中心的蕊要红l 成部分，它从业务系统中抽取数据，进行数据整合，并构 建分析应用。数据交换部署总部和省公司间，实现信息的上下通畅。 一体化信息、f 台存国网公司和省级公司两级进行部署，如图2 3 所示。部署实现 通过因网公i j j 和省级公卅两级的数据中心进行。一体化信息i f 台的部署足依据统一的 架构标准进行的。 9 0 6 3 0 2 5 1 1 7谢红涛电j 企业数据中心的絮构设计研究 _ 黑嘲啊甲瞳： ：卜鲁：誊蕾墨。罱一j j 喜兰i _ g 。l -。： ：。? 一? j j 昔r 文￥跨 嚣譬 掣卜i 时1 盲1 i l i 盲r f f r f r f r r 回回回国施缎躜回国国固 r ! 一薏 遘盘x 亡等西专一 女￥法一 i ；! i 三! 兰罩曼! 曼曼! 生三! 皇! ! 兰 1i lj itii， 麓- - - 莼$ 葛莎芝p p p 垒多乡 _ + 。- + ，_ 一 r ；! 一专 j t -ii_ttt，l - - - - - - - - - - ：蒌垂姜蔫亘，q 璺9 晕璺箩一多 图2 3 一体化平台在国网公司和省级公司两级部署图 在一体化信息平台中各个部分中存在交互的边界。在一体化信息平台中查看这些 边界，如下图所示： 数据交换巾处删足两级数据【f | 心l e 联的币要f 段； 丛j 二数据中心的分析和决策系统集成剑食、j k fj ，醍现；分析和决策系统的， j 户 及权限的认证基于企q ”j ，! ，的日匀乏服务完成； j 邂用集成通过服务总线向数据【斗j 心的操作数抓；缓储区的数据及时更新； 对于服务信息的传递，通过应用集成的服务总线以：应j f j 系统间完成： 1 0 0 6 3 0 2 5 1 1 7 谢红涛电力企业效据中心的架构设计研究 应用集成中流程的展现及用户交互可在企业门户上进行； 特别的，企业门户、数据交换、应用集成都部署在数据中心。 2 2 2 数据中心和八大业务应用关系 为建设并实现“一强三优”现代公司的发展战略目标，国家电网公司决策实施信 息化建设“s g l 8 6 工程，建成“纵向贯通、横向集成 的一体化信息平台，实现 公司系统上下信息畅通和数据共享；建成适应公司管理需求的八大业务应用，增强公 司系统各项业务的管理能力，提高工作的质量和效率，全面优化工作流程。八大业务 应用系统是指建设安全生产管理、营销管理、项目管理、人力资源管理、财务资金管 理、物资管理、协同办公和综合管理，全面覆盖了公司的所有业务。 从数据中心的实施阶段上看：数据中心的数据源全部来自于八大业务系统，任何 时间段内都保持如此的关系；数据中心提供决策支持能力，服务于八大业务系统。 从八大业务系统实施应用集成上看：数据中心的建设过程，无需等到八大业务全 部或部分集中之后才开始，基于稳定的业务流程分析之后而设计的数据仓库模型，在 八大业务集中或部分集中之后应保持稳定，改变的只是e t l 设计及e t l 流程。当仅限 于八大业务系统的业务流程发生改变的时候，数据仓库的存储模型可能需要适当调 整。 从数据中心深度及广度上看：数据仓库的数据装载、业务内容丰富是逐步的。这 种逐步可以从广度( 涉及面广) 和深度( 数据明细程度) 两方面看。为了支持速赢阶 段的需求，涉及的数据面要广泛，但不够明细。在成型阶段，粒度更细的数据要定期 ( 如每日、每周) 装载并整合，以形成一个完整的数据集成和共享、分析的平台，支 持各个业务条线的服务决策能力。 八大业务应用间公共数据交换：数据中心支持系统间交换数据处理平台的实现， 具体在o d s 通过统一信息视图区提供支持。 八大业务应用的决策分析支持：数据中心提供整合一致的数据和高效的运算能力 为业务应用的决策分析提供支持。根据“s g l 8 6 ”信息化整体规划，在八大应用中均 存在高级分析的需求，这样的分析需求通过数据中心实现支持。 2 2 3 数据中心和e a i 之间的关系 企业中各应用系统通常只关注某一业务环节或管理功能，整体集成和沟通程度不 高，形成了一个个信息孤岛，造成信息和数据重复处理，甚至造成更新不同步也不一 0 6 3 0 2 5 11 7谢红涛 电力企业数据中心的架构设计研究 致，引起企业越来越多的关注，e a i 应运而生。 e a i ( 企业应用集成) 是指将基于各种不同平台、用不同方案建立的异构应用集 成的一种方法和技术。e a i 通过建立底层结构、使异构、分布式的系统、应用和数据 原之间的信息交互成为可能，完成企业内部或企业与企业系统之间的无缝数据共享和 应用沟通。实现业务应用在数据集成层面、应用集成( 两两之间) 层面、流程集成层 面的集成。 在应用集成中，特别是不同应用之间进行前两类应用集成时，往往涉及到对业务 应用间共享数据的传递和访问，特别是当数据量较大、对效率、安全性要求较高、数 据在多个系统间共享和使用时，需要统一的共享信息模型和统一的处理机制。数据中 心的o d s 中统一信息视图区将作为载体支持这类需求的实现，业务系统通过e a i 发 送指令更新o d s 统一信息视图区，以便o d s 获得实时或近实时的数据，向其它业务 系统共享。 需要强调的是，应用集成平台面向的是不同层次的、多种的应用间集成的需求。 很多需求的实现往往通过应用集成平台连接业务应用即可以完成；需要统一的共享信 息模型的集成需求只是其中的一部分；数据中心的主要任务是建设数据集成整合的平 台和提供分析决策的能力。因此，数据中心与e a i 共同支持实现业务系统间的的共 享数据的交换，是按照业务系统建设的规划和需求，与具体情况相结合考虑实现的。 1 2 0 6 3 0 2 5 1 1 7 谢红涛电力企业数据中心的架构设计研究 第三章数据中心的架构设计 数据中心是企业的业务系统与数据资源进行集中、集成、共享、分析的场地、工 具、流程的有机组合。要充分发挥业务系统内在潜力，同时保证统计分析应用深度， 就需要先进的数据中心架构和以实用为根本准则，使得数据中心建设既能满足业务需 求，又能适应将来发展需要。 3 1 数据中心的逻辑架构 现有数据系统源数据各不相同，我们就要针对各业务系统数据库都建立各自独立 的抽取流程。因为务系统数据中的海量数据，就要考虑尽可能地减少数据抽取时对原 数据库性能的影响，所以必须采取全量抽和增量抽取相结合的方式将数据从各业务系 统数据库中抽取到o d s 。在数据中心初始化的时候，我们使用业务系统的最近时间 的全库备份数据先进行一次数据库的全量抽取，待数据初始化完成后，采用数据增量 抽取的方式，通过设定增量数据抽取的频度( 一次天或一次月) ，定期对原数据库中 的增量数据进行自动抽取，避免了对源数据进行重复扫描，以保证数据处理的效率。 待数据进入到o d s 中后，首先对o d s 中的数据进行筛选，筛选出在数据源中不能直 接满足数据集市要求的数据，对重复数据进行丢弃。数据清洗完成后，根据数据集市 中的数据需求，对数据进行必要的字段合并、字段运算等数据处理，将数据转换成能 够满足数据集市要求的数据。最终将数据以记录更新的方式存储到数据集市中，提供 给数据分析应用层进行主体分析，并最终在展现层通过即席查询、统计报表或o l a p 查询进行展现。按照整个数据流动的过程，数据中心设计如下逻辑架构，如图3 1 。 数据中心总体逻辑架构可划分为六个层次：数据源层、o d s 层、数据仓库层、 数据集市层、数据分析应用层、展示层。 0 6 3 0 2 5 11 7 谢红涛电力企、数据中心的架构设计研，宄 枞： f 。i , 、il i _ 一i ：t 引j ：l 一一一一一一一一一一一一一一一i - 一一一一一一一一一一一一一一一一，一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一 薏鬻嫠析： 至囹 圈 夏至至垂至亘 亘至圃 至至圃 - 臣囹巴囹圈圈厂k 森圈m_。-。_-o。oo_o一 一一一一一一一一一一一一一一一i 一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一一。一一一一一一一一 i _ - - _ _ 。 数据集j f j 数据仓1 6 - ) 2 数据源层 ：回 l 矍堑爹! 蔓，= ! ! i ! ? ! 。兰! l 璺蔓2 0 一尘：奠一i t ) j 一鬯塑一1 1 115 望要一? ! 粤缘- i 台f 缝- i i _ _ - 一 一 、f = = = = 二二二二二二= = 二 、 企业数据仓库( e d w ) 、 l _ 一一j 、一一一二= = = _ 1 _ = 一= = _ = f = i = 一二- 一一一一 i - _ _ - 一 f = 二二二二二二二二二二二二二二二= 二刁 操作型数据存储( 0 d s ) 一 图3 一l 数据中心逻辑架构图 数据源层：与综合数据相关的所有原始业务数据，称为原始数据；提供原始数据 的应用，称为数据源。数据源层负责提供业务应用基础数据。 o d s 层：o d s 是数据仓库的一个扩展，也是一个企业级的数据存储模式，它的 结构是面向主题的。o d s 是企业中运行系统发布信息的地方，这些信息是实时的或 近实时的，可以被企业中的其他系统使用，包括数据仓库。 o d s 层的建立对电力企业数据中心一数据仓库的建：文带来了以下三方面的好 处：第，o d s 为数据仓库的建立提供了一支的数据接l = 1 环境以供抽取，在接i - 来 的数据仓库建j ：过程中数据抽取的i j 作将变得柱 对简吖j 得多，o d s 承担了数据仓库 的一部分i ：作，从向减轻了数据仓库的负担，使数据仓库的管理工作变得较为简单。 第：，i h j 二o d st j 的数据最远小于数据仓库，：l j 【l 之它的，f ：发周划较短，所以承担的 风险较小，可以以淼z 时i 1 1 j 内得到应删并取得经济效益。第二乏，o d s 的建立弥补了数 据库到数扒仓库两层体系结构f f 】，存行：的彳i 足，它- - j j 以满足数据处理的多层次要求，f ! f j m 向各级篱理人参j ，殳有效地利川信息资源，为企、i k 决策分析服务。 数据仓库层：数扔；仓库足【lf n l i 要的数据仃储体系。数据仓库之父w h i n m o n 认 为，数据仓库是指支持镁；理决策过乖 ! 的、面向t 题的、集成的、随时问而变的、持久 的数据的集合。简弟地说，一个数拂：仓库就是一个自带数据的商业应用系统，该数据 库的数据来自一j ：j e 他的运作数据库，而不足来f l j 了：原始的输入。 数拂：仓库没计时应 0 6 3 0 2 5 1 1 7 谢红涛电力企业数据中心的架构设计研究 全面考虑，实施时可以先按照需求的轻重缓急选择部分业务主题，然后逐步扩展至涵 盖全部业务。 o d s 与数据仓库的主要区别：一是o d s 存放的数据是实时的、可动态刷新的， 而数据仓库存储的数据是非实时的、静态的；二是o d s 主要保存当前运行系统的数 据，而数据仓库除了保存当前数据，还需要保存大量的历史数据；三是o d s 主要保 存明细数据，而数据仓库需要同时保存明细和汇总数据；四是o d s 中的数据可以用 于日常分析，而数据仓库中的数据主要用于战略分析。 数据集市层：数据集市是一组特定的、针对某个主题域、部门或用户分类的数据 集合。这些数据需要针对用户的快速访问和数据输出进行优化，优化的方式是对数据 结构进行汇总和索引。数据集市逻辑设计中要解决的一个重要问题是决定数据集市的 粒度划分层次，力度层次划分适当与否直接影响数据集市中的数据量和所适合的查询 类型。 数据分析应用层：数据分析应用是根据数据集市结构和需要从数据集市中获取的 信息，采用多种分析方法对数据集市中的数据进行恰当分析的过程。 展示层：数据展现主要是利用第三方工具进行数据展现，同时展现工具要支持多 维数据库，同时还要有很多丰富的图表案例，使展现出来的数据不至于那么空洞，使 图像更加生动，还可以使展现出来的数据更加真实。 从数据中心整体逻辑架构中还可分为： 应用架构：指数据中心所支撑的所有的应用系统部署和它们之间的关系。 数据架构：数据架构是指每个应用系统模块的数据构成、相互关系和存储 方式，还包括数据标准和数据的管控手段等。 执行架构：执行架构是指数据仓库在运行时态的关键功能及服务流程，主 要包括e t l 架构和数据访问架构。 基础架构( 物理架构) ：为上层的应用系统提供硬件支撑的平台( 主要包括 服务器、网络、存储等硬件设施) 。 安全架构：安全架构覆盖数据中心各个部分，包括运维、应用、数据、基 础设施等。它是指提供系统软硬件方面整体安全性的所有服务和技术工具的总 和。 运维架构：运维架构用于管理执行架构和开发架构，它主要是面向企业的 信息系统管理人员，为整个信息系统搭建了一个统一的管理平台，并提供了相关 的管理维护工具，如系统管理平台、数据备份工具和相关的管理流程。 由于篇幅原因，本论文仅讨论数据架构、执行架构和应用架构。 3 2 数据中心数据架构 作为数据中心的核心一数据已经成为企业的无价之宝。在企业数据中心架构中， 0 6 3 0 2 5 1 1 7 谢红涛电力企业数据中心的架构改汁研究 个成功的数瓠t 架构应该能够准确反映和实现企、i k 现有的业务逻车l 鞠】未来的发展战 略，而f i 能够钏1 对数据的生命j 嗣期进 j ：管理。 从功能的角度，在佑0 定数据架构时首先要考虑的是刈企q k 业务架构的支持。不同 业务( 不同的产品和服务) 是企业业务的不同方面，单一的业务可以只看单一的问题， 但企业级数据中心数据架构必须全面考虑，没有企业级的全面考虑和指导，多种业务 的数据就会相互脱节。从整体的数据模型出发，实现向各个业务模块的映射，明确各 个数据模块间的相互关系，才能保证企业级数据的完整性和准确性。只有高质量的数 据才能真正增加企业的核心竞争力。 3 2 1 总体数据架构 数据架构是指应用系统模块的数据构成、相互关系和存储方式，还包括数据标准 和数据的管控手段等内容；它从跨企业应用系统的视角对数据进行组织，对整个数据 生命周期中数据的处理、存储、转换、整合、分布制定的策略、模型、流程、以及支 持这些策略、模型、流程的技术架构方案进行描述。 典型的数据架构内容，包含如图3 2 所示的六部分内容： 企业标准数据模型 数据管理 标准管理质量管理安全管理 图3 2 典型数据架构i 划 数据标准模型： 是指数据布：整个命业范内小h 层嘶分4 i f , t ，为满足集成和变换的需要，制定出 的。套通用的、j f ：放的数j l i 模型标准。基本的内容包括要素类、域、关系、属性和规 则等。数据i j 心的数据标准模型的设汁具体包括命名规范和编码标准的设计、数据模 型的设汁。建：数据标准模型足为了对企业数据【 l 心的建立有个清晰的认谚 和伞m f 0 6 3 0 2 5 1 1 7谢红涛电力企业数据中心的架构设计研究 统一的规划，否则很难理清企业业务逻辑和数据规范。 从企业战略角度，企业数据标准模型有利于：第一，应用与数据分离，实现数据 从部门到企业的提升；第二，建立数据转换为价值的体系，让数据发挥出企业和新资 源的效用，实现数据的增值；第三，为高层管理人员清晰地定义出了基本业务概念， 是所有企业信息化应用项目建设的基础。 从企业应用角度，企业数据标准模型有助于：第一，基于企业数据模型，能快速 构建企业级数据仓库的数据模型和o d s 的数据模型，建立o d s 和企业级数据仓库， 以便更好支持决策分析；第二，基于企业数据模型建立的业务应用，能够避免业务应 用之间的数据冗余和语义不一致，找出多个系统相关和重合的信息，降低应用集成的 难度；第三，在未来的i t 系统进行数据模型设计时，可以从企业数据模型中进行映 射并检查信息的完整性，规划和界定信息需求的范围；第四，基于企业数据模型进行 扩展，能构造企业业务应用的数据模型，开发出高质量的系统，更好地满足企业信息 处理的需要，为企业管理者、业务用户和开发人员提供一致的业务模型。 数据的分类： 是指数据在数据中心是如何被组织分类的。数据分类将获取业务需求的信息，并 把它f 门以结构化的形式表现出来。数据分类可以帮助我们归纳出各业务系统之间需要 共享的业务数据，并帮助我们建立统一的业务系统间共享数据模型。 数据中心的数据分类采用与数据中心典型设计完全相同的主题域，按照主题域的 形式对相应的数据进行分类。对于各主题域之间共享的数据，在o d s 统一信息视图 区中构建对应的数据模型。 数据的移动： 是指数据在数据中心内的移动和复制的过程中，采用的传输规则和转换方法。具 体包括采用的各种工具和技术，在应用系统间形成的数据流，审计和一致性等问题。 数据的分布： 是指根据业务应用的特点，数据在整个企业范围内的物理位置和主题区域的划 分，具体包括存储设计、区分和归类。同时在合理划分数据的分布位置时，能够实现 对于上层用户的物理位置透明。 数据的集成： 是指将不同地点或不同业务系统的数据集中到数据中心时，所采取的集成策略。 一方面考虑物理环境的实现，另一方面考虑信息内容本身的一致性。 i 乜力企业数据中心的架构设汁研究 数据的管理： 是指数据【 】一t 二, 0 r l c n l 管理自己的数据资产，来确保数据的准确1 致、完整、可用和 安全。完整的数据管理应包括进彳j ：数据管理所需的人员组织结构，责任的划分和采用 的规章制度，和一套适用的流程规范。 3 2 2 数据架构功能单元 3 2 2 1o d s ( 操作型数据存储) 详细的j i k 务系统源数据在被处理载入数据仓库前都将以符合三级范式的形式按 照数据二t 题模型存储在0 d s ( 即o p e r a t i n gd a t as t o r e ，操作型数据存储) 中。o d s 按功能，分为数据缓冲区和统一信息视图区两个区域。 o d s 缓冲区存储指数据库中的一段临时存储区，它存放由业务系统提供的源数 据。不同数据库平台( 包括文本文件类型) 的业务源数据到达缓冲区后，实现源数据 在数据库平台卜的一致，方便进行数据整合和处理。缓冲区存储的数据基本上与源系 统保持一致。缓冲区存储的数据被处理后，不会被保留。 o d s 是公司数据仓库架构中重要的功能区域，除了作为数据在进入数据仓库区 域前的缓冲区外，它集成了来自部署于公司的业务系统数据库的各类业务数据，并通 过对数据e t l 形成一致的企业数据集成视图，有利于最终用户更好地通观全局，这 一区域被称作o d s 的统一信息视图区。例如，公司用户可以通过o d s 内存放的基于 没备、产品、客户等辛题的、完整的企业统一信息视图来快速获得与这些主题相关的 完整信息，表3 1 给出了设备主题宽表实例。统一信息视图区内近实时的、集成的数 据存储使得最终用户能够快速查询近期细节生产数据；此外，此区域还能够以更高的 性能生成操作型报表。当业务系统数据发生变化时，系统可以通过企业应用集成总线 对o d s 内统一信息视图区相关数据项进行实时更新使这些变化得以及时反映。 夜3 1 设备l ：体帑友 0 6 3 0 2 5 1 1 7 谢红涛 电力企业数据中心的架构设计训f 究 图3 4 给了o d s 提供统设备视图的才例： 侏谴设器铭仑 - t l j 祭协枷啦睫橼 翮： 姆臻群i l ：| j i ：臀 一一一一一一