某市电子政务外网云计算数据中心可行性分析研究报告（可编辑）

某市电子政务外网云计算数据中心可行性分析研究报告XX市电子政务外网云计算数据中心可研报告二一一年九月目录第1章总论111概述112建设背景113建设必要性和可行性214建设目标与任务2第2章需求分析421用户需求422数据需求423系统及应用需求分析7231节点管理8232主题管理8233元数据管理8234公共代码管理9235数据采集9236数据整理比对9237数据交换9238数据访问10239数据备份与恢复102310标准管理102311应用支持102312运行管理1024性能需求分析11241业务处理量分析1125安全及保障机制需求分析12251系统安全可靠性需求12252数据安全保密性需求12253数据完整性需求13254实体的可鉴别性需求13255不可否认性需求13256对象和行为的可授权性需求13257统一信任与授权策略需求13258数据中心统一安全监管性需求14259保障机制需求分析14第3章数据中心设计方案1531设计原则15311统一建设15312相对独立15313共建共享15314安全可靠1532数据中心平台设计16321平台总体架构16322数据资源规划163221数据资源规划的总体思路163222数据资源体系结构173223共享数据一致性的保证183224共享数据库的建立过程19323数据支撑平台203231数据共享交换子系统203232目录管理服务子系统233233共享数据管理子系统233234共享业务管理子系统243235系统配置管理子系统243236系统安全管理子系统24324数据共享交换平台253241交换网络结构253242交换概念模型273243交换体系结构28325共享数据管理系统303251功能设计303252逻辑结构32326数据接口系统32327服务器系统设计333271设计原则333272服务器系统选择的依据343273需求分析353274性能测算及选型建议35328存储系统设计373281设计原则373282主流存储技术比较及建议37329存储容量设计393291RAID类型配置建议393210灾备系统设计4032101设计原则4032102灾备技术比较4132103灾备解决方案4232104备份策略433211网络系统设计4432111设计原则4432112网络系统设计453212安全保障体系4532121物理安全4632122网络安全4632123系统安全4632124应用程序安全4732125数据安全47321251核心数据加密48321252数据访问控制48321253数据传播和复制4832126整体安全策略的说明493213数据中心典型应用5032131政务数据交换平台50321311运行模型50321312信息共享交换51321313共享目录检索51321314共享数据查询服务体系52321315业务数据整理52321316决策支持系统5232132企业基础信息共享系统5332133社会保障信息共享系统5332134人事档案托管系统54第4章运营及保障机制5541运营机制5542运行管理机制5543信息资源管理机制5544运行管理制度56第5章数据中心预算预算经费5751总投资概算5752投资概算明细57第6章风险分析及控制60第7章经济及社会效益6271经济效益6272社会效益62总论概述电子政务外网的建设已经成为今后一个时期我国信息化工作的重点政府先行带动国民经济和社会发展信息化同时加快政府职能的转变提高行政质量和效率增强政府监管和服务能力促进社会监督实施信息化带动工业化的发展战略当前的电子政务外网已经成为各部委的电子政务外部业务的承载平台不再是单一部门的业务承载网电子政务外网正逐步在演变为一个跨系统跨部门的电子政务外部平台2011年政府的电子政务外网建设也会转向电子政务外部平台建设电子政务外网云计算数据中心以下简称数据中心的建设是为了解决政府部门间信息共享实现业务部门之间的数据交换与数据共享促进XX市电子政务的发展建设背景国家信息化领导小组决定把电子政务建设作为今后一个时期我国信息化工作的重点政府先行带动国民经济和社会发展信息化国家信息化领导小组关于我国电子政务建设的指导意见中明确指出电子政务建设对于加快政府职能转变提高行政质量和效率增强政府监管和服务能力促进社会监督具有十分重要的意义因此电子政务系统必将成为我国重要的信息化基础设施成为贯彻党的方针政策保障政令畅通落实政府监管职能提高政府服务水平的重要手段十二五期间我市电子政务建设的主要目标是建成标准统一功能完善安全可靠的政务信息平台发挥支持作用重点业务系统建设取得显著成效基础性战略性政务信息库建设取得重大进展数据资源共享程度明显提高初步形成电子政务网络与信息安全保障体系建立规范的培训制度与电子政务相关的法规和标准逐步完善建设必要性和可行性过去的数年中全国各地区都在构建电子政务外网为此国家信息中心下发了有关电子政务外网建设的技术指导电子政务外网发展至今其地位已经发生了变化当前的电子政务外网已经成为各部委的电子政务外部业务的承载平台不是单一部门的业务承载网电子政务外网正逐步在演变为一个跨系统跨部门的电子政务外部平台当前电子政务外部平台的建设网络的互通已经不再是政府建设的目标政府更加关注电子政务外网的业务应当如何承载数据应该如何整合如何能够构建统一全面的安全管理业务数据数据整合灾难备份作为电子政务信息安全的最后一道防线已经得到电子政务信息部门的高度重视统一建设数据中心的模式无论从投资管理应急方面论证都是电子政务数据集中数据整合的理想模式目前的情况每一个政府机构已经开发了自己的信息系统而不是处于孤立的状态每一个产品和服务需要独立的信息系统来提供每个信息系统通常是单独打包没有通用的架构能够让前台和后台后台和组织外部的系统的应用连接起来进行通讯识别和授权的功能能够在每个信息系统中找得到但不会一个组织内部重新使用更谈不上在组织之间重新使用数据中心主要是G2GG2CG2B等业务的集中处理中心建设的重心与政府机构的业务紧密结合是后电子政务时代数据大集中的体现实现对集中数据的统一管理与备份建设目标与任务数据中心的建设是为了解决政府部门间信息共享实现业务部门之间的数据交换与数据共享促进XX市电子政务的发展具体目标如下建立数据中心的系统平台完成相应的应用软件和数据管理系统建设实现数据的交换保存更新共享备份分发和存证等功能并扩展容灾备份挖掘分析等功能一建立数据中心的系统平台完成相应的应用软件和数据管理系统建设实现社会保障数据的交换保存更新共享备份分发和存证等功能并扩展容灾备份挖掘分析等功能二建立全市自然人法人公共信息库等共享数据库为宏观决策提供数据支持对基础数据进行集中管理保证基础数据的一致性准确性和完整性为各业务部门提供基础数据支持三建立数据交换共享和更新维护机制实现各业务部门之间的数据交换与共享以及基础数据的标准化一致化保证相关数据的及时更新和安全管理方便业务部门开展工作四建立数据共享和交换技术标准和相关管理规范实现各部门业务应用系统的规范建设和业务协同五为公共服务中心提供数据服务支持实现面向社会公众的一站式服务六根据统计数据标准汇集各业务部门的原始个案或统计数据根据决策支持的需要整理相关数据并提供统计分析功能为领导决策提供数据支持七为监督部门提供必要的数据通道方便实现对业务部门以及业务对象的监管逐步实现有效的业务监管支持八为业务数据库的备份提供存储和备份手段支持提高业务应用系统的可靠性需求分析用户需求从与数据中心交互的组织机构人员方面进行说明与数据中心交互的单位机构各业务部门通过接口系统向数据中心提供数据或使用数据中心提供的数据业务部门之间可直接交换数据各业务系统单位遵循标准规范进行业务系统建设和改造实现业务系统与数据中心的对接与数据中心交互的人员数据中心系统管理员负责数据中心系统管理监控系统维护数据中心数据管理员负责数据的整理比对数据一致性的保证并且与区县级数据中心省数据中心数据管理员协同工作执行数据标准业务部门数据管理员一般与同级数据中心数据管理员协同工作数据需求XX市电子政务外网数据中心必须满足电子政务平台进行数据交换的需要同时还必须满足在平台上建立的各业务系统进行综合业务处理的要求为门户系统提供各种静态和动态的数据信息所谓静态信息是指对电子政务的运行中不经常变化供各个业务系统查询处理的数据或信息政策法规元数据资料库各种多媒体数据等它们会随着时间而逐步增大所谓动态数据是指随着运行而增加修改的数据并联审批中文件流转状态数据反映企业个人所处状态的数据国民经济运行状态的数据等动态数据同各个局委办的信息密切相关但又是面向主题的如XX市社会保险这个主题实际上同保险工资税务和银行密切相关个人信用使用主题它的数据与银行税务个人消费个人收入密切相关而数据仓库显然也有面向主题的定义但这些主题是较长时间的具有战略定义的主题因此数据中心的建设首先要解决数据库异构信息类型的分类存储和检索体系以及针对不同类型数据模型的设计这一基本问题另一方面数据中心管理着大量的结构化和非结构化信息所谓非结构化信息是相对于那些有清晰的结构和类型定义以及有数据相关性的明确描述的信息类型而言的比如在财税分析系统中财政收支情况的月度数据可以理解为一种有清晰结构的信息而一份综合性包含了文字报表分析图形的财政收支分析报告则是一种非结构化的信息网站上发布的信息如新闻动态政务公开等等一般也是非结构化的信息此外非结构化信息中还包括了一类对象数据信息所谓对象数据信息是指一个包含了内敛结构的专门数据块这个数据块单独无法建立与别的数据项的关联关系并且需要工作在特定的工作模块下比如GIS空间定义信息数据多媒体的声像数据等均为对象类型的数据在政府决策应用中非结构化信息将占到相当的比例所有的政府文件均属于非结构化信息政策法规属于非结构化信息一些决策分析的综合性资料也是非结构化信息与结构化信息相比非结构化信息的管理利用存在一些难点就是1定义管理的难度非结构化表明了没有一种象关系数据库规范那样的定义模型来对非结构化信息进行定义管理虽然你可以强制对一个非结构化的信息块进行解构将其分成类似头中尾这样的半结构但是这种解构只有在制定了具有普遍含义的结构描述定义后才有真正的意义对非结构化信息进行定义管理的另一个难点在于数据元类型无法穷举不象关系型数据系统中对数据元类型有完整清晰的定义在非结构化信息中包含了错综复杂的数据元类型比如仅文档类型就包括TEXTWORDPDFEXCELWORDPRO等等还有各种图片文件格式多媒体压缩信息格式等等此外在象网页这样的非结构化信息中所有的信息都是文字类型设定时间数字等类型的信息元并不具有运算上的意义2存储管理的难度对信息进行存储管理的前提是能够建立有效的数据定义然后才能进行非结构化信息的组织存放而前面已经提到了在非结构化信息的数据定义方面存在的难度因此也就造成了在非结构化信息存储管理方面的困难当然对非结构化信息最简单的存储方式是直接存放在文件系统中这样做避免了依据主题等分类因素对非结构化信息进行管理的问题但也是最最低效的一种存储管理方式在非结构化信息的存储管理中还涉及到一个问题由于这些信息元如果对非结构化信息进行一定的半结构化处理后的数据可能来自关系型数据系统比如ORACLE对象数据系统多媒体数据或空间数据乃至文档数据系统比如NOTES所以一个非结构化信息的存储管理系统将充当一个数据的汇整者需要具备联合各个外部数据系统的功能缺乏对非结构化信息的有效管理造成的直接结果就是无法对非结构化信息进行有效检索3信息检索的难度由于不能像关系数据库那样建立起清晰定义的数据主题非结构化信息的检索依照的只能是机械的全文内容检索这是对信息检索非常不利的一点虽然对信息内容的全文检索可以做到资料检索的遍历但其检索的效率和命中率是很低的由于不象关系数据库那样有一种象SQL结构化查询语言那样强大的关联检索工具并且在定义数据时也没有建立数据项之间的关联关系要具有针对性地查询非结构化信息的内容必须要依靠应用程序中设置对特定非结构化信息类型进行专门处理的功能内容才可能提高信息检索的强度和效率但另一方面讲一种专用于理解特定非结构化信息类型的处理模块无论在运行效率还是在可维护性上都是非常不现实的非结构化信息检索的另一个难度也是与数据元类型的多样性有关的比如不同的文档类型结构需要不同的全文索引工作模块这也无形中加大了对非结构化信息进行检索的难度因此数据中心的建设还必须从技术体系上解决如何对非结构化信息进行有效定义有效管理和有效利用的基本问题系统及应用需求分析数据中心的主要业务包括从基层或业务部门采集数据包括基础数据和部分共享业务数据支持基础和共享数据的更新维护模式对采集到的数据进行校验和比对发现冲突时按照共同制订的数据处理规范进行处理保证数据的一致性和准确性受理业务部门或基层单位的基础数据使用申请将整理后的基础数据分发或按需提供给有关部门或单位使用以中介的方式处理共享业务数据使用申请并进行备案对共享业务数据在征得业务部门同意的情况通过数据中心进行存储转发将共享元数据的信息发布给各业务部门提供浏览与订阅申请方便其共享必要信息提供数据交换平台和接口系统使数据中心与各部门的数据管理员可以对共享和交换过程进行管理通过数据交换平台存储和管理公共服务数据并与外网同步提供一站式服务存储和管理统计数据根据决策支持的需要整理相关数据并提供统计分析功能对数据进行统计和分析方便领导及时掌握有关情况定期对业务数据库进行容灾备份与此相对应业务部门与数据中心发生的相关业务包括提供数据或共享元数据给数据中心申请使用数据中心的基础数据校准本单位的基础数据通过数据中心提供的共享元数据信息获取其他单位的数据审批其他单位的业务数据使用申请并将数据提供出去与数据中心交换公共服务数据提供监督部门直接访问业务数据库的通道提供统计分析数据或原始个案给数据中心方便主管领导查询定期将业务数据库备份到数据中心根据数据中心与各业务部门的主要业务数据中心应提供如下功能节点管理实现与数据中心相连的各个节点的信息管理配置管理包括业务部门区县数据中心等主题管理数据采集数据发布数据共享数据交换公共服务以及决策支持均以主题的方式进行因此必须实现对主题的管理主题是元数据的集合元数据管理元数据是关于数据的数据元数据描述了数据的结构和意义同时也可以描述应用程序和流程的结构和意义构造数据中心数据库的重要步骤之一就是定义和创建元数据METADATA元数据提供一个目录列出数据中心有什么数据所有进入数据中心的数据必须在元数据中有所表述数据中心的数据管理系统必须提供储存和管理元数据的方法以元数据管理为核心建立数据中心的数据资源目录体系提供给业务部门参考使用数据中心的元数据包括基础数据元和共享数据元由数据中心统一管理基础数据元由数据中心定义共享数据元由业务部门定义并注册到数据中心业务部门进入数据中心的元数据管理中心好比进了一个超市可以方便地知道可以获取和使用哪些数据并进行数据使用申请的定制公共代码管理对公共代码需要有统一的标准规范数据中心必须提供公共代码的管理基于数据中心的公共代码规范各部门和区县数据中心可以通过数据转换将各种不同含义的编码和标准规范的编码之间进行双向的转换数据采集与各业务部门形成数据采集机制通过数据共享交换平台从各业务部门汇总数据对原始数据进行缓存存储数据整理比对从各业务部门采集共享数据后进行数据转换对全市自然人和法人基本数据进行数据比对冲突检测处理并入库数据交换实现业务部门与数据中心之间以及业务部门之间的数据交换业务形成高效安全可靠稳定的数据交换网络提供定时批量实时按需的数据交换提供点对点一对多的数据交换支持对数据交换进行管理和监控数据访问在统一的权限管理系统之上实现对自然人和法人的建档调档阅档等业务对社保卡系统公共服务中心系统业务系统提供数据访问对决策支持系统业务监管提供数据支持数据备份与恢复恢复管理是对数据进行备份导入导出以及数据库恢复等数据是数据中心核心的资源全面的容灾方式应该是备份数据复制远程容灾数据中心设计方案设计原则统一建设数据中心必须统一规范建设通过制定统一的数据交换与共享标准建设统一的数据共享与交换平台和统一的接口系统可以避免重复投资降低接口的复杂性有效实现数据中心与业务部门以及业务部门之间的数据共享与数据交换消除信息孤岛实现数据资源的互联互通相对独立根据数据中心的功能定位数据中心的建设和运作必须保持业务系统的相对独立性为此采用松散耦合方式通过在业务部门统一配置接口系统实现数据资源整合共建共享一方面建设数据中心的目的是为了实现业务部门之间的数据共享另一方面数据中心的数据来源于各个业务部门因此数据中心的建设必须依靠各业务部门的积极参与和配合安全可靠数据中心的安全是非常重要必须要做好系统的安全设计防范各种安全风险确保数据中心能够安全可靠的运行同时数据中心必须采用成熟的技术和体系结构采用高质量的产品并且要具有一定的冗灾功能数据中心平台设计平台总体架构数据资源规划数据资源是数据中心最重要的资源数据中心的数据资源分布状态具有阶段性每个阶段都对应数据资源整合的不同阶段体现数据资源的管理集中有机分布的特点根据基于数据围绕数据面向数据的建设思路我们进行数据资源体系的总体规划然后具体描述共享型的共享数据库操作型的业务数据库和分析型的历史数据库这三类数据资源的构建维护和使用数据资源规划的总体思路数据资源规划的总体思路主要包括如下几个方面数据共享标准化首先共享数据是标准的其次共享的方法和途径是规范的目前各系统数据资源数据库已经有多种存在方式要解决系统间信息的互连互通互操作必须针对共享数据建立共同遵守的标准规范只有编码是统一的格式是统一的数据交换的方式是统一的才能保证数据是一致的才能实现对数据交换和数据共享的有效管理业务数据相对独立各职能部门分管业务的范围和职责不同因此系统在全局考虑统一设计的同时还要充分考虑不同业务部门自身的特点在统一规划的前提下保证支持不同业务活动的数据具有相对独立性建立面向各部门进行联机事务处理的业务数据库决策数据集成化建设数据中心的另一个目的就是将各部门的业务结果数据有机地集成在一起进行综合查询和统计分析为各级领导的决策提供有力的数据支持数据资源体系结构数据中心数据资源体系结构对公共服务系统业务应用决策分析提供支持数据中心的数据库包含如下内容共享数据库包含自然人基础数据法人基础数据库元数据库标准代码库共享业务数据如果业务部门之间通过数据中心进行数据交换统计分析数据库汇集各业务部门的统计分析数据为决策提供数据支持运行管理数据库用于监控管理节点管理日志等公共服务数据库提供对公共服务系统的数据支持共享数据一致性的保证共享数据包括自然人和法人基础数据及其元数据和标准代码数据共享业务数据共享数据一致性问题是数据中心面临的关键问题从范围上划分共享数据包括基础数据基础数据包含基准数据基准数据基准数据是指唯一表示自然人和法人的数据字段集合自然人有身份证号码和姓名标识法人有法人机构代码和名称标识基准数据主要来源是市公安局和市质监局基准数据必须保证在整个社会保障信息系统是一致的将来扩展到整个电子政务系统是一致的市公安局和市质监局负责将更新的信息交换到数据中心市数据中心负责汇总数据进行比对整理校验形成一致的基准数据通过数据共享与交换平台分发给市级各业务部门和区数据中心由业务部门区数据中心校验更新自身的基准数据保证基准数据的一致性基础更新频度要达到每天更新甚至实时更新数据的传递和分发通过数据交换平台实现基础数据基础数据是指自然人和法人的常用基本信息各业务部门日常管理都需要用到的面向主题的数据基础数据包括自然人和法人的基准数据和其他元数据主要来源是市级业务部门和区数据中心基础数据一致性必须建立于基准数据一致性的基础上基础数据的一致性也需要通过数据共享与交换平台和相应的机制管理办法来保证各部门按照业务职能明确元数据维护责任和权限定期将在办理业务过程中更新的元数据项数据提供给数据中心数据中心根据基准数据一致性的原则对各业务部门提供的数据进行比对校验正确的数据增加或更新到数据库中并每天按照各业务部门业务要求将更新数据分发到各业务信息系统各业务部门可以直接使用这部分数据作为支撑行政业务和行政管理的数据资源也可以作为业务参考信息基础数据的范围将随着元数据范围的扩大而扩大这部分数据同时可作为社保卡的数据基础数据更新的频度按照元数据使用的频度分别定义通过部门协商机制研究确定最低要求每周更新一般每天更新业务关联度较高的信息要实现实时更新数据的传递和分发通过数据交换平台实现元数据标准和标准代码数据元数据标准和标准代码数据由市数据中心维护更新并发布给各业务部门和区数据中心使用由于业务部门系统内部沿用的代码可能与数据中心的发布版本不一致业务部门需保证与其他业务部门进行共享交换的数据必须遵循数据中心的标准规范而在系统内部可以采取逐步过渡迁移的方案尽量减少影响业务运作共享业务数据共享业务数据是指多个业务部门之间需要共享使用的数据作为各业务部门进行行政管理的参考数据数据来源渠道包括市级业务部门区级数据中心社会保障卡和公共服务等业务运营机构共享业务数据以业务数据的发生地管理部门为准这类数据由各业务部门按业务需求和协商的频度提供给数据中心在数据中心处提供各部门查询由于这类数据量比较大预计可以分业务分批更新共享数据库的建立过程共享数据库的建立采取逐步扩展的策略达到数据整体上的一致性完整性和准确性是一个逐步完善的渐进式递归过程共享数据库的建立由业务驱动业务部门提供的自然人法人基础数据经数据源单位确认后存入基准数据库并反馈业务部门经过不断的提交和确认基准数据库的数据不断增加覆盖范围不断扩大比对的工作量逐步减少在基准数据库的基础上不断补充其他的自然人法人基础信息最终形成自然人法人共享数据库采取围绕自然人和法人基准数据为核心在核心的基础上不断扩充和完善自然人和法人共享数据的策略进行建设首先建立和整理自然人和法人基准数据库保证核心的准确性为各业务部门进行数据清洗和整理提供基础再在基准库的基础上搭建自然人和法人共享数据库的整体框架共享的信息内容成熟一个整合一个交换一个数据支撑平台XX市电子政务数据中心支撑平台主要包括数据共享交换子系统目录管理服务子系统共享数据管理子系统共享业务管理子系统系统配置管理子系统和系统安全管理子系统数据共享交换子系统数据共享交换子系统为全市各业务部门提供数据交换服务主要功能包括1交换管理提供交换节点交换服务和交换桥接的配置调度和检测功能提供交换服务和交换桥接的日志查询和统计功能2交换服务提供共享域内交换节点之间的数据共享交换服务包括采集分发汇总和转发提供交换节点与业务系统之间的交换桥接服务实现数据提供和获取提供跨域交换服务实现共享域之间通过对接节点进行数据交换数据交换引擎是数据共享交换平台的核心数据交换引擎主要包括服务处理和数据接口一服务处理数据交换引擎运行过程示意图如下图表6数据交换引擎运行示意图数据交换引擎接负责收并处理数据交换服务请求实现数据的交换主要包括1服务请求监听器服务请求监听器采用监听机制实现对服务请求的并发接收2服务解释处理器服务解释处理器负责解释执行服务请求服务请求监听器把服务请求转发到解释处理器服务解释处理器查询所请求的服务定义根据服务定义产生执行序列并控制各个交换节点实现交换服务在数据交换压力大的时候根据服务的优先级高低控制交换服务的执行顺序确保高优先级的服务优先执行3服务定义服务定义记录了服务的项选参数以及设置描述了服务应该如何解释和执行交换服务可以定义服务优先级等信息4接口控制接口控制负责把命令序列发送到各个交换节点控制交换节点上的数据接口驱动数据交换的执行5传输管道数据的交换过程是在传输管道中进行的传输过程分为三部分数据输出网络传输数据输入在源节点的数据输出接口把数据由数据源读出并根据服务配置经过数据加密数据压缩等过滤器经数据输出接口输出的数据通过消息中间件传输到目标节点目标接点的数据接口接收到数据后反向经过各种过滤器把数据还原出来然后写入到目标数据源6管道管理管道管理器负责管理数据交换过程中的传输管理包括管理的创建动态分配撤消等操作7日志监控日志监控按级别记录数据交换引擎在运行过程中的事件记录提供监控功能二数据接口数据共享交换平台支持三种数据接口方式交换库方式文件方式以及WEB服务方式业务系统通过交换平台进行数据共享交换时可以根据实际的情况选择合适的数据接口方式接入交换平台在接入节点时根据实际情况选用一种或多种接口类型对于有业务系统存在只要求提供或获取共享业务数据的情况建议采用数据库类型接口对于需要获取基础数据的情况以及实时性要求高的情况建议使用WEB服务类型接口文件类型接口根据实际情况决定是否采用目录管理服务子系统目录管理服务子系统是支撑平台的核心子系统提供政务数据资源目录的注册管理以及政务数据资源的发现定位服务主要功能包括1目录管理提供数据主题的管理功能数据主题包含了对数据资源的语义信息和规格信息等提供对目录层次结构的管理包括系统自动管理以及手工管理两种方式2目录服务按部门专项以及分类标签等方式浏览数据资源目录提供数据资源的检索和统计功能共享数据管理子系统共享数据管理子系统是支撑平台的一个基础子系统是实现数据资源共享交换的基础主要功能包括1数据标准管理提供公共数据元信息分类和代码的配置管理功能2数据源管理提供数据源的配置管理功能3数据质量管理提供对共享数据的质量管理功能包括问题数据的查询浏览和统计共享业务管理子系统共享业务管理子系统是支撑信息共享申请授权业务开展的系统主要功能包括1共享业务流程提供对共享业务流程的支撑功能包括共享业务申请和审核2共享业务统计提供按部门业务状态和业务时间等维度对共享业务统计功能系统配置管理子系统系统配置管理子系统是支撑平台的一个基础子系统主要功能包括1共享域提供政务数据资源共享域的信息配置功能2全局配置提供组织机构系统信息等全局配置功能系统安全管理子系统系统安全管理子系统是支撑平台的一个基础子系统主要功能包括1用户管理提供用户用户组角色管理功能2权限管理提供基于角色RBAC的权限管理功能3操作日志提供用户操作日志的查询和导出功能数据共享交换平台交换网络结构一般数据交换有两种常见的交换结构星型交换和网状交换在星型交换结构中所有端节点都只与中心节点相关通过中心实现数据交换而网状交换结构中数据可以在任意两个节点之间直接交换经过调研和分析XX市各政府部门之间存在着复杂的数据共享和交换需求并存在以下特点一同一批共享数据通常需要共享给多个子系统二对同一批数据不同的子系统应用的需求存在差异三各个子系统独自开发技术平台不一数据标准不一四数据共享和交换要求进行备案因此XX市电子政务数据中心采用星型交换结构如下图所示图表2星型数据交换结构采用星型交换结构有以下的优点一避免重复提供数据如果同一批数据有多个子系统需要共享在星型交换结构中数据提供方只需要提供一次数据根据以上的分析这种情况在本期项目是普遍存在的星型交换结构有助于减少接入单位在开发调试实施维护等各个阶段的工作量二中心统一控制简化管理在网状交换结构中交换服务分布在每一个节点因此在进行服务管理时需要对每一个节点进行管理这样数据共享交换平台的服务管理系统可能会设计成一个分布式的管理系统或者是让管理员分别登录到不同的节点进行管理无论采用何种实现方式管理员都必须面对在N个不同节点上管理服务的问题而在星型交换结构中所有的交换服务都是集中在中心端管理员只需要管理中心节点上的服务三降低实施过程对网络连接的要求提供稳定可靠的数据交换服务是数据共享交换平台的关键任务采用星型交换结构只需要保证各个端节点与中心节点之间的网络正常联通而采用点对点网状交换结构则需要保证每两个点之间都联通在实施过程中不一定能保证每两个交换节点之间网络联通因此采用星型交换结构在一定程度上降低数据共享交换平台的实施要求交换概念模型交换概念模型由中心交换结点和端交换结点组成端交换结点接收和发送政务部门的交换信息中心交换结点管理交换网络内端交换结点的数据交换服务并根据需求形成共享信息库交换的概念模型如下图所示图表3数据交换概念模型交换概念模型说明如下一业务信息是由各政务部门产生和管理的政务数据资源二交换信息是端交换结点用于存付参与交换的政务数据资源三共享信息库是可以为多个端交换结点提供一致的政务数据资源的信息集中存储区任意一个端交换结点是可以按照一定的规则访问共享信息库四端交换结点是政务数据资源交换的起点或终点完成业务信息与交换信息之间的转换操作并通过交换服务实现政务数据资源的传送和处理五中心结点主要为交换信息提供点至点点到多点的信息路由信息可靠传送等功能在两个端交换结点之间可以有0个或若干个中心交换结点六交换服务是交换结点传送和处理政务数据资源的操作集合通过不同交换服务的组合支持不同的服务模式交换服务按照数据交换任务的重要性以及时效性要求设置为不同的优先级一般情况下交换服务按照预先设定的调度计划执行在服务器网络资源紧缺的情况下高优先级的交换服务可以优先执行确保满足数据交换的时间要求交换体系结构XX市数据共享交换平台由中心交换节点和端交换节点组成依托统一的电子政务外网通过采用一致的交换协议实现跨地区跨部门应用系统之间的数据交换XX市电子政务数据中心作为中心交换节点各政务部门的前置机作为端交换节点政务部门业务系统通过交换桥接实现与前置机互联接入数据共享交换平台XX市电子政务数据中心的交换体系架构如下图表4交换体系架构业务库是由各政务部门产生和管理的政务数据资源库交换库是政务部门提供本部门交换数据获取其他部门交换数据的存储库交换文件作用与交换库相同把政务部门提供本部门交换数据获取其他部门交换数据以文件形式存放在前置机上中心交换节点提供交换数据的采集分发服务实现交换节点之间的数据路由和传送功能端交换节点提供交换数据的存储库数据写入和读取接口以及文件上传和下载接口业务系统与端交换节点之间通过交换桥接进行交换数据的提供和获取并实现业务数据和交换数据之间的转换端交换节点是交换平台中数据交换的起点或终点数据交换过程可分为数据提供数据采集数据分发和数据获取四个阶段一数据提供数据从提供方的业务系统转换并传输到提供方的前置机二数据采集数据从提供方的前置机传输到中心节点三数据分发数据从中心节点传输到使用方的前置机四数据获取数据从使用方的前置机传输并转换到使用方的业务系统其中数据提供和数据获取流程由政务部门的交换桥接负责数据采集和数据分发流程由中心数据共享交换平台负责业务系统可以通过公开WEB服务的方式向数据中心或其他政务部门提供数据政务部门获取数据时也可以直接从数据提供方公开的WEB服务获取数据数据中心公开的WEB服务主要用于共享基础数据业务系统可以调用数据中心的数据共享服务查询基础数据共享数据管理系统在没有数据标准的时候数据中心对同一个数据字段可以从多个数据来源采集数据如婚姻状态字段可以从计生部门和民政部门采集对于同一个数据字段数据中心对于该数据字段保存多个来源的版本公共数据维护系统提供工具服务来展现数据的不一致性数据管理员根据工作制度对数据字段进行电话等多种手段核实字段的真实数值如果在一定的时限内不能解决冲突则可以发布该数据字段的多个版本每个版本都标明数据字段的来源并指示该数据是存在冲突的通过数据共享与交换平台以数据服务的方式从各业务部门采集数据保存到公共数据缓存库使用公共数据维护系统进行数据比对冲突检查数据审核数据转换当数据达到一致性完整性要求时数据被发布到公共数据发布库通过数据共享与交换平台以数据服务的形式提供数据使用方访问数据管理系统面向数据中心和业务部门的数据管理员确保数据的一致性准确性和完整性为数据质量把关功能设计数据管理工作流实现对数据管理的主要工作流程的管理方便业务部门提供使用和交换数据比如从数据使用方提出申请然后数据提供方进行审核然后双方协商数据交换规则到最后配置实现的整个工作过程的管理数据转换建立业务部门数据于标准规范数据的转换映射关系和转换规则将业务部门的数据转换为符合标准规范的数据数据整理对缓存数据库中的各业务部门数据进行比对清洗检查数据冲突对数据进行审核校验确保数据一致性完整性数据发布数据管理系统把经过比对审核转换之后的具有完整性一致性的数据保存到数据中心的发布数据库经过数据共享与交换平台发布提供各业务部门使用主题管理数据中心以主题为单位实现数据采集数据交换数据共享数据比对以及数据发布因此必须提供主题管理功能元数据管理对共享数据进行元数据管理以主题的方式组织数据资源数据标准管理对数据标准的内容数据标准的版本进行管理将标准变更对业务系统的影响屏蔽在数据接口系统一级数据维护通过数据管理系统进行日常的数据维护工作如数据备份恢复提供对业务系统的异地容灾数据备份的管理支持逻辑结构数据管理系统以主题的方式组织数据资源提供元数据管理数据供需关系管理数据标准规范管理与数据共享与交换平台结合提供数据转换整理发布等功能数据管理系统逻辑结构示意图数据接口系统数据中心的共享交换网络由数据中心的数据共享交换系统和部署在各市级业务部门区政府数据中心的数据接口系统构成数据接口系统由3部分组成数据共享和交换系统缓存数据库数据管理系统数据接口系统提供业务部门和数据中心业务部门之间的接口功能在统一的数据共享与交换平台下进行安全可靠有效的数据共享与交换并提供元数据管理主题管理数据供需关系管理数据标准版本管理数据安全管理数据接口系统不直接影响业务系统的日常运作数据共享和交换的细节安全性和权限控制都在数据接口系统中封装并在统一的规范下由业务部门进行管理数据接口系统与业务系统是松耦合的关系图表319数据接口系统逻辑结构服务器系统设计设计原则在服务器系统设计中我们遵循以下的原则实用性无论对于何种计算机系统实用性永远是需要放在首位和着重考虑的一个系统的建设是一项工程的实施它的最基本的目标是建立一个适用实际环境的能满足用户功能需求的实用系统而不是一味追求技术的领先和产品的更新广泛采用标准随着计算机技术的发展芯片技术存储系统各种传输协议以及与外部系统的接口等都已逐渐形成标准采用标准化的设计能使系统具有良好的可扩充性及兼容性能与其他厂商产品配套使用给各种系统软件和应用软件的安装运行带来方便同时有利于系统的升级和与其他系统的数据交换先进性与适用性的统一计算机技术的发展与时间不是简单的线性关系从投资保护及长远考虑的角度来看在系统设计时保持一段时间的先进性也是十分必要的重要的是把握好先进性与实用性和适用性之间的关系取两者之间的最佳平衡点使用户的投资得到最大化的收益和回报注重售后服务衡量设备及产品的优劣不仅应以设备及产品本身的质量作为尺度还应充分考虑厂商的售后服务在系统正常使用情况下软硬件的及时升级维护以及在系统出现故障时修复响应时间备品备件的充足程度等都将直接影响到整个系统的运行状况因此选择优秀的设备供应商和全面考察供应商的售后服务情况也是服务器系统选择中重要的原则之一服务器系统选择的依据服务器系统的运算能力和IO能力往往是考察系统性能优劣的重要指标目前较为普遍采用的一个衡量服务器系统处理能力的参数是TPMC值TPMC值是测试单台服务器或集群系统在配备特定的操作系统采用特定的数据库的情况下每分钟处理事务的能力TRANSACTIONPERMINUTETPMC值越高说明系统处理能力越强通常情况下用户的应用每秒钟会触发几个事物这一基准数据的取值范围是可以定量计算的这样针对某个联机事物处理系统对系统服务器的选择就可以参照服务器的TPMC值来确定了但是同时也应该看到服务器TPMC值是通过实验手段取得的某系统的TPMC值是在其生产厂商所送检的特定配置的服务器硬件特定配置的操作系统特定配置的数据库系统所得出的事物处理能力的衡量其配置中任何一项的变化都可能会对TPMC值有很大的影响例如在硬件和操作系统不变的情况下改变数据库系统类型或它的配置就可能在很大程度上改写系统的TPMC值不可忽视的是应用软件设计和编码的好坏能在更大程度上影响系统的事物处理能力所以对TPMC值的作用仅可以用作参考不可以生搬硬套按照一般的原则选择服务器时一般对TPMC值要求要高一些需求分析需求分析数据中心服务器系统的特点是业务复杂处理数据量较多连接用户数多服务器的选型主要应考虑以下几方面的因素服务器的运算能力服务器的处理需要考虑对高峰时业务受理的实时响应考虑业务的复杂性服务器需要实时的与多个业务分系统进行数据采集比对整理和分发需要服务器有很高的处理能力服务器的内存服务器还需要对实时产生的数据进行实时汇总分发要实现汇总分发的实时高效需要将实时信息放入内存进行处理才能提高系统的性能这样服务器需要有较高的内存高的IO能力对每天生成的数据需要实时入库需要有很强的IO能力使得数据的入库不会成为系统的瓶颈系统扩展在追求数据服务器单机高性能时也需要考虑业务巨大时的系统负载的分流系统在规划设计时在软件设计上进行合理处理使得应用可以在单机上运行也可以有不同的服务器上进行任务分担共同完成实时的业务处理性能测算服务器系统是整个数据中心的心脏负责管理数据中心的基础信息共享信息各专业区域信息以及业务应用过程中发生的相关业务数据以及数据管理的过程中产生的比对信息整理信息管理信息等同时为各个分系统提供共享信息服务器的处理能力作用体现在每秒钟的事务处理数量上事务处理主要包括卡业务受理数据的实时汇总入库分发等功能根据日业务量可以推算出服务器每秒需要处理的事务数服务器主要负责业务业务逻辑的实现和数据的处理因此它的处理量主要表现在TPMC即事务处理以及一些计算上根据XX市数据中心应用模型按照服务器支持100万天的访问量每个事务按02秒的响应时间计算每天8小时峰值为平均数的3倍计算冗余30每个事务触发5个TRANSACTION每分钟处理的事务量100万天313050286020312TRANSACTION分钟因此我们建议服务器的TPMC值为20312基于上述计算建议服务器采用TPCC值在25000左右的服务器系统存储系统设计设计原则由于XX市电子政务数据中心存储了所有相关的业务数据统计数据等重要数据存储系统作为数据存储的设备对于它的可靠性要求很高存储设备必须满足以下需求存储系统必须具有高性能高可靠性和足够的容错特性提供多种信息保护共享管理方案以保证信息的高可用性必须拥有足够的系统扩充性以支持目前社会保障的数据容量同时还要考虑未来业务的发展高性能智能型企业存储对主机CPU的性能无影响将主机资源充分应用于业务系统同时还要考虑未来业务的发展具备多平台企业级的连接能力以便于主机的选型和系统的整合满足作数据远程镜像备份容灾的要求主流存储技术比较及建议1直连方式存储DIRECTATTACHEDSTORAGEDAS存储设备是通过电缆通常是SCSI接口电缆直接到服务器IO请求直接发送到存储设备这种方式是连接单独的或两台小型集群的服务器它的特点是初始费用可能比较低可是这种连接方式下对于多个服务器或多台PC的环境每台PC或服务器单独拥有自己的存储磁盘容量的再分配困难对于整个环境下的存储系统管理工作烦琐而重复没有集中管理解决方案所以整体的管理成本较高2网络连接存储NETWORKATTACHEDSTORAGENASNAS设备通常是集成了处理器和磁盘磁盘柜类似于文件服务器连接到TCPIP网络上可以通过LAN或WAN通过文件存取协议例如NFSCIFS等存取数据NAS将文件存取请求转换为内部IO请求这种方式是将存储设备连接到基于IP的网络中不同于DAS和SAN服务器通过FILEIO方式发送文件存取请求到存储设备NASNAS上一般安装有自己的操作系统它将FILEIO转换成BLOCKIO发送到内部磁盘NAS系统有较低的成本易于实现文件共享但由于它是采用文件请求的方式相比块请求的设备性能差并且NAS系统不适合于不采用文件系统进行存储管理的系统如某些数据库3存储区域网络STORAGEAREANETWORKSAN存储设备组成单独的网络大多利用光纤连接采用光纤通道协议FIBERCHANNEL简称FC服务器和存储设备间可以任意连接IO请求也是直接发送到存储设备光纤通道协议实际上解决了底层的传输协议高层的协议仍然采用SCSI协议所以光纤通道协议实际上可以看成是SCSIOVERFC存储区域网络的优点如下服务器和存储设备之间更远的距离光纤通道网络10公里相比较DAS的SCSI25米高可靠性及高性能多个服务器和存储设备之间可以任意连接集中的存储设备替代多个独立的存储设备支持存储容量共享通过相应的软件使得SAN上的存储设备表现为一个整体因此有很高的扩展性可以通过软件集中管理和控制SAN上的存储设备提供数据共享由于SAN通常是基于光纤通道的解决方案需要专用的光纤通道交换机和管理软件以SAN的初始费用比DAS和NAS高4IPSAN如果SAN是基于TCPIP的网络实现IPSAN网络这种方式是将服务器和存储设备通过专用的网络连接起来服务器通过BLOCKIO发送数据存取请求到存储设备最常用的是ISCSI技术就是把SCSI命令包在TCPIP包中传输即为SCSIOVERTCPIPIPSAN的优势在于利用无所不在的以太网络一定程度上保护了现有投资IP存储超越了地理距离的限制适合于对关键数据的远程备份IP网络技术成熟不存在互操作性问题IP存储减少了配置维护管理的复杂度IP网络已经被IT业界广泛认可网络管理软件和服务产品可供使用千兆网的广泛使用大大提高了IP网络的性能万兆网络技术的发展使IP存储在性能上可以超越FC存储总结性能上FC性能最好单端口可以达到2GBPS的带宽NAS性能最差即使采用千兆网络通常只能3040MBPS单千兆ISCSI可以达到6070MBPS万兆网络下单万兆口的速度可以超过500MBPS扩展性上FC和ISCSI采用SAN的架构扩展性最好在存储网络中易于增加用户或增加存储模块应用成本上FC的应用成本最高需要配套的昂贵的光纤交换机8端口光纤交换机大约34万元每个服务器需要配光纤通道卡光纤通道卡50001万元以及采用光纤介质相比之下ISCSI只需要普通的以太网交换机8端口千兆交换机1000元服务器本身带有千兆网口即使增加一个网卡也就是500元采用普通的超五类线就可以价格可以忽略不计市场定位FC占据高端ISCSI处于中高端NAS和DAS处于低端结论综合比较SANNASIPSAN等主流存储技术建议使用IPSAN实现RAID类型配置建议存储系统中主要的RAID技术有RAID0条块化RAID01条块化并镜像RAID5采用RAID0技术最经济存储空间利用率为100性能也最好但是数据没有冗余保护生产系统中一般不采用RAID01技术性能仅次于RAID0但经济性最差存储空间利用率为50数据安全性最好RAID5存储空间利用率超过80数据也有冗余保护但性能差于RAID01但在存储系统CACHE比较大的时候性能也基本可以保证从应用需求看应用对IO系统的传输带宽并不敏感而对IO系统单位时间内能提供的IO次数要求比较高同时对文件处理和数据库批处理而言鉴于单个文件或数据库表空间很南分配到不同的存储系统上因此单个存储系统的IO指标越高越好要提高IO系统在单位时间内的IO处理次数可以通过配置比较好的RAID控制卡和比较大的读写CACHE实现但从节省投资方面考虑可以选择RAID5应用软件中采用了许多先进的技术如大内存处理多进程多线程等技术可以显著解决IO的瓶颈因而RAID5也可以保证系统性能灾备系统设计设计原则为XX市电子政务外网数据中心提供灾备方案时主要考虑以下三方面因素灾难承受程度要明确用户计算机系统需要承受的灾难类型系统故障通信故障长时间断电甚至火灾地震等各种意外情况所采取的保护方案不尽相同业务影响程度让用户必须明确当计算机系统发生意外无法工作时