组建数据平台方案

组建数据平台建设方案目录TOC\o"1-2"\h\zHYPERLINK第一章概述 PAGEREF\h4HYPERLINK1.1建设背景 PAGEREF\h4HYPERLINK1.2术语介绍 PAGEREF_Toc\h5HYPERLINK第二章必要性、可行性及效益分析 PAGEREF\h6HYPERLINK2.1必要性分析 PAGEREF\h6HYPERLINK2.2可行性分析 PAGEREF\h6HYPERLINK2.3效益分析 PAGEREF\h6HYPERLINK第三章建设目的、思路及原则 PAGEREF\h7HYPERLINK3.1建设目的 PAGEREF\h7HYPERLINK3.2建设思路 PAGEREF\h7HYPERLINK3.3建设原则 PAGEREF\h7HYPERLINK第四章核心问题解析 PAGEREF\h8HYPERLINK4.1数据交换平台能解决什么问题 PAGEREF\h8HYPERLINK4.2数据交换平台与业务应用的关系 PAGEREF\h8HYPERLINK4.3数据交换平台无法解决实时性的业务需求 PAGEREF\h8HYPERLINK第五章总体设计 PAGEREF_Toc4\h9HYPERLINK5.1系统总体构造 PAGEREF\h9HYPERLINK5.2系统逻辑构造 PAGEREF\h9HYPERLINK5.3系统物理构造 PAGEREF\h10HYPERLINK第六章数据交换平台功效设计 PAGEREF\h11HYPERLINK6.1交换中心管理系统 PAGEREF\h11HYPERLINK6.2接入管理系统 PAGEREF\h126.3运行监控平台 PAGEREF\h14HYPERLINK6.4系统管理 PAGEREF\h15HYPERLINK第七章交换平台安全设计 PAGEREF\h16HYPERLINK7.1威胁与风险分析 PAGEREF\h16HYPERLINK7.2安全需求分析 PAGEREF\h16HYPERLINK7.3身份认证和授权管理设计 PAGEREF\h17HYPERLINK7.4数字证书认证 PAGEREF_Toc\h18HYPERLINK7.5数据交换过程的安全保障 PAGEREF\h18HYPERLINK第八章数据交换中间件选型 PAGEREF\h19HYPERLINK8.1数据交换中间件技术规定 PAGEREF\h19概述建设背景户用表集中抄表系统（下列简称“抄表系统”）是运用当代微机技术、数字通讯技术与户用仪表计量技术完满结合，集计量、数据采集、解决于一体，将都市居民用水、电、气、热信息加以综合解决的系统，使供水、供电、供气、供热公司及物业部门从根本上减少人工上门抄表的繁杂劳动强度。精确而便捷的收费系统，既可节省人工又可减少各部门与客户之间的纠纷，它不仅能提高管理部门的工作效率，也适应当代顾客对缴费的新需求。随着科技的进步和人们对信息化规定的提高，智能住宅将逐步在全国范畴内得到推广。智能化居住区的重要功效应当体现在快捷、高效、安全和方便上，智能楼宇控制系统中的智能抄表系统是智能建筑优点的充足体现。远程数据采集及无线传输系统是基于人工数据收集思想变化和发展的一种体现，同时它也是一种新型现场数据收集的应用工程系统。在将来信息时代中，多个现场数据收集将以高效率、高可靠性和方便性（H2F）的规定为主导形式出现。在这种环境规定下，系统既要各个前端控制器含有分散的独立工作及独立应付突发事件的能力，同时又规定它们通过抄表器或远程传输通信与计费中心数据库远程收发管理器实现彼此联系，并能实现本身协调、执行多个系统数据收集和监管功效等。户用表集中抄表系统是一种综合性、多学科技术合成的一种技术设备。在技术层次上它涉及计算机技术应用、通信工程、微电子技术、热力学等。由于冬季供热问题与我国北方地区广大人民群众的生活、工作亲密有关，产品社会需求量之大是可想而知的，同时它也是创立和谐社会的一种重要基础条件。户用表集中抄表系统在国内还是一项新兴的产业技术，其技术层面的更新必将摧生更多新兴社会服务行业的发展。另外户用表集中抄表系统的启动，还能够带动一批有关产业链的发展、增加国家整体就业机会，例如在原材料业、电子器件业、计算机业和加工业等。正由于热能无线自动抄表系统对技术先进性的规定，这也向有关产业的技术更新提出对应规定，从而极大地增进了有关产业的技术进步。术语介绍（1）交换前置机公司基础信息交换平台连接的交换前置服务器。（2）信息交换桥接业务应用信息库与前置交换信息库之间信息安全交换的连接通道。（3）公司基础信息库存储、管理公司基础信息的数据库。（4）前置交换信息库公司基础信息交换平台之间共享信息双向交换的中转数据库。（5）业务数据库业务数据库是指各个保存业务数据的数据库，运行在内网中。（6）应用系统应用系统是指本项目开发的布署在各节点前置机上的桥接系统、中心数据管理系统、数据比对和整合系统等应用的总称。（7）中心数据管理系统中心数据管理系统是指本项目开发的实现交换数据查询和管理等功效的应用系统。（8）数据比对整合系统数据比对系统是用来加工整顿各单位发送的公司基础信息的系统。按照一定的比对规则和条件，数据比对系统对各部门的信息进行对比，形成完整、统一的XX市基础信息数据库。必要性、可行性及效益分析必要性分析在信息化建设过程中，各职能部门普通采用不同的技术和体系构造来构建本身的信息系统，即使为各自业务发展起到了较好的增进作用，但各信息系统数据独立存储形成一种个信息孤岛，使得各业务系统之间很难实现数据共享，严重制约着政府各职能部门、业务系统之间的协作及工作效率的提高。如何在不变化原有系统的基础上实现跨平台数据访问也成为信息化建设道路上必须思考的一种问题。可行性分析从现在现状来看，在技术上，现在市场已经涌现诸多实现数据交换的平台产品，形成先进的信息交换和共享服务技术体系，能为数据交换平台的建立提供较好的技术架构。效益分析通过数据交换平台的建立能够打破现在的“信息孤岛”现象，建立不同业务系统的数据共享平台，形成政府综合信息库。同时，通过统一的数据交换平台实现各业务系统之间数据交换的单一安全通道，在实现信息共享的基础上也确保了各自数据信息的安全。从将来发展的角度看，现在建立数据交换平台可觉得后来新的业务系统的建设提供原则，一旦原则形成，审批、监察等业务都能够直接运用共享的基础信息库数据，从而减少了数据采集的资本投入，也提高了监管工作效率和公共服务水平，获得了良好的经济效益和社会效益。建设目的、思路及原则建设目的核心目的是建设数据交换平台，作为此后数据交换的支撑，将来在平台上不停的扩展应用。建设目的搭建数据交换中心，实现集抄业务系统之间的数据交换，为内部办公提供数据交换采集综合信息库；建立能源管理的原则和规范，为后来信息系统的建立提供规范指导。通过数据交换建立能源监测信息库，实现数据共享，为网上行政审批提供决策数据；建立业务数据的集中采集平台，实现了行政审批电子监察数据的在线、实时采集。建设思路要实现各数据共享，必须先建立统一的数据交换平台，通过交换平台实现各异构数据库之间的数据集成，实现原有各业务系统在数据级集成，确保异构数据库之间的数据交换与共享。在建立的数据交换平台基础上，针对各业务系统的技术和体系构造，配备各业务系统的数据交换映射关系，形成各业务系统的应用。当平台建立好后来，业务应用能够任意扩展，添加新的共享数据。建设原则数据信息交换平台建设必须恪守下列原则：不影响现有或其它有关信息系统的使用和信息安全；技术要成熟、可靠，在节省成本投入的前提下确保平台建设质量；建立一种坚实的系统应用平台，便于系统的管理和维护，技术易于更新，网络及业务规模能够逐步扩展。统一规划，分步实施。核心问题解析数据交换平台能解决什么问题对数据交换平台的理解有一种误区，就是有了数据交换平台不同系统之间的信息交换就能够随便实现了，而不需要任何编码；事实上这是不对的。数据交换平台的应用重要是在异构系统之间的信息交换，但在信息交换过程中交换平台本身要解决的问题只是一小部分，它本质是一种中间件，面对客户时屏蔽了诸多系统底层的信息，例如网络的合同、数据的传输安全等，据交换平台本身不含有业务本身的解决功效，例如无法自动从某个业务系统中直接获取数据信息，只能通过编程把数据从业务系统中提取出来，再送到数据交换平台。运用数据交换平台使开发过程中不需要关注数据各式转换、消息的传输、数据路由等，只需要关注与业务本身的数据解决部分。数据交换平台与业务应用的关系在能源管理系统建设过程中，有些应用系统必须充足运用数据交换平台，例如资源目录管理系统、人口基础信息库、公司基础信息库的关系、决策支持系统等。这些业务系统从不同单位的不同系统中获取数据，数据交换平台为信息交换和传递提供一种安全可靠的通道，不同的应用系统能够公用相似的数据交换平台，由于数据交换平台好比是高速公路，能够有不同的车道和车辆，而业务系统本身有本身的业务逻辑。因此从功效和应用层次的角度交换平台≠业务应用。数据交换平台无法解决实时性的业务需求假设有A、B两套完全独立的系统，中间通过数据交换平台连接，能实现一部信息的交换，若从A系统发起一种请求查询B系统的数据，这类应用就是实时性业务。这类业务数据交换平台是无法实现的，由于查询是针对A系统的数据库，如果要看到B系统的信息必须B系统在查询前把信息传递到A系统，否则无法直接查询B系统的信息。总体设计系统总体构造系统逻辑构造业务系统的资源交换是通过中间件进行交换和共享。其中，发送模块负责从业务系统接受信息、把信息的格式转换成中间件可识别的格式、和把转换后的信息发送给中间件;接受模块负责从中间件接受信息、把信息的格式转换成接受系统可识别的格式、和把转换后的信息发送给业务系统。系统物理构造业务系统通过交换平台接入点连接业务系统，接入交换平台的业务系统，需要开发对应的适配器，以下图：数据交换平台功效设计交换中心管理系统数据交换原则定义根据对目的系统综合性应用内容的需求分析，定义出一系列的数据交换原则。这些原则将反映各个应用所需要的数据的构造。同时在原则中定义的尚有数据“宿主”位置等信息，表达该块数据将向哪个业务系统请求获得。全部的数据交换原则定义信息，均以XML构造统计。能够通过数据交换原则定义管理工具完毕以下功效：新建原则、修改或删除原则；维护原则中的属性，涉及数据构造、数据“宿主”位置、缺省过滤条件等；实现对顾客身份识别与管理权限控制；数据交换流程定义数据交换是根据数据交换流程实现的，针对不同的数据，需要设定和管理不同的数据流转过程。该模块的作用是提供图形化界面，供应数据交换平台的管理人员实现数据流转过程的定义。数据交换流转过程的描述也采用XML方式。具体功效以下：新建流程、修改或删除流程维护流程的规则、数据加工过程和数据路由方式实现对顾客身份识别与管理权限控制数据交换原则与内部数据构造的映射管理由于数据交换原则并不懂得在具体业务系统内的对应数据的位置、属性、名称等等信息，因此需要在业务系统内对数据交换原则中的对应项有一种映射关系的定义。这种定义涉及数据项与数据项的对应或组合对应（公式化）、数据类型的匹配或转换关系、数据项位置描述统计等等。以XML构造保存定义的内容。具体功效涉及：数据交换原则定义信息的导入维护数据交换原则与内部数据构造间的映射定义表，涉及数据项与数据项的对应或组合对应（公式化）、数据类型的匹配或转换关系、数据项位置描述统计等等实现对管理员的身份识别与管理权限控制数据交换流执行数据交换流的执行是通过应用集成中间件实现的。采用中间件产品能够确保数据交换的高效、安全和可靠地进行。其工作原理是：读入数据交换流程，根据流程设定，启动数据交换过程。根据业务需要，同时能够并发若干个数据交换流程。当业务变化时，只需修改数据交换流程定义，就能够实现基于新业务的数据交换过程，因此系统含有较好的可扩展能力。具体功效以下：接受数据验证数据分析流程定义根据流程进行数据交互过程数据交互的事务管理日志管理和交换数据存储消息队列管理实现对管理员的身份识别与管理权限控制接入管理系统接入点注册在接入点向信息交换平台注册时，信息交换平台会自动检测接入点提供的属性信息与否对的，只有对的后，才能够注册，接入点才能够接入信息交换平台。接入点配备由于有很大一部分的业务系统早已开发完毕，且采用的数据库不同，有Sybase、Oracle、SQLServer、Access等等，各个业务系统根据实际需要，挑选可共享的数据，定制不同的共享接入点，将共享接入点公布到数据交换平台上；也能够根据业务系统本身的不同的数据种类定制不同的共享接入点，将共享接入点公布到数据交换平台上。这样就最大程度的提供了各自业务系统数据的共享，也确保了各业务系统数据的安全。共享接入点的管理员能够根据需要设立本接入点的类型（只能收、只能发、接受都可）、本节点只接受那种信息类型,如果管理员本身是接入点的创立者，还能够设立本接入点的管理员帐号。接入点维护（一）新增接入点根据各个业务系统的实际需要，系统管理员能够增加新的接入点，和建立新接入点的管理员帐号。为了便于管理和资源的充足运用，规定一种单位或部门只有一种共享(单位或部门内部共享)接入点(由于多个业务系统能够通过一种接入点接入交换信息平台).如果要新增接入点，由使用单位或部门提出书面申请，经系统平台管理员审核同意后，统一由系统平台管理员新增接入点，同时由系统平台管理员设立新增接入点的有关信息（二）修改接入点由于各个单位、部门的业务系统的数据种类是变化的，且顾客的规定也是变化的，因此共享接入点的管理员要根据需求实时来修改其共享接口，满足其它顾客、单位、部门对数据的需求。共享接入点的管理员先查询到要修改的接口，然后对接口的核心字及其它属性进行修改，但接入点的唯一标记(比接入点编号)不允许修改.修改后的共享接口在数据交换平台上能立刻反映出来，方便其它单位、部门使用。（三）删除接入点如果共享接入点的管理员认为其定制的共享接入点已没有使用意义或已被新的的共享接入点替代，由接入点的管理员提出书面申请，经数据交换平台系统管理员(接入点的创立者)审核通过后，统一由交换平台系统管理员进行删除。共享接入点的管理员只能申请删除自己管理的共享接入点，在共享接入点删除后，数据交换平台统计删除日志,并删除与它有关的在数据交换服务器(JMS)的队列.删除接入点的信息要在数据交换平台监控上立刻反映出来，方便其它单位、部门不再向它发送信息。（四）查询接入点根据需要,能够按类型、状态查询各个接入点的状况，能够统计各个接入点的类型、状态(与否有效、与否已删除)。运行监控平台传输监控传输监控的重要任务是对交换平台本身和流过交换平台的数据包进行观察与控制。传输监控涉及以下几个方面：（1）对数据流量和状态的查询、统计与审计；（2）对信息交换平台本身运行状态的查询和监控；（3）对信息交换平台的远程监控。数据流量和状态的监控，首先是对于全部通过信息交换平台进行交换的数据总量的把握，另首先是对每个通过信息交换平台的数据包状态的微观把握。通过监控功效，能够理解在指定时间内按照进入/转出、目的地/来源地、数据量大小等项目进行查询和统计，从而实现对总量的把握；通过对数据状态（例如等待解决、正在进行、解决完毕、回执收到、解决中断等）的监控，能够追踪某一种指定数据的状态。对信息交换平台本身运行状态的查询和监控，是为了确认信息交换平台本身的运行与否正常。查询和监控的对象重要是构成共享平台的各类软件运行实体（例如进程、队列等）。以进程为例，监控的重要操作涉及查询进程状态、停止进程、重新启动进程等。对信息交换平台的远程监控，是指通过监控命令的交换，对系统中的远端信息交换平台部件进行上述监控。由于信息交换平台的运行统计不仅是进行监控的重要根据，还是进行审计的重要基础，因此根据监控的功效设计，必须实现对应的日志机制。前置节点运行监控中心数据交换平台通过网络连接了许多不同的节点，通过监控系统能对分布在不同物理位置的前置交换系统状态进行必要的监控，及时发现异常的监控节点。数据库运行监控数据交换平台涉及中心数据库，前置节点数据库等多套数据库系统，通过监控系统能实时理解各节点数据运行的状态，能通过图示的方式进行提示。适配器监控监控平台对桥接服务实施数据传输量监控，速率监控，历史数据统计等监控管理，对有关交换的多个组件运行状态及日志状况，能够非常方便的进行监控及查询。系统管理接入编码管理接入点编号是由交换信息平台统一分派给各个使用单位或部门。各个使用单位或部门要接入信息交换平台，必须先申请接入点编号。获得接入点编号后，必须要先进行接入点注册，然后才能够通过接入点接入到交换信息平台。接入点编号规则参考以下：A.编号长度为九位(数据的长度预留20位：如果后来要加市的，在原来基础上前面加多俩位，依这类推：加省、)；B．位数的意义：第一、二位代表区;第三、四位代表单位类型;最后五位流水号。例如：00 00 00000区单位类型流水号数据备份及恢复数据交换平台涉及大量数据的存储，需要有良好的数据存储机制确保数据的安全，避免数据丢失。顾客管理数据交换平台作为一套专门的信息交换系统，含有完善的顾客管理体系，能创立不同权限、不同角色的顾客帐号，对系统内的信息进行查看和访问。日志管理管理员能查看系统不同类型的日志，对系统的运行状态进行监控，及时发现运行过程中出现的问题。并提供日志审核的功效。交换平台安全设计威胁与风险分析交换系统的业务特点和信息的敏感性决定了系统可能承受来自各个方面的攻击，如犯罪团伙的破坏，黑客的恶意攻击。信息交换平台系统的安全性应从政府专网的网络安全中总体考虑，涉及入侵检测、防病毒系统、防火墙系统在内的安全方法由XX市政府专网统一考虑。本实施方案中重点考虑系统在应用、数据交换、数据管理以及系统管理方面的安全问题。（1）信息安全信息安全指信息内容在采集、存取、解决、使用和传输中的机密性、完整性、可用性和不可否认性，以及确保信息在系统主体的可控性和可审计性等特性的系统分辨、控制、方略和过程。重要威胁和风险涉及：伪装、系统入侵、通信监听、数据篡改、否认和回绝服务等。（2）安全管理安全管理重要威胁和风险涉及：（1）管理不当造成的口令及密钥丢失和泄露；（2）制度遗漏造成的系统无序运行、系统灾难；（3）人员管理漏洞；安全审计不力或无审计等。安全需求分析为了使数据系统能够有效应对以上所描述的安全威胁和风险，切实保障系统的安全，必须从组织管理、技术保障、政策环境、原则体系、人才培养等方面着手，形成有效的安全防护能力、隐患发现能力和应急反映能力，为系统建立可靠的安全运行环境，切实保障系统的安全。从应用安全和信息安全需求来分析，重要的是要解决全网统一的身份鉴别，要解决数据的完整性、数据的访问控制和授权，以及敏感信息的机密性。从安全管理需求来分析，要考虑规章制度的完善、安全方略的制订、系统人员的安全培训等，特别要考虑到基层人员计算机应用水平还不高，必须加强安全管理和人员培训，与技术保障紧密结合，形成一套比较完备的交换系统的安全保密体系。因此，系统应用安全要重点做好下列几方面的工作，同时也是安全方案需要解决的问题：（1）解决信息的备份问题。（2）解决信息交换平台的统一身份鉴别问题。（3）解决信息交换平台的信息资源管理，信息分类访问控制和分组共享（即什么人能够访问什么信息和哪些人能够共享哪些信息）问题，实现全系统的有效访问控制。（4）解决系统敏感数据的加密问题，特别是重要信息的多级安全保护；采用数字签名和多个安全审计手段，解决核心操作的抗抵赖问题。（5）解决内部人员滥用权力，故意犯罪，越权访问机密信息或恶意篡改等问题。（6）解决系统安全运行的管理问题。身份认证和授权管理设计为了确保信息的正当访问，建立统一的认证网关和授权管理系统。在本系统中，重要有两类操作涉及到身份认证和授权访问控制：一种是对接入的业务系统（即接入顾客）的身份认证和授权访问控制，当一种业务系统，通过应用适配器或者调用交换系统的JAVAAPI，向信息交换平台发送数据或者从交换平台读取数据时，必须要提供身份信息（顾客名/口令、CA证书），交换平台进行身份认证和权限检查，被授权的正当顾客才干将操作完毕。另一类是对系统管理人员的身份认证和访问控制，顾客登录到管理平台，进行系统管理，必须通过系统的身份认证和授权访问控制。这两类身份认证和授权管理都能够通过eStarESS提供的安全管理模块来实现。eStarESS支持两种身份凭证：顾客名/口令和数字证书两类技术体系的电子身份凭证。顾客名/口令认证的实现方式是：（1）系统管理员运用系统超级顾客登录到系统管理平台，建立多个顾客，并授予不同的权限，密码加密后保存在顾客数据库中；（2）将这些顾客分别赋给不同的业务系统，业务系统连接信息交换平台时，提供预先配备的顾客名和密码；（3）对业务系统提供的顾客名/口令进行认证和权限检查。系统管理员登陆系统的过程类似，只是管理员每次登陆时都要输入顾客名和口令，而不是向业务系统那样，顾客名和口令预先被配备。数字证书认证系统支持内部的CA证书系统，也能够和外部独立的CA认证系统连接。具体的实现方式是：（1）向不同的业务系统颁发CA证书；（2）业务系统访问信息交换平台时，提供CA证书；（3）系统的安全认证接口进行身份认证，授权管理系统进行权限检查。在交换平台中，数据被保存在消息队列中，不同的顾客对消息队列的访问权限是不同的，给每个顾客分别授予不同的权限，从而实现对数据资源的保护。具体的实现办法是：（1）对于共享的信息，能够发送到公共的队列中，将该队列的访问权限赋予全部的顾客，则所用的顾客登陆后，都能够访问该队列的信息。（2）对于私有信息，保存到私有队列中，将权限授予特定的顾客，则只有该顾客能够访问该队列中的消息，其它顾客则不能访问。数据交换过程的安全保障数据交换过程的安全保障重要指信息在交换过程中不能被非法篡改、不能被非法访问、数据交换后不能抵赖等功效。提供了两种办法实现上述功效：一种是支持HTTPS传输合同，通过SSL实现数据防篡改、数据加密等功效。另一种是通过支持对消息内容的数字签名、数字摘要和信息加密，来实现上述的安全功效。上述两种安全传输实现方式，都需要数字证书的支持，在交换系统中，运用系统提供的证书，也可统一使用外部CA系统颁发CA证书。数据交换中间件选型数据交换中间件技术规定信息交换平台由交换中间件、应用适配器系统构成，各部分设计规定以下：交换中间件技术规定交换中间件技术规定重要涉及：数据传输规定、数据转换规定、可靠性规定、安全性规定、差错解决规定、Web服务支持规定、跨平台规定、基本性能规定等几个方面。（1）数据传输规定在数据传输方面，交换中间件应能满足下列规定：○传输合同交换中间件必须支持HTTP/HTTPS传输合同。支持消息传输与文献传输。○消息基础合同交换中间件支持国家政务信息资源交换体系原则规定的消息格式。○大文献支持交换中间件支持大文献传输。○消息交换模式交换中间件支持消息主动发送、请求/应答、订阅/公布三种消息交换模式。○消息路由交换中间件支持消