数据库的建设和部署方案.doc

数据库的建设和部署方案 中国银行 项目名称：中国银行数据库建设方案 数据库建设前期说明： 全行所有经营数据集中于北京、上海、广州三个数据中心。上海和广州数据中心成为生产运行中心。北京为灾难备份中心。我们将于这三个地方建设三个数据库，三个数据库通过镜像技术，数据同步变化。在此我们选择广州的数据中心来说明数据库建设方案。其余两个数据中心的建设方案完全相同。 采用三个数据中心完全相同的原因： 1.可以互相分担任务，提高业务操作的效率。 2.一旦发生灾害，无事故的数据中心可以立即替代故障的数据中心继续执行任务，将银行 的损失降到最低。 概念结构设计 数据库包含如下几类表： 1.分支（，分支名，分支城市，资金） 2.客户（，客户姓名，性别，身份证号，地址）3.贷款（，数量） 4.支付（，支付日期，支付数量） 5.员工（，员工姓名，开始工作时间，密码）6.存款账户（，余额，利率）7.贷款分支（8.申请（）9.支询（） 10.存取款（ 员工表（Employee） 一条员工信息为0.05KB。 客户表(Customer) 分支表（Branch） 存取款表（Aount） 贷款表（Loan） 支付表（Payment） 存款账户表（Saving_Aount） 贷款分支表（Loan_Branch） 申请表（Borrower） 支询表（Ask） 数据库结构 1.数据库部署模式(采用什么样的模式，什么样的业务类型等等，都应该写明原因) RAC+DATAGUARD模式RAC+DATAGURAD具备以下特点： （1）、需要冗余的服务器设备。该模式需要有冗余的服务器硬件。硬件成本较高。 （2）、安装配置比较复杂。该模式既需要配置RAC又需要配置DATAGUARD，配置过程比较复杂，配置周期长。? 数据库服务器采用RAC+DATAGUARD模式，可以满足对可用性和容灾都有特定需求的应用。选择该模式的原因： RAC的好处是可以由多个性能较差的机器构建出一个整体性能很好的集群，并且实现了负载均衡，那么当一个节点出现故障时，其上的服务会自动转到另外的节点去执行，用户甚至感觉不到什么。 ? 2.设计的数据库业务类型：OLTP（联机事务处理） 使用OLTP的原因： a.支持大量并发用户定期添加和修改数据。b.在联机事务处理中，事务是被立即执行的 c. 将分布于不同地理位置的业务处理计算机设备或网络与业务管理中心网络连接，以便于在任何一个网络节点上都可以进行统一、实时的业务处理活动或客户服务。 3.数据库规模（自己可以先到网上搜索数据，自己选择的那个银行相关的数据，如客 政务信息共享数据库建设方案 一、政务信息共享库建设的背景和意义 政务信息共享数据库是指结合政府各类决策支持系统、相关应用系统的接入和政务信息资源共享交换的需求，构建的共享数据库，它是政务信息交换共享平台的重要组成部分，用于实现各类电子政务共享交换数据的有机管理，并为应用提供相应服务。 在经过基础设施建设、政府上网、政务公开、网上行政等发展阶段之后，随着电子政务工程的不断推进和深化，单一的政府机构业务系统建设已经达到了一定的水平，积累的政务信息资源已经具有相当规模。但与实际需求相比，仍存在较大差距：数据标准规范不统一，信息共享程度较低；各委办局之间互联互通不足，业务协同困难，难以发挥整体优势；缺乏统一的政务信息管理和服务机制。这些问题的症结之一是缺乏统一规划、规范建设的政务信息共享库。 建立政务信息共享数据库，就是为统筹地方政务信息资源的规划、管理、交换和使用，建立有序的政务信息资源共享机制，为各个信息资源权威发布者提供规范、科学的共享发布手段，为各个资源使用对象提供资源的检索、定位与获取服务。通过与政务信息共享交换平台提供的目录服务相结合，解决地方重要信息资源管理难的问题；与交换服务相结合，解决地方信息资源共享交换难的问题。通过政务信息共享库的建设，全面实现整个政务信息共享交换平台“一次建设，长久复用”的建设目标。 中办发xx17号文件的发布，标志着国家信息化以信息资源交换共享为主要建设思路的导向正在逐渐形成。建设政务信息资源共享库，不仅符合电子政务工程整体发展规律，抓住了当前政府最关键的信息化建设需求，为电子政务工程的深化与开展，做出了大胆的尝试，而且对推动政府改革、提升政府工作效率、提升领导的科学决策能力，都有着重要意义。 二、政务信息共享库建设的需求分析 随着电子政务各个业务系统的建立和使用，政府、企业和社会公众不但对基础地理空间信息、人口信息、法人信息和宏观经济信息等公共信息的需要越来越迫切，而且各个业务部门对其他部门专题数据的需求也非常强烈。目前这些信息 中部分信息还没有一个统一的标准，信息的一致性和鲜活性还不能很好的保证。因此，要满足各部门业务流程和信息共享的需要，不但要在统一的数据标准下建立起信息资源基础库，而且要建立起对这个基础库的管理、维护、更新和使用的长效管理机制，使数据库能够不断的扩展、完善，保证数据的一致性、鲜活性和准确性，为整个信息资源的规划和建设奠定一个良好的基础。 1、共享库基础功能需求 1)对数据访问下载的支持 共享库系统要为政府用户及各级电子政务业务应用系统提供访问和下载信息资源的支撑服务。政府终端用户和各级电子政务业务应用系统通过用户身份认证和目录系统授权验证，将数据查询条件及查询要求提交到共享库系统，共享库系统分析查询条件及查询要求，对信息资源进行查找、定位、获取、打包返回给服务调用方。 2)数据检查比对 共享库系统要为政府用户及业务应用系统提供数据检查比对支撑服务。政府用户及业务应用系统通过用户身份认证和目录系统授权验证，将需要比对的数据提交到共享库系统，共享库系统将用户提交的数据和共享库中数据进行一致比对。 数据检查比对服务，其服务对象不局限于各级政府部门，该服务将来也可应用于银行、中介、企业等经营性机构的日常业务，为社会公众提供信息资源共享利用的便利服务，通过合理的数据使用授权，扩大了信息资源的共享利用授权面，满足了用户对数据进行权威认证的需求，提高了信息资源共享利用水平，促进信息资源的共享利用走向社会公众，探索一条社会基础信息资源为政府、企业、公民全方位数据利用服务的资源应用模式新道路。 3)数据同步 为保持共享库数据良好的鲜活性，需要建立委办局到共享库系统之间的数据双向同步更新机制。根据信息资源生产消费模型，各个委办局既是信息资源的生产者又是信息资源的消费者。为确保共享利用的信息资源准确有效，各委办局需要及时将更新的业务信息同步到共享库系统，同时共享库系统还要将得到更新的业务信息及时同步给其他委办局，从而实现数据双向同步互动。 共享库系统通过建立和数据共享交换平台的数据同步接口规范及同步策略规范，建立策略模式下的基于参数灵活配置的数据同步更新机制，提供数据双向同步服务，实现基础信息资源及时同步更新。 4)数据规则约束检查 共享库数据要满足一致性、完整性、正确性要求。共享库系统需要提供数据规则约束检查手段，对入库数据按照业务逻辑规则进行完整性、一致性、正确性的数据清洗，保证共享库数据干净、准确、可靠。 5)目录服务需求 按照信息资源管理体系框架结构，建立信息资源目录标准服务及元数据描述服务。 2、共享库安全需求 从三个方面提出共享库建设的安全需求： （1）用户的安全性 系统提供和交换平台中用户认证层的接口连接，来保证用户的身份安全和访问安全。一是身份安全，只有经过身份认证的合法用户才能对系统信息资源进行访问，这通过用户认证层来保证；二是访问安全，经过了身份认证的合法用户只能读取被授权访问的信息资源，这通过信息资源目录系统来保证。 （2）数据自身的安全性 数据对于共享库来说，是最基础的要素，它的安全性对整个系统的正常运营、使用起着重要的作用，因此系统要提供对数据库自身内容的安全备份和恢复功能，保证数据的准确性、可恢复性。 （3）应用程序的安全性 电子政务业务应用系统通过用户认证系统、信息资源目录系统对共享库系统的数据访问进行安全保护。用户认证系统保证用户身份合法，信息资源目录系统保证用户信息授权访问合法，经过身份认证和授权验证，共享库数据可以通过服务形式返给应用程序。 3、共享库管理需求 1)共享库的管理 信息资源管理中心进行统一的数据管理和授权使用。共享库逻辑上集中建立在信息资源管理中心，对共享库进行管理、维护。各政务业务应用系统对共享库的使用通过信息资源交换平台提供的统一访问接口实现。同时建立一套制度、规范保证共享库的稳定运行和长效管理。 2)数据的更新维护 结合共享数据的分布情况、应用需求及数据逻辑集中管理要求，本着“谁拥有数据谁更新”的原则，制定合理的数据更新维护方案。做到共享库数据的及时更新，保持数据良好的鲜活性。 3)数据的标准化 数据标准化包括数据内容的标准化、元数据的标准化等方面。数据内容的标准化：要结合共享库的内容标准，科学合理地划分数据结构，形成数据分类、分层的标准化组织结构形式。元数据的标准化：要结合共享库的元数据库标准，对数据内容进行精确描述，为数据目录服务和数据共享与交换提供基础。 4)数据的扩展 要结合多层电子政务业务应用对共享数据的扩展需求，制定合理的共享库扩展框架，既能满足对现有数据项的管理，又能够很好的满足未来对扩充数据项的增加需求。 5)信息资源的安全保密 必须加强数据资源的安全防范意识。制定科学合理的信息资源安全保障体系，采取各种有效的措施，加强对信息资源的访问控制、授权管理，从而在源头上保证信息资源的安全。 6)数据展现 通过应用开发，提供对数据内容和数据描述的浏览展现、查询、统计等功能。 三、政务信息共享库总体设计 1、政务信息共享方案的选择 通过对不同建设方案的分析比较、取长补短，“逻辑集中适度分布建设”方案兼有“集中建设”方案和“分散建设”方案的优点，又弥补了各自的缺点，是构建政务信息资源共享库的理想建设方案。 具体而言，各共建部门按照统一标准规范，整合本部门业务系统数据，形成 共享数据库。根据具体情况，共享数据库一部分部署在各部门，自行维护；另一部分由信息资源管理中心管理运行。共建部门将共享数据库存放在信息资源管理中心，共用中心的网络资源、周边设备和专业化的运行维护人员及服务，可以充分保证共享数据库的运行更加安全、稳定和高效。 进一步从广义上来讲，在信息资源组织建设中，“逻辑集中、适度分布”的建设原则可以体现在以下三个方面： 一是集中建设统一的信息资源目录体系、元数据库、专题应用数据库，形成信息共享的基础； 二是构建星型结构的网络应用系统架构，实现共建部门通过访问中心就可透明访问共享信息资源的机制； 三是在共享数据库的建设中具体情况具体分析，按照“逻辑集中适度分布建设”方案进行具体的分级部署和实施。 2、政务信息共享库设计 政务信息共享库总体框架如下图所示： 如上图所示，信息资源管理中心中的数据库按所服务的业务功能，可以大致分为如下种类： ?元数据库：存储元数据。 ?业务规则库：将业务抽象为一系列的规则存在规则数据库中。?业务信息库：将从前置节点获得的重要信息存储在业务信息库中。 ?基础信息库：人口基础数据库、法人单位基础数据库、宏观经济数据库、自然资源和空间地理基础数据库等。 ?交换信息库：交换过程中产生的一系列信息放在平台日志库中。?主题数据库：面向业务主体建立的、信息源唯一、结构稳定的信息系统数据库。 ?决策支持库：使用者主要是机关单位、市委领导等决策相关人员，为其提供在业务信息、基础信息、主题信息基础上各种层次汇总的数据，辅助进行进行各种决策支持。 任何一个大型网站都是经历用户积累然后成长，从一台服务器到多台服务器才能构架支撑网站现有数据、用户、页面请求等。大型网站(如淘宝、京东等 )的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性，它总是随着用户量的增加，业务功能的扩展逐渐演变完善的，在这个过程中，开发模式、技术架构、设计思想也发生了很大的变化，就连技术人员也从几个人发展到一个部门甚至一条产品线。所以成熟的系统架构是随业务扩展而完善出来的，并不是一蹴而就;不同业务特征的系统，会有各自的侧重点，例如淘宝，要解决海量的商品信息的搜索、下单、支付，例如腾讯，要解决数亿的用户实时消息传输，百度它要处理海量的搜索请求，他们都有各自的业务特性，系统架构也有所不同。尽管如此我们也可以从这些不同的网站背景下，找出其中共用的技术，这些技术和手段可以广泛运行在大型网站系统的架构中，下面就通过介绍大型网站系统的演化过程，来认识这些技术和手段。 一、最开始的网站架构最初的架构，应用程序、数据库、文件都部署在一台服务器上，如图： 二、应用、数据、文件分离随着业务的扩展，一台服务器已经不能满足性能需求，故将应 用程序、数据库、文件各自部署在独立的服务器上，并且根据服务器的用途配置不同的硬件，达到最佳的性能效果。 三、利用缓存改善网站性能 在硬件优化性能的同时，同时也通过软件进行性能优化，在大部分的网站系统中，都会利用缓存技术改善系统的性能，使用缓存主要源于热点数据的存在，大部分网站访问都遵循28原则(即80%的访问请求，最终落在20%的数据上)，所以我们可以对热点数据进行缓存，减少这些数据的访问路径，提高用户体验。 缓存实现常见的方式是本地缓存、分布式缓存。当然还有CDN 、反向代理等，这个后面再讲。本地缓存，顾名思义是将数据缓存在应用服务器本地，可以存在内存中，也可以存在文件，OSCache就是常用的本地缓存组件。本地缓存的特点是速度快，但因为本地空间有限所以缓存数据量也有限。分布式缓存的特点是，可以缓存海量的数据，并且扩展非常容易，在门户类网站中常常被使用，速度按理没有本地缓存快，常用的分布式缓存是Memcached、Redis。 四、使用集群改善应用服务器性能应用服务器作为网站的入口，会承担大量的请求，我们往往通过应用服务器集群来分担请求数。应用服务器前面部署负载均衡服务器调度用户请求，根据分发策略将请求分发到多个应用服务器节点。 常用的负载均衡技术硬件的有F5，价格比较贵，软件的有LVS、Nginx、HAProxy。LVS是四层负载均衡，根据目标地址和端口选择内部服务器，Nginx是七层负载均