北京政法职业学院信息化建设-基础设施与服务资源管理平台项目申报书

PAGE－PAGE126－北京政法职业学院基础设施与服务资源管理平台项目建设申报书项目名称：北京政法职业学院信息化建设-基础设施与服务资源管理平台项目申报单位（盖章）：北京政法职业学院申报单位项目联系人：联系电话：申报时间：2015年11月2日一、背景、现状和必要性（一）背景《国家中长期教育改革和发展规划纲要（2010-2020年）》（以下简称《规划纲要》）明确提出了“信息技术对于教育具有革命性影响，必须予以高度重视”。《教育信息化十处发展规划（2010-2020年）》是落实《规划纲要》的文件之一，明确提出了“三通两平台”建设目标。“三通”主要是硬件建设目标方面的三个层次，“两平台”主要是教育管理信息化平台和教学信息化平台。这是国家层面的目标，落实到学校，三通两平台对应的是学校层面的网络服务目标和教学与管理服务目标。我院的信息化建设一直严格遵循教育部《规划纲要》中“统一规划，分步实施”的要求，所有实际的信息化建设方案都严格依据学院《教育信息化建设规划顶层设计文件》中的统一规划，保证学院整体的信息化建设发展朝着既定目标快速有序的推进。在顶层设计过程中，我院根据目前行业内领先的信息化建设理念和技术，并结合学院的实际情况，大胆推理、严谨论证，提出了2016-2020学院信息化建设总体架构图，如下图所示：要实现《顶层设计》中的总体架构，基础设施，基础数据，服务组件三层的建设尤为重要：1.基础设施基础设施是为学院信息化服务提供通讯、计算、存储服务基础资源，包括网络基础设施、服务器、存储设备、虚拟化等。网络基础设施提供数据通讯及相关服务，包括有线网、无线网、互联网、物联网等；服务器是信息化服务的计算资源，主要指物理服务器设备资源；存储设备是信息化服务的数据存储资源，主要指物理上的存储介质，包括灾备设备等等；虚拟化是指利用虚拟化软件将物理的硬件资源如CPU、Memory、Disk等虚拟成共享资源池，为上层应用提供高效、动态、灵活的资源服务，最大化利用物理资源，最小化硬件资源闲置。2.基础数据基础数据层主要完成学院总体资源的存储以及提供对外访问接口。数字资源的类型和格式存在多样性，因此，结构化，半结构化和非结构化数据的存储均需要支持。3.服务组件为了提高响应效率，缩短开发周期，降低开发成本，提高软件复用能力，实现敏捷开发，基于云计算——软件即服务（SAAS）的思想，构造学院的服务中间件，这些服务中间件统称为服务组件，是学院信息化服务软件应用服务在顶层设计基础上的高级应用。业务应用开发和部署都基于服务组件和下层平台的支持。服务组件自身有一个建设、应用和完善的周期，根据业务建设需要开发服务组件。基础设置与服务管理平台可以很好的解决三层基础层的建设，以硬件虚拟化为基础，以服务组件开发为核心，以分布式存储为手段，为实现《顶层设计》的总体规划打下坚固的基础，保证规划的顺利推进。（二）现状数字化校园是由多个业务应用系统集成在一起的、复杂的、分布式大型系统，目前学校已经建成了相关的教学管理、教育管理信息系统，这些信息系统的建成和使用对教学和教育管理工作起到了巨大的推动作用，但是这些系统的建设却是条款分割、各自为政的，各负责的业务部门根据自己的实际需求进行开发建设，缺乏规范化、标准化和兼容性，信息资源难以共享，缺乏统一的顶层设计，学院当前在信息化建设方面存在着如下问题：学院信息化建设项目的硬件环境完全独立，硬件资源使用率无法达到最大化，项目过期后遗留的硬件资源容易闲置，基础硬件设施综合使用率低；学院的数据存储缺乏统一的部署和管理，各种应用系统使用不同的形式存储数据，而且数据存储在不同的设备上；学院各个业务系统的建设由各部门各自负责，形成信息孤岛，从而导致各个业务系统无法实现统一的数据交换、高效传递和数据共享，难以满足学院在新形势下快速发展需求；学院业务系统孤立建设，导致软件组件或服务重复建设严重，造成资源浪费和成本提高。（三）项目必要性为了实现我院教学信息化的快速发展，学院通过顶层设计总体架构设计分层实现信息化技术来支持学院的业务，顶层设计需要对学院的业务进行分析以进一步明确需要信息化的业务，提出宏观信息资源规划，在进行业务分析的过程中，我们发现在教学支撑、教育管理的信息化系统中：1）很多业务系统的基础设施资源存在大量剩余可用资源，且由于资源的相互独立造成维护的困难，这些基础设施资源如果统一管理起来，并按需分配的话，可以大大提高资源的使用率，减少维护的成本，节省新设备购置的成本。2）业务系统间有很大的数据共享需求，例如教务管理系统需要学生管理系统提供学生信息，业务应用系统的建设急需按照统一标准和规范进行实施，数据上实现统一的存储和管理，为数据的共享服务提供基础保障。3）存在着很多通用可共享的服务组件，例如学生信息的管理、教学内容的管理、学院资产的管理、教务通用审批等很多业务都可以作为通用的服务组件将其标准化，供多个应用系统调用。通过对学院业务的全面细致的分析，可以抽取出常用的服务组件包括：服务组件资源：搜索服务组件上传服务组件下载服务组件文件处理服务组件日志记录服务组件软件资源：分布式数据库服务组件分布式文件系统组件数据收集组件负载均衡系统组件中间件服务组件分布式缓存组件监控组件硬件资源：服务器虚拟化组件资源管理组件操作系统组件如果将这些通用组件标准化并通过统一的资源库进行管理，将大大节省应用系统构建的成本、提高效率，同时也便于学校之间、校企之间的信息交互和共享，最终提升整个教育行业的信息化标准化水平。基于以上所述，我院申请基础设施与服务资源管理平台项目，旨在通过本项目的研究和实施，建立一个统一的管理平台，平台中将实现基础设施资源的统一管理和分配、实现各类基础数据的统一存储和管理、预置教育信息化常用的业务和技术组件，以便未来各类业务应用系统复用。基础设施和服务的统一管理，是为了提高硬件资源使用率，提高响应效率，缩短开发周期，降低开发和维护成本，提高软件复用能力。业务应用开发和部署都基于服务组件和下层平台的支持。本项目的意义和必要性可以从以下几个方面进一步分析：加速业务应用系统的构建，提高效率、节省成本从学院目前的信息化架构来看，各业务系统相对独立，只是各自实现自己的功能，系统间几乎没有交互，属于典型的信息孤岛型架构，如下图所示：在学院目前的信息化架构下，每次增加建设一个业务系统，都需要从IT硬件、中间件、程序模块、业务逻辑、交付界面自上而下都建设一遍，这样的信息化架构，其弊端不言而喻：1、每个硬件的IT硬件配置都要依据系统的理论最高峰值，导致IT硬件的综合使用率低。2、各系统彼此割裂，形成信息孤岛，数据难以共享，创新力低，优质资源整合难度大。3、每次系统建设，所有代码都需要重复开发，难以复用，导致应用系统重复建设度高，造成冗余投资。4、应用开发、部署效率低，无法满足校园的快速响应。5、对于每一个系统的维护，都需要自上而下的兼顾，导致维护成本高。如何改变这种现状，建设符合《顶层设计》统一规划的更先进，更科学，更合理的信息化架构，是学院目前急需解决的问题。如上图所示，解决“信息孤岛”型架构问题的方法就是：逐步将架构底层建设成通用型、共享型的平台，新建系统及旧系统逐步向平台迁移。基础设施与服务资源管理平台正是为了解决这个问题而提出的。该平台建设基于服务组件架构思想，具有业务组件和传输协议、接口和实现相分离的特性，能够很好的解决系统模块之间的紧密耦合的问题，为实现资源动态扩展、敏捷开发的IT框架基础而展开工作。该平台的建成，可以有效的实现上图中IT硬件、中间件、功能组件等三层基础层的平台化、共享化，实现学校业务应用的快速开发。通过此平台可有效进行基础设施的最大化使用率和服务组件资产复用，提高应用适应业务快速发展的要求，让学院整体信息化架构的优化迈出强有力的关键一步。推动数据共享和信息集成目前学院的各类信息系统经过较长时间的建设和不断完善，已经成为学院开展日常教学、教育管理工作的重要支持手段，但现在学院的各业务系统开发平台不同、采用的技术也多种多样，导致这些子系统之间数据较难共享，从而出现各部门信息需要重复录入和采集，数据实时性、一致性和准确性存在问题。即使采用传统的业务系统集成方案实现了子系统之间的集成，但这种紧密耦合的集成方法，不利于业务流程、资源信息的调整和重组，缺乏可扩展性、灵活性和适应性，其次是实现技术缺乏标准，不同的软件厂商提供了不同的实现技术，当前组件技术存在着多个标准，不同组件技术之间的互操作给集成增加了一定的成本和难度。通过平台的建设和使用将最大程度的解决数据共享和信息集成的问题，将各业务功能以服务的形式暴露于系统之外，供各类业务系统调用，简化了系统集成，可以快捷、容易地对业务需求的变化做出反应，而且这种调用是与平台和语言无关的，因此不必考虑实施环境是何种平台系统和设备，这使得各子系统之间的数据共享和信息集成更为简便，有效的推动了学院内部各子系统之间的信息共享，打破了传统的“信息孤岛”的局面。

促进教育信息化的标准化为落实《国家中长期教育改革和发展规划纲要（2010－2020年）》加快教育信息化进程的要求，建立教育信息化标准体系，以保障教育信息化健康有序发展，实现数据互通、资源共享，教育部2012年研究制定并发布了七个教育信息化相关标准，这是我国教育信息化建设过程中的重要里程碑，也体现出标准在教育信息化中的重要性。对学院教学、教育管理信息化的服务组件进行梳理也是教育信息化标准化工作的一部分，这种标准化体现在两个方面，一方面，采用web服务对组件进行封装，这是一种标准化的封装方法，以此保证组件具有被其他系统调用的标准接口，另外一方面通过梳理形成教育行业通用的服务组件，可以制定出构建业务应用系统的技术标准。通过本项目中对教育信息化中的基础设施和通用业务组件的梳理，有助于教育信息化技术标准的研究、制定、推广和应用,对于推动教育信息化的规范与协调发展,实现教育信息化资源共享和系统兼容具有重要意义。二、需求分析（一）业务需求基础设施与服务资源管理平台是为用户提供完善的应用开发和部署环境服务的平台，能够覆盖应用的整个生命周期，提供从应用开发、部署、运行到应用管理、监控、调优的全流程服务，具备低能耗、易部署、上手快、维护简单、动态伸缩以及费用低廉等特点。构建可视化的监控和运营管理平台，有效降低平台的运维成本：学校用户在控制台上进行所需的硬件、软件和服务的申请、应用的部署和管理等操作；平台运营管理员在控制台上进行用户申请审批、资源的管理和监控等操作。利用平台所包含的流程化和自动化组件，帮助IT管理部门实现计算资源管理和分配自动化，应用部署自动化，使IT系统获得更高的灵活性、可管理性和安全性，用最少的时间完成资源分配、服务配置、服务上线和服务激活等一系列原来需要耗费大量人力物力的操作，大大的提升服务的可用性，节约开支，提高效率。（二）功能需求平台基于云计算及SOA的软件体系架构设计，是一种具备高度扩展能力的弹性技术，为分布式计算和数据挖掘提供了很好的标准，同时，按照面向服务的软件体系架构设计，可以不考虑系统之间的异构性，不受开发语言及开发环境限制，既可以满足学校用户现有系统的业务需要，还可以适应系统功能的扩展和用户业务流程的变动，具有一定的前瞻性，实现用户一次投入和避免重复开发的目的。此外，借鉴互联网虚拟化和分布式技术架构，用户能够通过网络，以按需使用的模式使用IT资源。平台涵盖应用开发、应用部署、资源申请、应用运营维护等方面，具有快速部署、资源利用率高、维护简便的特点，大大提升了传统业务系统的高可用性和高性能。平台的技术建设目标，是将基础架构进行统一的规划和管理，建立统一的计算资源池，从该资源池中动态选择资源和服务，将其按照实际使用需求提供用户。用户可以基于这些服务构建自己的应用测试环境，进行功能和性能测试。整套服务体系仅提供逻辑资源，而隐藏物理资源的复杂性、异构性。这里需要注意的是，逻辑资源不完全等同于虚拟机，而是适合应用要求的计算、存储和带宽容量及公共服务。这里所指的物理资源则指代了支撑上层服务的各种物理设备，包括：服务器、网络设备、存储设备等。所以，整套系统应该是可以适应性能、功能等混合环境的平台。（三）数据需求通过服务组件的设计，规范相应的数据字典和数据源，包括结构化、半结构化、非结构化数据。统一数据中心的数据来源于各个业务系统的数据，通过数据交换平台，各个业务系统的数据库可以与统一数据中心数据库完成数据的同步采集和数据订阅功能。通过数据交换平台的数据抽取、数据转换、数据过滤，完成异质数据库间的数据交互，完成整体集成架构在数据集的统一集成，并保证各个业务系统的业务独立性。（四）性能需求本次项目建设能够在性能上采用最优化的配置达到最优化的效果，采用最合理的设计达到最安全的防护。平台建设要求本着可靠性、先进性、实用性、安全性、容错性、经济性、可扩展性、开放性、可维护性等原则，注重系统的科学性、设备的先进性、流程的合理性、功能的实用性、使用的可靠性、维护的方便性、接口的开放性、系统的再利用性等。要求建成之后的平台在性能上满足学院对基础设施与服务资源管理的需求。（五）安全需求安全防护历来是任何项目建设必须关注的一个方面，如何能够做到从数据的点到系统层面的系统安全防护同样是本次北京政法职业学院信息化项目建设的重点。在本次基础设施与服务资源管理平台项目建设过程中，对安全方面的要求主要包括（包括但不限于）：1、能够保证平台内部关键数据的安全；2、能够保证系统具有比较强的防病毒能力；3、保证平台在未来相当长的时间内系统能够稳定持续有效的工作；4、平台内部存储的文件及资料的安全性。本次项目针对以上提出的关于安全防护的需求，做出如下的部署，从而有效解决该平台的安全需求：1、对于平台内部关键数据的安全防护，本次规划采用对于存储系统关键数据的服务器及存储设备采用双机热备或者双机互热备的方式对其进行关键数据备份，在其中任一关键设备出现故障的情况下，能够无缝切换到互热备的设备进行工作，当故障设备修复之后，可以迅速恢复原来备份的关键数据信息，从而做到系统内部关键数据的安全防护。2、在平台采用持续、安全、有效、稳定和长时间运行的解决方案，本次规划在软件层面采用国内行业内目前主流的软件，同时在项目的建设上，有着众多重大项目投入使用及建设的经验，从而有效的保证系统能够长期有效安全持续高效的运行。3、存储资料的安全防护，对系统的存储采用raid机制的备份，以及存储的互备份，从而在存储故障恢复之后，能够在最短的时间内恢复存储的数据，从而达到系统存储资料的安全防护。三、建设目标（一）业务目标学校信息化建设的核心目标是充分利用信息技术，建立多层次、创新型、开放式的学校教育、教学及管理环境，提高办学的质量和效益。在信息化建设的过程中，除了立足教育行业本身的核心需求之外，可以不断借鉴其他行业的优秀经验。将互联网行业的建设思维-“用户体验为中心、构建商业模式为核心、实现价值创新为目标”，创造性的应用于教育行业，建设能够快速响应需求、实现敏捷开发的平台，从而真正做到以学生教师为本，创建更贴近用户的教育教学和管理模式，为职业教育创造更加敏捷的数字化的服务环境。学院基础设施与服务资源管理平台的建设，以云计算思想及面向服务的架构（SOA）为理念，针对学校现有的业务系统资源和数据，通过组件化、服务化的重构方式进行整合、管理和融通，以提供服务接口的方式，构建基于软件即服务（SaaS）思想的丰富的校园应用服务平台，拓展现实校园的时间和空间维度，在传统校园的建设基础上构建一个数字空间，实现从环境、资源到活动的数字化校园，最终达到提升教育教学质量和管理水平的目的。平台以组件化、服务化等更灵活的架构方式，打造多元化丰富多彩的学习型校园、健康校园、科技校园、艺术校园；着力建设科学、健康、方便的课堂生态环境；着力塑造与时俱进的阳光教师，用科技手段助力创造富有生命活力的教学过程，创建新型的学校关系结构和高效办公环境，为实现师生的价值而服务。（二）技术目标学院基础设施与服务资源管理平台基于云计算及SOA的软件体系架构设计，是一种具备高度扩展能力的弹性技术，为分布式计算和数据挖掘提供了很好的标准，同时，按照面向服务的软件体系架构设计，可以不考虑系统之间的异构性，不受开发语言及开发环境限制，既可以满足学校用户现有系统的业务需要，还可以适应系统功能的扩展和用户业务流程的变动，具有一定的前瞻性，实现用户一次投入和避免重复开发的目的。此外，借鉴互联网虚拟化和分布式技术架构，用户能够通过网络，以按需使用模式使用IT资源。平台涵盖了应用开发、应用部署、资源申请、应用运营维护等方面，具有快速部署、资源利用率高、维护简便的特点，大大提升了传统业务系统的高可用性和高性能。平台的技术建设目标，是将基础架构进行统一的规划和管理，建立统一的计算资源池，从该资源池中动态选择资源和服务，将其按照实际使用需求提供用户。用户可以基于这些服务构建自己的应用测试环境，进行功能和性能测试。整套服务体系仅提供逻辑资源，而隐藏物理资源的复杂性、异构性。这里需要注意的是，逻辑资源不完全等同于虚拟机，而是适合应用要求的计算、存储和带宽容量及公共服务。这里所指的物理资源则指代了支撑上层服务的各种物理设备，包括：服务器、网络设备、存储设备等。所以，整套系统应该是可以适应性能、功能等混合环境的平台。本次项目建设从技术角度出发，解决北京政法职业学院对于基础设施与服务资源管理平台项目的实际需求，从技术层面要求实现：规范系统接口标准，连接“信息孤岛”，提升资源利用效率；建设集中监控和运营管理平台，降低运营成本；进行数据整合，定义数据规范，为建设统一数据服务中心提供基础保障；进行服务整合，定义服务接口规范，建设服务集成平台。能够保证系统的安全性及稳定性，从而使系统能够持续高效运行，不影响正常学院工作。四、建设方案（一）建设原则以快速实现数字化校园为业务建设原则，实现软硬件资源的动态伸缩为技术建设原则。在校园网公共服务的基础上，以云计算及SOA理念为指导，以学校教学支撑和教育管理业务为核心，支持教育资源公共服务平台，通过各种服务组件技术将各种教育和管理资源进行深度整合，实现资源的高度共享和融合，不仅为教学、科研、行政提供服务，而且为计划、组织、管理与决策提供基础信息和分析工具，实现学校各部门之间的互联互通和教育资源的均衡发展。借助基础设施组件化和服务化重构，可以有效解决各部门信息系统间资源无法共享、信息割裂等问题。首先，在IT系统底层为业务系统构建一个共享资源池（包括网络、存储、服务器等），采用虚拟化技术和动态资源调度机制对资源进行实时的合理分配，做到真正合理的调配资源，最大程度的提升原有IT资源使用效率；其次，抽取公用技术组件（包括缓存、日志、负载、文件系统等）并规范各系统接口标准，整合“信息孤岛”，提升技术资源和技术组件的利用效率。本项目建设充分结合北京政法职业学院的实际需求，本着可靠性、先进性、实用性、安全性、容错性、经济性、可扩展性、开放性、可维护性等原则，注重系统的科学性、设备的先进性、流程的合理性、功能的实用性、使用的可靠性、维护的方便性、接口的开放性、系统的再利用性等。可靠性系统在设计上采用了高可用性技术、硬件设备冗余技术等必要手段，关键服务器和网络设备具有良好的环保性能、抗电磁干扰性能，性能比较优越，保证实现系统长期稳定、不间断运行，操作简单方便、安全可靠，最大限度地满足用户长期使用和管理要求,同时关键设备采用主备配置，确保了系统的稳健并且为用户方专门的极端应用环境提供可变策略的设计；系统软硬件采取严格的过程控制、质量检验与测试方法，确保系统软件运行稳定可靠，硬件质量达标合格。先进性技术开发架构、物理部署架构和应用软件采用互联网最新技术和方案实现，保证系统的先进性。安全性系统的稳定直接关系到宝贵资料的存储，因此系统的安全性设计是整个平台设计的关键环节。从平台设计阶段开始，采用多种可靠的技术手段，在数据存储安全、数据传输安全、内部网络安全保护、软件容错及质量控制等各个方面确保整个系统的安全性。容错性系统设计采用世界先进、国内外成熟的技术。能够匹配学院实际需要，能按照学院执行的策略制定，并能提供按实际使用环境进行模拟的各环节处理机制。经济性整个系统分板块部署，遵循统筹规划原则，多个板块可以快速整合为一个生产流水线的各个重要环节，所提供的设备具有最佳的性能价格比。开放性系统具备了开放的体系结构和用户接口。硬件设备具有多种规格的标准接口和通信协议，可以兼容不同厂家的产品和设备，在服务接口上采用标准开放的协议，避免采用厂家专有协议。可扩展性系统采用规范的体系结构和接口设计，支持系统在规模、处理能力、存储容量、网络负载方面的升级扩充，为技术升级、通道扩展等留有足够的余地。各分系统应是可扩展的，系统软硬件应采用便于升级的方式进行配置。可维护性在系统设计中考虑提供有效的系统监控手段和软硬件工具，以便网络通信系统、计算机主机和存储系统的运行状态，及时发现并通知系统故障和隐患，提供有效的故障排除手段，保障系统正常运行。（二）设计依据基础设施与服务资源管理平台分别对应用需要的服务组件、通用软件资源服务及硬件资源服务进行统一管理，实现用户对资源的动态申请、资源的重复利用、降低资源使用成本及提高数字化校园应用构建效率。基础设施与服务资源管理平台的建设，以云计算思想及面向服务的架构（SOA）为理念，通过组件化、服务化的重构方式进行整合、管理和融通，以提供服务接口的方式，构建基于软件即服务（SaaS）思想的丰富的校园应用服务平台，拓展现实校园的时间和空间维度，在传统校园的建设基础上构建一个数字空间，实现从环境、资源到活动的数字化校园，最终达到提升教育教学质量和管理水平的目的。此外，借鉴互联网虚拟化和分布式技术架构，学校用户能够通过网络，以按需使用的模式使用IT资源。平台涵盖了应用开发、应用部署、资源申请、应用运营维护等方面，具有快速部署、资源利用率高、维护简便的特点，大大提升了传统业务系统的高可用性和高性能。（三）总体建设任务与分期建设内容本项目的建设，在充分利用现有主流系统及软硬件基础上，结合学院的实际情况，使基础设施和服务资源的利用率达到最高，最好的体现价值，为应用的开发、部署、使用、运维提供统一的、便捷的服务和管理，降低成本。系统的主要配置如下：系统配置5台2路服务器来保证系统的运行。1、业务区域总体建设需要满足如下业务要求，资源申请者可通过平台提供的管理控制台进行资源申请，并按照申请者的实际情况进行资源的动态分配及回收。环境申请：环境申请是依据环境需要提供环境所需资源情况。根据使用基础软硬件平台的不同，向资源管理平台提出相应的资源申请并明确环境的使用时间；申请审批：进行环境申请的审批，并进行评审内容的反馈；环境搭建：依据申请内容进行应用运行环境的硬件环境（服务器、网络、存储等）的搭建；进行应用运行环境的软件环境(负载均衡、WEB容器、应用容器、文件系统等)的搭建；对于开发应用需要的服务组件进行组件下载搭建应用开发环境；环境验证：申请用户进行开发环境验证、基础软件及硬件是否按照需求进行搭建的验证；环境使用：用户进行开发环境的本地应用，通过通用服务组件进行数字校园应用的快速集成开发；环境续约：正常使用环境到期后，如果需要续约环境，那么通过平台能进行环境的续约使用；环境回收：使用环境到期后，需要进行环境回收，为其他用户的资源申请做好准备。为了实现用户资源的动态申请，快速满足上层业务应用构建需求，按照信息系统基础架构的层次划分，将资源管理平台划分为三层结构，即：服务组件层资源管理、数字资源组件层资源管理和基础设施层资源管理。同时需要进行服务组件层、基础数据层和基础设施层的内容建设。服务组件层将不同的功能模块封装成标准的服务组件，并提供接口，供业务应用系统集成，从而减少应用系统各自开发的工作量。封装的服务组件根据实现的功能不同，包括业务组件和技术组件。数字资源层主要完成学院总体资源的存储以及提供对外访问接口。数字资源通过数据库、文件系统或其它数字资源存储系统来存储。数字资源的类型和格式存在多样性，因此，结构化，半结构化和非结构化数据的存储均需要支持。基础设施资源层提供服务组件及上层应用所需要的所有硬件资源，包括计算、存储、网络和其它资源，并实现资源的虚拟化。上层应用根据需要动态申请资源，并基于分配的资源部署和运行任意软件，包括操作系统和应用程序。2、服务器采用虚拟化技术，从5台物理服务器中虚拟出2台WEB服务器、2台应用服务器，3台从-数据库服务器、2台数据收集服务器、3台数据分析服务器、1台监控服务器；5台物理服务器中的2台作为分布式文件服务器、缓存服务器、负载均衡服务器和数据库服务器（主、主-从），3台作为资源管理服务器（硬件、网络、计算、存储资源）。数据库服务器是存放元数据的中心，处于核心位置，数据库服务器用于存储元数据。集群数据库设计，实现读写分离，分为主、主从、从数据库，主数据库负责写，主从数据库负责数据同步到从数据库，从数据库负责读。WEB服务器实现对静态文件、页面的访问，提高访问速度，同时用户HTTP请求的处理和转发。为平台的管理控制台系统提供web中间件服务。应用服务器应用服务器用于平台管理控制台应用，WEB服务器将请求转发给应用服务器，应用服务器处理请求，在需要的时候访问数据库服务器进行数据的获取和存储，然后将响应结果返回给WEB服务器。为平台的管理控制台系统提供应用中间件服务。分布式文件服务器用于存储各种资源文件，并提供对资源文件的获取服务；文件同时存储在2台文件服务器中，实现同步，保证资源文件的备份安全；分布式文件服务器由WEB服务和应用服务器访问。负载均衡服务器为应用和数据库服务提供负债均衡服务，提高访问的高并发。缓存服务器应用系统的各种系统参数和业务参数存储在缓存服务器中，使得应用获取这些参数的性能大大提高，为用户提供更快的响应。数据收集服务器用户行为日志、业务系统数据等通过大数据技术收集到数据服务器中。数据分析服务器用于数据的分析和应用。监控服务器对平台内的各种服务器、软件应用和服务进行监控。（四）总体框架如上图所示，为本次基础设施与服务资源管理平台项目拓扑图：系统设计包含：1、WEB服务器集群安装WEB服务器中间件Ngnix，提供静态资源访问服务和HTTP请求处理服务。2、应用服务器安装Tomcat应用中间件服务器，提供应用访问服务。3、分布式文件服务器安装FastDFS，提供资源文件的存储和访问服务，资源文件存储在存储设备中。4、缓存服务器安装Redis，提供缓存服务，提高对参数的访问速度。5、数据库服务器安装Mysql数据库，提供数据库服务，采用主-主从-从方式部署，实现数据的同步，保证数据的安全；实现数据的读写分离，提高数据的访问速度。6、数据收集服务器安装Scribe，收集应用日志或业务系统数据，用于大数据分析和应用。7、数据分析服务器安装Hadoop，通过大数据技术，对数据进行分析和应用。8、负载均衡服务器安装LVS、Nginx、HA，为应用和数据库访问提供负载均衡服务，提高访问并发数。9、监控服务器安装Zabix，对平台内的各种服务器、软件应用和服务进行监控。10、系统集成完成系统的软硬件集成及技术售后服务、培训等，为系统的维护及稳定有序的运行提供保障。1、管理控制台设计为了实现用户资源的动态申请，快速满足上层业务应用构建需求，需要通过基础设施与服务管理平台提供的管理控制台系统来实现学校应用资源申请、应用服务组件统一管理。如要实现应用组件快速构建业务流程如下：用户登录管理控制台系统中进行资源申请，申请完资源后结合已有的服务组件进行应用的开发，然后进行应用部署及进行应用监控。在监控过程中发现需要进行优化，进行应用的优化。管理控制台系统对三大部分进行管理：硬件资源管理、软件资源管理、服务资源管理。通过硬件、软件、服务的申请与分配实现应用系统的快速搭建，从而使平台用户高效地创建自己所需要的应用服务，同时由于动态的分配与回收资源，达到了节省平台空间与成本的目的。硬件资源管理包括：虚拟机的创建CPU核心数量的申请分配内存大小的申请分配磁盘空间大小的申请分配镜像的制作与上传网络的创建与使用创建子网为虚拟机所使用创建路由来桥接内网与外网通过端口实现路由与网络的对接软件资源管理包括：数据库资源管理的申请与分配缓存资资源管理的申请与分配文件系统资源管理的申请与分配WEB容器资源管理的申请与分配负载均衡资源管理的申请与分配Hadoop资源管理的申请与分配服务资源管理包括：日志服务组件的申请与分配文件处理服务组件的申请与分配搜索服务组件的申请与分配上传服务组件的申请与分配下载服务组件的申请与分配按照信息系统基础架构的层次划分，将平台划分为三层结构，即：服务组件层、基础数据层和基础设施层。2、服务组件层设计平台服务管理模块能将现有各种业务能力进行整合，具体可以归类为应用服务器、业务能力接入、业务引擎、业务开放平台，向下根据业务能力需要测算基础服务能力，通过资源管理模块提供的API调用硬件资源，向上提供业务调度中心服务，实时监控平台的各种资源，并将这些资源通过API开放给上层应用。服务管理模块主要具备以下三个特点：(1)服务组件模块所提供的服务与其他服务最根本的区别是服务组件模块提供的是一个基础平台，而不是某种应用。在传统的观念中，平台是向外提供服务的基础。一般来说，平台作为应用系统部署的基础，是由应用系统来搭建和维护的，而服务组件块颠覆了这种概念，将不同类型的服务集中管理，形成服务平台，并将该平台以服务的方式提供给上层应用系统。(2)服务组件所需提供的服务，不仅仅是单纯的基础平台，而且包括针对该平台的技术支持服务，甚至针对该平台而进行的应用系统开发、优化等服务。而在新应用系统的开发过程中，服务组件不断丰富而多样的技术服务组件和业务服务组件，也是保证应用系统实现代码复用和敏捷开发的基础。(3)服务组件对外提供的服务不同于其他的服务，这种服务的背后是经过精心设计和严格封装的服务组件平台。这种“平台级”服务能够保证支撑上层应用长时间、稳定的运行。服务管理模块的实质是将资源及功能服务化为可编程接口，为上层应用开发提供有价值的资源和服务平台。有了服务管理模块的支撑，上层应用开发者就获得了大量的可编程元素，这些可编程元素有具体的业务逻辑，这就为开发带来了极大的方便，不但提高了开发效率，还节约了开发成本。有了服务管理模块平台的支持，应用的开发变得更加敏捷。完整的服务管理模块提供功能如下：应用运行环境；分布式运行环境；多种类型的数据存储；动态资源伸缩；应用全生命周期支持；提供开发SDK、IDE等加快应用的开发、测试和部署；平台服务：以API或其他部署方式提供公共服务，如负载均衡、应用容器等；技术服务：以API形式提供公共服务，如存储服务和缓存服务等。业务服务：以API或者WEB服务方式服务；监控、管理和计量：提供资源池、应用系统的管理和监控功能，精确计量。应用使用所消耗的计算资源；集成、复合应用构建能力：除了提供应用运行环境外，还需要提供连通性服务、整合服务等用于构建SOA架构风格的复合应用。3、基础数据层设计基础数据层通过数据库、文件系统或其它数字资源存储系统来存储。数字资源的类型和格式存在多样性，支持结构化，半结构化和非结构化数据的存储均需要。基础数据层收集业务系统的数据，然后用于分析和应用，此过程由数据分析系统负责实现。数据分析系统的主要功能是从外部系统中，采集相关的业务数据，集中存储到系统的数据库中。系统内部对所有的原始数据通过一系列处理转换之后，存储到数据仓库的基础库中；然后，通过业务需要进行一系列的数据转换到相应的数据集市，供其他上层数据应用组件进行专题分析。因此，从数据被采集、转换、存储、分析、应用的角度对系统内部技术构件进行抽象，将数据分析系统内部分为日志收集系统、数据计算系统、前段呈现系统、三个逻辑模块。数据分析系统的技术体系架构如下图：前端呈现系统前端呈现系统数据计算系统日志收集系统HiveMapReduceHdfsLogsScribe本地缓存Logs数据报表统计模型1统计模型2统计模型3统计模型NETL数据仓库数据集市SqoopHue前端报表报表查询Olap日志收集系统中主要应用Scribe等技术，通过接口从各专业系统采集文件数据，并加入本地缓存机制，当网络出现故障时，scribe可以暂时把日志写到本地缓存中，从而提高系统的容错性。在计算系统中，主要应用Hadoop等技术。HDFS分布式文件系统，用于存储系统收集的业务数据，存储系统各类运行参数配置信息，以及其他的运行过程信息；Hadoop的Mapreduce计算模型，用于数据的各种模型计算。Hive数据仓库提供各类动态统计分析报表的数据聚合、多维分析、数据生产等。前端呈现系统主要使用各种报表工具以及mysql等关系数据库或Hbase等Nosql数据库，提供各种报表呈现、实时查询等功能。4、基础设施层设计基础设施模块功能是将数据中心所有服务器、存储和网络设备集中统一管理，通过模版配置和动态调整等功能为用户提供整合的、高可用性的、可快速部署使用的IT基础设施。其提供给用户的IT基础设施环境实际上是具备服务能力的虚拟机。用户可以通过基础设施与服务资源管理平台的管理控制台上的基础设施模块操作界面进行虚拟机的申请、关闭、重起等操作。同时也可以在平台中获取所申请虚拟机的信息，例如IP地址等，并像操作物理机一样的方式，登陆到虚拟机中进行相关应用软件的部署。基础设施模块支持资源分配的弹性部署，即当物理服务器宕机后，其上运行的虚拟机会在其他物理机上自动再次重启。因此需要应用集群支持动态的弹性部署，即支持集群中服务器任意节点的重启恢复和动态增减。基础设施模块上部署的应用应是集群工作模式，即集群中的各虚拟机为对等节点。当一台虚拟机因宕机造成虚拟机无法提供服务时，应用系统在不停机的情况下需保证以下几点：该虚拟机的宕机将不影响应用的后续总体正常服务。负载均衡系统应将指向宕机虚拟机的负载重定向至集群中的对等虚拟机。基础设施模块具备物理机HA功能，能在半小时内将因物理机宕机造成的宕机虚拟机重新在其他物理机宿主上重启。这时虚拟机上的应用服务将重新恢复服务能力，应用系统在不停机的情况下需保证以下几点：虚拟机上的应用服务需具备随虚拟机重启后自动重启恢复的能力。应用服务重启后，应能自动加入服务集群。负载均衡系统应能发现此宕机恢复虚拟机，并将相关服务负载指定为该虚拟机处理。虚拟机的宕机恢复应不影响应用的后续总体正常服务。基础设施模块提供动态伸缩接口功能，应用可利用该功能动态增加集群内的服务虚拟机以增加应用的服务能力，因此应用系统在不停机的情况下需保证以下几点：新增虚拟机后，应能自动加入服务集群。负载均衡系统应能发现此新增虚拟机，并将相关服务负载指定为该虚拟机处理。新增虚拟机应不影响应用的后续总体正常服务。虚拟机可能因动态伸缩或应用部署要求退出服务集群，此时应用系统在不停机的情况下需保证以下几点：该虚拟机退出服务集群将不影响应用的后续总体正常服务。负载均衡系统应将指向该退出虚拟机的负载重定向至集群中的对等虚拟机。（五）技术方案1、应用软件开发基础设施与服务资源管理平台的管理控制台系统用于实现对平台上的硬件资源管理、软件资源管理、服务资源管理。通过硬件、软件、服务的申请与分配实现应用系统的快速搭建，从而使平台用户高效地创建自己所需要的应用服务，同时由于动态的分配与回收资源，达到了节省平台空间与成本的目的。管理控制台对各种服务的操作和管理依赖于相应的服务和组件实现，同时业务系统可借助平台提供的应用服务组件来提高开发速度，减少开发周期和成本。应用开发技术1.1.1管理控制台系统开发高校教学倡导以教学为核心，开放管理，这就要求信息化系统必须满足人员、位置的开放性。在网络化的今天，必须要求以WEB形式的B/S系统成为应用的主体。基础设施与服务资源管理平台的管理控制台系统在Java框架下实现三层架构的分布式架构，并且依托MySQL数据库平台，提供功能强大，简单方面，实时交互的产品。技术架构图整个技术构架平台有如下技术优势：基于服务的架构（SOA）通过WebService技术进行数据的交换，利用标准的XML作为服务器端与客户端信息的通讯格式。把功能模块变成可以调用的独立服务，提供更好的通用性和可重用性。这一以模块化为基础的革命性的技术能够使实验室实现IT与业务紧密结合，提高了业务流程的灵活性，从而真正帮助实验室快速响应外部变化；解决了实验室管理核心：开放管理。面向服务的体系结构是一种具有特殊性质的体系结构，它由强调互操作性和位置透明度的组件互连而成。Web服务是一种实现SOA的技术，而SOA正在成为开发响应性好、可适应的新型应用程序所选择的体系结构。基于Java开发语言Java是一种跨平台，适合于分布式计算环境的面向对象编程语言。具体来说，它具有如下特性：简单性、面向对象、分布式、解释型、可靠、安全、平台无关、可移植、高性能、多线程、动态性等。Java有许多值得称道的优点，如简单、面向对象、分布式、解释性、可靠、安全、结构中立性、可移植性、高性能、多线程、动态性等。Java摈弃了C++中各种弊大于利的功能和许多很少用到的功能。Java可以运行与任何微处理器，用Java开发的程序可以在网络上传输，并运行于任何客户机上。采用成熟的数据库后台数据库采用MySql数据库；该数据库拥有以下特点1．它使用的核心线程是完全多线程，支持多处理器。2．有多种列类型：1、2、3、4、和8字节长度自有符号／无符号整数、FLOAT、DOUBLE、CHAR、VARCHAR、TEXT、BLOB、DATE、TIME、DATETIME、TIMESTAMP、YEAR、和ENUM类型。3．它通过一个高度优化的类库实现SQL函数库并像他们能达到的一样快速，通常在查询初始化后不该有任何内存分配。没有内存漏洞。4．全面支持SQL的GROUPBY和ORDERBY子句，支持聚合函数(COUNT()、COUNT(DISTINCT)、AVG()、STD()、SUM()、MAX()和MIN())。你可以在同一查询中混来自不同数据库的表。5．支持ANSISQL的LEFT0UTERJOIN和ODBC。6．所有列都有缺省值。你可以用INSERT插入一个表列的子集，那些没用明确给定值的列设置为他们的决省值。7．MySQL可以工作在不同的平台上。支持C、C＋＋、Java、Perl、PHP、Python和TCLAPI安全集成技术采用数据库层面的集成技术，与其他系统进行集成；在数据安全的基础上，又保证了管理控制台系统开放性使用的原则。产品模块化设计，安全性强、方便扩展

产品按国际标准采用模块化设计，独立性强；模块化设计方便用户根据需要进行功能扩展，可以轻松的在平台上挂新的功能模块，并可与原有功能相互调用、相互协作。完全B/S架构产品采用B/S结构，所有系统管理及升级只在服务器进行，各个客户端无需任何设定改变，在产品的升级和更新时不会影响用户的数据资料。1.1.2负载均衡服务实现负载均衡系统组件将上层业务应用的请求负载进行平衡、分摊到下层多个操作单元上进行执行，从而共同完成业务应用需求。 负载均衡建立在现有网络结构之上，它提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。需要说明的是：负载均衡设备不是基础网络设备，而是一种性能优化设备。对于网络应用而言，并不是一开始就需要负载均衡，当网络应用的访问量不断增长，单个处理单元无法满足负载需求时，网络应用流量将要出现瓶颈时，负载均衡才会起到作用。为实现平台的负载均衡，需要的开源软件如下：Ipvasadm，IP虚拟服务器管理器，用于管理LVS下的负载均衡功能。Keepalive，通过心跳检查服务器存活状态，出现故障时自动切换Haproxy，提供TCP及HTTP应用的高可用负载均衡Nginx，用于处理HTTPS应用的加解密Pcre，perl库，nginx需要依赖其解析正则Openssl，nginx处理HTTPS请求。需要对LVS相关开发项如下：Ipvasadm，IP虚拟服务器管理器配置脚本开发：为了快速满足负载均衡的动态部署，要实现整体平台多个LVS集群负载均衡的统一快速部署，需要通过配置脚本实现在负载均衡服务器上的自动快速装载，ipvasadm就是通过脚本命令配置方式来实现，通过ipvasadm,IP虚拟服务器管理器配置开发脚本以实现LVS的集群负载均衡自动化功能。Keepalive心跳检测配置脚本开发：当搭建好一个负载均衡系统后，为了保证其稳定正常运行，实时检测服务器的运行状态，检测到服务器故障并及时自动切换服务，保证业务应用的不中断，需要Keepalive心跳检测配置的开发来满足高并发条件下Keepalive的总体配置。Haproxy负载均衡器配置脚本开发：HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，快速并且可靠的解决方案。HAProxy特别适用于负载大的web站点，为完成高速处理请求及响应信息，为了快速满足Haproxy负载均衡器的同意快速部署，快速满足业务需求，需要Haproxy负载均衡器配置开发来满足此功能。Openssl，Nginx处理HTTPS加解密配置脚本开发：有些应用在服务器与客户之间传输内容是需要加密的，为了防止信息被监听或泄露，有必要对一些请求做HTTPS应用的加解密的处理，需要Openssl，Nginx处理HTTPS加解密配置开发来满足集群环境下高并发、高可靠性。Pcre，perl库配置脚本开发：Nginx通过rewrite及正则表达式伪装静态配置参数，实现规范的URL、根据变量来做URL转向和配置，同时也便于搜索引擎的抓取，为了满足统一、规范的快速部署，需要Pcre，perl库配置开发来进行集群环境下的快速动态部署。标准化负载均衡服务器统一安装脚本：在集群环境下为统一配置管理，提高搭建环境效率，前期集群安装配置，后期维护自动化安装，实现负载均衡系统的自动化、标准化，因目前不支持安装的自动化和标准化，所以需要开发标准化负载均衡服务器统一安装脚本。标准化负载均衡服务器统一分发部署脚本：在集群配置完成负载均衡服务器后，后期维护需要对相应的服务器也需要做对应的安装，为了保证配置文件、代码和脚本的一致性，快速的完成安装，所以需要发布标准化负载均衡服务器统一分发部署脚本。标准化负载均衡服务器同步脚本：在集群配置完成负载均衡服务器后，后期维护需要对相应的服务器设备上做对应的同步，为了保证配置文件、代码和脚本的一致性，快速的完成同步，所以需要发布标准化负载均衡服务器同步脚本。同网段VLAN划分的负载均衡组网脚本开发：在负载均衡组同网段的VLAN下分发ip，ip分发需要自动化脚本实现，手动分发或静态配置分发都不能完成同网段的VLAN的自动化，所以需要开发同网段VLAN划分的负载均衡组网脚本。不同网段VLAN划分的负载均衡组网脚本开发:在负载均衡组不同网段的VLAN下分发ip，ip分发需要自动化，手动分发或静态配置分发都不能完成不同网段的VLAN的自动化，所以需要开发不同网段VLAN划分的负载均衡组网脚本来提高系统自动化程度。HTTP请求负载均衡池增加、删除、修改脚本开发:在负载均衡系统中，由负载均衡池处理HTTP请求负载均衡池的规则需要标准化、自动化，为统一管理负载均衡池的管理标准，所以需要开发HTTP请求负载均衡池增加、删除、修改脚本来提高负载均衡池的效率。HTTPS请求负载均衡池增加、删除、修改脚本开发:在负载均衡系统中，由负载均衡池处理HTTPS请求负载均衡池的规则需要标准化、自动化，为统一管理负载均衡池的管理标准，所以需要开发HTTPS请求负载均衡池增加、删除、修改脚本来提高HTTPS负载均衡池的效率。TCP请求负载均衡池增加、删除、修改脚本开发在负载均衡系统中，由负载均衡池处理TCP请求负载均衡池的规则需要标准化、自动化，为统一管理负载均衡池的管理标准，所以需要开发TCP请求负载均衡池增加、删除、修改脚本。负载均衡高可用架构：负载均衡集群系统传统做法，负载均衡服务器出现故障，则整个负载均衡系统处于瘫痪状态，为了去除这种单点故障发生，所以开发负载均衡高可用架构，统一实现负载均衡集群化管理。负载系统的监控开发为实现负载均衡系统的高可用性，将停止服务时间降至到最后甚至是不间断服务，保持负载均衡集群中定时健康检查，及时发现故障排除问题，实现服务的高可用性，所以需要开发负载均衡系统监控。负载均衡管理功能开发为实现负载均衡系统的高可用性、可扩展性、可视性、高性能高可靠性和安全性。高可用性将停止服务时间降到最低；可扩展性使系统具备良好的伸缩能力；可视性系统和服务的状态处于一个实时的监控下高性能高可靠性经过优化的体现结构及合理的备份策略；安全性结构上的安全及主机的安全策略，所以需要开发负载均衡管理功能，统一管理负载均衡功能。DNS管理平台开发能够使集群更方便的访问互联网，而不用去记住能够被集群直接读取的ip数串，需要配置域名和ip地址的互相映射，所以需要开发DNS管理平台，统一管理定制域名指向。负载均衡集成单机性能测试脚本开发在搭建负载均衡单机版后，需要实现单机负载均衡系统容量、io、连接数等性能评估，为集群负载均衡系统提供评估参考数据，所以需要开发负载均衡系统系统集成单机性能评测脚本。负载均衡集成集群性能测试脚本开发在搭建负载均衡集群后，需要实现集群负载均衡系统容量、io、连接数等性能评估，为集群负载均衡系统提供优化参考数据，所以需要开发负载均衡系统集成集群性能测试脚本。负载均衡安全性检查脚本开发为了保证负载均衡系统的安全运行，需要对负载均衡系统自动化安全扫描，扫描涵盖SQL注入等常见漏洞，及时发现漏洞并为漏洞打补丁，所以需要开发负载均衡系统安全性测试脚本。负载均衡集成io数据传输调整脚本开发实现负载均衡系统的高性能，需要解决问题之一io的瓶颈问题，实现不同业务场景不同io调试，所以需要开发负载均衡系统io数据传输调整脚本。负载均衡集成内存使用调整脚本开发实现负载均衡系统的高性能，需要解决问题之一内存的配置问题，实现不同业务场景不同内存调试，所以需要开发负载均衡系统集成内存数使用脚本。负载均衡CPU使用调整脚本开发为实现负载均衡系统的高性能，需要解决问题之一CPU的分配问题，实现不同业务场景不同CPU调试，所以需要开发负载均衡CPU使用调整脚本，统一管理提高CPU使用效率。负载均衡网卡流量调整脚本开发实现负载均衡系统的高性能，需要解决问题之一网卡流量的配置问题，实现不同业务场景不同网卡流量调试，所以需要开发负载均衡系统网卡流量使用调整脚本，统一管理提高网卡使用效率。负载均衡优化脚本开发在集群环境下为保证所有的负载均衡在统一、规范及高效的环境下运行，需要有统一的优化脚本对负载均衡进行优化。合理选择LVS运行模式：LVS常用模式分为DR模式和NAT模式，由于DR模式只处理进入的数据包，出去的数据包由后端服务器返回，因此可以大大提升LVS的并发处理能力，降低服务器的负载；调整内核网络参数：由于系统的自我保护机制会限制网络连接数量，因此需要调整内核的网络参数提高系统的网络连接数来提升LVS的连接数量；调整会话保持时间：连接保持时间过长会占用系统资源，过短会导致未完成的会话被关闭，因此合理的配置会话保持时间尤为关键，需要根据业务状态进行合理的设置；调整最大连接数：负载均衡的连接数量可以通过参数进行调整，调整一个比较大的数值可以保证负载均衡能够承载更多的连接；1.1.3集群数据库服务实现数据库系统通过对底层存储介质的有效管理为上层应用提供数据的存储、维护及管理服务。数据库组件指的是“数据库即服务”，用户无须在本机安装数据库管理软件，也不需要搭建自己的数据管理集群，而只需要使用数据库组件服务。数据管理组件的主要特点有：透明性。用户无须考虑服务实现所使用的硬件和软件，利用其提供的接口使用其服务即可；可伸缩性。伸缩性是云系统提供的重要特性，用户根据自己的需求申请各种资源即可，而且需求还可以动态变化；高可用：数据有多个副本，一个副本实例当机，另一个副本可在短时间内接管服务；高可靠：数据定期备份，并具有多种备份策略；数据安全：用户的sql将通过安全审计通道检查，避免受到sql注入等方面的影响；易用：用户只需要申请实例和访问数据库，而不需要进行额外的运维操作；易维护：运维工作如备份、迁移、切换等，都由rds平台完成，无需用户接入；低成本：用户不用自行准备机器搭建数据库环境，节约了机器成本；用户无须购买自己的基础设施和软件，节约了硬件费用及软件版权费用。数据库是基础设施与服务资源管理平台的核心组件，该平台的数据库采用Mysql5.5，对于此开源数据，需要进行开发及配置优化项如下：数据库的主从复制读写分离功能。经过多维数据库主从设计，实现数据库高可用，并且可以快速迁移修复数据库宿主机故障带来的数据不一致。支持多种数据库引擎，MyISAM、MyISAMMerge引擎、InnoDB、memory（heap）、archive。不同数据引擎的搭配实现多业务同平台，解决不同业务需求。数据库索引分析、建立。根据不同业务需求、数据类型、数据结构、数据库引擎建立不同类型索引。建立存储过程，存储过程是数据库存储的一个重要的功能，在提高数据库的处理速度同时也可以提高数据库编程的灵活性、减少开发成本。还能减少网络流量，同时确保数据库的数据安全。建立远程管理，通过界面化的管理，降低数据库管理难度，并且隔离数据库权限，减少误操作可能。数据库结构、表结构结构规划，自动化分库、分表操作开发。支持数据库的动态伸缩。需要对数据库服务组件开发如下：单机数据库自动化安装开发单机数据库自动化安装组件是一个实现数据库按照自动化、标准化的组件。由于MySql使用的是linux版本，缺少界面化操作，在安装过程中需要通linux命令按步骤安装，这样会导致安装过程慢且容易出错，因此需要开发一个自动化安装的脚本组件，来提高安装效率。实现此组件开发，首先编写一个shell脚本，把单击安装的各个步骤的命令汇总，其次，编写配置文件，供脚本调用。基于HA集群架构自动化安装开发HA集群架构自动化安装是一个实现集群数据库HA调度自动化，集群配置自动化的组件。实现HA集群处理大数据量，需要配置数据库集群，数据库集群需要保证每个数据库数据的一致性，因此必须保证每个数据库的配置一致，人为单机安装数据库有以下弊端：1、安装工作量大，2不能保证安装的数据库配置一致，因此需要开发一个HA集群架构自动化安装组件。高可用数据库平台结构组网脚本开发HA数据库集群包含主库、主从库、从库，三种库建立关联，需要通过在每种库里执行不同脚本，由于从库量比较多，如果人工去建立关联，工作量会很大，容易出错，且以后增加从库，建立关系很难保证与已有的从库关联规则保持一致。开发数据库平台结构组网脚本组件，需要先配置好各个服务器的IP，把IP写入配置文件，编写脚本，在执行脚本过程中读取配置文件，通过IP自动区分数据库类型，并执行不同的命令，达到组网的目的。数据库容量计算脚本开发数据库的性能会随着数据库里的数据量的改变而改变，当数据库的数据量达到一定程度，数据库的读写性能会降低，因此需要编写一个数据库容量计算脚本来监控数据库容量，从而保证数据库的运行性能达到最优状态。数据库冗余备份脚本开发由于安装数据库的服务器可能会出现故障，如果数据库服务器出现故障，那么将会带来很大的危害，因此需要在其它服务器备份数据库。数据库平台各种情况下灾难恢复脚本开发由于数据库平台可能会出现各种问题，导致数据库出现灾难性的崩溃，因此需要开发数据库平台各种情况下灾难恢复脚本，方便及时准确定位问题，快速解决数据库出现的问题。数据库库结构导入、导出脚本开发为了实现数据库库结构的可移植性，方便在其它环境建立库结构，需要开发导入、导出数据库结构脚本，进而保证数据库库结构的一致性。数据库系统集成单机性能评测脚本开发数据库的配置参数优化是根据Mysql的使用情况来确定，而查看Mysql的使用情况需要通过一些脚本来查看，查看不同参数的使用情况，需要不同的查看命令，因此需要开发一个性能评测脚本组件，来为优化数据库提供参考。数据库系统集成集群性能评测脚本开发由于生产环境和开发环境存在着差异性，开发环境很难完全模拟生产环境，因此需要开发数据库系统集群性能评测脚本，来对生产环境数据库集群容量、io、连接数等进行总体评估。数据库安全性测试脚本开发为了避免数据库出现问题，需要经常对数据库的运行情况进行测评，通过测评结果来对数据库做相应的优化来避免数据库可能发生的问题，因此需要开发数据库安全性测试脚本来方便测评人员对数据库进行安全扫描，发现SQL注入的常见漏洞。数据库灾难恢复脚本开发数据库如果出现问题，将直接导致生产环境崩溃，造成严重的后果，如果人为的处理数据库故障，首先不能及时发现数据库已出现故障，其次，不能保证故障恢复的正确性，因此需要开发数据库灾难恢复脚本，从而达到自动、快速、正确的恢复数据库运行。数据库io数据传输调整脚本开发任何一个数据库系统，必然存在对数据的大量读写操作，读写操作实质是通过IO读写磁盘，因此IO问题是导致数据库性能问题的重要原因，开发数据库io数据传输调整脚本，可方便不同业务场景不同io调试，提高磁盘io效率。数据库内存使用调整脚本开发数据库在运行过程中，会在内存中划出一块区域来作为数据缓存。内存过小，会影响数据库性能，内存过大，会造成资源浪费，所以我们需要随着生产环境数据量的变化而不断调整数据库内存，因此需要开发数据库内存使用调整脚本，实现不同业务场景不同io调试，提高内存使用效率。数据库CPU使用调整脚本开发数据库CPU是决定数据库性能的主要因素之一，数据库CUP消耗过大除硬件配置因素影响外，另一个因素是不合理的SQL，当数据库遇到使用率偏高时，需要进行问题查找及解决，因此需要开发数据库CPU使用调整脚来方便调试人员在不同业务场景对不同CPU调试，提高CPU使用效率。数据库分角色配置标准开发由于数据库集群有读写分离，因此需要为不同类型的数据库建立不同的角色，并为角色分配权限，由于数据库集群数据库数量多，分配起来工作量大，且不能保证正确性和一致性，因此需要开发数据库分角色配置标准。一致性分发开发数据库集群将一台数据库服务器的压力分发到多台服务器，从而提高单个数据库服务器的性能，但各个数据库数据的一致性是数据库集群首先考虑的因素，因此需要定制开发一个保证数据库数据一致性的方案，优化配置各个数据库，保证数据的一致性和正确性。异地备份开发由于数据库集群的部署受实际环境的影响，如几个数据库服务器都在同一机房，如果机房出现问题，则整个数据库整个集群将面临毁灭性的打击，因此需要在异地将集群的主库进行备份，当数据库集群整体出现问题时可以有效的恢复数据。数据库管理功能开发数据库集群可以为应用系统提供高性能的支持，高伸缩性是数据库集群的显著特点，同时数据库集群维护也比较复杂，如增加或删除数据库，如果通过命令去操作，首先操作比较复杂，另外出错的机率很高，可能会影响到整个数据库集群，因此需要开发一个数据库管理平台，这样数据管理员即可通过界面化操作即可对数据库集群进行维护。1.1.4分布式缓存服务实现分布式缓存组件从下层存储介质获取数据，将数据相对较高访问速度提供上层应用(例如：教务、科研等应用)处理。一方面缓存访问速度快，可以减少数据访问的时间，另一方面如果缓存的数据是经过计算处理得到的，那么被缓存的数据无需重复计算即可直接使用，因此缓存还起到减少计算时间的作用。 分布式缓存具有如下特性:1) 性能:当传统数据库面临大规模数据访问时,磁盘I/O往往成为性能瓶颈,从而导致过高的响应延迟.分布式缓存将高速内存作为数据对象的存储介质,数据以key/value形式存储,理想情况下可以获得DRAM级的读写性能;2)动态扩展性:支持弹性扩展,通过动态增加或减少节点应对变化的数据访问负载,提供可预测的性能与扩展性;同时,最大限度地提高资源利用率;3)高可用性:可用性包含数据可用性与服务可用性两方面.基于冗余机制实现高可用性,无单点失效(singlepointoffailure),支持故障的自动发现,透明地实施故障切换,不会因服务器故障而导致缓存服务中断或数据丢失.动态扩展时自动均衡数据分区,同时保障缓存服务持续可用;4)易用性:提供单一的数据与管理视图;API接口简单,且与拓扑结构无关;动态扩展或失效恢复时无需人工配置;自动选取备份节点;多数缓存系统提供了图形化的管理控制台,便于统一维护;5)分布式代码执行(distributedcodeexecution):将任务代码转移到各数据节点并行执行,客户端聚合返回结果,从而有效避免了缓存数据的移动与传输.最新的Java数据网格规范JSR-347中加入了分布式代码执行与Map/reduce的API支持,各主流分布式缓存产品,如IBMWebSphereeXtremeScale,VMwareGemFire,GigaSpacesXAP和RedHatInfinispan等也都支持这一新的编程模型.为实现分布式缓存，采用的开源方案为Redis2.6。服务组件开发平台中需要对Redis进行参数配置及开发项如下：内存管理优化，通过设置hash-max-zipmap-entries调节线性紧凑格式存储使用，从而减少大量指针的内存开销。内存预分配，Redis内部采用了一个sharedinteger的方式来省去分配内存的开销，即在系统启动时先分配一个n个数值对象放在一个池子中，如果存储的数据恰好是这个数值范围内，则直接从池子里取出该对象，能一定程度上节省内存并且提高性能。持久化机制：定时快照方式(snapshot)该持久化方式实际是在Redis内部一个定时器事件，每隔固定时间去检查当前数据发生的改变次数与时间是否满足配置的持久化触发的条件，如果满足则可以通过子进程来遍历整个内存来进行存储操作。基于语句追加方式(aof)类似mysql的基于语句的binlog方式，即每条会使Redis内存数据发生改变的命令都会追加到一个log文件中，也就是说这个log文件就是Redis的持久化数据。主从复制，提高数据可靠性。同一个Master可同步多个Slaves；Slave可接受其它Slaves的连接和同步请求，有效分载Master的同步压力；在Master-Slave同步期间，客户端仍可提交查询或修改请求；主从复制可以用来提高系统的可伸缩性；可禁用Master数据持久化操作，避免在Master中要有独立的进程来完成此操作。并行请求。需要开发中间件，将无彼此依赖的数据批量发送到Redis服务端，组成最简单无关联的key&&value模式，增加程序处理速度。需要建立Redis池。通过客户化开发的中间件将Redis划分成为不同pool，以应对应用负载的多样性。通过客户化开发的中间件划分冷热数据。将冷热数据分离，及时清理冷数据，提供缓存的命中率。实现分布式缓存需要开发如下：缓存服务器集群安装脚本安装缓存服务器过程步骤多，且各个步骤有依赖关系，如果某一个环节出错，就会造成整个安装失败，因此需要开发安装脚本，这样只需要保证脚本的正确性，即可保证缓存服务器安装的正确性，且可以提高部署人员的工作效率。缓存服务器高可用安装配置脚本为了使缓存服务器的性能达到最优状态，需要在安装的基础上进行各项配置，由于配置项多，配置过程时间长，因此需要开发一个配置脚本，一次性对缓存服务器进行配置。两级缓存源代码开发为了提高缓存的读写性能，需要在缓存源代码再次开发，实现数据内存化，从而使缓存的读写速度更快，内存使用更加合理。web服务器缓存接口开发缓存服务器是为web项目应用服务的，在web开发过程中需要设计到许多和缓存服务器交互的地方，因此需要把这些交互的地方开发成标准化缓存接口，提高代码的使用率，减少web开发工作量。应用服务器缓存接口开发由于web服务器和缓存服务器有交互，web服务器需要调用缓存服务器的接口，而开发过程中调用的地方会很多，因此把调用方法开发成标准调用接口，方便应用服务器调用，减少应用开发工作量。数据库服务器缓存接口开发缓存服务器主要用来较少数据库的读写压力，web服务读写缓存的数据的速度比读写数据库的速度要快很多，但缓存服务器的数据需要和数据库的数据保持一致性，因此需要开发一些数据库服务器缓存接口，方便数据库服务器调用，减少数据库开发工作量。高可用缓存平台缓存服务器可实现集群，这样可以缓解一个缓存的读写压力，从而提升整个平台的性能，缓存平台集群化，可以防止一台缓存服务器出现故障使系统崩溃的现象缓存容量计算脚本开发缓存服务器比数据库的响应速度快，原因之一是数据库只存放一些重要的且常用的数据，而数据库是存放全部数据，因此需要开发一个计算缓存容量的脚本，可以方便、自动的监测缓存服务器的数据量，如果数据容量小了，需要把一些过时的缓存数据清掉，来提高缓存服务器的性能。缓存冗余备份脚本开发由于缓存服务器主要用来存放重要且常用的数据，且是临时存放，一旦缓存服务器出现故障，则web调用缓存服务器时就不能及时获取到数据，从而给客户带来很差的体验效果，因此需要对缓存服务器作冗余备份，当一台缓存服务器宕机后，可以马上启用备份服务器，不会给客户带来差的体验效果。另外可以通过备份服务器来恢复原来服务器的数据信息。缓存平台各种情况下灾难恢复紧急预案脚本开发由于缓存服务器出现故障是不可预知的，所以当缓存服务器出现故障时，人为的去改用备份服务器有一定的延时性，且操作易出错，因此需要开发紧急预案脚本，当缓存服务器出现故障，可通过脚本迅速、正确的替换成备用缓存服务器。缓存链接数据库接口开发由于缓存里的数据需要和数据库的数据保持一致行，当数据库的数据更改时，需要将缓存里的数据更新为数据库的数据，为提高缓存服务器与数据库链接的高可用，需要开发缓存链接数据库接口。缓存落地接口开发当用户操作数据时，程序会同时操作缓存和数据库里的数据，数据库自身有事务处理机制，为保证缓存和数据库的数据的一致性，需要开发缓存持久化机制，把用户操作缓存的数据进行落地，这样当缓存服务器出现故障时，也可以通过缓存持久化机制，恢复缓存里的数据。缓存读取、写入接口开发缓存读取是web应用最常用的操作，因此需要开发出读取接口，方便第三方应用调用缓存统计接口开发由于缓存的存储空间是有限的，不象数据库可以存放大量数据信息，因此，需要保证缓存里的数据是可用性高的数据，为了判断缓存的数据可用性高低，需要开发一个用于统计调用量的接口，这样通过统计的数据，更加合理的使用缓存服务器。1.1.5分布式文件系统服务实现文件系统是操作系统的一个重要组成部分，向下通过对操作系统所管理的存储空间的抽象，向上层业务应用(例如：教务、科研等应用)提供统一的、对象化的访问接口，屏蔽对物理设备的直接操作和资源管理。 分布式文件系统（DistributedFileSystem）是文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，业务应用(例如：教务、科研等应用)可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就象使用本地驱动器一样。为满足服务组件开发平台对分布式文件系统要求，所需软件为FastDFS，这个是开源的轻量级分布式文件系统。所需的组件如下：跟踪器（tracker），跟踪器主要做调度工作，起到负载均衡的作用。存储节点（storage），存储文件，完成文件管理的所有功能。Libevent，事件触发的网络库。FastDFS需要使用libevent的事件触发机制。相关所需开发及配置优化项如下：文件接口开发FastDFS提供了java和php等语言的客户端API，需要开发相应的文件上传于下载的接口，这些操作包括upload、download、append、delete等。配置优化合理配置最大连接数，避免内存浪费。FastDFS采用预先分配buffer队列的方法，分配的内存大小为max_connections*buff_size，需要根据访问情况合理配置最大连接数，避免无谓的内存开销；合理调整工作线程数，为了避免CPU上下文切换，以及不必要的资源消耗，并充分发挥CPU的性能，系统中的线程数总和应等于CPU总数；Storage磁盘读写线程，FastDFS可以单独配置storage的读线程数和写线程数，需要相应加大读写线程数，以最大限度发挥磁盘性能；调整同步延时