基于云计算技术的数据库解决方案.doc

基于云计算技术的数据库解决方案采用云计算的虚拟技术，建立较小规模的，即将使用数台PC服务器组成一个动态架构，建立多个虚拟机系统和多个应用系统，将原来建立在IBM小型机4300上的数据库及其应用移植到私有云的动态架构上，通过高级虚拟化、服务器整合和存储器整合，完成对海量数据的查询及数据应用，并且可在使整合系统具有灵活的扩充能力，满足今后不断扩充的数据库容量、数据库计算及应用的需求。解决方案云计算因其对 IT 的关键、变革性的技术理念，已日益深入人心，也必将影响深进。IT 云计算这一激动人心的架构可以创建容量无限的动态资源池从而助益用户对资源随时随地的访问。正因它如此重要，多家公司将致力于积极研发、采用和推广云计算虚拟化技术。私有云的构建，采用Eucalyptus私有云解决方案。Eucalyptus是一个开源的软件架构，它在云计算平台之上实现企业现有IT服务基础架构。Eucalyptus 项目全称是Elastic Utility Computing Architecture for Linking Your Programs To Useful Systems，由Santa Barbara大学建立的开源项目，是主要实现云计算环境的弹性需求的软件，通过其在集群或者服务器组上的部署，并且使用常见的Linux工具和基本的基于web的服务。这个软件层的工具可以用来通过配置服务器集群来实现私有云，并且其接口也是与公有云相兼容，可以满足私有云与公有云混合构建扩展的云计算环境。EUCALYPTUS对企业数据中心和没有特殊硬件要求的需求，EUCALYPTUS可以混合云和私有云进行部署。在当今的IT基础架构之上，利用Linux和Web Services技术，EUCALYPTUS允许客户快速、轻松的创建适合他们特定应用需要的计算云。同时，EUCALYPTUS支持流行的AWS云接口（Amazon Web Services ），通过使用通用的编程接口，允许这些私有云与公共云交互。伴随虚拟机技术的发展，EUCALYPTUS已支持云环境中存贮和网络的安全虚拟化。EUCALYPTUS可以安全的虚拟化服务器、网络和储存，从而降低成本，提高维护便利性，并提供用户自助服务。EUCALYPTUS的模块化设计，为广泛的用户（管理员、开发人员、管理人员、托管客户），不同的用户界面，虚拟化技术带来了好处，并且为服务供应商提供了一个基于消费定价模式的运营平台。VM和云快照功能极高的提升了集群的可靠性、模板操作和自动化。这使得云易于使用，降低用户的平均学习时间，并降低项目周期。充分利用现有的虚拟化技术，支持基于Linux的操作系统，并支持多种管理程序。便捷的集群、可用性区管理，使得管理员、用户可以为每个项目、用户、客户，设计不同的逻辑服务器、存贮和网络。EUCALYPTUS的核心架构，将继续保持开放源代码。它将利用全球开发社区的智慧。目前正在努力发展的公共云兼容接口是一个独特的优势，将来用户将接入自己的私有云，从而形成公共私有混合云的模式。围绕亚马逊AWS，正在形成一个快速发展的技术体系。例如，RightScale、CohesiveFT、Zmanda、rpath等合作伙伴，为基于EUCALYPTUS工作的亚马逊AWS提供解决方案。EUCALYPTUS兼容多个Linux发行版，包括Ubuntu、红帽、openSUSE、Debian、Fedora、CentOS，而且正在发展管理程序和虚拟化的各种技术。使用FreeBSD License，意味着可以直接使用在商业软件应用中，当前支持的商业服务只是亚马逊的EC2，今后会增加多种客户端接口。该系统使用和维护十分方便，使用SOAP安全的内部通信，且把可伸缩型作为主要的设计目标，具有简单易用，扩展方便的特点。体系结构EUCALYPTUS平台框架由一系列高度模块化的协作Web Services（Web Services是使用标准通信协议的交互操作）构成。通过这一框架，EUCALYPTUS实现了虚拟机和存储资源，这些资源由一个隔离的2层网络互联。从客户端应用程序和用户的角度来看，尽管其他接口可以为自定义，但EUCALYPTUS的API是与亚马逊的AWS（包括SOAP和REST接口支持）兼容的。EUCALYPTUS云概念图。图中CLC是云控制器（Cloud Controller）的虚拟化资源的基础（服务器，存储和网络）。CCS群集控制器（Cluster Controller）是在云中定义的每个群集的前端。NCs是运行虚拟机实例的机器。存储控制器（SC）提供块存储（类似亚马逊EBS）服务，服务也可通过Walrus存储系统扩展至整个云，是类似于在Amazon S3的功能。系统提供了一个一站式的云管理员控制台来配置和管理云。管理平台还为管理员、项目经理、开发人员和其他用户提供了可定制的访问和权限级别，以及各种接口。Eucalyptus并不要求其使用者将他所有的机器都用于Eucalyptus，它只要求使用Eucalyptus的节点通过Xen支持虚拟化执行和部署Web服务，只要满足了上述要求，Eucalyptus就可在不修改基本基础设施的情况下进行安装和执行，从而保证了其扩展和收缩的灵活性。在集群服务器部署中，由于IP地址的匮乏和对完全的通过因特网访问资源引起的安全方面的担忧，系统管理员通常将集群部署在一个私有的不可路由的网络上，该网络只有一个头结点负责在计算池和公共英特网之间进行路由流量。虽然这种配置通过使用最少的公共可路由的IP地址来提供安全保障，但这意味着大部分机器可以和外部主机连接的同时外部机器却不能直接和集群内部的机器进行通信。比如以下的情形，有两个小的Linux集群，一个小的服务器池及一个工作站集合，每集群有一个具有可公开访问的IP地址的前端机器，而其节点之间、节点与集群头节点之间通过专用网络相连。服务器和工作站具有公开的IP地址，但是这些工作站都位于防火墙的后面，不能够从外部连接它们。这种情形下，很显然安装一个完全互联的系统是不可能的，因为许多机器只能够向外部主机发起连接，或者完全的与外界网络是隔离的。此外，两个集群中的节点由于位于不同专用网络或许还有重叠的IP地址。为了在单一的云计算系统中使用所有的这些资源，Eucalyptus采用了分层的体系结构如图所示。Eucalyptus的分层拓扑结构EUCALYPTUS平台框架由一系列高度模块化的协作Web Services（Web Services是使用标准通信协议的交互操作）构成。通过这一框架，EUCALYPTUS实现了虚拟机和存储资源，这些资源由一个隔离的2层网络互联。从客户端应用程序和用户的角度来看，尽管其他接口可以为自定义，但EUCALYPTUS的API是与亚马逊的AWS（包括SOAP和REST接口支持）兼容的。主要构件Eucalyptus的主要构件包括节点控制器、集群控制器和云控制器。1、节点控制器（the node controller (nc)）节点控制器负责管理一个物理节点。节点控制器是运行在虚拟机寄宿的物理资源上的一个组件，它负责启动、检查、关闭和 清除虚拟机实例等工作。一个典型的Eucalyptus安装有多个节点控制 器，但一台机器上只需运行一个节点控制器，因为一个节点控制器可以管理该节点上运行的多个虚拟机实例。节点控制器接口由WSDL文档来描述，该文档定义了节点控制器所支持的实例数据结构和实例控制操作。这些操 作包括runInstance、describeInstance、terminateInatance、describeResource和startNetwork。对于实例的运行、描述和终止操作执行系统的最小配置，并调用当前的管理程序来控制和监测运行的实 例。describeRescource操作为调用者返回当前物理资源的特 性，包括处理器资源、内存和磁盘容量等信息。startNetwork操作用 于设置和配置虚拟以太网，有关内容将在下面讨论。2、集群控制器（the cluster controller (cc)）典型的集群控制器运行在集群的头结点或服务器上，它们都可以访问私有或公共网络。一个集群控制器可以管理多个节点控制器。集群控制器负责从其所属的节点控制 器收集节点的状态信息，根据这些节点的资源状态信息调度进入的虚拟机实例执行请求到各个节点控制器上，并负责管理公共和私有实例网络的配置。和节点控制器 一样，集群控制器接口也是通过WSDL文档来描述的，这些操作包括runInstances、describeInstances、terminateInatances和describeResources。描述和终止实例的操作会直接传给相关节点控制器。当集群控制器接收到一个runInstances请求后，它执行一个简单的调度任务，该任务通过调用describeResource来查询每一个节点控制器，选择第一个具有足够空闲资源的 节点控制器来执行实例运行请求。集群控制器还实现了describeResources操 作，该操作将一个实例需要占据的资源作为输入，并返回可以同时在其所属的节点控制器上执行的实例的个数。3. 云控制器（the cloud controller (clc)）每一个Eucalyptus安装都包括单一的云控制器。云控制器相当于系统的中枢神经，它是用户的可见入口点和做出全局决定的组件。它负责处理进入的由用户发起的请求或系统管理员发出 的管理请求，做出高层的虚拟机实例调度决定。并且处理服务等级协议和维护系统和用户相关的元数据。云控制器由一组服务组成，这些服务用于处理用户请求、验 证和维护系统、用户元数据（虚拟机映像和SSH密钥对等），并可管理和监视虚 拟机实例的运行。这些服务由企业服务总线来配置和管理，通过企业服务总线可以进行服务发布等操作。Eucalyptus的设计强调透明度和简单以便促进Eucalyptus的 实验和扩展。为了达到这一粒度级别的扩展，云控制器的组件包括虚拟机调度器、SLA引擎、用户接口和管理接口等。它们是模块化的彼此独立的组件，对外提供定义良好的接口，企业服务总线ESB负责控制和管理它们之间的交互和有机配合。通过使用Web服务和Amazon的EC2查询接口与EC2的 客户端工具互操作，云控制器可以像Amazon的EC2一样进行工作。之所以选择EC2是因为它相对成熟，有大量的用户群体且很好的实现了IaaS。配置要求： 云控制器 the cloud controller (clc) 集群控制器 the cluster controller (cc) walrus (the S3-like storage service) 存储控制器the storage controller (sc) Hardware Minimum Suggested Notes CPU 1GHz 2 x 2GHz for an all-in-one front end, it helps to have at least a dual core processor Memory 2GB 4GB the Java web front end benefits from lots of available memory Disk 5400rpm IDE 7200rpm SATA slower disks will work, but will yield much longer instance startup times Disk Space 40GB 200GB 40GB is only enough space for only a single image, cache, etc., Eucalyptus does not like to run out of disk space Networking 100Mbps 1000Mbps machine images are hundreds of MB, and need to be copied over the network to nodes 其它节点配置要求Node(s): 节点控制器 the node controller (nc) Hardware Minimum Suggested Notes CPU VT extensions VT, 64-bit, Multicore 64-bit can run both i386, and amd64 instances; by default, Eucalyptus will only run 1 VM per CPU core on a Node Memory 1GB 4GB additional memory means more, and larger guests Disk 5400rpm IDE 7200rpm SATA or SCSI Eucalyptus nodes are disk-intensive; I/O wait will likely be the performance bottleneck Disk Space 40GB 100GB images will be cached locally, Eucalyptus does not like to run