学校的云计算解决方案

1、大学内的云计算解决方案虚拟计算实验室Jithesh Moothoor,软件工程师,旧MVasvi A Bhatt ,软件工程师,旧M简介： 本文通过使用一个 Virtual Computing Lab (VCL)详述了云计算的概念。我们通 过VCL重点关注云计算实现方法，它如何为一个以研究为导向的高等教育机构提供帮助， 最后，我们讨论了一些重要因素，展示 VCL如何向校园IT网络基础设施提供可伸缩、可 持续、具有经济价值且可行的贡献。云计算的架构层云计算平台可以根据需要动态提供、配置和重新配置服务器。云中的服务器可 以是物理服务器或虚拟服务器。高级云通常包含其他计算资源，比如存储区域 网络(S

2、AN、网络设备、防火墙和其他安全设备。总而言之，云服务提供商提 供的服务主要可以分为以下三个类别：1 .基础设施即月艮务(Infrastructure as a service )2 .平台即服务(Platform as a service )3 .软件即服务(Software as a service ) 图1中的VCL将这些类别组合在一起并进行了解释。请在参考资料部分了解 有关云概念的更多细节。图1. VCL云服务1. 基础设施即服务（IaaS）IaaS就是指以服务的形式交付计算机基础设施。基础设施即服务提供了计算功 能和基本存储作为网络上的标准服务。网络中包含了服务器、存储系统、交换 机

3、、路由器以及其他系统并可用于处理工作负载。IaaS云可以以一种非常经济 的方式提供资源，比如按需从头构建应用程序环境所需的服务器、连接、存储 和相关的工具。IaaS的优点包括快速供应、扩展能力、只为使用的资源付费。对于刚刚起步或 较小的企业，面临的最大困难之一就是控制资金支出。通过将基础设施移到云 中，就可以实现可伸缩的供应，就仿佛您拥有自己的硬件和数据中心一样（对 于传统的托管服务提供商来说是不现实的），但是您同时可以将前期成本降至 最低。VCL在一个位置同时交付不同的基础设施。它在大学内提供了一个平台（在其 内部没有物理基础设施）虚拟化环境。通过使用该环境，学生不需要为其项目 建立任何特定

4、的物理基础设施。VCL为基础设施提供了以下服务。? 计算o物理计算机o虚拟计算机o OS级虚拟化?网络? 存储在将所请求的映像映射到硬件之前， VCL 管理者为可用的硬件资源提供适当的虚拟化（聚合，解除聚合） 。 VCL 服务主要关注平台级别的资源控制。2. 平台即服务（PaaS）平台即服务是一个虚拟化的平台，它包括一个或多个服务器（经过物理服务器集合虚拟化）、操作系统和特定应用程序（例如面向Web应用程序的Apache和MySQL。在某些情况下，可以提供一个包含所有必需的特定于用户的应用程序的 VM 映像。平台即服务包含一个软件层并将其作为服务提供，这个服务可用于构建更高级的服务。从服务的创

5、建者或消费者的角度来看， PaaS 至少存在两种视角：?创建PaaS （这里指VCD的人可能会通过集成 OS中间件、应用程序 软件甚至一个开发环境来生成一个平台，这个平台稍后会以服务的形式提供给用户。? 使用 PaaS 的人（大学中的用户）会看到一个封装好的服务，这个服务通过一个界面呈现给他们。用户只能通过界面与这个平台进行交互，该平台执行必需的任务来进行管理和扩展，从而提供给定级别的服务。虚拟设备可以归类为 PaaS 实例。通过使用VCL,学生们不需要在其机器上安装任何特定的服务、解决方案堆栈或数据库。 VCL 为他们提供了映像，他们只需要选择这些映像并在云中提供的机器上使用它们。? 服务?

6、 解决方案堆栈o Javao PHPo .NET? 存储o 数据库o 文件存储3. 软件即服务（SaaS）SaaS 是指以服务的形式通过Internet 访问软件的能力。软件即服务以服务形式按需提供完整的应用程序。软件的一个实例在云中运行并为多个终端用户或客户组织提供服务。远程应用程序服务的一个最佳例子就是Google Apps,它通过一个标准Web浏览器提供了多个企业应用程序。VCL 允许使用任何软件即服务解决方案 、虚拟化解决方案和终端服务解决方案。VMWar、e XEN、 MSVirtual Server 、 Virtuoso 和 Citrix 都是典型的例子。VCL还允许任何访问/服务

7、交付选项，这些选项适合从 RDP或VNC桌面访问到 X-Windows再到Web服务或类似服务等各种内容。云计算基础设施模型在从标准的企业应用程序部署模型迁移到基于云计算的模型时，云计算架构师 需要对基础设施模型做出几点考虑。对于大学中的云计算，可以考虑三种基本 的服务模型，比如公共(Public )、私有(Private )和混合(Hybrid )云。1 .公共云公共计算云面向任何希望登录到其中并使用它们的用户。公共云由供应商运行， 来自不同用户的应用程序可能会混合存放到云中的服务器、存储系统和网络中。 公共云的优点之一就是它们拥有比公司的私有云更大的规模，并且可以提供按 需扩展或缩减的能力

8、，将基础设施风险从企业转移给云提供商。IBM为其客户运作一个云数据中心。多名客户共享相同的基础设施，但是每名 用户的云都得到了保护并彼此分离，就好象他们位于自己的防火墙之内。2 .私有云设计私有云的目的是使组织能够获得比使用由供应商托管的服务更多的数据控 制。私有云是为某个组织专门构建的，只能由该组织使用，提供了对数据、安 全性和服务质量的最大程度的控制。私有云通常位于组织(企业或大学)的防 火墙之后，只有该组织内部的人员有权访问云及其资源。3 .混合云混合云同时结合了公共云和私有云模型。这个模型引入了判断如何在公共云和 私有云之间分配应用程序的复杂性。在数据量较小或者应用程序无状态时使用 混

9、合云，与在数据量较大时使用公共云来进行少量处理相比，前者效果更好。VCL可以处理混合云模型。它可以为一个大学内的学生和教师提供服务和基础 设施来作为他们的私有云。它还可以使用公共云在大学之间扩展这些服务。这 需要更加安全的网络。异构的资源云在大学中设计异构云的主要目标是显著地缩小集群系统的配置规模，具体实现 方法是合并异构工作负载，同时通过提供足够的资源来增加并行工作负载请求 的数量(例如基于 Globus、Hadoop或Condor)。对于大型组织，通常使用各种工具针对不同的工作负载维护专用的集群系统。因此主要难题就是通过VCL在云计算平台上整合同一组织中的异构工作负载。从VCL的角度来看，

10、只要具有合适的映像和环境管理器，它就可以转换并支持任意类型的环境（异构环境）。VCL的高层架构VCL高层架构的目的是设计和配置以一种经济、成本有效的方式为以教育和研 究为导向的大学提供服务的云计算系统。 VCL交付了一组丰富的功能和服务， 它们与云计算的需求和期望建立了良好的对应。如图 2所示，VCL架构包含几 个主要组件。有关VCL及其工作模型的更多信息，请参见参考资料部分。? 一个终端用户访问界面（基于 web? 一个资源管理器（或 VCL管理器）,其中包含一个调度程序、安全性、 性能监视、虚拟工作管理等等? 一个映像库（或映像）?计算、存储和网络硬件?安全性用户 最初，用户通过一个 We

11、b界面访问VCL并从菜单中选择需要使用的应用程序 组合。参见图3。如果一个特定于用户的映像组合没有以 映像 的形式出现，那 么经过授权的用户则可以灵活地从 VCL库组件中构建自己的映像。VCL管理器 软件随后将用户请求映射到可用的软件应用程序映像和(可能为异构的)硬件 资源，然后将其调度为立即使用(按需)或稍后使用。图3.具有所需映像的新的资源预定Uhl.*资源访问模式将取决于服务提供。参见图 4。访问模式包括RDP或VNC类型 的远程桌面访问、对 Linux服务的基于ssh的或X-Win访问、基于 Web的 访问，以及以代理的形式访问计算集群。图4.当前预定和基于ssh的连接VCL管理器VC

12、L管理器的典型工作包括检查环境、管理计算机和映像。VCL管理器软件包含以下产品：1. IBMxCAT和 VM加载程序Extreme Cluster Administration Toolkit (xCAT)是一个主要由脚本工具组 成的集合，用于构建、配置、管理和维护Linux集群。VCL使用xCAT将请求的裸机(bare-metal )映像加载到刀片服务器。虽然最初的 VCL 是面向裸机的，但是如今它加载了基于 VMware 的映像或裸机映像。 VCL 系统将处理请求。如果无法找到已经加载了所需映像的真实的或虚拟的服务器，那么它将选择任何满足此映像、xCAT或相应VM加载程序所需规范的服务器，

13、动态加载所需的映像。这里，物理机器通过xCAT 得到供应，而虚拟机器供应则通过VMwareESXi、 VMware ESX Standard 服务器、 VMware 空闲服务器实现。如果所有服务器处于繁忙状态，那么Web界面将通知学生在可用的时段使用网格。2. VCL中间层 demon服务(vcld)VCL管理器的核心部分是一个基于 perl的VCLdemon服务(vcld),用于执行实际的供应和部署。根据所请求的环境类型 不管是裸机映像、实验室机器或虚拟机映像， vcld 都将确保映像被加载并能够用于请求。 vcld 服务的常见功能包括：?在Web界面和数据库之间通信，获得安装细节和由VCL

14、Web门户分配的流程预定/ 任务?发出xCAT或VMware命令，执行所请求的操作? 监视映像安装过程和安装所请求的 postscript 安装工具? 维护机器供应和部署过程? 为请求的应用配置和管理已安装的映像? 维护安装和配置时间3. 一个开源的 web 服务器 (Apache)基于PHP的 Web应用程序(部署在 Apache Web服务器上)是 VCL的核心并 提供了请求、管理和治理所有 VCL资源的工具。Web界面支持经过身份验证的 用户，显示他们有权使用的应用程序列表，并允许他们预定对某个应用程序的使用，可以立即使用这个应用程序，或者在未来指定的一段时间内使用。未来时间的范围和预定

15、的长度可以进行定制，并可以因客户而异。Web界面提供的主要工具包括：?映像创建-该界面允许用户创建定制的环境。?映像版本控制-这个界面允许特权用户创建同一映像的多个版本。?管理用户-为用户提供了特权控制，它通过 Web界面向用户授予不同 程度的控制权。?管理资源-该界面提供一种方法来调度资源池中的资源。4. 一个开源的数据库(MySQL)MySQ做据库用来跟踪每个服务器的状态、维护有关每个映像的信息，还可用于实现特权树( privilege tree ) 。映像在VCL中，映像一词是指一个软件堆栈，它合并了以下内容：?基础操作系统，如果需要用虚拟化实现伸缩，那么将允许使用虚拟机监 控程序(hy

16、pervisor ) 层?必需的中间件或应用程序，运行在所选的操作系统之上?最终用户访问解决方案，与所选的操作系统相对应映像可以被加载到裸机，或加载到所选的操作系统 /应用程序虚拟环境。如果用 户所需的映像组合不可用，用户有权从 VCL组件库中构建自己的映像。如果用 户拥有创建映像的权利，那么他通常将从一个 NoApp或基础映像开始(WindowsXP或Linux),并将其扩展到应用程序。计算硬件/网络存储虚拟化对硬件进行了最大程度的抽象，甚至不需要将软件堆栈绑定到特定的物 理服务器就可以执行部署和重新部署。VCL服务器提供了一个资源池，可以供 用户使用。资源的分配以将要执行计算的特定应用程序

17、为依据。存储和网络资 源是动态的，同时满足工作负载和用户需求。通常伴随计算云一词出现的还有术语存储云，它使用 VCL简化虚拟机映像的 存储，从而提供了虚拟化存储。在 VCL中，从刀片服务器到由各种台式机或工 作站组成的集合，再到企业服务器或高性能计算引擎，任何内容都可以作为计 算硬件和存储资源。一个典型的VCL安装含有一个或多个刀片机箱(chassis),其中一个刀片服 务器被指定为管理节点。每个刀片服务器至少具有两个网络接口 一个用于公共网络，一个用于私有网络(用于管理刀片服务器和加载映像)。存储资 源可以通过光纤直接连接，或者通过网络连接。参见下面的图5。图5. VCL应用程序存储VCL安

18、全性在云环境中，要确定安全性的定义很难。对于任何分布式系统，安全度量的最 终程度同时依赖于身份验证和服务授权。VCL在其系统中实现了以下几个级别 的安全性：? 基于LDAP的身份验证VCL身份验证是一种基于从属关系(affiliation )的LDAP服务。根据 用户的从属关系，VCL对不同的用户访问支持不同的 LDAP服务。?环境级别的身份验证这种身份验证模式将因环境而异。它通常由映像创建时间确定。在 Windows中，它将创建一个一次性帐户，该帐户在预定时创建，在使用 后废止。在Linux环境中，它可以利用现有的身份验证基础设施，或者 使用独立的帐户机制。除此以外，如果用户经过授权允许做出

19、 VCL预定时，VCL使用OS级别的防火 墙锁定所供应环境的IP,使其为最终用户的IP地址。高性能计算和VCL大学中对高性能计算(HPC级别机器的使用主要有两个含义。第一，在大学中 需要HPC机器一主要用于解决/计算出现的问题。第二，VCL难以容纳硬件 资源来满足不断增长的请求。VCL中的HPC服务的基本工作模型非常简单。参 见下面的图6。要了解有关VCLHPC及其使用的更多信息，请参见参考资料部 分。图6. VCL中的HPC的基本模型UserHPC storageHPC scnedulefJobHPC的先决条件?网络交换机-一个使用NIC的面向消息通信的新私有网络，用于公共 网络的用户访问。

20、? 需要在一个高阶积架式交换机模块上配置Virtual Local Area Network(VLAN)。一个用于公共internet 访问，另一个用作私有消息传递接口。? VCL管理节点根据映像元数据配置刀片 VLAN工作方式VCL中的HPC的基本工作模型如图7所示。在 VCL的控制下，xCAT将HPC 计算映像加载到空闲的刀片服务器节点，而VCL控制软件在机箱式Ethernet交换机上调整VLAN设置，以将服务器连接到私有 HPC网络。在HPC环境中， VCL只通过登录节点提供公共访问。主 HPC登录节点映像包括HPC调度程序 的组件。目前，VCL中使用了 Load Sharing Fac

21、ility (LSF)(类似平台计算) 。每个HPC客户机映像可以访问大量的存储(以 TB为单位)，以及用户主目 录和HPC备份存储。当HPC映像被加载后，VCL管理器调度程序将识别它并 开始为它分配工作。图7. VCLHPC中的刀片服务器的基本布局Outside netwtxrtPrivate rnanagemsnt networkUSF |U=q HPC ' 一 一 触rag目 nLX加射 GigE switcti_GigE twitchPuNic networkPrivate network通过重用刀片服务器，VCL与HPC的集成显著提高了资源利用率。这种方法允 许在用户请求之间

22、共享基础设施，而这将实现更大程度的资源可用性。在实验室使用VCL的优点-云解决方案通过VCL在实验室中的性能，我们已经了解了 VCL云计算的一些主要功能, 并且通过图表获悉了一些主要优点。大学中的用户通常为在校学生和老师。在 大学环境中为这些用户提供服务的云计算系统必须至少能够提供以下这些功能：?能够为广泛的用户提供服务和支持。?为导师、讲师、教授和其他教育者和大学中的职员提供广泛的课程资料 和学术支持。?提供研究级别的计算系统和服务，以支持该大学的研究任务。考虑到这些需求，在一个以研究为导向的高等教育机构中设计云计算解决方案 的主要挑战涉及以下几个因素：?取决于不同用户需求的出色的资源利用率

23、?服务环境的多样性?作为一种在经济上可行的模型运行云基础设施在大学中，学术研究的日程安排决定了资源的使用情况。对资源的需求在分配 工作期间以及每年的年末会更加迫切。研究项目和其他与研究有关的活动在一 年当中都很频繁。因此，大学内的云计算系统要想具有经济可行性，它需要一种适当的调度机制来监视需求并分配系统资源。VCL提供了优秀的调度机制来 识别校园内各种活动的变化。在本文中，通过观察和研究大学内的 VCL环境，我们从 VCL可以获得的重要 结论就是，通过利用桌面和 HPC VCL在大学实验室中实现了对计算基础设施 的有效利用。同样，对 HPC和VCL桌面计算机使用 VCL刀片服务器则以最理 想的资源利用率提供了经济的服务。我们可以得出这样的结论，VCL是一种开源的基于 Web的系统，它用于动态地 提供和代理用户对专用计算环境的远程访问。VCL云通过一个独特的开放的软 件和硬件解决方案提供了杰出的计算能力，可以运行和托管所有大学项目和研 究计划。致谢VCL Paper提供了有关在大学中使用 VCL的信息。我要感谢VCL开发团队的 项目经理兼核心成员 Aar