云资源管理与虚拟化技术 第19章 虚拟化 虚拟化架构规划实战

虚拟化架构规划实战主要内容1项目背景2需求分析3设计选型4实施方案一、项目背景某客户作为国内制造型企业，信息化建设不断发展。目前信息化网络以信息中心为运营维护单位，业务范围覆盖人力资源、市场计费、资产管理、邮件、OA、SQL数据库、Web服务、系统出单、收付等多套系统，服务器资源庞大。出于经济效益和管理安全性考虑，针对基础架构的虚拟化整合已势在必行。本章以国内某企业数据中心的建设升级作为案例，详细给出一个VMware虚拟化架构规划实战方案。二、需求分析某制造型企业准备在外地开设一个新的分公司，员工数量在150~200之间。由于日常办公以及业务需要，该企业将搭建多种应用服务，例如人力资源、市场计费、资产管理、邮件、OA、SQL数据库、Web服务、系统出单、收付等系统，这些应用系统主要采用Windows和Linux服务器予以支持。根据上述需求，可以看出，此项目属于典型的中小企业IT应用模式。根据成本预算和应用服务采购相应的服务器、网络设备、配置、调试完成后，经过一段时间的试运行，如果没有问题即可正式投入使用。三、设计选型1.传统方案根据企业的背景以及需求，需要考虑以下几个方面的问题来决定服务器、存储、网络等设备的数量。（1）应用系统的数量。（2）应用系统的资源使用情况。（3）应用系统的安全性和可扩展情况。在需求分析中提到采购服务器，实际上无论是使用传统方案还是虚拟化方案，都会涉及采购服务器，具体的差异如下。三、设计选型使用传统方案的话，一般来说一台物理服务器提供单一服务，即一台物理服务器一般只运行一个业务系统。根据需求分析，大约需要10台左右服务器。三、设计选型2.虚拟化方案虚拟化的方案是根据传统方案计算而产生的，具体规划如下。（1）将应用平台所需要的物理服务器转换为虚拟服务器，虚机数量为10台。（2）使用主流IntelXeonE5的CPU，每台物理服务器2颗，配置32G内存，运行ESXi6.0系统，按照标准的物理服务器到虚拟服务器换算比率1:8计算，每台物理服务器可以运行8台虚拟服务器，因此只需配置2台物理服务器即可。考虑冗余和扩展性，建议配置3台物理服务器。三、设计选型通过上述计算，可以清楚地看出在服务器资源利用上比起传统的架构方案，采用虚拟化方案有绝对的优势，大大降低了初期成本，同时在高级服务提供上也比传统方案存在优势。下面采用虚拟化方案来规划具体实施方案。四、实施方案本案例采用VMware虚拟化方案，整体IT架构如下图所示。四、实施方案（一）计算资源规划虚拟机上运行着为各个用户和整个业务线提供支持的应用与服务，其中有很多都是关键业务应用，因此，用户必须正确设计、调配和管理虚拟机，以确保这些应用与服务能够高效运行。VMwareESXi主机是数据中心的基本计算构造块，这些主机资源聚合起来可构建高可用动态资源池环境，作为数据中心各应用的整体计算资源。四、实施方案1.指导原则与最佳实践（1）除非确实需要多个虚拟CPU(vCPU)，否则默认配置一个，使用尽可能少的虚拟CPU。操作系统必须支持对称多处理(SMP)功能，应用必须是多线程的，才能受益于多个虚拟CPU。虚拟CPU的数量不得超过主机上物理CPU核心（或超线程）的数量。（2）不要规划使用主机的所有CPU或内存资源，在设计中保留一些可用资源。要实现虚拟机内存性能最优化，关键是在物理RAM中保留虚拟机的活动内存，应避免过量分配活动内存。（一）计算资源规划四、实施方案1.指导原则与最佳实践（3）始终将透明页共享保持启用状态，始终加载VMwareTools并启用内存释放。（4）资源池CPU和内存份额设置不能用于配置虚拟机优先级。资源池可用于为虚拟机分配专用CPU和内存资源。（5）在工作负载极易变化的环境中配置vSphereDPM，以降低能耗和散热成本。（6）部署一个系统磁盘和一个单独的应用数据磁盘。如果系统磁盘和数据磁盘需要相同的I/O特征（RAID级别、存储带宽和延迟），应将它们一起放置在一个数据存储中。（一）计算资源规划四、实施方案1.指导原则与最佳实践（7）应用要求应作为向虚拟机分配资源的主要指标。使用默认设置部署虚拟机，明确采用其他配置的情况除外。（8）像保护物理机一样保护虚拟机的安全。确保为虚拟基础架构中的每个虚拟机启用了防病毒、反间谍软件、入侵检测和防火墙。确保随时更新所有的安全保护措施。应用合适的最新补丁，要将虚拟机软件和应用保持在最新状态，应使用补丁程序管理工具，或者安装和配置UpdateManager。（9）为避免管理连接问题，应向每个ESXi主机分配静态IP地址和主机名。为便于管理，应为DNS配置每个ESXi主机的主机名和IP地址。（一）计算资源规划四、实施方案1.指导原则与最佳实践（10）确保数据中心有足够的电源和散热容量以避免服务中断。（11）无论选择了哪个硬件平台，都应设计一致的平台配置，特别是在VMware集群中。一致性包括CPU类型、内存容量和内存插槽分配、网卡和主机总线适配器类型，以及PCI插槽分配。（12）使用一个或多个启用了vSphereHA和DRS的集群，以增加可用性和可扩展性。（13）使用横向扩展还是纵向扩展集群由集群用途、基础架构规模、vSphere限制以及资金和运营成本等因素确定。（一）计算资源规划四、实施方案2.ESXi主机选购通过上面的分析，对于该企业来说，考虑实施负载均衡、故障切换等高级功能，建议配置3台物理服务器。在本设计案例中，基于中小企业成本考虑，推荐配置及功能相当于华为FusionServerRH2288HV3的机架服务器。FusionServerRH2288HV3是华为全新一代高性能2U2路机架服务器，凭借高效设计在确保卓越计算性能的同时，支持超大容量本地存储，轻松应对数据快速增长，提供灵活、强大的资源扩展能力，适用于互联网、大数据、企业关键应用、云计算、HPC、电信业务等广泛应用，如下图所示。（一）计算资源规划四、实施方案CPU配置：对于中小企业来说，基于成本考虑，配置主流双路至强E5CPU是强烈推荐的。如果对性能有较高的要求，建议配置4路至强E5CPU或更高的机架式/刀片服务器。内存配置：ESXi主机对内存的配置是基于CPU来的，以主流双路至强E5CPU来计算，运行8个左右的虚拟服务器，每台服务器平均配置2GB内存，那么需要的内存数量为20GB，考虑性能及冗余，建议配置32GB以上内存。2.ESXi主机选购（一）计算资源规划四、实施方案网卡配置：目前服务器都在主板上集成了2个以上的千兆以太网卡，以华为FusionServerRH2288HV3服务器为例，可选配2个GE接口或4个GE接口或2个10GE接口或2个56GFDRIB接口。对于生产环境，推荐使用带TOE功能的千兆以太网卡，这样会大大减少iSCSI传输对于CPU产生的负载。如果成本允许，推荐使用万兆以太网卡以及万兆的交换机。2.ESXi主机选购（一）计算资源规划四、实施方案目前主流的办公网络可以达到千兆，不少数据中心网络已升级为万兆。网络在虚拟化架构中属于核心之一，ESXi主机所有的流量全部依赖于网络，网络设计的不合理会严重影响整个虚拟化架构的运行。一台典型的ESXi主机会配置6个千兆以太网口连接到核心交换机。针对典型配置，本案例做一些调整，推荐配置ESXi主机12个千兆以太网口，具体分配描述如下。3.ESXi主机网络设计（一）计算资源规划四、实施方案VM流量：配置4个千兆以太网口。在ESXi主机上面运行的是各种虚拟服务器，提供的所有服务均依赖于网络的传输，4个千兆以太网口捆绑不但可以为虚拟服务器提供总带宽4GB的传输速率，同时还可提供冗余功能。3.ESXi主机网络设计（一）计算资源规划四、实施方案iSCSI存储流量：配置4个千兆以太网口。iSCSI存储流量属于核心流量，存储性能会影响到整体运行。对于中小企业来说，一般不会采用专业的硬件级iSCSIHBA，而是采用软件iSCSI方式连接。但需要注意的是，软件iSCSI连接方式会占用大量的CPU资源。所以，在选择网卡的时候，一定要选择带TOE(TCPOffloadEngine：TCP减负引擎)功能的千兆网卡。TOE技术对于TCP/IP堆栈进行了软件扩展，使部分TCP/IP功能调用从CPU转移到了网卡上集成的TOE硬件，它把网络数据流量的处理工作全部转到网卡上的集成硬件中进行，CPU只承担TCP/IP控制信息的处理任务，从而有效降低了CPU负载。3.ESXi主机网络设计（一）计算资源规划四、实施方案vMotion流量：配置2个千兆以太网口。vMotion流量主要在迁移的时候使用，官方推荐至少使用2张千兆网卡，使用一张会出现报警提示。一般来说，如果配置了DRS，ESXi主机负载高的时候会自动进行迁移，或者需要对ESXi主机进行维护也需要迁移，配置2个千兆以太网口能够满足日常需求。FT/管理流量：配置2个千兆以太网口。FT高级特性由于只能使用一个vCPU，在实际的部署中使用有限，更多的是运行管理流量，配置2个千兆以太网口能够满足管理需求，同时提供冗余功能。3.ESXi主机网络设计（一）计算资源规划四、实施方案正确的存储设计对组织实现其业务目标有着积极的影响，可以为性能良好的虚拟数据中心奠定基础。它可以保护数据免受恶意或者意外破坏的影响，同时防止未经授权的用户访问数据。存储设计必须经过合理优化，以满足应用、服务、管理员和用户的多样性需求。存储资源规划的目标是战略性地协调业务应用与存储基础架构，以降低成本、改善性能、提高可用性、提供安全性，以及增强功能，同时将应用数据分配到相应的存储层。（二）存储资源规划四、实施方案在规划存储资源时，本案例遵循如下的指导原则与最佳实践。（1）构建模块化存储解决方案，该方案可以随时间推移不断扩展，以满足组织的需求，用户无需替换现有的存储基础架构。在模块化存储解决方案中，应同时考虑容量和性能。（2）每个存储层具有不同的性能、容量和可用性特征，只要不是每个应用都需要昂贵、高性能、高度可用的存储，设计不同的存储层将十分经济高效。（二）存储资源规划1.指导原则与最佳实践四、实施方案（3）配置存储多路径功能，配置主机、交换机和存储阵列级别的冗余以便提高可用性、可扩展性和性能。（4）允许集群中的所有主机访问相同的数据存储。（5）启用VMwarevSphereStorageAPIs-ArrayIntegration(VAAI)与存储I/O控制。配置存储DRS以根据使用和延迟进行平衡。（6）根据SLA、工作负载和成本在vSphere中创建多个存储配置文件，并将存储配置文件与相应的提供商虚拟数据中心对应起来。（二）存储资源规划1.指导原则与最佳实践四、实施方案（7）对于光纤通道、NFS和iSCSI存储，可对存储进行相应设计，以降低延迟并提高可用性。对于每秒要处理大量事务的工作负载来说，将工作负载分配到不同位置尤其重要（如数据采集或事务日志记录系统）。通过减少存储路径中的跃点数量来降低延迟。（8）NFS存储的最大容量取决于阵列供应商。单个NFS数据存储的容量取决于将访问数据存储的每个虚拟机所需的空间，乘以在延迟可接受的情况下可以访问数据存储的虚拟机数量。考虑将存储DRS配置为使其成员数据存储的使用量保持在80%（默认设置）的均衡水平。（二）存储资源规划1.指导原则与最佳实践四、实施方案（9）单个VMFS数据存储的容量取决于将访问数据存储的每个虚拟机所需的空间，乘以在延迟可接受的情况下可以访问数据存储的虚拟机数量。考虑配置存储DRS，使数据存储使用量保持在80%的均衡水平。保留10%到20%的额外容量，用于容纳快照、交换文件和日志文件。（10）为促进对iSCSI资源的稳定访问，应该为iSCSI启动器和目标配置静态IP地址。（11）对于基于IP的存储，应使用单独的专用网络或VLAN以隔离存储流量，避免与其他流量类型争用资源，从而可以降低延迟并提高性能。（二）存储资源规划1.指导原则与最佳实践四、实施方案（12）根据可用性要求选择一个RAID级别，对大多数虚拟机工作负载而言，如果阵列具有足够的电池供电缓存，RAID级别对性能不会产生影响。（13）对于大多数应用，除非存在对RDM的特定需求，否则请使用VMDK磁盘。（二）存储资源规划1.指导原则与最佳实践四、实施方案在本设计案例中，推荐配置及功能相当于华为OceanStor5300/5500/5600/5800V3系列iSCSI存储服务器或威联通NAS。（二）存储资源规划2.存储的选择华为OceanStor5300/5500/5600/5800V3存储系统是基于融合理念，面向闪存优化设计的统一存储产品，满足云时代对存储系统更高性能、更低延时、更加弹性的需求。在全闪存配置时能够达到<1ms的低时延，并创新性的兼具SAN和NAS一体化、多控、双活等能力。支持16GbpsFC、56GbpsIB、PCI-E3.0、12GbpsSAS、智能\IO卡。满足大型数据库OLTP/OLAP、文件共享、云计算等数据存储需求。四、实施方案（二）存储资源规划2.存储的选择华为OceanStor5300/5500/5600/5800V3如下图所示。四、实施方案（二）存储资源规划2.存储的选择威联通NAS存储是一款企业级网络存储，具体配置为：纠错接口

2个GigabitRJ-45网络接口，2个USB3.0，3个USB2.0，2个eSATA接口，1个HDMI，1个音源输出，1个音源输出，1个扩充接口。纠错传输速度

10/100/1000Mbps。纠错硬盘盘位

4个。纠错硬盘容量

4TB。热插拔支持。纠错最大存储容量

16TB。纠错四、实施方案（二）存储资源规划2.存储的选择系统管理

WebGUI用户管理界面，多国语言支持（英，繁体中文，简体中文，德，法，意大利，西班牙，日，韩等）；网络唤醒远程开机，定时/计划开关机；提供短信与E-mail通知系统事件，随时掌握NAS最新状况；支持SNMP接收NAS的事件记录及实时监控系统信息；图形化显示NAS的CPU、内存。网络传输协议

CIFS/SMB，AFP(3.2)，NFS(v3)，FTPS，WebDAV，HTTP，HTTPS，Telnet，SSH，iSCSI，SNMP，SMTP，SMSC。四、实施方案（二）存储资源规划2.存储的选择网站浏览器支持

MicrosoftInternetExplorer10、MozillaFirefox8+、AppleSafari4+、GoogleChrome。纠错处理器

IntelCorei3-32203.3GHz双核心处理器。纠错产品内存

DRAM内存：2GBDDR3RAM，最大支持16GB、FLASH内存：512MB。纠错四、实施方案（二）存储资源规划2.存储的选择系统支持

MicrosoftWindows2000，XP，Vista（32/64bit），Windows7（32/64bit），WindowsServer2003/2008、AppleMacOSX、LinuxUnix。安全认证

CE，FCC，BSMI，C-Tick，RoHSCompliant。产品电源

AC100-240V，50-60Hz，功率250W。其他性能

RAID支持：SingleDisk、JBOD、RAID0，1，5，6，10，5+HotSpare。四、实施方案（二）存储资源规划2.存储的选择威联通NAS如下图所示。四、实施方案（二）存储资源规划2.存储的选择以上存储都支持千兆以太网连接，华为OceanStor5300/5500/5600/5800V3系列更是支持万兆以太网连接。中小企业可以根据自己目前的业务规模，同时考虑以后的可扩展性来进行选择。四、实施方案（三）网络资源规划网络资源规划的目标是设计一种能降低成本、改善性能、提高可用性、提供安全性，以及增强功能的虚拟网络基础架构，该架构能够更顺畅地在应用、存储、用户和管理员之间传递数据。下面将根据客户的生产环境，对网络资源进行整体规划，包括虚拟交换机，网卡绑定等。在规划网络设计时，主要从连接要求、带宽要求、延迟要求、可用性要求和成本要求等几个方面进行综合考量并进行相关的设计。四、实施方案（三）网络资源规划在规划网络资源时，一般会遵循如下的指导原则与最佳实践:（1）构建模块化网络解决方案，该方案可随时间的推移不断扩展以满足组织的需求，使得用户无需替换现有的网络基础架构，进而降低成本。（2）为了减少资源争用和增强安全性，应该按照流量类型（vSphere管理网络（HA心跳互联网络）、vMotion在线迁移网络、虚拟机对外提供服务的网络、FT、IP存储）对网络流量进行逻辑分离。1.指导原则与最佳实践四、实施方案（三）网络资源规划（3）VLAN可减少所需的网络端口和电缆数量，但需要得到物理网络基础架构的支持。（4）首选分布式交换机，并应尽可能少配置虚拟交换机。对于每一个虚拟交换机vSwitch应该配置至少两个上行链路物理网络端口。（5）可以在不影响虚拟机或在交换机后端运行的网络服务的前提下，向标准或分布式交换机添加或从中移除网络适配器。如果移除所有正在运行的硬件，虚拟机仍可互相通信。如果保留一个网络适配器原封不动，则所有的虚拟机仍然可以与物理网络相连。1.指导原则与最佳实践四、实施方案（三）网络资源规划（6）连接到同一vSphere标准交换机或分布式交换机的每个物理网络适配器还应该连接到同一物理网络。将所有VMkernel网络适配器配置为相同MTU。（7）实施网络组件和路径冗余，以支持可用性和负载分配。（8）使用具有活动/备用端口配置的网卡绑定，以减少所需端口的数量，同时保持冗余。（9）对于多网口的冗余配置应该遵循配置在不同PCI插槽间的物理网卡口之间。1.指导原则与最佳实践四、实施方案（三）网络资源规划（10）对于物理交换网络也应该相应的进行冗余设置，避免单点故障。建议采用千兆以太网交换网络，避免网络瓶颈。（11）对吞吐量和并发网络带宽有较高使用要求的情况，可以考虑采用10GbE，不过采用万兆网络在适配器和交换机上的投入成本也会相应增加。简单的方法是通过在虚拟机网络vSwitch或vPortGroup上通过对多块1GbE端口捆绑负载均衡实现。1.指导原则与最佳实践四、实施方案（三）网络资源规划（12）将直通设备与Linux内核2.6.20或更低版本配合使用时，避免使用MSI和MSI-X模式，因为这会明显影响性能。（13）为了保护大部分敏感的虚拟机，要在虚拟机中部署防火墙，以便在带有上行链路（连接物理网络）的虚拟网络和无上行链路的纯虚拟网络之间路由。1.指导原则与最佳实践四、