VMware虚拟化最佳实践及规划.ppt

虚拟化最佳实践及规划 议程 应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑 议程 应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑 应用实施范围总体原则 不适合采用虚拟化的应用具有特殊硬件访问要求的应用高性能图形显卡 不适用虚拟化特殊的串 并行加密设备 不适用虚拟化USB设备连接需求 可能不适用 可采用外置USB设备代替 需经过测试即使在高配置的服务器上仍然具有很高负载的应用 可能不适用 需分析当前服务器配置情况可以采用虚拟化的应用除上述不适合采用虚拟化的应用之外的所有应用可根据应用迁移的复杂程度决定虚拟化先后顺序较易实现P2V的应用可先做迁移 如可用Converter工具直接迁移的应用较难或不能做P2V迁移的应用可考虑采用重新安装方式后迁根据管理的需要决定是否做虚拟化虚拟化转变过程对现有业务的影响程度转变为虚拟化后对现有管理的影响程度部门之间协调的难易程度 虚拟化宿主服务器的部署类型 垂直扩展与水平扩展部署模式不同资源池的 量子化 模型 不同资源池的类型 垂直扩展的主机模式提供更大的连续性资源空间更容易满足不同负载的吻合性要求可提供更高的资源利用率水平扩展的集群主机模式更像是一组小池子的集合多组小容量资源池需要更多的监控管理模块化使用既有优点也有缺点 影响虚拟化部署的参数体系 功能的多样化 服务器的重要性 独立服务器 不重要 重要 独立的 本地存储等等 群集的 多主机的等等 服务器农场 水平扩展服务器群集 公用服务器等等 后端办公 本地应用等等 负载约束 技术约束 商业约束 困难度增加 负载约束 不同的资源组都需要分别考虑CPU利用率磁盘I O网络I O内存利用率虚拟化造成的额外负载通常也要做一定考虑 如磁盘和网络的I O会增加CPU的负担iSCSI存储访问也会增加CPU负担运维的周期性负载变化也必须考虑进来月末负载变化年末负载变化 技术约束 技术约束通常主要是指 兼容性 指系统 应用的兼容性 关联性 如系统是摩格逻辑组的一部分 大部分环境下 这些约束包括了 网络连接 子网段级别 应用之间的互连性相关的存储使用技术所用的硬件和外设软件支持度和认证这些约束条件根据虚拟化在内核上下实现的不同而有所不同共享与分离OS镜像模式 商业和流程的约束 规模较小或集中的情况下容易被忽略的约束在实验室的测试环境可以不考虑 但生产环境必须要考虑在虚拟化中常见的商业和流程约束包括 维护窗口和冻结改变地理位置和其他物理限制运维环境 安全区域 应用分层部署考虑商业组织 部门以及客户法规政策的考虑与限制忽视这些约束条件将可能导致不可预知的结果具体情况具体分析 根据目标制定计划 议程 应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑 虚拟化中使用的硬件应满足兼容性列表要求 所有用于实现VMwareVI3虚拟架构解决方案的设备 包括 服务器系统 存储系统 IO卡设备等 应满足VMwareVI3产品兼容列表的要求 最新的兼容列表可从如下的连接找到 ESX服务器硬件配置考虑要点 CPUs ESX调度CPU周期满足虚拟机和ServiceConsole的处理请求可用的CPU目标数量越多 ESX管理这个调度机制的效果越好 单台服务器配置8个以上的CPU核会有最好的效果 超线程技术并不能提供等同于多核处理器的好处 建议关闭CPU的超线程功能 如果有的话 使用具有EM64T能力的IntelVT或AMDV技术的CPU可以同时支持运行32位和64位的虚拟机采用同一厂商 同一产品家族和同一代处理器的服务器组成的集群 可以获得最好的VMotion兼容能力ES的EnhancedVMotion兼容性扩大了原有VMotion的兼容能力 AlleviatingConstraintswithResourcePoolsLiveMigrationwithEnhancedVMotion 参见 BestPracticesforSuccessfulVIDesign ESX服务器硬件配置考虑要点 内存 内存资源往往比CPU资源更会成为潜在的瓶颈在某些时候 虚机环境的内存使用量可能会超过物理内存值 Hostswapfile 尽量少用以获得最佳性能 TransparentPageSharing 多个虚机共享相同内存页面 注意服务器特定的内存配置要求DIMMsizes bankpairing parity upgradeconsiderations mixandmatchorforkliftreplacement 尽可能将服务器配置到最大内存 采用最大容量的内存条 特别是当没有配满全部内存条时 参见 BestPracticesforSuccessfulVIDesign 虚拟架构的基本网络连接部件组成 Managementvirtualmachine Vmotion iSCSI NFS VMconnectivity PortGroup PortGroup PortGroup ESX服务器硬件配置考虑要点 网络 参见 BestPracticesforSuccessfulVIDesign 最少配置一个虚拟交换机 测试环境可用2个虚拟交换机 生产环境建议最少配置3个虚拟交换机虚拟交换机可同时支持3种类型的端口组 ServiceConsole VMkernel VM 建议将ServiceConsole VMkernel和虚机端口组各自使用自己的虚拟交换机可用VLAN技术分割不同的端口组对于使用VMotion和DRS功能的服务器集群 网络配置应该相匹配 虚拟交换机的数量与网络卷标名应保持一致 ESX服务器ServiceConsole使用固定IP 配置正确的speed和duplex ESX服务器硬件配置考虑要点 网络 虚拟交换机和端口组 参见 BestPracticesforSuccessfulVIDesign ESX服务器 虚拟交换机 物理网卡出于冗余的考虑 每个虚拟交换机建议至少分配两个物理网卡每个ESX服务器的物理网卡 口数量取决于准备配置的虚拟交换机的数量如果3种类型的端口组 SC VMkernel VM 都在不同的虚拟交换机上 生产环境建议至少6个物理网卡 口如果给包含虚拟机端口组的虚拟交换机分配更多的物理网卡 口 可以获得负载均衡的好处 ESX服务器硬件配置考虑要点 网络基本组件 参见 BestPracticesforSuccessfulVIDesign 物理网卡 口与物理交换机同一个虚拟交换机上的不同物理网卡 口应连接到不同的物理交换机上将一个集群中所有服务器的VMotion功能端口组所使用的物理网卡 口都连到同一套物理交换机上 同样遵循上述第一条规则 ESX服务器硬件配置考虑要点 与物理网络的连接 参见 BestPracticesforSuccessfulVIDesign Example1 BladeServerwith2NICPorts vSwitch vmnic0 SC vmkernel Active Standby vmnic1 CandidateDesign TeambothNICportsCreateonevirtualswitchCreatethreeportgroups UseActive StandbypolicyforeachportgroupPortgroup1 ServiceConsole SC Portgroup2 VMotionPortgroup3 VMtrafficUseVLANtrunkingTrunkVLANs10 20 30oneachuplink Portgroup1VLAN10 Portgroup3VLAN30 Portgroup2VLAN20 VLANTrunks VLANs10 20 30 Example2 Serverwith4NICPorts vmnic0 SC vmkernel Active Standby vmnic1 CandidateDesign CreatetwovirtualswitchesTeamtwoNICstoeachvSwitchvSwitch0 useactive standbyforeachportgroup Portgroup1 ServiceConsole SC Portgroup2 VMotionvSwitch1 useOriginatingVirtualPortID Portgroup3 VMtraffic 1Portgroup4 VMtraffic 2UseVLANtrunkingvmnic1andvmnic3 TrunkVLANs10 20vmnic0andvmnic2 TrunkVLANs30 40 Portgroup4VLAN40 VLANs10 20 vSwitch0 Portgroup1VLAN10 Portgroup2VLAN20 vSwitch1 vmnic2 vmnic3 Portgroup3VLAN30 VLANs30 40 Example3 Serverwith4NICPorts SlightVariation vmnic0 SC vmkernel Active Standby vmnic1 CandidateDesign CreateonevirtualswitchCreatetwoNICteamsvSwitch0 useactive standbyforportgroups1 2 Portgroup1 ServiceConsole SC Portgroup2 VmotionUseOriginatingVirtualPortIDforPortgroups3 4Portgroup3 VMtraffic 1Portgroup4 VMtraffic 2UseVLANtrunkingvmnic1andvmnic3 TrunkVLANs10 20vmnic0andvmnic2 TrunkVLANs30 40 VLANs10 20 vSwitch0 Portgroup1VLAN10 Portgroup2VLAN20 vmnic2 vmnic3 Portgroup3VLAN30 VLANs30 40 Portgroup4VLAN40 ServerswithMoreNICPorts Morethan4NICPorts DesignConsiderationsWithTrunks VLANtagging UsepreviousapproachandscaleuptomeetadditionalbandwidthandredundancyrequirementsAddNICstoNICteamsupportingVMtrafficVLANTaggingalwaysrecommended butoptionsifNICsavailable DedicatedNICforVMotionAtleastoneNICDedicatedNICsforIPStorage NFSand oriSCSI UsuallytwoteamedNICs considerIP hash etherchannelifmultipledestinationsandMulti ChassisEtherchannelemployedonphysicalswitches DedicatedNIC s forServiceConsoleAtleasttwoforavailabilityNote easytoconsumemanyphysicalNICsandswitchportsifnotusingVLANtagging ESX服务器硬件配置考虑要点 存储 应尽可能采用外置共享磁盘阵列存放虚拟机文件ESX服务器内置硬盘应有充分的冗余 建议采用RAID1ESX服务器自身对硬盘要求 安装时的Partition划分 不建议用安装时的自动硬盘划分方法 因为 var home会放再同一个目录下 当 root 满了时 ESX服务器会发生严重问题 建议 boot50到100MB PrimaryPartition 8 0到18GB PrimaryPartition swap 2倍的ServiceConsole内存 建议固定使用1 6G var4GB或更大建议足够的ESX服务器程序空间大小为18GB本地端的ISO以及其他文本文件的存放空间要考虑 存储对于虚拟机的呈现方式 7 VM层 数据存储 存储阵列 SCSI控制器 虚拟磁盘呈现为SCSI控制器SCSI控制器显示为BUS或LSILogic磁盘控制器一个VM可具有1到4个虚拟LSILogic或BusLogicSCSI适配器每个SCSI适配器包含1到15个虚拟SCSI存储设备虚拟磁盘驻留在可格式化为VMFS NFS或裸磁盘的数据存储中文件系统类型由底层物理磁盘驱动器确定 VMFS NFS FC iSCSI NAS 卷 数据存储和LUN 卷 存储阵列 数据存储 8 LUN1020GB LUN是一个逻辑空间可由存储阵列的整个空间创建 也可由其中的部分空间创建LUN映射到ESX后即成为卷当卷被格式化为某种文件系统之后即成为数据存储不能在同一个LUN中混用不同类型的文件系统每个LUN对应一个VMFS卷 虚拟机内容位于数据存储中 数据存储 ESX数据存储类型 VMware文件系统 VMFS 使用VMFS的RDM网络文件系统 NFS 卷 VM内容 ESX主机 数据存储采用某种文件系统格式可以像操作文件一样操作数据存储每个系统具有256个VMFS数据存储每个系统具有8个NFS数据存储ISO映像 VM模板和软盘映像 9 虚拟机内容 10 文件夹 子目录 数据存储类型 数据存储 VMFS 数据存储 VMFS 数据存储 NFS IP网络 VM内容 VM内容 FC交换机 光纤通道SAN磁盘阵列 iSCSISAN磁盘阵列 NAS磁盘阵列 VM内容 VM3 VM3 12 本地SCSI VMDK IP交换机 ESX服务器建议配置 新购 为了尽可能的发挥虚拟化的作用 最大限度的利用单台服务器的资源 建议用于虚拟化宿主服务器的配置应达到或超过如下标准 从性价比和可用性考虑 不建议在单路服务器上部署虚拟化 虚拟化宿主服务器建议配置 现有 对于目前业内用的比较多的四路服务器 建议如下 四路单核服务器 运算能力较弱 虚机数量应控制在10个以内 内存配置建议在12GB 16GB 四路双核服务器 运算能力中等 虚机数量可做到10 15个左右 内存配置建议在16GB 24GB 四路四核服务器 运算能力强劲 虚机数量可做到15 30个左右 内存配置建议在24GB 32GB VC服务器最佳配置建议 处理器 2 0GHz或更高的Intel或AMDx86处理器 VC支持多处理 可支持至多2个CPU 内存 最低需求为2GB 假使数据库和VC安装于同一台 建议增加至4GB 磁盘空间 最小为560MB 建议2GB 网卡 建议用Gigabit 最低硬件配置 单个2GHzCPU 2GB内存 千兆网口可支持20个同时连接 管理50台物理机 1000个虚拟机左右建议配置 双CPU 4GB内存 千兆网口可支持50个同时连接 管理200台物理机 2000个虚拟机左右 议程 应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑 虚机个数的规划 单台服务器所能支持虚机数量的决定因素 服务器的硬件配置CPU性能 多核高主频技术使得CPU成为性能瓶颈的可能性越来越低内存大小 做为硬指标的内存 配置越高 所能支持的虚机数量越多网络端口 千兆网环境已很普遍 网络带宽大多有保证 更多从管理角度来考虑HBA卡 磁盘访问性能对虚机数量有一定影响 建议采用4Gb或8GbHBA卡以减少链路影响本地磁盘 内置磁盘的可用性及IO吞吐能力均较弱 不建议在其上存放虚拟机 推荐使用外置高性能磁盘阵列应用负载大小由于物理服务器资源自身的最大限制 应用负载越大 所能同时运行的虚机数量越少建议将不同应用访问特性的应用混合部署在同一物理服务器上灵活运用DRS和VMotion技术可将物理机与虚机的比率关系调到最优考虑到HA及DRS所要求的资源冗余 所有运行虚机在正常负载下 总体资源使用率不超过三分之二会比较合适经验值 双路四核10个虚机左右 四路四核15 30个虚机 仅为参考 虚机资源的分配 CPU 内存 CPU分配原则 尽量使用最少的vCPUs 如果是单线程应用 不支持多线程处理 请不要使用virtualSMP虚拟CPU数量不要等于或超过物理CPU核数 如双路双核服务器配置的虚机最多使用两个虚拟CPU当配置虚拟机的时候须了解ESX服务器本身也有一些overhead 需注意不要超过所有虚拟机使用率和所有vCPU汇总数目 观察 idleloopspin 功能参数 某些操作系统当它们闲置时 并不会真正的释放virtualCPU 确认配置了单一处理器的虚拟机为 UPHAL kernel 多处理器的虚拟机必须设定为 SMPHAL kernel 内存分配原则 内存总量为在资源评估后 计算虚拟机评估结果所需实际物理内存的总和 其他由于应用程序而产生的更多内存需要可以用ESX的磁盘内存来解决关键应用可考虑固定内存的方法以保证性能的稳定性 DRSBestPractices HardwareConfiguration EnsurehostsareCPUcompatibleIntelvsAMDSimilarCPUfamily SSE3statusEnhancedVMotionCompatibility EVC VMwareVMotionandCPUCompatibility whitepaperCPUincompatibility limitedDRSVMmigrationoptionsLargerHostCPUandmemorysizepreferredforVMplacement ifallequal Differencesincacheormemoryarchitecture inconsistencyinperformance DRSBestPractices ClusterConfiguration Highernumberofhosts moreDRSbalancingoptionsRecommendupto32hosts clusterMayvarywithVCserverconfigurationandVM hostratioNetworkconfigurationonallhostsVMotionnetwork Securitypolicies VMotionnicenabled GigEnetwork etcVirtualMachinenetworkpresentonallhostsVMdatastoresharedacrossallhostsVMfloppy CDconnectedtohostdevice DRSBestPractices VMResourceSettings Reservations Limits andSharesSharestakeeffectduringresourcecontentionLowlimitscanleadtowastedresourcesHighVMreservationsmaylimitDRSbalancingOverheadmemoryUseresourcepools RP forbettermanageabilityVirtualCPU sandMemorysizeHighmemorysizeandvirtualCPU s fewermigrationopportunitiesConfigureVMsbasedonneed DRSBestPractices AlgorithmSettings AggressivenessthresholdModeratethreshold default workswellformostcasesAggressivethresholdsrecommendedifHomogenousclustersandVMdemandrelativelyconstantandFewaffinity anti affinityrulesUseaffinity anti affinityrulesonlywhenneedAffinityrules closelyinteractingVMsAnti affinityrules I Ointensiveworkloads availabilityAutomaticDRSmoderecommended cluster wide Manual Partiallyautomaticmodeforlocation criticalVMs perVM PerVMsettingoverridescluster widesetting HABestPractices Setup Networking ProperDNS NetworksettingsareneededforinitialconfigurationAfterconfigurationDNSresolutionsarecachedto etc FT HOSTS minimizingthedependencyonDNSserveravailabilityduringanactualfailover DNSoneachhostispreferred manualeditingof etc hostsiserrorprone RedundancytoESXServiceConsolenetworkingisessential severaloptions ChoosetheoptionthatminimizessinglepointsoffailureGateways isolationaddressesshouldrespondviaICMP ping EnablePortFast orequivalent onnetworkswitchestoavoidspanningtreerelatedisolationsNetworkmaintenanceactivitiesshouldtakeintoaccountdependenciesontheESXServiceConsolenetwork s VMwareHAcanbetemporarilydisabledthroughtheCluster EditSettingsdialogValidVMnetworklabelnamesrequiredforproperfailoverVirtualmachinesusethemtore establishnetworkconnectivityuponrestart HANetworkConfiguration Asingleserviceconsolenetworkwithunderlyingredundancyisusuallysufficient Useateamof2NICsconnectedtodifferentphysicalswitchestoavoidasinglepointoffailureConfigurevNicsinvSwitchforActive Standbyconfiguration rollingfailover yes defaultloadbalancing routebasedonoriginatingportID Considerextendingtimeoutvalues addingmultipleisolationaddresses seeappendix Timeoutsof30 60secondswillslightlyextendrecoverytimes butwillalsoallowforintermittentnetworkoutages NetworkredundancybetweentheESXserviceconsolesisessentialforreliabledetectionofhostfailures isolationconditions HANetworkConfiguration Continued HAwilldetectanduseasecondaryserviceconsolenetworkAddingasecondaryserviceconsoleportgrouptoanexistingVMotionvSwitchavoidshavingtodedicateanadditionalsubnet NICforthispurposeAlsoneedtospecifyanadditionalisolationaddressfortheclustertoaccountfortheaddedredundancy seeappendix Continueusingtheprimaryserviceconsolenetwork IPaddressformanagementpurposesBecarefulwithnetworkmaintenancethataffectstheprimaryserviceconsolenetworkandthesecondary VMotionnetwork BeyondNICteaming asecondaryserviceconsolenetworkcanbeconfiguredtoprovideredundantheartbeating isolationdetection HABestPractices ResourceManagement LargergroupsofhomogenousserverswillallowhigherlevelsofutilizationacrossanHA DRSenabledcluster onaverage Morenodespercluster currentmaximumis16 cantoleratemultiplehostfailureswhilestillguaranteeingfailovercapacitiesAdmissioncontrolheuristicsareconservativelyweighted sothatlargeserverswithmanyVMscanfailovertosmallservers Todefinethesizingestimatesusedforadmissioncontrol setreasonablereservationsastheminimumresourcesneededAdmissioncontrolwillexceedfailovercapacitieswhenreservationsarenotset otherwiseHAwilluselargestreservationspecifiedasthe slot size Ataminimum setreservationsforafewvirtualmachinesconsidered average AdmissioncontrolmaybetooconservativewhenhostandVMsizesvarywidelyPerformyourowncapacityplanningbychoosing Allowvirtualmachinestobepoweredoneveniftheyviolateavailabilityconstraints HAwillstilltrytorestartasmanyvirtualmachinesasitcan 议程 应用实施范围考虑服务器采购考虑虚拟机部署考虑管理维护考虑 ImpactofVirtualCenterDowntime 参见 BulletproofVirtualCenter AGuidetoProtectingVirtualCenter VirtualCenterComponents VirtualCenterServer WebAccess LicenseServer ADDomainController DNSServer DatabaseServer 参见 BulletproofVirtualCenter AGuidetoProtectingVirtualCenter VirtualCenter RecommendedCollocation CollocationofVirtualCentercomponentsisdesirableformostenvironmentsFocusofthissessionisonprovidingprotectionforthesecomponentsIndustrystandardsolutionsassumedforothercomponents OneServer PhysicalorVirtual VirtualCenterServer WebAccess LicenseServer ADDomainController DNSServer DatabaseServer 参见 BulletproofVirtualCenter AGuidetoProtectingVirtualCenter VirtualCenterComponents AdditionalDetails VirtualCenterService almoststatelessInformationaboutinventorystoredinthedatabaseSomestatefilesstoredlocallyonVirtualCenterserverWebAccessNostateinformationLicenseServerLicensefilestoredlocally14dayGraceperiodifunavailable 参见 BulletproofVirtualCenter AGuidetoProtectingVirtualCenter VirtualCenter LocalConfigurationFiles OneServer PhysicalorVirtual VirtualCenterServer WebAccess LicenseServer DatabaseServer SSLCertificate LicenseFile Config File UpgradeFiles 参见 BulletproofVirtualCenter AGuidetoProtectingVirtualCenter Step1forHighAvailability ProtecttheDatabase DatabaseoutagewillterminateVirtualCenterserviceAsofVirtualCenter2 0 1Patch2 WindowsServiceManagerwillautomaticallyattempttorestartitevery5minutes indefinitelyVirtualCenterDatabaseshouldbeindependentlyinstalledandmanagedForlocalavailabilityusethepreferredmechanismforthetypeofdatabasebeingused VMwareHA MSCS Databasespecificmechanisms Fordisasterrecovery databaseshouldbereplicatedtoaremotesiteaspartofanoverallDRplan 参见 BulletproofVirtualCenter AGuidetoProtectingVirtualCenter VC VC Bang Failover Step2forHighAvailability ProtectVirtualCenter VMwareHAandMicrosoftClusterServices MSCS arethetwomostpopularoptionsOther3rdpartysolutionspossible Supporteddirectlyby3rdparty Optiona VMwareHAVirtualinstancesonlySubjecttosharedstorage networkconstraintsOnlyrequiressingleOSexplicitreplicationoffilesInvolvesadditionalconfigurationefforts ongoingmaintenance 参见 BulletproofVirtualCenter AGuidetoProtectingVirtualCenter VirtualCenter Physicalvs Virtual Foradditionaldetailsrefertothefollowingdocumentation VirtualCenterwithVMwareHA Out of Band TwoapproachesTwoVirtualCenterinstancesmanageeachother pictured BothruninHAclusterEachmanagestheother sHAclusterSeparateVirtualCenterinstanceisusedtomanage2 nodeHAcluster notpictured vpxd vpxd VirtualCenterServermanagestheVMwareHAclusterprovidingitsprotectionWhentheESXhostswithVirtualCenterVMfails VMisrestartedautomaticallybyHAFailoverfunctionalityprovidedbyHAisindependentfromVirtualCenter post configuration vpxd VirtualCenterwithVMwareHA In Band VirtualCenterwithMSCS Physical Bestpractice useMajorityNodeSetquorumwithwitnessshareMaybeusedasgeographicallydispersedclusterfordisasterrecoverysolutionVCDBmaybeusedinanotherclustergrouponthesameclusterRequiresathirdnode EthernetNetwork vcdb vpxd Foradditionaldetailsrefertothefollowingdocumentation VirtualCenterwithMSCS Virtual Requiresuseofquorumdiskclustering QuorumdiskonthesharedstorageSystemdisksforbothclusteredvirtualmachinesonlocalstorageIncompatiblewithVMotionorVMwareHA SAN LAN vpxd Foradditionaldetailsrefertothefollowingdocumentation RiseofthePhoenix DisasterRecovery VirtualCenterServer DatabaseServer VIServices VIInventory DatabaseServer StandardDRSolution Standby VirtualCenterServer Primary Replicationofstatefiles VirtualCenterDisasterRecoveryOverview Disasterrecoverysolutionconsistsofthreepieces VIInventorydataUsethestandardDRsolutionofthedatabasevendorVIServicesColdStandby Re installVirtualCenterandrestorelocalconfigurationfilesWarmStandby Pre installVirtualCenterandsynchronizelocalconfigurationfiles butkeep2ndinstancedisconnectedAllotherinfrastructureservices AD DNS etc Useexistingproduct specificsolutions ColdStandbyRecoveryProcedure Abletoassignprimary sIPtostandby Maintainseparateuptodatecopyoflocalconfigurationfiles In