Oracle-Sun T4-4深入分析 V1.0.doc

Oracle-Sun T4-4深入分析版本信息版本号V1.0作者张博，张希文日期2012年9月10日目录版本信息2目录31. 前言52. T4产品概述53. 与Power产品的对比63.1 Roadmap对比63.2 SPARC T4芯片与Power7芯片63.3 多线程73.4 性能83.5 产品规格与扩展性113.6 物理参数对比123.7 虚拟化对比123.8 业务连续性133.8.1 硬件RAS133.8.2 软件高可用143.9 维护与服务154. IBM Power增值特性154.1 绿色节能154.2 自动优化核心174.3 内存倍增术185.附录195.1 SPECjEnterprise2010和TPC-H测试值分析195.2 Power7 RAS特性201. 前言 Oracle在2011年10月发布了基于SPARC T4芯片的新一代SPARC服务器。随着目前UNIX服务器市场竞争日益激烈，客户已经从过往单纯地考量硬件性能逐渐转变为关注整体方案完善度及长远发展可能。本文旨在分析T4服务器的各项指标，发现Power服务器在竞争中的优势及核心价值，通过一份实用，简单，有针对性的文档，帮助IBMer在与Oracle-Sun T4-4产品的竞争中合理地针对客户最关心的需求提供有据可依的说明。2. T4产品概述 SUN被Oracle收购之前，一直定位T系列在Web处理，JAVA应用服务器。Oracle接手后，尤其是通过T3/T4的更新，将T系列包装为适合OLTP数据库的服务器。但即便如此，在Oracle的产品线描述中，T系列最高端产品T44仍低于M系列最低端产品M3000/4000。基于SPARC T4处理器同时发布了4款T4系列服务器，全线替代T3服务器，但从对比来看，产品规格没有变化, 只是更换SPARC T4的CPU。T4 ServerT4-1T4-1BT4-2T4-4CPUT4 2.85GHzT4 2.85GHzT4 2.85GHzT4 3.0GHzCore/Threads8/648/6416/12832/256Memory256GB/16 DIMM256GB/16 DIMMUp to 512GBUp to 1TBI/O slots6210161GbE/10GbE4/22/24/44/8MAX HDD8 10K rpm2 10K rpm6 10K rpm8 10K rpmInternal DiskRAIDRAID 0/1(5/6 option)RAID 0/1RAID 0/1RAID 0/1DVDslimline DVDNoslimline DVDNo参考：/us/products/servers-storage/servers/sparc-enterprise/t-series/comparisons/index.html3. 与Power产品的对比3.1 Roadmap对比Oracle-Sun 产品规划技术陈旧,没有创新，周期不稳定。Sun原来的T2处理器都是8核封装，到T3变成16核封装，而T4又变回8核封装，其技术路线随意性太大。且2010年发布的T3系列不到1年就被T4取代，让用户很难理解T4系列产品的生命周期。IBM Power清晰完美的发展路线：-每三年为周期推出全新的具有开创性的新产品-每18个月对现有产品线产品推出升级版本3.2 SPARC T4芯片与Power7芯片 T4用较少的核数获得比T3更好的性能，主要在于其提高了吞吐量；更高的时钟周期，以及在单核基础上改进了的“智能的”参数以获得更多的计算能力。其中“智能的”参数包括128KB每核独有的L2 cache，乱序执行，双指令执行，及更前瞻的预测。 但是，T4 8核封装核16核封装T3有着相同的吞吐量。并且T4使用了与T3相同的处理器结构，两个处理器使用了相同的system-on-chip (SOC)结构，使得内存控制器，组织一致性(coherence fabric)，I/O互联，网络接口单元，甚至电源，散热都是相同的。参考：SPARC T4 Deep Dive With Rick Hetherington/us/corporate/innovation/deep-dive-hetherington-489126.html 由此可见，T4做了这些改进之后，对比Power7芯片技术，仍有一些差距，尤其是在eDRAM技术，L2及L3 Cache方面：招标参数tipsInclude T4-4：1）CPU核数最大可扩充32核。2）配置每CPU核最少支持三级缓存，且L3缓存4MB。 Exclude T4-4：1）CPU核数最大可扩充48核。2）配置每CPU核最少支持三级缓存，且L3缓存4MB/Core。3.3 多线程 SPARC T4 以1核8线程为卖点，每内核可运行8线程，一颗T4最多运行64线程。但其T4宣称使用的“S3”技术，每颗内核在一个时钟周期内只能同时执行2线程，即同时间其余6线程在等候。Power 7的多线程是真正的多线程，能同时达到4线程并行。智能线程(Intelligent Threads)技术可以根据工作负载要求进行设置不同的多线程模式，系统可以自动选择，也可以由管理员进行手动设置。同时支持SMT1，2，4，使得同一台POWER7服务器内的不同LPAR可以运行在不同模式下，这样就能在并发线程和执行效率中获得良好的平衡，也给了用户很大的灵活性。招标参数tips尽量避免在参数中提及Thread，Thread/Core的参数。3.4 性能 Oracle T4-4缺少多个第三方工业基准测试作为依据。目前发布的9项测试值中，7项都不是工业标准基准测试，只是Oracle自己的软件测试指标, 并且大部分都是基于内部测试，公信力不足！另外的SPECjEnterprise2010和TPC-H值都不是模拟客户典型应用环境的测试，具体分析参见附录。T4-4并没有公开业界常用的TPC-C，SPECint_2006， SPECjbb2005，SAP等值。由T4-4与T3-4的SPECjEnterprise2010测试值对比发现：Oracle宣称T4单线程性能是T3的5倍，但未公布TPC-C测试值。此处显示T4的单核性能约为T3的2倍多。由于T3-4到T4-4产品规格没有变化, 只是更换SPARC T4的CPU，由此推测：Oracle T4-4系统的整体性能可能比T3-4高10-20%。根据T3与Power7的对比：TPC-C : 数据库在线查询(OLTP)交易性能SystemTotal ProcessorsTotal CoresClustertpmctpmc/coreIBM POWER780 4.14 GHz28N1,200,011150001SPARC T3-4 1.65GHz 1081728Y30,249,68817505SPEC CPU 2006: 处理器单核或多核在处理整点及浮点计算性能SystemTotal ProcessorsTotal CoresSPECint_rate2006 SPECint_rate_base2006SPECint_rate2006/CoreSPECint_rate_base2006/CoreIBM POWER740 3.55GHz21657751036.0631.88IBM POWER780 3.92 GHz8642770242043.2837.81SPARC T3-4 1.65GHz 46466661410.419.59SPARC T3-2 1.65GHz 23233530910.469.65对比发现Power7服务器单核性能约为T3-4的3-4倍，推测与T4-4大约为1.5-2倍。TPC-C推测 Power 7 AdvantageOracle T3-4Based on TpmCOracle T4-4IBM EstimatedOLTP perf/Core3.0x1.5xOLTP perf/Server3.0x1.5x以下信息仅供参考，您可以给客户一对一的展示，但不能为他们提供副本。红色所示的项不是公开的发布结果，为IBM竞争分析技术团队基于基于建模结果分析得出。相对芯片性能估计：Chip Freq (MHz) Cores per Socket Threads per Core SPECint2006 SPECint_rate2006 Per Socket SPARC T316501684.2166SPARC T430008822165POWER741408444340单分区 4-sockets系统相对性能估计：Workload Oracle T3-464 cores 1.6GHz Oracle T4-432 cores 3.0GHz IBM p75032 cores 3.61GHz POWER7/T3Per-CoreRatio POWER7/T4Per-CoreRatio OLTP1750173025722.94 1.49ERP SAP 2-Tier 80007900173124.33 2.19SPECjbb (k JOPS)1610167024913.09 1.49SPECint_rate200665565711503.51 1.75SPECjEnterprise20109456132301717321.52 0.54TPC-H-205792 1920013-0.934-sockects系统相对性能估计：POWER7/T4 Per-Core Ratio Workload Oracle T4-432 cores 3.0GHz IBM p75032 cores 3.61GHz BenchmarkUtilization IBM ConservativeUtilization Typical CustomerUtilization P7: 100%T4: 100% P7: 70%T4: 50% P7: 80%T4: 20% OLTP173025721.492.085.95ERP SAP 2-Tier 7900173122.193.078.77SPECjbb (k JOPS)167024911.492.095.97SPECint_rate200665711501.752.457.00SPECjEnterprise2010132301717320.540.762.17TPC-H205792 19200130.931.313.731 Extrapolated from the clustered result, assumes Oracle got 40% performance boost from software2 Expected to increase with Websphere Application Server 83 Power 780 result针对不同的应用和测试环境，其结果不尽相同。以下数据为针对实际业务环境的几个实测结果，仅供参考：OCS应用: IBM P740 Vs ORACLE T4-2-CAPS=1.51 times 充值业务系统 IBM P740 Vs ORACLE T4-2 =1.78 times3.5 产品规格与扩展性POWER7系统在灵活性和扩展性方面优势明显：FeatureT4-4PowerComments处理器选择2 or 4 sockets16C/32C 3.0GHz1-4 sockets4C/8C 3.3GHz 6C/12C 3.7GHz8C/16C 3.55GHz8C/16C/24C/32C 3.2GHz6C/12C/18C/24C 3.7GHzPower服务器提供更高的主频，且CPU核数可选择性更多。处理器升级是是可灵活扩展，支持未来业务扩张内存64DIMMs，Max 1TB支持单条4GB/8GB/16GBPower740：32DIMMs，Max 512GB支持单条2GB/4GB/8GB/16GBPower770：64DIMMs，Max 4TB内存扩展性对比Power740/ Power750没有优势，但单条可选择性更强。Power770/Power780优势明显。内置硬盘86 or 8灵活可选内置硬盘支持RAID级别RAID 0 and 1RAID 0, 1, 10Optional RAID 5, 6可支持RAID5，6内置I/O16 PCIePower740: 5PCIe+4PCIe LP(optional)Power750: 2PCI-X+3PCIePower770: 24PCIe只是比较内置I/O，Power优势不大最大I/O扩展性16 PCIePower740: 45 PCIePower750: 2PCI-X+41PCIePower770: 184PCIePower服务器的I/O扩展性优势明显内置DVD无slimline DVD X 1不支持内置DVD支持的操作系统Oracle Solaris 10 or 11AIX 7.1/6.1/5.3IBM i 7.1/6.1SUSE Enterprise Linux 10/11Red Hat Enterprise Linux 5/6支持更多的OS，对应客户不同应用，保护客户投资招标参数tips1) I/O扩展性方面Exclude T4-4：PCIe槽位可扩展至41(P750)/45(P740)个PCIe2) 内存扩展性方面中低端的Power740和Power750没有优势，规避该参数。Power770/ Power780优势明显。3) T4-4不支持内置DVD，不支持内置硬盘RAID5，6。3.6 物理参数对比FeatureT4-4PowerComments尺寸5U高度: 21.9 cm (8.62 in)宽度: 44.5 cm (17.5 in)深度: 70 cm (27.56 in)Power740/Power750：4U高度: 17.3 cm宽度: 44 cm深度: 61 cmPower770/Power780: 4U/node高度: 174 mm宽度: 483 mm深度: 863 mm Power服务器更加节省空间，所占空间比T4-4少20%重量79 kg (174 lbs)Power740/Power750：48.7 kg Power770/Power780: 70.3 kg所需承重更小3.7 虚拟化对比Oracle宣称的三种虚拟化技术：Hard Partition(仅支持M-Series Dynamic Domains)、SPARC Hypervisor(仅支持T-Series Oracle VM Server for SPARC)，以及Oracle Solaris Containers(单OS)。下图对比了为 T4-4服务器提供高效的企业级虚拟化功能的Oracle VM Server for SPARC与PowerVM虚拟化解决方案。虚拟化Oracle VM Server for SPARC 2.1PowerVMComments扩展性只有Sun T系列服务器支持支持所有的Power System服务器和刀片PowerVM使用一个并且标准的虚拟化解决方案跨越全线产品支持的操作系统Solaris 10 AIX, SUSE Linux, Red Hat Linux，IBM iPowerVM给客户提供了更多选择能够支持硬件Lpar否是PowerVM支持硬件Lpar和虚拟Micro-Partitioning混合环境资源分配粒度CPU 整核分配，单个线程自动调度最少0.1颗CPU，以0.01的粒度自动调整PowerVM提供了更灵活的资源分配方法，提高了资源利用率，Oracle VM基于线程，多余的资源不能分配给其他分区内存使用效率无共享内存(AMS),在各分区间动态地自动地切换PowerVM提供提高内存使用效率的方法单系统上支持虚拟服务器128CPU*10Up to 1000PowerVM可支持的虚拟分区更多分区跨平台否是(Lx86)大部分的32位x86 Linux上的应用可以不重新编译就可以运行支持专属IO否是满足系统在面对核心应用对IO方面性能的需求支持双VIOS和冗余HMC管理否是提供冗余架构，保障系统运行的可靠性Hypervisor/Firmware在线维护重启机器是PowerVM Hypervisor/Firmware可以在线维护，即安装Fix不会影响系统运行。Oracle VM的维护需要重启运行应用的虚拟机动态资源调整(CPU，内存，I/O)部分支持是PowerVM的所有资源都可以在不停机的情况下动态调整，Oracle VM某些资源可以在正在运行的域上动态地进行配置，而其他一些资源则必须在停止的域上进行配置。对比PowerVM在虚拟化的很多方面还很弱，在设计和能力的不足主要表现在低的利用率，低的效能，缺少灵活性。IBM PowerVM作为标准的虚拟化解决方案，兼容性好，灵活动态，根据负载迁移资源，能够帮助客户提高系统使用效率，最大化使用现有资源。参考：/technetwork/cn/server-storage/sun-sparc-enterprise/documentation/oraclevm-sparc-ds-073441-zhs.pdf/cd/E24623_01/html/E23596/docinfo.html#scrolltoc3.8 业务连续性3.8.1 硬件RASPower服务器相对于友商服务器的一个显著特点，是Power服务器有着非常多的，并且其中一部分延续自大型机的强大RAS（Reliability, Availability, Serviceability 高可靠性、高可用性、高可服务性）特性。这就使得今天Power 系统变得如此可靠，以至于几乎没听说过有任何因为硬件问题导致 根据Oracle的产品介绍，M8000/9000作为业界最高端的企业级服务器，具有Mainframe级的RAS能力，包括： 完全冗余的硬件 CPU内存热插拔 内存镜像 指令重试 处理单元和寄存器级的数据保护 更细粒度的Cache降级而作为中端产品的T4-4并没有关于这类说明。RAS FeaturePOWER7 SPARC T4 冗余电源和风扇Yes Yes 冗余系统互连Yes No 冗余系统控制器Yes No 冗余的时钟Yes (Power 770/780)No 在线替换失败的CPU或内存Yes No 并发固件更新Yes No 独立于与操作系统的首次失败数据捕获 Yes No 处理器指令重试Yes No 处理器替换恢复Yes CPU offlining only 处理器单元动态补充Yes No 内存故障处理ChipkillTM Memory page offlining only 内存镜像Yes(Power770/780) No Memory keys Yes No 虚拟I / O设备冗余访问Yes No 参考资料/us/products/servers-storage/solaris/solaris-and-sparc-t4-497273.pdf3.8.2 软件高可用与跟Solaris/SPARC、HP-UX/PA-RISC、HP-UX/Integrity、SuSE on x86、RHEL on X86几类系统相比，AIX/Power组合的可用性最高，可以达到99.997%，每年停机时间不超过15分钟。并且在实际应用中，IBM提供的Power 服务器业务连续性解决方案能够从Power 系统硬件、操作系统和Power 系统软件三个技术层面实现的。利用按照大型机可用性理念设计的Power 系统硬件的RAS 特性以及Power 服务器的动态分区迁移功能实现高可用。利用AIX 操作系统的动态应用程序迁移功能最大限度减少计划内应用程序停顿，实现高可用。利用IBM Power HA 和Power HA/XD 系统软件，实现本地高可用集群以及远程容灾功能。3.9 维护与服务T4系列产品自带1年5X9的有限服务 ，而其他厂商的硬件都是3年7x24服务，若要升级T4系列服务到3年7x24，则需另外加钱购买。Oracle没有firmware网站免费升级和维修服务，而IBM扩展了对Power TL的技术支持范围,提供3年新安装AIX TL服务。在OS兼容性方面，Oracle 于2011年底发布了Solaris 11版操作系统，而从其官网中可以了解到在Solaris 10上的某些功能（feature）将不再出现于Solaris 11上，这势必会增加原来运行的Solaris 10上的客户将应用迁移到Solaris 11时的风险，需要进行全面的软件功能测试，以及相关程序的修改。可以理解为从Solaris 10到Solaris 11不是操作系统的升级，而是操作系统的一种转换。假如Oracle 发布Solaris 12后这样的情形是否还存在值得怀疑。参考：End of Features (EOF) Planned for Future Releases of Oracle Solaris/technetwork/systems/end-of-notices/eonsolaris11-392732.html4. IBM Power增值特性4.1 绿色节能 由T4-4服务器与Power服务器的峰值功率对比发现，在同等条件下， Power服务器每年可以为客户节省至少60%的能耗。假设使用Power740，在同等条件下， Power服务器每年可以为客户节省约(4.12-1.57)度24H365天=22338度电！而使用了Power的智能节能技术(EnergyScale)，这一数值能进一步扩大！FeatureT4-4PowerComments耗电量4,120 W (Max)Power740：1570(Max)Power750: 1950(Max)Power770: 1600/node(Max)Power服务器出色的能耗管理，耗电量比T4-4节省60%。Power 7处理器内部构建的EnergyScale单元，由微处理器和数据收集模块组成的TPMD硬件模块实现，能不断地搜集整个电脑的功耗数据，然后将其汇报给IBM 主动能源管理软件Active Energy Management(IBM Systems Director 软件的一个重要插件)。AEM能够对具有 EnergyScale 功能的 IBM 服务器在能源消耗方面进行多方面的设置、管理和监控，可以收集服务器的功耗和温度状态，从而调节机器的处理器主频和内存使用率,进而降低服务器的功耗和温度。我们甚至可以让Power 7在夜晚以50%的功耗工作，在白天繁忙时段才满负荷工作，且Power 7处理器在空闲时，也将会自动进入“Nap”状态，关闭执行单元的供电、降低频率和电压以实现更低的功耗。根据测试结果发现：AME的静态节能功能开启后，每颗处理器的耗电量最多可节省30%。启用了动态节能模式时，服务器耗电随负载变化而变化，当压力减少时，CPU 自动降频，以减少耗电，获得了最大的节能效果，它包括“节能优先”和“性能优先”两种模式。节能优先在对处理器主频的限制下实现节能；性能优先在不影响CPU处理能力的前提下实现节能。若选择“节能优先”模式，最多可节省50%的电力消耗。可以根据不同的负载水平选择不同的节能模式来为系统带来能源节约。根据测试，Power 7在引入一系列“智能”技术后，每瓦性能大幅提高，Power 7比Sun SPARC服务器可以高出4倍。4.2 自动优化核心MaxCore模式与TurboCore模式是Power780服务器的一个技术亮点, 能够使POWER7处理器工作于两种不同的工作模式。TurboCore模式可以对数据库或工作负载进行高度优化，同时采用4个内核运行，并把芯片中所有8个内核大部分资源放到4个运行的内核中，以提供更大的缓存和内存带宽，提升时钟频率，提高单核性能。最高可提升核心频率达10%，每核心L3缓存增加一倍，带宽增加一倍，为数据库应用获得每核心最大性能。MaxCore模式可以与TurboCore模式相切换，拥有多达8内核、每内核4线程，共计32线程的并行处理能力,当需要更多的核心与线程参与应用的执行时采用。MaxCore模式核心的运行频率不如TurboCore模式，但会拥有最多的核心与线程，非常适用于高度并行应用与高性能计算。Power7芯片为客户的不用应用提供了不同的工作模式，根据应用负载的特点来决定的：TurboCore模式主要用在高性能计算和数据库应用。对于WEB类应用可以将8颗核心全部打开发挥CPU多核心多线程优势。4.3 内存倍增术无需操作系统支持，无需做任何硬件改动，即可可用内存容量就能多50%！这就是IBM在Power 7上引入的Active Memory Expansion内存实时压缩技术的带来的效果。在打开AME功能后，CPU将会实时压缩内存中的数据，以获得更大的可用内存空间。在IBM的测试数据中，Power 7打开Active Memory Expansion功能后，将会在SAP程序里面多出50%的可用内存空间，从而极大的提升系统性能。AME能够带来：1)减少LPAR的物理内存需求导致111%的内存扩张2)增加LPAR中内存的有效性和吞吐量，导致应用程序吞吐量增长65%3) 使得一个系统能够整合更多LPAR导致总体系统吞吐量增加60% AME能够帮助客户通过扩充有效内存容量来提高系统内存利用率并且提升系统性能。通过相关的规划工具，我们能快速并且有效的部署AME环境，最大程度享受到应用性能提升所带来的益处。5.附录5.1 SPECjEnterprise2010和TPC-H测试值分析SPECjEnterprise2010：此项基准测试采用的测试方案基于真实的企业资源规划（ERP）、制造及供应链管理领域的商业案例。SystemApplication tierDatabase tierStorageClusterSPECjEnterprise2010Oracle T4Four SPARC T4-4 servers (20RU) 16 x T4 3 GHz CPUs, 128 cores Oracle WebLogic Server 11g10.3.3Two SPARC T4-4 (10RU) 8 x T4 3 GHz CPUs, 64 coresOracle Database 11gRelease 2 with Oracle RAC不同的测试方法,不具可比性Eight Sun Storage F5100 Flash arrays (8RU)Y40,104.86IBM Power7IBM Power 780 (16RU) 8 x POWER7 3.86 GHz CPUs, 64 cores WebSphere Application Server V7.0IBM Power 750 Express (4RU) 4 x POWER7 3.55 GHz CPUs, 32 coresIBM DB2 Universal Database 9.7IBM System Storage DS5300 (4 RU) Eight EXP5000 Storage Expansion Modules (24 RU)N16,646.34T4-4虽然宣称为IBM 780: 2.4倍的性能, 6.7倍的性价比(for Java), 每处理器性能高20%，但是该说法经不起推敲：1）SPECjEnterprise2010是基于J2EE标准的Java应用性能基准测试，不能模拟测试客户OLTP应用软件的业务处理能力。2）Oracle用集群系统测试值与IBM单个服务器的测试值比较:T4采用集群测试：128个core, 4个Java EE server节点，2个DB server节点Power7采用单机测试：64个core,1个Java EE server节点，1个DB server节点4倍的节点数; 2倍的核数; 4倍的线程数; 4倍的内存; 8倍的数据库容量; 16TB SSD盘。3）存储系统用Exadata Storage server 和F5100 闪存阵列以获得更高的数据库和存储层性能。 4）Oracle所谓6.7倍的性价比(for Java)只是比较应用层的性价比，不是整个测试系统的性价比，故意忽略数据库层Oracle RAC、存储阵列的成本。TPC-H对大型数据仓库进行决策支持(decision support)的基准测试。SystemCPU type (Proc/Core/Thread)DiskDatabaseResultPrice/PerfTPCH 1000GBOracle T4-43 GHz SPARCT4(4 / 32 / 256)4xF5100 Flash arrayswith 80x24GB SSD8x300GB 10K SASOracle 11gR2201,4874.60 IBM Power7804.14 GHz POWER7 (8 / 32 / 128)80 x 1 SSD; 5 x 146GB SAS HDD Sybase164,7476.85TPCH 3000GBOracle T4-43 GHz SPARCT4(4 / 32 / 256)12x 300GB 15K