解读数据库服务器采购新标准TPC-E.doc

谈到OLTP（在线事务处理）数据库服务器采购，相信很多人会想到TPC-C这样一个权威的性能测试标准。但在去年3月，TPC组织（交易处理性能委员会，Transaction Processing Performance Council）却宣布推出新的TPC-E，以取代有14年历史的TPC-C。在过去一年多来，IBM、浪潮、戴尔、NEC、富士通、UNISYS等厂商在TPC-E标准下提交了16次测试结果，TPC-E这样一个全新的数据库服务器评测标准也开始受到越来越多人的关注。本文将对“TPC-C与TPC-E的比较，TPC-E对用户的参考价值，影响TPC-E性能的因素”等方面进行分析，希望能够帮助更多人了解TPC-E，在实际采购决策过程中更好的参考TPC-E结果。TPC-C与TPC-E，孰优孰劣 “TPC-C与TPC-E相比，哪一个更权威、更实用？”这是一个萦绕在很多刚刚接触TPC-E的人的脑海中的一个基本问题。也许你会说，如果TPC-E不够好，TPC组织为什么要用它来取代TPC-C呢？但不可否认的一个事实是，TPC-C从1992年起已经实行了16年，而TPC-E从去年3月推出还只有一年半的时间，很多用户知道TPC-C，却不了解TPC-E。我想要解决这个问题，首先得分析一下TPC组织为什么要用TPC-E来取代TPC-C。TPCE取代TPCC的原因主要有两个：一是TPC-C的模型已经老化，二是TPC-C的测试成本太高。 TPC-C的模型还是十几年前的东西过时的C/S架构，模拟的是批发商系统，简单的数据库和业务逻辑。而当今WEB2.0时代的OLTP应用，大多采用流行的B/S架构，需要更大规模的并行处理能力，数据库和业务逻辑也更加复杂。显然，如果再用过去的模型来模拟今天的应用环境，确实显得有些不合时宜了。 为此，TPC-E对模型进行大刀阔斧的创新模拟证券经纪公司而不是批发商的流量和交易模式，从C/S架构过渡到B/S架构，数据类型从原来的3种扩展到10种，事务类型从原来的5种增加到12种，数据表由原来的9个增加到了33个，数据库构成更加复杂，也更加符合实际应用，当然对服务器的性能要求也更高了。表1：TPC-E与TPC-C数据库比较 再来看看TPC-C的测试成本。由于TPC-C的模型比较简单，服务器在测试时只是做一些简单的数据查询、修改和删除操作；而在多核计算盛行的今天，针对这种应用，强大的服务器CPU容易处于等待数据的空闲状态，I/O因而成为严重瓶颈。为了提升I/O，保证测试性能，服务器厂商往往需要动用大量的内存和磁盘。比如IBM和惠普公司在获得最高分的TPC-C测试时都使用了7000块硬盘。这使得参加TPC-C测试所需要的成本高达千万美元。如此巨额成本大大提高了TPC-C的门槛，将很多小型服务器厂商拒之门外。而且，从用户角度来看，实际应用可能并不需要如此海量的内存和磁盘，TPC-C结果的适用性也受到了质疑。 而TPC-E则不同。由于数据库更加复杂，要执行的事务处理更多TPC-E标准中定义的事务有12种，每个事务对应数据库管理系统中的一个或多个带输入和输出参数的存储过程，而且会涉及到不同表间的关联，这使得服务器CPU容易处在“有事可做”的状态，因而对内存和磁盘I/O的要求也相对小一些。浪潮服务器方案技术经理乔鑫告诉IT168记者，TPC-C的硬件投入比TPC-E要高出3倍以上，由于TPC-E所需要的磁盘数量仅是TPC-C的十分之一，从而大大降低了服务器厂商搭建硬件环境的成本。图1:TPC-E测试模型之物理结构 TPC组织负责TPC-E推广的安德里亚斯此前在接受媒体采访时也曾表示，新测试费用比较廉价的部分原因是对硬件的要求更加合理了，另外一个原因就是TPC将提供软件的源代码，取代了要求测试人员自己编写代码。 可见，模型更新和成本降低让我们看到了TPC-E新标准的魅力：更加逼近现实，更有代表性，会更具广泛性。TPC-E对用户有什么参考价值那么，对于用户来说，在实际采购数据库服务器过程中，又如何来理解和看待TPC-E的测试结果呢？ 由于数据库的应用一般有两种，一种是OLTP，即在线联机事务处理，另一种是数据挖掘。就目前来说，OLTP仍然是主流应用。所以从一定程度来说，TPC-E的结果对于数据库系统采购都有一定的参考价值，比如银行、证券、税务报税系统、电子商务网站、电信业务等都是比较典型的OLTP应用。英特尔服务器性能市场经理高丰告诉IT168，虽然不同用户的应用环境各不相同，TPC-E无法提供一一对应的方案，但其结果对采购决策还是有重要的方向性指导意义。 与TPC-C一样，TPC-E的测试结果也主要有两个指标：性能指标（tpsE，transactions per second E)和性价比（成本/tpsE）。其中，前者是指系统在执行多种交易时，每秒钟可以处理多少交易，指标值越大越好；后者则是指系统价格与前一指标的比值，数值越小越好。 比如，某系统TPC-E测试值达到700tpsE，这意味着什么呢？对此，乔鑫告诉记者，700tpsE相当于这样一种应用环境：有36万用户同时在线，每分钟处理42万个事务，每分钟进行107万个数据库存储过程，每天（8小时）处理2亿个事务，5.08亿个数据库存储过程，90%以上的交易事务最长也只需不到3秒就能完成，应用的数据规模在3TB左右。图2:TPC-E测试模型之逻辑结构 当然，光有性能还不够，毕竟用户环境千差万别，这时可以借助“成本/tpsE”这样一个性价比指标，然后根据自己的预算和要求，计算出需要多大规模的系统。 对于OLTP应用来说，除了性能和性价比，系统的可靠性和可用性也是非常关键的因素。虽然TPC无法给出一个量化的指标，但却是通过测试过程规范机制来保障系统的可靠性。 英特尔高级服务器性能工程师汪亚光介绍说，对于每个参加测试的厂商，TPC组织都会派出一位评审专家到现场监督，审查系统是否进行了数据保护，软硬件配置是否正确，磁盘损坏的情况下能否保证业务正常运行。比如有这样一个环节，当负载压力达到95%峰值时，在没有UPS保护的情况下，把所有服务器电源都拔掉，检测系统还能否正常恢复，数据完整性能否得到保障，数据是否会丢失这对于系统的稳定可靠性是非常严峻的考验。 另外，要求保证测试结果稳定、连续运行两个小时以上，性能指标不能出现超出5%以上的波动。要知道在实际应用环境中，很少有系统会在峰值状态下连续运转两个小时。同时，高并发访问量和数据响应时间等因素也有严格的限制，在10种业务处理中，系统延迟最大不能超过3秒。因此，能够参加TPC-E测试，从侧面也能够证明服务器厂商在高端商用市场上的综合技术实力。表2：TPC-E测试模型哪些因素会影响TPC-E测试结果 跟SPEC CPU这类测试不同，TPC-E测试不仅仅是服务器某一方面的性能，而是评测整体方案的应用性能，这个方案是包括服务器、存储、OS、数据库等软硬件在内的一整套系统。浪潮乔鑫表示，“为了保证系统性能，在服务器、存储、操作系统、数据库软件等各个子系统上就不能出现短板。服务器厂商要做的是系统优化，即怎么让软件和硬件可以更好的配合，怎么让服务器和后端的存储进行更好的整合。” 也就是说，不同厂商选择不同的CPU、存储、OS、数据库，都有可能会对TPC-E的最终测试结果产生影响。这里，我们比较了参加TPC-E测试的几套四路服务器系统，发现六核系统比四核性能表现好，8GB光纤SAN存储比4GB光纤要好，操作系统和数据库软件的升级也会对TPC-E性能产生影响。 比如，四路服务器中，得分最高的三款采用的都是英特尔将在9月下旬正式发布的六核Dunnington至强 X7460。大体来看，四路六核系统的TPC-E性能比四路四核要高出50%左右，比四路双核更是高出3倍多。如Dell PowerEdge R900 四核版本的成绩是451.29，六核版本是671.35，相比之下提高了48%。记者就此向英特尔高丰进行求证，他表示，对于尚未发布的产品还不便于评论，但多核架构对于大规模并行处理确实有很大帮助。 再来看看存储方面。IBM System x3850 M2在去年和今年参加了两次测试，服务器配置都是四路四核Xeon X7350 2.93GHz处理器和128GB内存，但结果却不一样，从第一次的419.80 tpsE提升到了479.51tpsE，增长了14%。究其原因就在于，这两次参测方案使用了不同的存储、数据库软件和服务器操作系统。第一次用的是4GB光纤SAN存储、 SQL Server 2005 和Windows Server 2003，而第二次使用的是8GB光纤SAN存储、 SQL Server 2008和Windows Server 2008。 又比如，浪潮NF520D2 和Dell PowerEdge R900 都是最新的四路六核系统，都使用了SQL Server 2008和Windows Server 2008，但前者使用了128GB内存，后者使用了64GB内存，在后端存储的选择上也有差异，使得浪潮NF520D2的性能高出了5%左右。 可见，TPC-E看的不仅仅是CPU的性能，服务器系统设计、操作系统与数据库软件、存储架构等都非常关键。小结 尽管TPC-E的权威性和适用性已毋庸置疑，但毕竟只推出了一年半的时间。所以，现在参加TPC-E测试