计算机系统性能测试与分析概论.ppt

计算机系统性能测试陈文光清华大学计算机系,为什么要学这本门课？,组装一台电脑关心哪些指标？处理器主频内存大小如何评价一个计算机系统的性能？,2,选哪些程序评测？都测试哪些值？这些值如何汇总？这些值真的能够反映计算机系统的性能吗？,为什么要学这本门课？,国家税务局购买一套高端容错机IBM、HP投标书：不同程序测试结果XX银行搭建一个数据中心处理器：英特尔E/L/X？I7可以吗？内存规模：32GB？64GB？128GB？网络：千兆、万兆、infiniband？存储阵列：SAS、SATA？光纤、IB接口？,3,如何预测一个应用程序在某个计算机系统性能？,例子：高性能计算机评测,4,如何评测高性能计算机的性能？,例子：铁路网上订票系统,系统硬件处理能力不足？订票软件设计存在瓶颈？网络带宽不足？,为什么网络订票系统登录难、浏览慢、下单难,例子：铁路网上订票系统,网络订票系统体系结构：,客户端,Web服务器,数据库服务器,数据请求,返回结果,提出请求,返回HTML,如何了解负载特征，分析系统系统瓶颈？,例子：基于SAN存储系统,例子：实验设计,如何设计一篇文章的实验部分？都要做哪些实验？为什么要做这些实验？都要测哪些指标？,8,课程目标,性能问题是和功能同等重要的问题性能问题没有得到很好的重视，大家对其认识不足基本概念性能，频率，峰值速度，实测速度基本方法和工具测量方法数据处理和解释方法程序优化的方法基本观点,9,内容安排(1),6月17日引言和性能的量度(2课时)实验结果处理中的统计学(4课时)6月18日系统测量和分析技术(4课时)基准测试程序(4课时)6月20日线性回归模型(2课时)实验设计(2课时)考试（2课时）,10,教材和参考书,教材MeasuringComputerPerformance,byDavidJ.Lilja,CambridgeUniversityPress,2000参考书：TheArtofComputerSystemsPerformanceAnalysisbyRajJain,JohnWileyPortionofprogramtobemeasuredStop_count=read_timer();Elapsed_time=(stop_countstart_count)*clock_period;Measures“wallclock”timeIncludesI/Owaits,time-sharing,OSoverhead,“CPUtime”-includeonlyprocessortime,Copyright2004DavidJ.Lilja,47,3.5基准测试程序,优点一组有代表性的程序，比单个程序更能代表用户的负载状况测试程序分数是程序运行时间的函数(线性或非线性)以运行时间直接为度量，或是以单位时间内完成的操作为度量缺点仍然不具有可靠性可能不独立,48,3.5.1SPEC,SystemPerformanceEvaluationCooperativeSPECCPU(fp,int),SPECWEB,SPECPower,SPECHPC,SPECOMP,49,3.5.1SPEC(2),SPECCPU的测量方法测量每个程序的运行时间正规化：除一个标准系统对该程序的运行时间，得到一个正规化后的值算出上述正规化值的几何平均作为SPEC分数问题：非线性,50,3.5.1SPEC(3),SPEC的产生办法每一段时间更新，现在使用的是CPU2006,前边分别有SPEC89,92,95,2000向全世界征集候选程序由SPEC会员投票决定公平性？,51,SPECCPU测试网站,52,3.5.2其它benchmark,科学计算HPL（top500所用的benchmark）HPCC(HighPerformanceComputingChallengeBenchmark)HPCG(HighPerformanceConjugateGradient)SPECHPC2002,SPECOMP2001商业计算TPCSPECweb底层MembenchIOMeter,53,JackDongarra,2010年11月TOP500List,54,Performancemetricssummary,Copyright2004DavidJ.Lilja,55,总结,性能的正确定义与评测目标，性能的度量方式和比较方式密切相关性能的度量可以基本分为两类：基于时间的和基于单位时间内所完成的操作数的，两者之间可以换算性能本质上是一个程序在一个系统上的指标，因此很难把多维空间映射到一维空间，用简单的一个数字来描述系统的性能，即绝对可靠的性能度量是不存在的,56,总结(2),基准测试程序，集成了某一类用户的典型负载，是进行程序性能度量的有力工具。但要特别注意所使用的基准测试程序和测试目标之间的相似性。,57,课后作业,作业-1在Linux系统下，使用多种方式获取一段程序执行时间命令time了解每个字段输出含义系统调用gettimeofday()读CPU时间戳计数器RDTSC比较不同结果精度,58,课后作业,阅读教材第1，2章访问,了解SPECCPU2006分数的计算方法和意义，并分