计算机系统性能测试与分析概论

1、为什么要学这本门课？,组装一台电脑 关心哪些指标？ 处理器主频 内存大小 如何评价一个计算机系统的性能？,1,选哪些程序评测？ 都测试哪些值？ 这些值如何汇总？ 这些值真的能够反映计算机系统的性能吗？,为什么要学这本门课？,国家税务局购买一套高端容错机 IBM、HP 投标书：不同程序测试结果 XX银行搭建一个数据中心 处理器：英特尔E/L/X？I7可以吗？ 内存规模：32GB？64GB？128GB？ 网络：千兆、万兆、infiniband？ 存储阵列：SAS、SATA？光纤、IB接口？,2,如何预测一个应用程序在某个计算机系统性能？,例子：高性能计算机评测,3,如何评测高性能计算机的性能？,例

2、子：铁路网上订票系统,系统硬件处理能力不足？ 订票软件设计存在瓶颈？ 网络带宽不足？,为什么网络订票系统登录难、浏览慢、下单难,例子：铁路网上订票系统,网络订票系统体系结构：,客户端,Web服务器,数据库服务器,数据请求,返回结果,提出请求,返回HTML,如何了解负载特征，分析系统系统瓶颈？,例子：基于SAN存储系统,例子：实验设计,如何设计一篇文章的实验部分？ 都要做哪些实验？ 为什么要做这些实验？ 都要测哪些指标？,7,课程目标,性能问题是和功能同等重要的问题 性能问题没有得到很好的重视，大家对其认识不足 基本概念 性能，频率，峰值速度，实测速度 基本方法和工具 测量方法 数据处理和解释方

3、法 程序优化的方法 基本观点,8,内容安排(1),6月17日 引言和性能的量度(2课时) 实验结果处理中的统计学(4课时) 6月18日 系统测量和分析技术(4课时) 基准测试程序(4课时) 6月20日 线性回归模型(2课时) 实验设计(2课时) 考试（2课时）,9,教材和参考书,教材 Measuring Computer Performance, by David J. Lilja, Cambridge University Press, 2000 参考书： The Art of Computer Systems Performance Analysis by Raj Jain, John W

4、iley Portion of program to be measured Stop_count = read_timer(); Elapsed_time = (stop_count start_count) * clock_period; Measures “wall clock” time Includes I/O waits, time-sharing, OS overhead, “CPU time” - include only processor time,Copyright 2004 David J. Lilja,46,3.5 基准测试程序,优点 一组有代表性的程序，比单个程序更

5、能代表用户的负载状况 测试程序分数是程序运行时间的函数(线性或非线性) 以运行时间直接为度量，或是以单位时间内完成的操作为度量 缺点 仍然不具有可靠性 可能不独立,47,3.5.1 SPEC,System Performance Evaluation Cooperative SPEC CPU( fp, int ), SPEC WEB, SPEC Power, SPEC HPC, SPEC OMP ,48,3.5.1 SPEC(2),SPEC CPU的测量方法 测量每个程序的运行时间 正规化：除一个标准系统对该程序的运行时间，得到一个正规化后的值 算出上述正规化值的几何平均作为SPEC分数 问题

6、： 非线性,49,3.5.1 SPEC(3),SPEC的产生办法 每一段时间更新，现在使用的是CPU2006,前边分别有SPEC 89, 92, 95, 2000 向全世界征集候选程序 由SPEC会员投票决定 公平性？,50,SPEC CPU测试网站,51,3.5.2其它benchmark,科学计算 HPL（top500所用的benchmark） HPCC( High Performance Computing Challenge Benchmark ) HPCG (High Performance Conjugate Gradient) SPEC HPC2002, SPEC OMP2001

7、商业计算 TPC SPEC web 底层 Membench IOMeter,52,Jack Dongarra,2010年11月TOP 500 List,53,Performance metrics summary,Copyright 2004 David J. Lilja,54,总结,性能的正确定义与评测目标，性能的度量方式和比较方式密切相关 性能的度量可以基本分为两类：基于时间的和基于单位时间内所完成的操作数的，两者之间可以换算 性能本质上是一个程序在一个系统上的指标，因此很难把多维空间映射到一维空间，用简单的一个数字来描述系统的性能，即绝对可靠的性能度量是不存在的,55,总结(2),基准测试程序，集成了某一类用户的典型负载，是进行程序性能度量的有力工具。但要特别注意所使用的基准测试程序和测试目标之间的相似性。,56,课后作业,作业-1 在Linux系统下，使用多种方式获取一段程序执行时间 命令time 了解每个字段输出含义 系统调用 gettimeofday() 读CPU时间戳计数器 RDTSC 比较不同结果精度,57,课后作业,阅读教材第1，2章 访问,了解SPEC CPU2006分数的计算方法和意义，并分