计算机系统性能测试与概论

计算机系统性能测试

陈文光

清华大学计算机系为什么要学这本门课？组装一台电脑关心哪些指标？处理器主频内存大小…如何评价一个计算机系统的性能？2选哪些程序评测？都测试哪些值？这些值如何汇总？这些值真的能够反映计算机系统的性能吗？为什么要学这本门课？国家税务局购买一套高端容错机IBM、HP投标书：不同程序测试结果XX银行搭建一个数据中心处理器：英特尔E/L/X？I7可以吗？内存规模：32GB？64GB？128GB？网络：千兆、万兆、infiniband？存储阵列：SAS、SATA？光纤、IB接口？3如何预测一个应用程序在某个计算机系统性能？例子：高性能计算机评测4如何评测高性能计算机的性能？例子：铁路网上订票系统系统硬件处理能力不足？订票软件设计存在瓶颈？网络带宽不足？为什么网络订票系统登录难、浏览慢、下单难例子：铁路网上订票系统网络订票系统体系结构：客户端Web服务器数据库服务器数据请求返回结果提出请求返回HTML如何了解负载特征，分析系统系统瓶颈？例子：基于SAN存储系统例子：实验设计如何设计一篇文章的实验部分？都要做哪些实验？为什么要做这些实验？都要测哪些指标？8课程目标性能问题是和功能同等重要的问题性能问题没有得到很好的重视，大家对其认识不足基本概念性能，频率，峰值速度，实测速度…基本方法和工具测量方法数据处理和解释方法程序优化的方法基本观点9内容岁安排(1课)6月17日引言脾和性蹄能的玻量度(2课时)实验添结果拐处理冲中的垦统计浇学(4课时)6月18日系统陪测量肯和分鱼析技乒术(4课时)基准缎测试今程序(4课时)6月20日线性糊回归锅模型(2课时)实验幕设计(2课时)考试渗（2课时露）10教材拥和参盼考书教材Me盖as均ur互in炎g艳Co益mp弱ut左er溪P申er悠fo坑rm鼠an炼ce竿,乖by击D稍av钞id朋J路.胸Li壤lj粱a,亮C单am玩br乓id矛ge惕U浙ni众ve割rs辨it猛y屈Pr京es欣s,静2巷00租0参考余书：Th愁e瓣Ar忧t制of情C逆om藏pu伐te存r描Sy赶st巡寿em伤s晨Pe姓rf半or荡ma驾nc撒e层An饲al庆ys督is跃b阵y竹Ra弊j验Ja基in虾,弯Jo绵hn芽W狱il渐ey令&泰S茅on岗s帅Pr句es昂s,卸1姿99梅1Co躲mp妨ut漆er茫S析ys邀te貌ms居A磨P震ro末gr井am搁me匪r’作s车Pe乐rs君pe识ct花iv呜e腰by嘉R励an嗽da图l姥E.题B音ry盲an宗t吗an摆d躁Da地vi圆d爱R.队O娱’阶Ha俘ll段ar旗on发,叔Pe子rs孙on房诚,誉20爹03Pr肯in反ci顿pl筛es健o蜓f泛Co嗽mp山ut骄er透S呢ys模te锯m拐De挡si贵gn食,歌J.幸H妈.价Sa晓lt把ze胡r,尺M惭.后Fr遗an调s描Ka心as书ho牧ek穿.11主要掏会议AC卷M握SI念GM迅ET定RI缴CSII茫SW河C楼(W辫WC鸭)IE津EE乘I负nt耗er哨na康ti嚼on死al趁S滤ym子po密si轮um曾o矮n聪Wo季rk疫lo驰ad答C炎ha堪ra糕ct喜er摆iz膝at识io惯nIS戏PA盯SSIE射EE达I孙nt铺er情na林ti贞on罚al魔S更ym姿po尼si暂um跪o匠n途Pe等rf典or娇ma柳nc伏e撑An品al诱ys恢is觉o县f蛇Sy箭st概em甘s拳an搏d寸So葡ft捆wa赴reHP茄CA脚,批CG助O,店S洗C,穴S模OS辈P制et沟c.12课程警要求平时-4超0分课堂悉：参颂与讨辆论，守回答勾问题虫，出询勤课程傍作业:6次考试-60分13特色本课肤程的芽特色吧是：综合绍性由于抽面向冻整个怨系统蜘，所屯学过呢的关雁于操贡作系事统、戴编译赴原理相、计陶算机雹体系拘结构辩、CP宋U结构覆在内宋的各移种知略识都唐要能谷够综御合使眼用，置才能需够很虽好地摆完成姿性能指测试家与优倚化的摄任务实践迈性本课邪程将立安排触若干虹测试兵练习系和其棉它编象程练剂习，兵让大净家在示实际贼操作攻中真秆正地培理解磁有关忆内容蔽，解铃决实遗际问斩题。14学完病本课泼程的月收获正确晚设计粘论文疫中的服实验繁部分正确秃处理诱和解争释实证验数丧据基准糟测试央程序柴的使尝用与剥开发测量闭系统丘与程抚序参这数的锤相关摆方法系统次的访徐存带挡宽和炭延迟程序甜中的笑基本劲块个希数、尊分支柏条数晌等使用栽硬件或计数波器进祝行程掉序行岗为的否测量可用樱性、防可管液理性旧、功偶耗测统试等基于洽测试剃的优屡化技道术15第一稳章私绪论1.为什绑么进萝行性非能分稼析2.什么享是性叨能161.为什叫么要衣进行馆性能只分析对设仿计者要达肚到设远计的痕目标兔有不络同的队可选经方案炕，如渣何在哈其中唯选择扯最好就的方削案？世界种上第肤一台铸千万另亿次宾高性臣能计振算机Ro斧ad翅ru岩nn烛erIB粪M镜Po索we日r处理单器和AM廊D广Op饭te陷ro继n处理音器混迫合比轧例通过亲分析树、模伴拟和汤测试跨对比焦各个辆方案截的性味能、则成本荒和功遇耗设定桃期望对消挣费者购置陶的系嫌统能绝否满封足自秘己的是要求在一朴定的耻预算秀下获向得最否好的寺性能17性能们分析覆技术性能稼分析兵技术分析数学趁建模排队伴论模拟功能滚模拟歪器、砖性能缸模拟滔器Tr撒ac漂e-掀dr柜iv垂en、全屈系统蜓模拟测试实际芝测试18例子列：并爱行程蚊序性岔能并行航程序唐的性排能行恰为：计算通信I/旅O19例子货：并浴行程息序性近能分析饮建模爷：程序义特征收集倚浮点穷指令庄、整薄数指扎令、历访存洲记录劣、I/叼O访问洽、通较信（港消息亏类型斧、大叮小、衫方向蒙等）机器径性能每条规浮点/整数崭指令锅执行列的cy土cl驻e访存邪指令厨时间I/宫O性能通信连延迟统、带征宽程序双时间To饺ta厚l胁ex贯ec虑ut意io窜n介ti苹me掠=挣c院om颗p轰+处co育mm睁+讽I违/O？20例子咏：并界行程赏序性户能模拟愿的方勺法Bi怎gs妙imDi隐me木ma诸sSi杀mp疼le裹Sc利al劲ar…输入舅：Tr低ac农e、目逃标平威台的伯参数21例子列：并喊行程跑序性件能测试茅的方筹法采集诵负载漆特征息：计算昆特征领（PM构U,铺C洗al借l样Pa妨th酒p有ro寸fi膏le硬)通信霉特征I/轮O特征方法肥：静态所分析描（辨编译毫）动态闭测试列（姜插装漠）22测试那技术壤也是袭分析银和模涂拟的览基础各种救方法治的比眯较分析建模模拟测量灵活性高高低成本低中高可信度低中高232.什么絮是性沟能2.逢1性能庄与目盒标2.慨2性能虏与度豪量方局式2.扬3性能安与比仗较方者式24性能额与目堡标目标滤不同科做出围的选究择也坑不同例子饥：实验愉设计俭：程批序选药择，闲平台中选择负载坝分析柔：Tr惭ac记e,练P遮ro昨fi箩le？模拟慢器：饥粗粒甜度、的细粒廉度252.捞1性能胁与目从标哪个欢性能泼更好单个都乘客馒的旅对行时顿间？1天内休可以派运送拣多少庙乘客茎？26飞机华盛顿－巴黎速度mph载客量波音7476.5小时610470协和3小时1350132吞吐率mph*person286,700178,2002.具1性能晋与目库标集群状服务魂器排队凳系统LS更F,菊P勺BS性能La隐te葡nc确yTh丹ro所ug剪hp煮ut272.爱2性能腐与度顺量方猛式X系统扔是否沃比Y系统义好？28X系统秒Y系统秒原有程序270192优化后的程序1031692.沸2性能厌与度弊量方粪式(2到)Y系统牵比X系统望好？29X系统GFLOPSY系统GFLOPS原有程序6591优化后的程序711032.灰2性能都与度衡量方传式(3呜)出现境了什送么问牵题？哪台驰系统痕更快标？哪台化系统推更好胀？302.案2性能材与度飞量方感式(4给)X系统沸编译雹优化污后减显少了61绳%浮点续运算对这坚个应红用来要说，X系统硬更快对于段哪个提系统吧更好础，没父有简话单的打答案骨，需狡要根度据使寄用的蜓方式续（目库标）睬确定312.巴3性能雕与比拌较方蹦式如何将比较俗这两崖个系刷统的肥性能令？汇总天多个拣数据32X系统tpsY系统tps负载A2010负载B10202.告3性能烟与比距较方错式(2其)绝对塑比较淡法Pe百rf眯(X幼)=乏(2味0+蓝10肆)/凭2纯=悼15Pe仍rf白(Y窃)=挽(1鬼0+舒20交)/迫2贝=朝15相对挤比较奶法，断以X为基塔准Pe守rf镰(X国)=梅1Pe快rf颠(Y滤)=言(0容.5陵+2南)/躬2半=绍1.资25相对丙比较候法，赛以Y为基严准Pe穿rf瓜(Y怜)=蓬1Pe僻rf挽(X灶)=僵(2器+0惠.5瓦)/彻2雪=变1.腐25同样酿的数循据，倚我们闷得出旋了3个不历同的急结论332.机3性能晃与比础较方抱式(3拜)问题滋：哪栽个比世较方矩式更懂合理肢？为什编么？浴其成葬立的黎条件遭是什趋么？342.垦4什么炮是性乌能－借总结计算样机系籍统的办性能煎，与陆进行安性能势分析铁的目的密切粥相关雅，度量浩方式、性能宽比较客方式都需街要用厅系统吉的方裤法进矿行选浇择，舒才能帖得到赵准确萌的性巷能数锤据35第二岗章说性能愈的度带量1.现有梦的性膜能度犹量方判式2.什么雅是好滨的性球能度修量方每式3.性能半度量懒方式页分析36me促tr杯ic371.现有得的性农能指叉标时钟奏频率MI串PSGF福LO恢PSTi探me阔-程序派的执刺行时辜间La浴t/遮BW基准冲测试搞分数SP参EC睁C雄PULi咸np严ac语kTP抵CWi朋ns功to史ne3D庸Ma点rk定20等01伸,3办DM思ar闷k2故00查3…382.什么匆是好认的性痰能度嫂量方味式线性带性(L这in生ea菜ri狮ty揪)符合组人的兼直觉例子破：速蹦度m/条s相反船的例馋子可靠足性当A的性售能度琴量值库好于B时,如果抵系统A总是棒比系月统B快，扬则称泉该度谦量方满式是挣可靠漆的相反仔的例即子MI以PS392.什么少是好红的性承能度锄量方柏式(2奋)可重衡复性容易堡测量一致察性独立饺性生产袍商试牌图影裂响度符量方粥式403.伸1时钟肌频率最简握单，饿很常队用但嚷是最壳误导悲的性该能度蹲量方卸式可重册复，辜易测免量，炊独立非线替性，上不可布靠没有合考虑杀到IP雅C的不笼同没有累考虑示到其丧它子灵系统激如内幕存、I/睛O的影坦响41423.陷2抵MI夜PSMi易ll沫io录ns历o融f沙In叨st务ru熔ct谨io秒ns哪e查xe番cu稳te弃d幻玉Pe狠r滚Se吗co痰nd容易膏测量葬，可壳重复屿，独滔立非线喇性，译不可尸靠，拴不一绒致每条始指令反所执你行的吼内容礼在不咐同体芒系结凝构中阻是不滔同的RI粮SC郊,携CI搅SC433.姜3民MF肚lo窑psMi么ll岗io苏ns棍o运f剖FL蜜oa踪蝶ti疯ng腊-p领oi渐nt鉴O炸pe伴ra那ti减on宪s唉ex谷ec良ut是ed朵P否er穴S沈ec惠on得d可重师复非线院性，田不可趁靠，位不一惯致不适礼合不屑执行我浮点榜运算取程序东的系俊统测量FL明OP悔S并不向容易挎，不兴同的吧浮点胆运算弯实现流可能雀会带木来不桶同的召测试费值乘加基、SI虫N,屑C愿OS443.欧3罚Mf雕lo疼ps妹(2叔)MI郊PS和Mf邻lo送ps都以蜘单位暂时间声内完抄成的尘操作棕次数须为性瞒能度唐量但是巡寿指令拥和浮烂点运刑算都愧不是俱人们冒最终哄关心说的准废确的户操作要定宰义最忠终用肃户关尿心的饿操作辽，比舒如每辈秒事踏务处泼理数胃，每党秒we词b访问滥次数圾等等实际渡测试足的数默据才传是有嫌意义华的将比乡丰较限霉定在晓可比看的范帆围内屠，采肯用相姑同度据量方粱式的锦两个赔程序元，一足般不勾能互姐相比拼较453.冤4单一惠程序赤的运催行时厚间程序披执行歉时间昆：我们婶最终喝关心融的是宅程序醋的执可行时咱间线性识，可邪重复午，可申靠，扇独立影，一扁致因此寸，时肆间是因一个蹦好的装度量存在论的问陶题实际陕测量句非常中复杂严或不疮可行系统闹可扩步展性捧无法秆体现严格键的可维靠性君度量纯是不繁存在绕的！46程序荐的执承行时袖间测量壮程序充段的沙执行验时间St闷ar拳t_塘co译un堡t份=态re双ad软_t青im陪er草()友;Po染rt始io爸n救of社p县ro霜gr任am聚t各o副be花m帽ea顶su善re谋dSt蠢op垃_c样ou懒nt帐=勤r前ea遇d_厘ti撑me信r(车);El龟ap共se叼d_怨ti桨me代=效(慰st高op冤_c秃ou馋nt利–毫s丈ta真rt牵_c应ou兄nt卡)*牙cl盐oc绍k_效pe滔ri凉od终;Me帆as答ur榜es立“愿wa敌ll竹c停lo泻ck浆”景ti稠meIn蜻cl汪ud腊es避I宣/O狱w客ai拐ts凤,涨ti征me弓-s杂ha掩ri晕ng挖,堵OS雹o左ve睛rh遵ea哨d,兄…“C拥PU羽t近im沸e”延-饿-版in原cl凶ud扇e俭on锦ly散p怪ro捕ce掏ss币or恨t熟im算eCo识py攀ri川gh悠t碎20铺04梨D送av框id全J拉.动Li仇lj属a473.洞5基准骂测试洗程序优点一组驶有代饮表性情的程疯序，当比单循个程旷序更棍能代怖表用劳户的数负载好状况测试吨程序汁分数尊是程绍序运扩行时电间的菜函数(线性忆或非膀线性)以运谨行时染间直株接为把度量前，或丧是以市单位秆时间战内完混成的被操作常为度俗量缺点仍然拔不具季有可预靠性可能剖不独笼立483.颜5.蹈1扮SP箭ECSy很st尺em阁P催er臭fo滑rm州an奏ce萄E械va逗lu誓at膜io栏n替Co量op奏er渗at生iv透eSP坛EC其C恢PU久(夕fp咸,慕in搜t菌),娱S册PE葵C哥WE腹B,袍S园PE驶C拣Po束we忽r,厉S宋PE圣C沫HP瘦C,档S瓦PE挺C大OM沫P眉…493.划5.剂1箭SP熟EC泡(2形)SP捧EC旧C狡PU的测雕量方狭法测量院每个坏程序哲的运军行时绒间正规潜化：粘除一跑个标耕准系碎统对欺该程兆序的肾运行兼时间唉，得骄到一破个正牛规化膜后的太值算出怜上述备正规旁化值张的几何礼平均作为SP序EC分数问题波：非线路性503.重5.挑1景SP舱EC添(3昨)SP胀EC的产烟生办诱法每一岭段时娇间更记新，细现在匪使用辱的是CP通U2以00缴6,前边代分别梳有SP料EC采8甩9,善9说2,汤9鞠5,滑2歉00镇0向全炼世界饰征集算候选状程序由SP黑EC会员轮投票胡决定公平谊性？51SP愤EC链C部PU测试摆网站52其它be帅nc描hm陵ar津k科学脉计算HP庄L（to赠p5沫00所用哄的be肾nc打hm艰ar脊k）HP筋CC勒(争Hi遮gh困P匙er芝fo班rm准an馅ce婶C林om养pu鼠ti激ng悼C跨ha永ll划en酿ge露B滤en风ch夹ma戴rk朱)HP设CG最(彼Hi西gh怕P呆er灶fo效rm呆an沟ce膊C拜on热ju吗ga轮te阅G治ra弹di释en脊t)SP狂EC劳H这PC芝20柳02呜,章SP废EC嚼O大MP峡20傅01商业贩计算TP咬CSP律EC拉w钩eb底层Me铸mb茂en稠chIO错Me幸te迫r53Ja列ck断D按on撑ga盛rr控a20思10年11月TO盯P缎50猾0桥Li欠st54RankSiteComputer/YearVendorCoresRmaxRpeakPower1NationalSupercomputingCenterinTianjin

ChinaTianhe-1A-NUDTTHMPP,X56702.93Ghz6C,NVIDIAGPU,FT-10008C/2010

NUDT1863682566.004701.004040.002DOE/SC/OakRidgeNationalLaboratory

UnitedStatesJaguar-CrayXT5-HEOpteron6-core2.6GHz/2009

CrayInc.2241621759.002331.006950.603NationalSupercomputingCentreinShenzhen(NSCS)

ChinaNebulae-DawningTC3600Blade,IntelX5650,NVidiaTeslaC2050GPU/2010

Dawning1206401271.002984.302580.004GSICCenter,TokyoInstituteofTechnology

JapanTSUBAME2.0-HPProLiantSL390sG7Xeon6CX5670,NvidiaGPU,Linux/Windows/2010

NEC/HP732781192.002287.631398.615DOE/SC/LBNL/NERSC

UnitedStatesHopper-CrayXE612-core2.1GHz/2010

CrayInc.1534081054.001288.632910.006Commissariatal'EnergieAtomique(CEA)

FranceTera-100-Bullbullxsuper-nodeS6010/S6030/2010

BullSA1383681050.001254.554590.007DOE/NNSA/LANL

UnitedStatesRoadrunner-BladeCenterQS22/LS21Cluster,PowerXCell8i3.2Ghz/OpteronDC1.8GHz,VoltaireInfiniband/2009

IBM1224001042.001375.782345.508NationalInstituteforComputationalSciences/UniversityofTennessee

UnitedStatesKrakenXT5-CrayXT5-HEOpteron6-core2.6GHz/2009

CrayInc.98928831.701028.853090.009ForschungszentrumJuelich(FZJ)

GermanyJUGENE-BlueGene/PSolution/2009

IBM294912825.501002.702268.0010DOE/NNSA/LANL/SNL

UnitedStatesCielo-CrayXE68-core2.4GHz/2010

CrayInc.107152816.601028.662950.00Pe乖rf歪or税ma志nc亚e趟me敢tr氏ic缠