高等计算机体系结构第5章

1、1,第五章 工作负载驱动的 性能评价,2,第一节 性能指标和测量,一、基本性能指标,1、机器参数,结点参数：CPU速度、主频、存储系统（主存大小、页大小、Cache大小、块大小、关联度等）等；,通信系统参数：互连网络参数(占用度、网络距离、带宽)、启动延迟、传送粒度、通信模型；,系统参数：结点数。,2、程序参数,问题规模、工作负载、负载不平衡开销、通信/计算、并行度、数据访问模式、工作集尺寸、通信开销、并行开销、同步开销等。,3,3、系统性能指标 系统性能靠程序反映，分绝对性能和性能可扩展性两部分。,执行时间,处理速度 Pn=w/Tn 吞吐率：单位时间内处理作业的数量 利用率 Un=Pn/n(

2、t0(n)+wtc(n) 性能/价格：处理速度与购买价格的比 可扩展性：性能随问题规模、处理器数、机器参数的加速比趋势。,对程序而言还有下列性能： 顺序执行时间、并行执行时间、加速比、效率。,影响因素：程序参数、机器参数，以及他们之间的相互作用产生的影响。,4,二、如何评价系统性能,性能评价目的： 评价实际机器性能、推断设计是否合理（如机器特性对系统性能的影响）、探索可能的折中方案。,1、评价性能方法,模拟：通过软件方法对系统进行评价。 内容：编写模拟器、选择工作负载、模拟结果分析与评价。,测量：通过实际测量方法对系统进行评价。 内容：选择工作负载及参数，在固定和变化PE数的情况下运行程序，测

3、量性能。,5,2、评价性能内容 用测试程序进行测试，测试程序可为实际程序。,系统绝对性能： 机器的分离性能-执行不同的微测试程序； 机器的总体性能执行不同的宏测试程序。,并行性产生的性能改善： 机器的可扩展性在可改变机器参数及工作负载时，执行相同程序，分析机器特性对系统性能的影响。,系统比较： 性能相对性在不同的机器上，执行算法最优的相同程序。,6,3、基准测试程序,注意： 基准测试程序只是全部测试程序的一部分； 基准测试程序不能有效反映可扩展性。,7,4、对测试程序要求,测试程序应能够覆盖整个应用领域，即选择多个有代表性的问题进行编程；,测试程序应保证工作负载呈现足够的并发性和负载平衡，以真

4、实地反映系统的性能；,测试程序的算法、数据结构、数据的规划和分布、通信和同步的协调应最优化，负载应平衡，使编程不影响系统性能；,测试程序的问题规模应能够覆盖系统结构的各方面，以实现公正的评价，和对系统分离性能的评价。,8,第二节 可扩展性和加速比分析,一、考虑扩展性的原因,1、问题规模的不确定性 问题规模：指特定问题的输入配置，通常用参数向量表示。,应与机器规模相适应，才能准确反映并行性带来的性能。,问题规模太大：单处理机上不能运行，无法测量性能； 系统呈超线性加速，性能失真。,问题规模太小：多处理机通信开销失衡，性能失真。,用户需求变化：应能根据机器参数特性改变配置，取得良好性能。,9,2、

5、机器规模的可变化性 机器规模：是刻画结点的处理性能、存储结构等的向量。,问题规模只有与处理器数量和机器规模相匹配，才能取得最佳性能。,增加机器规模：解决更大问题或更快解决相同问题。,机器规模与问题规模的匹配：不同问题规模的特性对机器规模的要求不同，如存储结构。,3、可扩展研究 研究问题规模、处理器数量、机器规模三者关系，及在不同需求时的最佳扩展方法。,10,二、扩展模型与加速比的测量,可扩展性分类：面向用户扩展、面向资源扩展。 面向资源扩展：固定负载扩展(PC)、固定时间扩展(TC)、固定存储器扩展(MC)。,1、Amdahl定律：固定负载 目的：使高频部分更快，解决顺序瓶颈。,设：工作负载W

6、=W+(1-)W，n个PE的固定负载加速比：,当n时,Amdahl定律含义： 对给定工作负载，最大加速比为1/； 为获得好的加速比，应使顺序瓶颈尽可能小； 应设法使较大（使用频率高）部分执行得更快。,11,结论： 顺序瓶颈无法单纯用增加处理器数量来解决。,引入开销后的固定负载加速比：,当n时,注意：程序性能受限于顺序瓶颈和平均开销。,12,2、Gustafson定律：固定时间 目的：提高并行性，缓解顺序瓶颈。,设：扩大后的工作负载W=W+(1-)nW，n个PE的固定时间加速比：,Gustafson定律含义： 若扩展工作负载以维持固定时间，则固定时间加速比是n的线性函数； 工作负载扩展到与可扩展

7、计算能力相匹配时，顺序部分便不再成为瓶颈。,Gustafson定律成立的关键：顺序部分W不变，并行化部分从(1-)W扩展到(1-)nW。,13,引入开销后的固定时间加速比：,注意：平均开销T0也是n的函数，T0随n而增加，应控制其增长的幅度，以取得线性加速比。,14,工作负载扩放注意点： 是工作负载线性扩放，非问题规模线性扩放； 问题规模向量中各部分的平衡性。,问题规模的扩放方法：,用基于应用的解析表达式扩放各参数： 通过算法分析，推导出问题规模向量中各参数间关系。 参数之间的实际关系和扩放规则，依赖于应用的领域。,运行串行程序，测量机器操作形式的工作量来扩放： 在单处理器上运行程序，计算出扩

8、放操作的数量； 逐个改变问题规模参数，得出参数的最佳近似关系。 注意：要消除所有扩展带来的人为因素的开销（如高速缓存扑空）或操作，否则测量数据不准确。,15,3、Sun和Ni定律：固定存储器 目的：最大限度利用CPU能力和存储器容量，提高性能。,设：扩大后的工作负载W=W+(1-)G(n)W，n个PE（存储器总容量为nM）的存储器受限加速比：,有三种特殊情况： a.G(n)=1时，相当于固定负载的情况，该加速比与Amdahl定律等效； b.G(n)=n时，相当于固定时间的情况，即存储器扩大n倍时工作负载扩大n倍，该加速比与Gustafson定律一致； c.G(n)n时，相当于工作负载的增长存储

9、器增长快的情况，该加速比比固定负载加速比、固定时间加速比都高。,16,引入开销后的固定存储器加速比：,如果可用的存储器得到了充分利用，固定时间加速比和固定存储器加速比非常接近。,17,加速比定律比较： 相同处理器数量时，三种加速比曲线如右图。,加速比定律应用： 若用户目标是减少固定工作负载的执行时间，则系统的可扩展性定义为受Amdahl定律支配的加速比；,若用户目标是随机器规模扩大的问题规模扩大，则系统的可扩展性定义为受Sun和Ni定律支配的加速比；,若用户目标是随机器规模扩大的问题规模扩大，但执行时间不超过顺序执行时间，则系统的可扩展性定义为受Gustafson定律支配的加速比。,18,4、

10、工作负载增长的可扩展性分析,（1）工作负载增长模式与效率曲线,通信/计算很大，效率最差，不追求效率时可扩展性最好； 最理想（W与n线性关系），效率较好，可扩展性较好； 比略差，可扩展性较好； 效率虽好，但可扩展性差（会超过MEM、I/O界限）。,返回20页,19,（2）负载增长模式的可扩展性,模式扩展：采用Amdahl定律（固定负载模型）扩展；,模式扩展：采用Gustafson定律（固定时间模型）扩展；,模式（含至之间）扩展：采用Gustafson定律（固定时间模型）扩展；,至间扩展：采用Sun和Ni定律（固定存储器模型）扩展。,20,5、等性能模型 目的：在小系统上推导可扩展函数，预测大系统

11、性能。 分类：等效率模型、等速度模型、等利用率模型。,（1）恒等效率,效率：,效率固定值越小，W(s)对h(s,n)的限制越小； 效率固定值越小，扩大机器规模时，需要增加的负载越小。,转18页,恒等效率：并行系统运行时，为保持E固定所需的工作负载W和机器规模n的相对关系。,具有较小恒等效率的系统比具有较大恒等效率的系统有更好的可扩展性。,21,（2）恒等效率函数,其中C为常数,对等式W(s)=Ch(s,n)求解方程，得s=y(n)。,恒等效率函数：,恒等函数值越小，当机器增大规模时，为保持恒等效率所需增加的工作负载就越小，具有更好的可扩展性。,22,例：两个NN矩阵相乘，W(s)=cN3，A、

12、B两系统运行时间分别为 、 ，比较E分别保持1/3和1/4时哪个系统具有更好的可扩展性。,(1)E=1/3时，对A系统有 ，即 等效率函数为 对B系统，等效率函数为,当E保持1/3时，A、B两系统具有相同的可扩展性。,(2)E=1/4时，对A系统有 ，即 等效率函数为 对B系统，等效率函数为,当E保持1/4时，B系统比A系统具有更好的可扩展性。,23,第三节 评价实际机器时的问题规模,一、选择问题规模,目标：使固有行为特征对体系结构有足够的覆盖性； 限制所需要的不同问题规模的数量。,1、确定问题规模范围 根据用户对问题规模的要求，确定问题规模的最小值。,2、确定覆盖问题固有特征的问题规模 不同

13、问题有不同的固有特征，基本上都具有通信/计算、负载平衡与通信的特征。选择覆盖固有特性的问题规模进入问题规模集中。 对通信/计算：根据固有的通信/计算和网络流量确定； 对负载平衡与通信：根据两者变化趋势确定。,24,3、确定覆盖工作集的问题规模 应选择覆盖工作集两侧情况的问题规模到问题规模集中。,4、确定覆盖存储分配粒度的问题规模 应选择覆盖存储分配粒度两侧情况的问题规模到问题规模集中。,问题规模集应覆盖通信/计算、负载平衡和通信、工作集、存储分配粒度几方面的要求。,25,二、改变机器规模,目标：为评价系统的可扩展性而选择问题规模扩放的起点。,1、从固定数量处理机评价的问题规模开始 问题规模选择

14、：小、中、大三种； 问题规模与三种扩展模型相结合（问题可向上或向下扩展），构成9种扩展曲线。,2、从单处理机的问题规模开始 问题规模选择：小、中、大三种，注意考虑工作集存在于单处理器Cache边界两边的情况； 问题规模与三种扩展模型相结合（问题可向上或向下扩展），构成9种扩展曲线。,最后，根据用户的需求进行可扩展性选择。,26,第四节 对系统结构模拟的评估,一、多处理器系统的模拟,目标：通过软件在单处理器上模拟多处理器的系统环境。,1、访问生成器 模拟对存储系统和互连网络的访问，产生访问命令和接收访问结果和所用时间。 调度被模拟的多个进程。,2、存储系统模拟器 模拟不同处理器上所有的Cache

15、、主存及互连网络，接收访问命令和返回访问结果和所用时间，同时模拟数据的空间分布。 可以模拟数据通路、延时和竞争。,27,3、模拟方法 目标：运行较小问题规模的机器能代表较大问题规模的机器。 途径：缩小机器规模时，争取不缩小问题规模； 缩小机器规模时，同时缩小问题规模。,注意：缩小问题规模时，问题参数要有代表性； 对缩小方法进行分析与评价，避免误区。,28,二、缩小问题规模和机器参数规模,目标：保证覆盖重要类型的工作点，注意实现问题规模缩小的方法可能存在的误区。,1、问题参数和处理器数量 找出影响模拟时间，但不影响并行性能特征的问题参数； 或找出覆盖与最关心的行为特征相关的参数，如通信/计算、负载平衡等。 在保证覆盖问题相关特征的基础上，选择问题规模和处理器数量。,29,2、处理器其他参数 Ca