售后服务服务器三大体系SMPNUMAMPP介绍

1、（售后服务）服务器三大体系 SMPNUMAMPP 介绍20XX年XX月峯年的企业咨询咸服务器三大体系 SMP、NUMA、MPP 介绍发表时间：2010-5-1711:58:25 来源：网界网作者：佚名点击数：57 评论数：0【查见评论】摘要：从系统架构来见，目前的商用服务器大体能够分为三类，即对称多处理器结构、非壹 致存储访问结构以及海量且行处理结构。本文关键字：服务器 SMPNUMAMPP从系统架构来见，目前的商用服务器大体能够分为三类，即对称多处理器结构(SMP :SymmetricMulti-Processor)，非壹致存储访问结构(NUMA :Non-UniformMemoryAcce

2、ss) ，以及海量且行处理结构(MPP :MassiveParallelProcessi ng)。它们的特征分别描述如下：SMP(SymmetricMulti-Processor)所谓对称多处理器结构，是指服务器中多个 CPU 对称工作，无主次或从属关系。各 CPU共享相同的物理内存，每个 CPU 访问内存中的任何地址所需时间是相同的，因此 SMP 也被称为壹致存储器访问结构 (UMA : UniformMemoryAccess)。对 SMP 服务器进行扩展的方式包括增加内存、使用更快的CPU、增加 CPU、扩充 1/0(槽口数和总线数)以及添加更多的外部设备(通常是磁盘存储)。SMP 服务器

3、的主要特征是共享，系统中所有资源(CPU、内存、I/O 等)均是共享的。也正是由于这种特征，导致了 SMP 服务器的主要问题，那就是它的扩展能力非常有限。对于 SMP 服务器而言，每壹个共享的环节均可能造成SMP 服务器扩展时的瓶颈，而最受限制的则是内存。由于每个 CPU 必须通过相同的内存总线访问相同的内存资源，因此随着CPU 数量的增加，内存访问冲突将迅速增加，最终会造成CPU 资源的浪费，使 CPU 性能的有效性大大降低。实验证明，SMP 服务器 CPU 利用率最好的情况是 2 至 4 个 CPU。NUMA(No n-U niformMemoryAccess)由于 SMP 于扩展能力上的

4、限制，人们开始探究如何进行有效地扩展从而构建大型系统 的技术，NUMA 就是这种努力下的结果之壹。利用 NUMA 技术，能够把几十个 CPU（ 甚至 上百个 CPU）组合于壹个服务器内。其 CPU 模块结构如图 2 所示：图 2.NUMA 服务器 CPU 模块结构NUMA 服务器的基本特征是具有多个CPU 模块，每个 CPU 模块由多个 CPU（如 4 个）组成，且且具有独立的本地内存、 I/O 槽口等。由于其节点之间能够通过互联模块（如称为CrossbarSwitch） 进行连接和信息交互，因此每个 CPU 能够访问整个系统的内存 （这是 NUMA 系统和MPP 系统的重要差别 ） 。 显然

5、， 访问本地内存的速度将远远高于访问远地内 存 （系统内其它节点的内存 ）的速度，这也是非壹致存储访问NUMA 的由来。由于这个特点，为了更好地发挥系统性能，开发应用程序时需要尽量减少不同CPU 模块之间的信息交互。利用 NUMA 技术， 能够较好地解决原来 SMP 系统的扩展问题， 于壹个物理服务器内能够支 持上百个CPU。比较典型的 NUMA 服务器的例子包括 HP 的 Superdome 、SUN15K、 IBMp690 等。但 NUMA 技术同样有壹定缺陷，由于访问远地内存的延时远远超过本地内存，因此当 CPU 数量增加时，系统性能无法线性增加。如 HP 公司发布 Superdome

6、服务器时，曾公布 了它和 HP 其它 UNIX 服务器的相对性能值， 结果发现， 64 路 CPU 的 Superdome（NUMA 结构）的相对性能值是 20，而 8路 N4000（ 共享的 SMP 结构）的相对性能值是 6.3。从这个结 果能够见到， 8 倍数量的 CPU 换来的只是 3 倍性能的提升。图 3.MPP 服务器架构图MPP(MassiveParallelProcessing)和 NUMA 不同， MPP 提供了另外壹种进行系统扩展的方式，它由多个 过壹定的节点互联网络进行连接，协同工作，完成相同的任务，从用户的角度来见是壹个服 务器系统。其基本特征是由多个 SMP 服务器 （

7、每个 SMP 服务器称节点 ）通过节点互联网络连 接而成，每个节点只访问自己的本地资源 （内存、存储等 ），是壹种完全无共享 （ShareNothing） 结构，因而扩展能力最好，理论上其扩展无限制，目前的技术可实现 512 个节点互联，数千 个 CPU 。目前业界对节点互联网络暂无标准，如 NCR 的 Bynet ， IBM 的 SPSwitch ，它们 均采用了不同的内部实现机制。但节点互联网仅供 MPP 服务器内部使用，对用户而言是透 明的。于 MPP 系统中，每个 SMP 节点也能够运行自己的操作系统、数据库等。但和 NUMA 不同的是，它不存于异地内存访问的问题。换言之，每个节点内的

8、 CPU 不能访问另壹个节 点的内存。节点之间的信息交互是通过节点互联网络实现的，这个过程壹般称为数据重分配 （DataRedistribution） 。可是 MPP 服务器需要壹种复杂的机制来调度和平衡各个节点的负载和且行处理过程。 目前壹些基于 MPP 技术的服务器往往通过系统级软件 （如数据库 ）来屏蔽这种复杂性。SMP 服务器通举例来说， NCR 的 Teradata 就是基于 MPP 技术的壹个关系数据库软件，基于此数据 库来开发应用时，不管后台服务器由多少个节点组成，开发人员所面对的均是同壹个数据库 系统，而不需要考虑如何调度其中某几个节点的负载。NUMA 和 MPP 的区别从架构

9、来见， NUMA 和 MPP 具有许多相似之处：它们均由多个节点组成，每个节点均 具有自己的CPU 、内存、 I/O ，节点之间均能够通过节点互联机制进行信息交互。那么它们 的区别于哪里？通过分析下面 NUMA 和 MPP 服务器的内部架构和工作原理不难发现其差异 所于。首先是节点互联机制不同，NUMA 的节点互联机制是于同壹个物理服务器内部实现的，当某个 CPU需要进行远地内存访问时，它必须等待，这也是NUMA 服务器无法实现 CPU增加时性能线性扩展的主要原因。 而 MPP 的节点互联机制是于不同的 SMP 服务器外部通过 I/O 实现的，每个节点只访问本地内存和存储，节点之间的信息交互和

10、节点本身的处理是且 行进行的。因此 MPP 于增加节点时性能基本上能够实现线性扩展。其次是内存访问机制不同。 于 NUMA 服务器内部， 任何壹个 CPU 能够访问整个系统的 内存，但远地访问的性能远远低于本地内存访问，因此于开发应用程序时应该尽量避免远地 内存访问。于 MPP 服务器中，每个节点只访问本地内存，不存于远地内存访问的问题。数据仓库的选择哪种服务器更加适应数据仓库环境？这需要从数据仓库环境本身的负载特征入手。众所 周知，典型的数据仓库环境具有大量复杂的数据处理和综合分析，要求系统具有很高的 I/O 处理能力，且且存储系统需要提供足够的 I/O 带宽和之匹配。而壹个典型的 OLTP

11、 系统则以 联机事务处理为主，每个交易所涉及的数据不多，要求系统具有很高的事务处理能力，能够 于单位时间里处理尽量多的交易。显然这俩种应用环境的负载特征完全不同。从 NUMA 架构来见，它能够于壹个物理服务器内集成许多 CPU ，使系统具有较高的事 务处理能力，由于远地内存访问时延远长于本地内存访问，因此需要尽量减少不同 CPU 模 块之间的数据交互。显然，NUMA 架构更适用于 OLTP 事务处理环境，当用于数据仓库环境时，由于大量复杂的数据处理必然导致大量的数据交互，将使相对而言， MPP 服务器架构的且行处理能力更优越， 更适合于复杂的数据综合分析和处 理环境。当然，它需要借助于支持 M

12、PP 技术的关系数据库系统来屏蔽节点之间负载平衡和 调度的复杂性。另外，这种且行处理能力也和节点互联网络有很大的关系。显然，适应于数 据仓库环境的 MPP 服务器，其节点互联网络的 I/O 性能应该非常突出，才能充分发挥整个 系统的性能。SMP系统和MPP系统比较SMP(SymmetricMultiProcessing), 对称多处理系统内有许多紧耦合多处理器， 于这样的系统中，所有的 CPU 共享全部资源，如总线，内存和 I/O 系统等，操 作系统或管理数据库的复本只有壹个，这种系统有壹个最大的特点就是共享所有 资源。MPP(MassivelyParallelProcessing) ，大规模

13、且行处理系统，这样的系统是由许 多松耦合的处理单元组成的，要注意的是这里指的是处理单元而不是处理器。每 个单元内的CPU 均有自己私有的资源，如总线，内存，硬盘等。于每个单元内 均有操作系统和管理数据库的实例复本。这种结构最大的特点于于不共享资源。既然有俩种结构，那它们各有什么特点呢？采用什么结构比较合适呢？通常情况 下，MPP 系统因为要于不同处理单元之间传送信息 (请注意上图)，所以它的效 率要比 SMP要差壹点， 可是这也不是绝对的， 因为 MPP 系统不共享资源， 因此 对它而言，资源比 SMP 要多，当需要处理的事务达到壹定规模时， MPP 的效率 要比 SMP 好。这就是见通信时间

14、占用计算时间的比例而定，如果通信时间比较 多，那 MPP 系统就不占CPU 的利用率大大降低。优势了，相反，如果通信时间比较少，那 MPP 系统能够 充分发挥资源的优势，达到高效率。当前使用的 OTLP 程序中，用户访问壹个中 心数据库，如果采用 SMP 系统结构，它的效率要比采用 MPP 结构要快得多。 而MPP 系统于决策支持和数据挖掘方面显示了优势， 能够这样说， 如果操作相互之 间没有什么关系，处理单元之间需要进行的通信比较少，那采用 MPP 系统就要 好，相反就不合适了。通过上面俩个图我们能够见到，对于 SMP 来说，制约它速度的壹个关键因素就 是那个共享的总线， 因此对于 DSS

15、程序来说，只能选择 MPP ，而不能选择 SMP ， 当大型程序的处理要求大于共享总线时， 总线就没有能力进行处理了， 这时 SMP 系统就不行了。当然了，俩个结构互有优缺点，如果能够将俩种结合起来取长补 短，当然最好了。什么是大型机，小型机。（Mainframe）大型机（ mainframe ）这个词，最初是指装于非常大的带框铁盒子里的大型计算机系统，以用来同小壹些 的迷你机和微型机有所区别。虽然这个词已经通过不同方式被使用了很 多年，大多数时候它却是指 system/360 开 始 的 壹 系 列 的IBM 计 算 机 。 这 个 词 也 能 够 用 来 指 由 其 他 厂 商 ， 如 A

16、mdahl,HitachiDataSystems（HDS） 制造的兼容的系统。有些人用这个词来指 IBM 的 AS/400 或者 iSeries 系统，这种用法是不恰当的；因为即使 IBM 自己也只把 这些系列的机器见作中等型号的服务器，而不是大型机。什么是 I/O 通道 （Channel） 壹条大型机通道（ channel ）某种程度上类似于 PCI 总线（ bus ），它能将壹个或多个控制器连接起来，而 这些控制器又控制着壹个或更多的设备（磁盘驱动器、终端、LAN 端口，等等。）大型机通道和 PCI总线 之间的壹个主要区别是大型机通道通过几对大的 busandtag 电缆（且行通道方式），

17、或者通过最近常使用 的 ESCON（ EnterpriseSystemConnection）光导纤维电缆（串行通道方式）以及光纤通道来连接控制器。这些通道于早期是壹些外置的盒子（每个约6 X30 X5 !大小），当下均已经整合到了系统框架内。这些通道的超强 I/O 处理能力是大型机系统功能如此强大的原因之壹。什么是 DASDDASD 是 DirectAccessStorageDevice （直接存取存储设备）的缩写； IBM 创造这个词来指那些能够直接 （且随意） 设定地址的存储系统，也就是今天我们所说的磁盘驱动器。但于过去，这个词也指磁鼓（ drums ）和数据单元（ datacell ）等

18、等。什么是数据单元？嗯，于磁盘驱动器变得廉价、快速且普遍使用前，IBM 曾经制造过壹种设备，基本上就是由壹个磁鼓和绕于磁鼓上的许多磁条（单元）中的壹个组成，然后读写的资 料就被纪录于卷动的磁条的磁道上。这种存取数据的方法和磁盘很类似，但当（磁鼓）搜寻资料的时候需要更换磁带的话， 所需的时间显然就得按秒来计算。数据单元设备仍有个调皮的习惯， 它喜欢于卸下壹个单元 到存储槽的时候卷成壹块，这有时会造成介质的物理损坏。可见，于取得目前的技术进步前，我们已经走了 很长壹段路了。什么是 LPAR壹个 LPAR （逻辑分区 logicpartition ）是壹种通过 PR/SM （ProcessorRes

19、ource/SystemManager ,壹种 最近的大型机均具有的固件 fireware 特性）来实施的虚拟机。于每个分区上，能够运行壹个单独的镜像系 统，且提供完全的软件隔离。这和 UNIX 操作系统上的 domains 原理很相似，但 IBM 的方法更加细致，它 允许所有的 CPU 和 I/O 子系统能够于逻辑分区间被共享。 PR/SM 允许于单个系统上运行 15 个 LPAR ，每IBM 已经认识到商业用途系统市场远比科研计算机系统市场有利可图 他们也知道 IBM 商用系统的壹个重要的卖点就是高可靠性。 如果他们的商业客户准备采用 IBM 计算机来开展极其重要的商业业务，客户就得确认他

20、们能够于任何时间均能够正常使用（IBM 的机器）。所以，最近30 多年来， IBM 致力于使每壹个新系列的系统比前壹代更加可靠。这就导致了今天的系统变得如此可靠， 以至于几乎没听说过有任何因为硬件问题导致的系统灾难。 这些大型机系统内集成了相当高程度的冗余和错误检查（技术），这样就能防止系统发生灾难性的问题。每个（ executionpipelines ）来同时执行每壹条指令。如果这俩条管道得出的结果不相同，CPU 的状态就会复原，然后这条指令被重新执行。如果重新执行后结果仍是不壹致，最初的CPU 状态就被记录下来，然后壹个空闲的 CPU 被激活且装入存储的状态数据。这颗 CPU 继续做最初那

21、颗 CPU 的工作。记忆芯片、内存总线、 I/O 通道、电源等等，均要么有冗余的设计，或者有相应的备用品且能够随时投入使用。这些（设备的） 小错误可能会导致性能的壹些小损失，但他们决不会导致系统中任何任务的失败。 当很罕见地出现错误的时候，高服务性就用得上了。许多组件均能够于系统运行的同时被更换（热插拔）； 甚至微码（ microcode ）的升级也能够于系统运行的同时进行。对于那些不能被同时更换的部件，如CPU ，备用品的存于就保证了能够客户方便的时候安排系统停机。除了系统设计中的固有可靠性，IBM 也创立了壹个紧密联结的集群技术，叫做 ParallelSysplex ，这项技术 支持由最多

22、 32个系统作为壹个系统镜像运行。于壹个合理部署的 ParallelSysplex 系统上，即使壹个独立 系统遭受了毁灭性损失，整个系统也不会受太大影响，而且不会导致任何工作的损失。 任何于那台遭受损失的系统的上进行的工作， 均能够自动地于剩下的系统上重新开始。 另壹个 ParallelSysplex 的优势是壹台 （或多台）系统能够从整个系统中移出以进行硬件或软件的维护工作（例如于非工作时间），而其余的单独系统 能够继续处理工作。 当维护工作完成后， 系统又回归加入 Sysplex 系统中继续工作。 充分利用这壹特点就能 够升级整个 Sysplex系统软件（壹次壹个单独的系统），而不会导致任

23、何应用程序的暂停使用。 正因为拥有所有这些功能，真正 100% 的系统可用性是非常实用的，且且已经于许多地方开始实施。I/O 吞吐量（ I/OThroughput ） 这些通道实际上就是 I/O 处理器， 他们执行通道程序。 这些程序包含了成串的 I/O 指令， 其中就包含有最原 始的分流功能。 这些通道极大地降低了 CPU 于 I/O 操作中的工作量， 使得 CPU 能够更加高效地工作。 每壹 个通道均能同时处理许多 I/O 操作和控制上千个设备。于 360 和 370 系列构架上，操作系统会创建壹个通道程序且于壹个已连接到所需设备的通道上执行这个程 序。 如果这个通道或控制单元十分忙碌，起

24、始 I/O 指令就会失败， 然后操作系统就会尝试于另壹个已连接到不同控制单元的通道上重新开始通道程序。 如果所有的道路均是繁忙的， 操作系统就会把这个请求列入队列 留于以后再试。 XA 系列里面出现的壹个显著的改进就是创立了通道子系统的概念，这个子系统能够协调且 安排系统里所有通道的活动。当下操作系统只需要创立通道程序， 然后把程序转交给通道子系统， 通道子系 统就会处理所有的通道 /控制单元以及队列问题。 这样就使大型机具有了更加强大的 I/O 吞吐量且使 CPU 能 更有效地工作，因为只有于所有的 I/O 操作均完成的时候才需要 CPU 的介入。目前 z900 大型机的 I/O 吞吐能力是

25、最低每秒 24GB （这是字节数，不是“位”数。）虽然我没有亲自测试 这些最新系个（LPAR）拥有专有真实存储（对性能影响最为重要的部分均是于准备于不久的将来把最高可支持的dedicatedrealstorageRAM ）且且拥有专有或共享的CPU 里完成的，所以（这样做）没有多少性能的损失。LPAR 数目扩展到超过 15 个。CPU 和通道。因为IBM 已经宣称它大型机系统得以长盛不衰的主要原因特点） 是：RAS， I/O 处理能力以及 ISA。RASRAS( Reliability,Availability,Serviceability高可靠性、高可用性、高服务性）是壹个IBM 常用来描绘

26、它的大型机的词。 到 70 年代早期为止，CPUdie 装有 2 个完全的执行管道统的机会， 但即使理论上的数字可能不太准确， 如果说 z900 大型机达到了每秒 100 ，000 次 I/O ， 我也不会感到太吃惊。TheISA （ IBMSystemArchitecture ）这些年虽然 IBM 大型机的整体指令集有了显著改进， IBM 保持了惊人的对应用程序的向后兼容。许多最为 显著的构架上的变化已经影响了壹些只能直接被操作系统调用， 而不能被应用程序调用的设备 （如 I/O 子系 统）。 IBM 已经花费了巨大的努力来保证它的客户们不必重写或重编译他们的程序来于新系统上运行。这 样，客

27、户要采用新的硬件就更为容易，客户只需要拔下旧系统，换上新系统，而不需要做额外的软件测试工 作。对于只有拥有壹台大型机的公司来说， 只需要花几个小时就能够对旧系统进行升级， 而不需要于投入正 式使用前对新系统进行测试。 这特别适合那些于升级前后使用同壹种操作系统的客户，他们只需要将操作系 统升级到所需要的版本就行了。例如，客户能够于新安装的 z900 系统上仍然运行 31 位的操作系统，然后 于壹个单独的 LPAR 上安装且测试壹个 64 位的操作系统，然后再把全部运行的业务转移到 64 位的操作系不同品牌的小型机架构大不相同 ,使用 RISC、 MIPS 处理器 ,像美国 Sun 、日本 Fu

28、jitsu 等公司的小型机是基 于 SPARC处理器架构，而美国 HP 公司的则是基于 PA - RISC 架构Compaq 公司是 Alpha 架构,IBM 和 SGI 等的也均各不相同；l/O 总线也不相同Fujitsu 是 PCI , Sun 是 SBUS,等等，这就意味着各公司小型机机器上 的插卡 ,如网卡、显示卡、 SCSI卡等可能也是专用的 ;操作系统壹般是基于Unix 的,像 Sun、Fujitsu 是用SunSolaris,HP 是用 HP - Unix,IBM 是 AIX,等等所以小型机是封闭专用的计算机系统。 使用小型机的用户 壹般是见中 Unix操作系统的安全性、可靠性和专用服务器的高速运算