PCI Express总线及其应用.doc

综述PCI Express总线及其应用作者：老糊涂仙 发表时间：2004-4-8 10:10:00第 1 页 前言现在的处理器已经以数GHz衡量了，显卡的处理能力更是达到了前所未有的强大，硬盘的转速也很快了，但是你发现计算机系统并没有因此而快多少。虽然内存都达到了512MB甚至是1024MB，但是我们反而在更多的时候看到硬盘灯狂闪不止。当然如果你有钱的话，可以不停的升级，比如使用最新的3GHz处理器、1024MB内存和4个Ultra320 SCSI组成快速又安全的磁盘阵列来让你的机器在任何程序面前都无所顾忌。如果你是个苛刻的游戏玩家或者对于声音有着特殊的偏执，那么拥有一款硬件级的声效处理器也是比不可少的。这样你的计算机就站在了性能的顶峰了吗？不，当这样的机器用于处理下一代的数据库时，依然会无力应对因为这样的任务往往是多线程的、所以这个时候就要求你的计算机具有多处理器、并行处理能力、双数据率、双通道RAM等。如果你的机器真的已经成为了这个样子，你就已经有了一台性能极高的工作站，但是你知道吗？你的机器依然使用着486时代的技术。 为什么会出现这样的情况呢？因为你的几百个GB的硬盘、SCSI通道、几百乃至1GB的RAM都要受制于33MHz的PCI总线。PCI就是Peripheral Component Interconnect（外部设备互联总线）的简称，它是连接所有扩展板卡、硬盘、光驱到系统的I/O接口，正是通过PCI总线的联系这些设备才能同系统内存和处理器进行数据通讯。不过这种总线技术的服役期已经超过了10年了。 当然出现现在的这种情况也不能完全归咎于PCI。PCI技术自从推出以来表现一直相当的出色，只是目前的硬件设备为了达到更高的速度都对于带宽具有非凡的要求，而PCI总线这一个目前计算机那最最基础的总线标准却牢牢的禁锢着它们的发展。正是因为它的这种基础的性质，使得其它的I/O总线都要在它的基础上开发，因为对于整合行业来说如果I/O总线技术也如同处理器或者显卡那样的速度更新换代，无论是厂商还是最终用户都会苦不堪言，而且对于整个业界乃至整个社会的发展都没有什么好处。 正是因为PCI总线技术是被设计为管理绝大多数外围设备的，所以它必须经的住时间的考验。所以在1990年前PCI总线被设计的时候，它就被设计为一种要长期为计算机系统服役的标准。当这种技术第一次在486和早期的Pentium主板上出现的时候，我们使用计算机的方式就开始被这种总线标准改变了。也正是PCI显卡的出现，使得显卡的处理速度极大的提高，也使得真正意义上的多媒体电脑进入了我们的生活虽然这个时候没有什么全屏抗锯齿等功能，但是从256色提升到真彩色显示就是一个巨大的飞跃了。随后很多厂商都意识到了PCI技术的潜力和相对于ISA的优势，于是在随后的一两年中各种各样的PCI设备应运而生。 经过了多年的发展，越来越多的设备已经彻底的摒弃了老的ISA/EISA平台而投入到了更快的PCI平台。网络速度的提升和存储设备速度的提高也使得这种转变成为了必要。 第 2 页 新的继承者现在已显得老迈的PCI是一个连接外部、内部设备的I/O总线，于90年代诞生，对于现在越来越多、越来越快的I/O操作已经有些力不从心了。这在几年前就表现了出来。高性能的显卡在五年前就让PCI总线显得苍白无力，于是出现了基于PCI技术的AGP总线。在90年代末，服务器和工作站中的高速硬盘和网络适配器就转移到了66Mz/64位PCI总线上，现在更是用上了PCI-X和PCI 2.0。目前南桥和北桥之间的互连也比PCI总线要快的多，Intel的800系列芯片组使用的就是HubLink互连。目前的芯片组集成了EIDE、USB（或是USB 2.0）以及10/100网卡，而不再通过PCI总线。我们的系统机箱里实际上是一个互连的大杂烩。为了更大的带宽需求加上如今的PCI瓶颈，业界需要一个标准化的高速的PCI技术来取代老的。 电脑总线大约每隔3年在性能上提高一倍，从原先8bit的PC/XT、16bit ISA总线，到32位 EISA、MCA、VL总线、PCI、PCI-64/66MHz，再到如见的PCI-X 1.0和2.0。而处理器的性能的提升则要快的多，差不多是每9-10个月性能提升一倍。这种发展的不均衡就造成了I/O系统成为瓶颈，无法满足处理器、内存子系统的需要。PCI的继任者需要更高速的总线插槽，可以将芯片级的I/O部件加入系统。进一步，它还需要通过高速互连可以将系统中不同的功能区连接起来。运算设备在未来可能以各种形状和大小出现，目前甚至已经出现了分离式的系统设计。举个例子，主板、处理器以及散热系统可以放置在一个独立的地方，存储设备则被另行放置或是集成到CRT/LCD显示器中，而显示子系统也可以集成到显示器中（很可能作为可升级单元出现）。 而且这一切都将在PCI Express总线所替代，这就是3rd Generation I/O（第三代输出输出总线技术）的正式官方名称，其未来将成为电脑内部互连技术的总称。PCI Express将替代PCI总线成为第三代输入输出总线技术PCI Express发展史在2001年的IDF上，Intel就推出了旨在取代PCI总线连接内部芯片的第三代I/O技术，也就是3GIO。根据Intel的说法，3GIO技术将会在下面20年中与我们相伴，可以和不同的物理介质配合。当时曾有人对Intel的这个发布活动表示怀疑，认为他们缺乏业界的支持。 不过Intel在接下来证明了自己的实力：PCI-SIG组织在2001年8月初认可了Arapahne标准（3GIO的另一个名字）。Intel的合作伙伴在那个时候已经有了康柏、Dell、IBM、微软等巨头，业界的支持已经勿庸置疑。到了8月底，AMD以及其他21家厂商也加入了这个阵营，刚好在Intel的IDF前夕！Intel和PCI-SIG的实力使得HyperTransport技术的支持者AMD也加入了进来。早期，Intel认为HyperTransport功能不够多，无法满足未来的需要。AMD很快就澄清了这一点，向大家表明HyperTransport和3GIO可以在一个系统中共存，并很快公布了HyperTransport的远景发展计划，提供更丰富的功能、更高的速度。 到了2002年4月，PCI-SGI和Arapahoe工作组完成了3GIO规范草稿，并正式将其改名为PCI Express。有人认为这个名字太接近于PCI-X 1.0/2.0（服务器、工作站用的连接方式），不过PCI-SIG并不认为这是个大问题。 在2002年7月23日，PCI-SIG正式公布了PCI Express规范1.0版以及相应的PCI Express卡电气规范，对于非PCI-SIG成员而言，定价为475美元。 采用PCI Express的芯片组和显卡在2003年末已经问世，到今年中期正式销售，也就是说第三代总线技术真的离我们很近了。第 3 页 PCI Express：新型总线PCI Express从名称上来看似乎同PCI有着很大的关系，但实际上这并不是PCI技术的延续（不是新的具有更高带宽的PCI技术，也更不是一个驱动程序或者一个升级补丁），就如同PCI取代ISA一样，PCI Express的出现将会改写我们使用的计算机的架构。同样真是看到了PCI总线所遇到的问题，Intel努力修正设计从而希望PCI Express不再遇到目前PCI所面临的尴尬。这种解决方案提供的是一个智能化的总线架构，它可以有效的解决多个设备共享的问题或者说让这个问题根本的消失。 目前的PCI总线技术主要面临以下的几个的问题： 最高带宽133MB/s 工作频率只有33MHz IRQ共享问题 主板铜布线工艺 设备数目限制 仅能在机箱内使用 PCI Express的主要目标就是解决以上的所有问题，加入一些用户向往已久的新功能。PCI Express主要可以为我们带来如下的新功能： 性能: PCI Express总线只需要从芯片组中引出很少的引脚，所以使得主板布线难度大大降低（其引线数目比现在的PCI总线减少大约75）但是却具有比现在的PCI高的多的带宽和传输速度，另外在配置的灵活性方面PCI Express也优于PCI。它可以根据所连接的硬件设备的不同，使用不同频率的同其联系通讯。 多种连接方式:这是同PCI总线非常不同的地方, PCI Express总线可以“走出机箱”。也就是说PCI Express可以如同现在的USB或者Firewire一样通过计算机上的一定接口同外部采用相应符合PCI Express标准接口的设备进行连接和通讯。点对点总线:相对于PCI这种“总线式”的连接方式，一旦PCI总线有瓶颈现象发生，将会影响所有连接其上的PCI设备。PCI Express总线采用了点对点技术，这样每个PCI Express设备都是直接同系统芯片进行交流，而不再存在带宽问题。高级功能: PCI Express可以使用多种不同的信号协议包括它本身的协议。它还具有高级电源管理和监视功能，这样所有的PCI Express设备都会支持热插拔。在PCI Express中诸如内存纠错等功能都会成为标准功能。跨平台的兼容性: PCI Express最大的优点之一就是它的跨平台兼容性。现在的符合PCI 2.3规范的板卡将可以在低带宽的PCI Express插槽上使用。（软件级兼容PCI）PCI Express高级系统架构 PCI Express是由点对点的模式进行数据传输的，一个PCI Express的基本结构包括一个Root Complex（类似与芯片组的北桥芯片，连接CPU/内存和I/O设备），Swithes（对于软件系统而言，像是一个具有2个及以上逻辑PCI到PCI桥路，保持兼容性）以及不同的终端设备，并可能存在PCI到PCI Express的连接桥路。下图就是在PCI Express 1.0规范中的结构图，有些像开关网络。 下面这个是PCI Express开关设备的逻辑图： 下面这个是PCI Express开关设备的逻辑图： 下面这个则是PCI系统和PCI Express系统的对比： 点对点的通信可以在一个终端设备通过Root Complex与另一个终端设备之间进行，也可以在一个终端设备通过Switches与另一个Switches之间，然后再接到一个终端设备。 第 4 页 PCI Express：新型总线(续)还有一种方式称作高级点对点通信，大家可以看看下面的图片。由于实现方式的不同，Root Complex可能包括高级切换功能来实现主机软件之间的点对点通信。 PCI Express物理串行连接特征一个单独的基本的PCI Express串行连接就是两个独立的通过不同的低电压对驱动信号实现的连接，一个接受对和一个发送对（共四组线路）。一个微分信号在两个接口之间有电压差来传递。第一代的PCI Express连接信号传输速度为每对线单向2.5Gbit/s。2004年可以实现5Gbit/s的速度。设计的关键是通过4层PCB技术和标准接口在设备间形成最大20英寸的连接，如果采用了更高质量的元件，可以达到更远的距离。 一个双独立连接允许数据同时进行双向传输，类似与全双工连接，不过这里每一对线都有自己的地线。这样也就可以实现更高的传输速度和更好的信号质量。在PCI总线中，一个初始化的设备必须首先从Central Arbiter（中心判优器）进入共享PCI总线，然后才可以通过PCI总线将数据传输给目标设备，而且在任一时间只能实现单向传输。基础PCI Express串行连接的另一项关键功能是可以通过8b/10b的编码，植入了时钟信号技术。时钟信号被直接植入数据流中，而不是作为独立信号存在。很多现存的并行总线都具有源同步的时钟信号，与数据信号同时传输。这两种方式各有自己的利弊。8b/10b编码需要每个字符占据10bit，也就是比通常多出20。 一个串行数据/时钟信号流可以比并行数据传送更长的距离。同时，串行连接造价也更为低廉。不过，提取和植入时钟的过程需要更多的处理时间，所以并行接口还会存在一段时间，主要会用于对速度要求较高的场合。 PCI Express串行连接结构一个PCI Express连接可以由很多小连接（Lane）组成。每个小连接又是由两个微分驱动电线对（传输和接受）的基本连接组成。这些小连接可以用2.5Gb/s的带宽提升到10Gb/s，并在今后可以继续增加。多重小连接可以连接设备、芯片等部件。看起来，这个很像是并行接口，不过它们实质上是一组独立的串行连接，也没有并行接口那样的信号质量问题。PCI Express连接结构可以有x1、x2、x4、x8、x12、x16和x32几种不同形式。一个x1的连接具有4个电线，一个x16连接在每个方向上就具有16个微分信号对，或是64个双向数据传输电线。在高端部分，一个x32的连接可以每个方向上进行10GB/s的传输（2.5Gb/s328bit）。不过由于8b/10b编码，事实上的带宽为8GB/s（扣除20的植入时钟信号）。 连接结构必须对称分步。因此很多人认为使用PCI Express取代AGP会带来不对称分步而不是16个小连接的对称连接，这样就会降低显卡帧缓存（显存）到系统内存的传输速度，需要额外增加信号布线，也就增加了主板的成本。 小连接的顺序也可以在设备之间交换。在微分信号对的两端的正负极性可以颠倒，这样就可以提供设计上的灵活性并有效避免布线时的物理信号交叉。下图中，左侧的连接表明的是一个x2设备通过x1连接和一个x1设备通讯。 来自程序的数据流可以通过多个小连接的PCI Express连接，信号可以在发送端分散在不同的链路中，并可以在接受端重新组合起来。 第 5 页 PCI Express：封包分层协议、虚拟通道、通信量等级PCI Express使用了一个封包分层协议结构，而不需要在主串行连接上加入任何边频信号。分层协议在数据传输领域已经使用了很长时间了，可以在协议中实现不同功能区的相互独立，并且在层内的数据传输对其他层没有影响。 下面这张图中的是PCI Express中的三个协议层-处理层、数据连接层和物理层。在一次数据传输中，发送端将数据包在高层生成，在向底层传递中每个层都加入一些信息，数据包通过物理连接到达接受层，数据包再由下至上层层上传。而下面这张图中的则是在处理层和数据连接层中数据包信息的主要功能。处理层合成和分解处理级的数据包，并处理连接结构和控制信号。它还可以通过有效数据交叉避免终端对终端通信操作的错误。数据连接层确保数据可以正确的从一个点传递到另一个点，通过ack/nack技术，并提供错误探测和校正功能。 下面的这张则是实际数据包结构。大家可以看到经典的嵌套式结构，高位层的信息被低位层信息所包裹，应用层的数据位于数据包的核心。处理层使用32位CRC，而数据连接层采用的则是16位CRC数据包的头部带有的信息如下所示： PCI Express虚拟通道及通信量等级和InfiniBand很类似，PCI Express也支持每个连接的虚拟多通道。在一个小连接上可以存在最大8个独立控制的通讯。每个通讯都可以根据数据包的通信量等级（Traffic Class，TC）性质得到不同的处理。对于在PCI Express中传输的数据包而言，在每一个转换或连接终端，都要查验TC信息，并据此进行适当的处理。在数据包头部的TC描述符由3个bit组成，可以表示不同的TC等级。 PCI Express数据包处理 PCI Express的数据包的处理有四种基本类型-内存、I/O、结构和消息处理。下图中一个数据包从设备B传递到设备A，随后一个完成信号在由A传到B。这可以内存读写、I/O读写、结构规划等情况，每个都有请求相和完成相。 PCI Express处理有一个以信用为基础的流控制机制（由处理层负责管理），可以保证接受设备有足够多的缓冲资源来接受发送设备传递来的数据大小和类型第 6 页 PCI Express中断、插槽和应用方案谈到电脑就会涉及到中断。PCI Express也不例外。PCI Express支持两种类型的中断，一种是通过模拟技术老式的PCI INTx (x可以是A、B、C、 D)遗留下的中断，一种则是新型的Message Signaled Interrupt(MSI，消息信号中断)。这种MSI在 PCI 2.2/2.3设备中是可选项，而在PCI Express中则是必须的。INTx模拟方式可以兼容显存的PCI驱动和操作系统，通过一个同带信号机制实现虚拟的PCI物理中断。PCI Express设备必须支持这两项中断方式，老式设备可以将INTx中断信息压缩到PCI Express的消息管理单元中。而在MSI中断方面，驱动需要重新编写才能实现它的边缘触发中断的好处。MSI在多处理器系统中效率会更高，任何设备都可以直接对不同的主机使用中断。PCI Express插槽在PCI Express Card Electromechanical规范中定义了大量的接口，从x1到x16总线宽度，而x2模式则被保留用于其他类型的PCI Express内部互连而不是插槽。老式的PCI插槽也会继续存在，会挨着PCI Express接口。较小的PCI Express卡可以插入较大的插槽中。PCI Express卡可以支持热插拔和热交换，采用的三个电压分别是+3.3V、+3.3Vaux和+12V。取代AGP插槽的接口会是x16的，带宽为5GB/s，有效带宽4GB/s. 下图为基本的x1接口，可以用于ATX主板系统： 下面这个则是带有x1和x16两种接口的主板： PCI Express架构示例在桌面平台上，大家可以看到PCI Express连接取代了AGP总线，并提供了芯片组到千兆网卡的接口以及一些PCI Express总线插槽，当然还提供了南桥和北桥之间的连接。 一个典型的PCI Express总线架构，其好处非常明显（基本所有高带宽设备都会采用PCI Express总线来进行连接，比如显示卡，千兆网卡等），并且可以大大降低主板的成本移动平台的架构中，具有底座接口、PC卡接口以及主板上各种高速I/O设备的接口。 服务器平台中大量采用的PCI Express来连接设备，大家还可以看到InfiniBand。 第 7 页 显示卡PCI Express总线在今年5月份Intel即将发布全新一代的芯片组Intel 915系列芯片组，这将是第一款全面搭载PCI Express总线的主板，同时也是启用新处理器接口的芯片组。同时在这款主板上我们已经无法找到普通的AGP插槽，也就是说从这一代芯片组开始，我们原来的AGP显示卡已经无法在这种主板上使用了，新一代的总线交替真的出现了。其实对于其他设备来说（网卡，声卡），由于目前网卡基本都是板载，即使没有板载也由于数据吞吐量不是很大，因此依旧可以使用PCI插槽，而声卡也是类似。但是AGP显示卡却不可以这样（除非你愿意使用速度低下的PCI显示卡），其将成为第一个被彻底清理出局产品，也就是说AGP显示卡基本已经完成历史使命在未来已经无法成为系统标准的显示接口了。今年的2月18日，nVIDIA正式发布了GeForce PCX系列图形显示卡正式宣布抢占第一波PCI Express显示卡市场。GeForce PCX都支持PCI Express 16x接口，对应产品分别是GeForce PCX 5950/PCX 5750/PCX 5300/PCX 4300。不过nVIDIA的显示卡相对比较奇怪，其并没有彻底为新的PCX显示卡进行修改而是采用了一个名字为ISH（High-Speed Interconnect高速互联）的桥接芯片来提供对PCI Express总线的支持。也就是说GeForce PCX同原来的AGP版的GeForce显示卡并没有太大差别，仅仅就是增加了一颗桥接芯片来间接支持PCI Express总线。但是增加了这个桥接芯片之后nVIDIA宣称并不会降低PCI Express的传输速度，同时可以保留大部分PCI Express的主要特点。但是这里却存在一个问题，虽然nVIDIA宣称GPU同HSI桥接芯片之间的传输速度可以达到4GB/s，同PCI Express总线同HSI芯片连接的速度是一样的，但我们应该知道PCI Express是一个点对点连接的技术，其每个方向（传输和接受）总线上都具备4GB/s的带宽，也就是说其在传输的时候接受数据并不会占用到传输总线上的任何带宽和延迟，因此可以真正实现4GB/s的交换速度。而由于GPU同HSI桥接芯片之间会并不是一种点对点的连接技术，因此无法实现真正的全双工工作模式，虽然传输带宽达到了4GB/s，但是由于这是一种双向设计的总线，在传输数据的同时无法进行数据接口，这种共享式总线的效率绝对是无法同点对点技术相比的，由于传输和接受都会占用到这个4GB/s的带宽，因此实际上使用这种HSI桥接芯片并不能完全发挥GPU的效率。另外，根据一些资料显示nVIDIA的GPU还仅支持2.1GB/s的传输带宽度还无法完全发挥4GB/s的带宽。举一个例子我们来说明桥接芯片的劣势：HD视频编辑过程：1.系统从HD摄像机下载视频数据到内存，然后写入到硬盘2.处理器从系统内存读取视频流进行解码然后写入显存3.显卡显示视频流4.编辑完毕的视频流再写回系统内存在高分辨率视频编辑过程中，PCI Express能够充分显示其4GB/s上下行能力的优势。而AGP总线则只能提供266MB/s的上行能力，因此在从显存读取数据到内存的过程将会很慢，而且由于其是半双工，上行的时候将无法下载。桥接PCI Express显卡的弊端在这种应用中效率就会变得很低。同样的应用到大量祯缓存的应用中，显示卡会通过AGP纹理技术把大量的纹理填入内存中，在需要的时候载入，而这样的话由于非全双工的设计，使得采用非纯PCI Express技术的显示卡产生瓶颈同AGP总线一样制约系统性能进一步发挥。当然从目前来看，由于AGP传输能力的限制，游戏开发者会尽量的避免GPU和CPU之间频繁的交换数据，所以虽然GPU的处理能力在增加，但是部分运算还是被安排到了CPU，这样可以大大降低GPU的计算量，同时AGP总线同芯片组之间的数据交换速度也可以大大降低，但是随着PCI Express总线的出现，游戏开发者就会消除这些顾忌，把更繁重的应该由GPU负担的任务还给GPU，让CPU进一步解放来进一步提升游戏的AI。这样PCI Express的真正优势才会发挥出来。类似于NVIDIA的这种技术未来Matrox也会应用这种桥接技术来实现对PCI Express总线的支持，而采用这种模式最大的优势可以以第一时间拿出支持PCI Express主板的产品来。当然采用桥接技术还有一个好处，那就是降低一定的显示卡生产成本，由于搭载了桥接芯片，显示卡不需要考虑连接点对称分布的问题，可以简化一些布线（PCI Express部分的布线，当然其他显示卡部分的布线成本是不可能降低的）和PCB成本。RV380显示卡，这种显示卡不存在PCI Express桥接芯片作为另外一大独立显示卡生产厂商的ATI，也即将推出R423，RV380以及RV370图形芯片，这些芯片也都会正式支持PCI Express，同nVIDIA不同的是其并不会采用桥接芯片来变相提供PCI Express总线的支持，而是直接就提供了对PCI Express总线的支持。第 8 页 PCI Express展望PCI Express的产生是为了让标准化I/O互连和总线接口性能更为出色。但是，在未来2、3年中，这项技术在桌面及服务器平台上的发展还不明朗。对于大多数系统而言，最大的瓶颈仍然是存在机械部分设备的速度太慢。在主板上采用大容量的缓存、缓存可以帮助缓解这个问题，新型的Serial ATA接口取代EIDE接口后也可以有效提高传输速度。PCI Express无法成为硬盘的接口，而Serial ATA在以后甚至会将硬盘直接接到南桥上。 通过PCI Express将南桥和北桥连接，而不是PCI总线，可以提高带宽、降低延迟。不过在这个方面，有Intel的Hublink、VIA的Vlink。SiS的Mutiol等现有技术，使得PCI Express的前景还不清晰。Intel还在7500芯片组中推出了Hublink 2技术，将带宽有266MB/s提高到了1066MB/s。nVidia在自己的nForce和nForce2芯片组中使用了一个单向8位（400MHz工作频率）、带宽800MB/s的内部互连方式（HyperTransport）。在这种情况下，似乎并没有必要将