PCI-Express总线及设备介绍.ppt

PCI-E技术详解,邓勇前2005-10-22,课程内容,1.PCI-E总线发展历史回顾2.PCIExpress技术分析3.PCIExpress的体系结构4.PCIExpress的物理结构5.PCI设备介绍,1.PCI-E总线发展历史回顾,PCI-E总线诞生了!,2001年春季IDF期间，Intel公司宣布将会开发第三代输入输出技术（3GIO技术）来取代现有的PCI总线技术。同年8月份，PCI-SIG批准了代号为Arapahoe的3GIO标准。第二年的4月份，PCI-SIG和Arapahoe工作小组正式完成了3GIO的草案，并且将其正式命名为PCIExpress.2002年7月23日，PCI-SIG正式发布了PCIExpress1.0版规范。,2.PCIExpress技术分析,PCIVSPCIExpressI,PCI采用并行的信号机制传输速率从33MT/S到266MT/S总线带宽有32bit/64bit两种支持边带(Sideband)信号控制Load-Store架构内存，I/O，配置PCI电源管理奇偶和ECC,串行差分接口传输速率达到了2.5GT/s多种传输模式，非常灵活：1X，2X.32XIn-band控制LoadStore架构内存，I/O，配置和信息增强控制机制与目前的PCI软件100%兼容高级电源管理高级RAS，支持热插拔支持QoS(服务质量),PCIVSPCIExpressII,PCI和PCI_E既有共同点也有差别，最重要的地方被保留了，比如Load-Store架构。由于PCIExpress采用串行的机制，好象在计算机中一直都是串行性能较优，比如串行接口的硬盘VS并行接口的硬盘。PCIExpress较之PCI也更加灵活了，比如支持多种传输速率，那么厂商就可以根据自己的需要开发出面向不同用户的产品。PCIExpress也支持更多先进的技术，比如RAS和支持热插拔，热插拔的好处相信大家都知道吧，优盘不是非常方便吗？此外，它也有个很大的优点，100%兼容PCI软件。,PCIVSPCIExpressIII,今天软件的体积正在呈现级数的上升态势，对硬件的消耗也在逐渐加大，而其中尤为突出的是I/O子系统的性能，严重地影响到程序的运作。随着宽带网络的普及，流媒体视频和音频开始变得无处不在，无论是桌面还是移动平台，而PCI2.2或者PCI-X甚至连达到流畅播放的基线还免为其难。宽带的流行，同样带动了VOD（Video-On-deman，视频点播）视频和音频下载服务的发展，而这些服务需要与服务器即时无间断的数据传输。今天的平台，必须在不断增加的数据传输率中，同步传输/处理多个数据。在数据处理量疯狂增长的时候，对所有数据公平地对待是不可能，也是不现实的，而这点也显得尤其重要。例如，系统会优先处理流数据，因为断断续续的延迟数据就和没有数据没什么两样。在这个时候，这些流媒体数据会通过一定的标记，以便I/O系统能够让它们优先通过平台。在实际应用中，例如千兆以太网和InfiniBand，需要更多的带宽I/O.而第三代I/O总线需要的却不仅仅是增长的带宽，因为它们还需要实现一些其它的功能。,PCIVSPCIExpressIV,典型的桌面平台MCDT,3GIO概述I,主流PC的总线结构,3GIO概述II,多个数据流同时传输,3GIO概述III,得益于High-speed，Low-pin-count，Point-to-Point等技术，3GIO能够为我们提供非常诱人的带宽增益。一个3GIO拓扑结构(Topology)由一个HostBridge和数个EndPoint(I/O设备)组成。多个Point-to-Point连接到一个新的元件，比如Switch，然后再通过switch连接到HostBridge上面，如图3所示。在PCIExpress中，我们见到Switch取代了Multi-drop的总线，并且为I/O总线提供了输出端。Switch充当了不同终端设备运输的通信桥梁，如果它不需要进行处理缓存内滞留的信息，就不用通过Hostbridge。Switch似乎是作为单独的逻辑元件而存在的，但它必须连接到一个Hostbridge组件。当然这些信号的计算，点到点连接，都需要接头和电缆进行连接。,一个交换节点(switch)被增加到了系统的拓扑结构,3GIO概述IV,今天计算平台的并行总线，已经被3GIO连接给取代了，并分成一个或者更多的Lanes(小线路)。而且，每个lane都具有独立灵活的扩展能力，当它们在需要额外带宽的时候，就会随意地增加，就像桌面平台的显示卡和服务器平台的总线桥一样(例如3GIO-PCI-X)。3GIOSwitch具有提供输出端的能力，是一个允许系列接口连接的高性能I/O。Switch可以作为从属组件连接到HostBridge，当然也可以作为独立的组件而存在。,Desktop/MobileI/O的连接,3GIO概述V,服务器平台由于带有PCI-X插槽、千兆以太网、InfiniBandfabric等消耗带宽的组件，具有更高的带宽3GIO无疑成了救命稻草。如图5所示，它也为服务器平台，提供了很多和桌面系统相似的优点。“Insidethebox”I/O的3GIO和“Outsidethebox”I/O的InfiniBandfabrics的组合和群集互连，允许服务器从“并行分享总线”到高速串行互连的传输。,基于3GIO的服务器/工作站系统,3GIO概述VI,为了增加连接的数量，还有提高不同通信类型的服务质量，网络通信平台通常会使用多个Switches。当然，它从多个3GIO连接中也受益菲浅，并因此得以构建标准化的I/O系统。,基于3GIO的网络通讯系统,PCIExpress技术优势,大家都认为PCIExpress将成为今后10年内的主要内部总线连接标准，它不但将被用在台式机、笔记本电脑以及服务器平台上，甚至会继续延伸到网络设备的内部连接设计中,那么相对于以往的技术,它到底有什么优势呢?,1.在两个设备之间点对点串行互联（两个芯片之间使用接口连线；设备之间使用数据电缆；而PCIExpress接口的扩展卡之间使用连接插槽进行连接）与PCI所有设备共享同一条总线资源不同，PCIExpress总线采用点对点技术，能够为每一块设备分配独享通道带宽，不需要在设备之间共享资源，这样充分保障了各设备的宽带资源，提高数据传输速率,2.双通道，高带宽，传输速度快在数据传输模式上，PCIExpress总线采用独特的双通道传输模式，类似于全双工模式，大大提高了数据舆速度。在传输速度上，1.0版本的PCIExpress将从每个信道单方向2.5Gbps的传输速率起步，而它在物理层上提供的132速可选信道带宽特性更使其可以轻松实现近乎无限的扩展传输能力。,3.灵活扩展性与PCI不同，PCIExpress总线能够延伸到系统之外，采用专用线缆可将各种外设直接与系统内的PCIExpress总线连接在一起。这样可以允许开发商生产出能够与主系统脱离的高性能的存储控制器，不必再担心由于改用FireWire或USB等其它接口技术而使存储系统的性能受到影响。,4.低电源消耗，并有电源管理功能这主得益于PCIExpress总线采用比PCI总线少得多的物理结构，如单x1带宽模式只需4线即可实现调整数据传输，实际上是每个通道只需4根线，发送和接收数据的信号线各一根，另外各一根独立的地线。当然实际上在单通道PCIExpress总线接口插槽中并不是4针引脚，而是18针，这其余的14针都是通过4根芯线想互组合得到的。由于减少了数据传输芯线数量，所以它的电源消耗也就大降低了。,5.支持设备热拨插和热交换PCIExpress总线接口插槽中含有“热拨插检测信号”，所以可以像USB、IEEE1394总线那样进行热拨插和热交换。6.支持QoS链接配置和公证策略7.支持同步数据传输PCIExpress总线设备可以通过主机桥接器芯片进行基于主机的传输，也可以通过交换器进行点对点传输；,8.具有数据包和层协议架构它采用类似于网络通信中的OSI分层模式，各层使用专门的协议架构，所以可以很方便地在其它领域得到广泛应用。9.每个物理链接含有多点虚拟通道类似于InfiniBand，PCIExpress总线技术在每一个物理通道中也支持多点虚拟通道，理论上来讲每一个单物理通道中可以允许有8条虚拟通道通道进行独立通信控制，而且每个通信的数据包都定义不同的QoS。正因如此，它与外设之间的连接就可以得到非常的数据传输速率。,10.可保持端对端和链接级数据完整性这是得益于PCIExpress总线的分层架构，具体将在下篇介绍。11.具有错误处理和先进的错误报告功能这也是得益于PCIExpress总线的分层架构，它具有软件层，软件层的主要功能就是进行错误处理和提供错误报告。,12.使用小型连接，节约空间，减少串拢PCIExpress技术不需要像PCI总线那样在主板上布大量的数据线（PCI使用32或64条平行线传输数据），与PCI相比，PCIExpress总线的导线数量减少了将近75%（PCIExpress总线也会有好几种版本的），速度会加快而且数据不需要同步。同时因为主板上走线少了，从而可以使通过增加走线数量提升总线宽度的方法就更容易实现，同时各走线之间的间隔就可以更宽，减少了相互之间的串扰。,13.在软件层保持与PCI兼容跨平台兼容是PCIExpress总线非常重要的一个特点。目前被广泛采用的PCI2.2设备可以在这一新标准提供的低带宽模式下运行，不会出现类似PCI插卡无法在ISA或者VLB插槽上使用的问题，从而为广大用户提供了一个平滑的升级平台。同时由IBM创导的PCI-X接口标准在PCIExpress标准中也得到了兼容，但要注意的是它不兼容目前的AGP接口。,3.PCIExpress的体系结构,PCIExpress体系结构采用分层设计，就像网络通信中的七层OSI结构一样，这样利于跨平台的应用。PCI-Express体系结构上图所示。它共分为四层，从下到上分别为：物理层（PhysicalLayer）、数据链路层（LinkLayer）、处理层（TransactionLayer）和软件层（SoftwareLayer）。图中的“S/W”和“Config/OS”均属于软件层。PCIExpress的体系结构兼容于PCI地址结构模式，使得所有已有应用和驱动程序均不需作任何修改即可应用到新总线系统中。PCI-Express配置使用标准的PCI即插即用规格标准。下面对以上各层分别进行具体介绍。,1.物理层（PhysicalLayer）,物理层是最低层，它负责接口或者设备之间的链接，是物理接口之间的连接，可对应于网络中OSI七层模式中的物理层来理解。,物理层决定了PCIExpress总线接口的物理特性，如点对点串行连接、微差分信号驱动、热拨插、可配置带宽等。初始的单一串行PCIExpress链接包含两个低电压微分驱动信号对（4线的接收和发送对）的双向连接，即“发送”和“接受”信号。数据时钟使用8/10b解码方式来达到相当高的数据速率（这一技术同时也在其它串行总线技术中，如InfiniBand和RapidIO），时钟信息直接被编码成数据流，比起分离信号时钟更好。微分信号受两个不同方向的电压驱动，初始PCIExpress的链接信号发送速率为单线每个方向2.5GB/s，预计到2004年可达到5GB/s的信号传输速率，使用先进的硅技术把数据传输速率提高到10GHz（达到铜线传输的理论上最大值）。双向连接允许数据在两个方向上同时传输，类似于全双工连接，如电话系统，但是在双向传输中，各自都有自己的地线，而不像双工传输那样采用公共地线，在双向连接中可得到高速、更好质量的传输信号。单线双向信号线及传输流程如下图所示。,在图中的两个红色箭头代表两个不同的方向（发送和接收）的数据包，从图中可以看出，单线数据传输每个方向只需2要芯线，即一根数据传输线，一根为地线。,PCIExpress链接可以配置为x1、x2、x4、x8、x12、x16和x32信道带宽，x1带宽的链接包含4条线，x16带宽信道每个方向就有16个不同的信号对，或者64根信号芯线用于双向数据传输；终极的x32带宽信道每个方向可以提供10GB/s的数据传输速率，但是在采用8位/10位编码方式的情况下，实际速率只可达8GB/s，留有20%富余。PCIExpress体系结构可以通过速度的提高和先进的编码技术来升级，但这些速度的提高、编码的改进和媒介的改变均只影响物理层，所以对于整个PCIExpress架构来说升级是非常方便的。,上图所示的是PCIExpress总线数据流传输示意图。图的左边显示的是单信道情况下数据流的传输方式，因为PCIExpress属于点对点串行连接，所以在单信道情况下，数据流是一个字节一个字节地传输。在图的右边显示的是多信道情况下PCIExpress总线数据流的传输情况。因为有多外信道，所以数据可以依次传输到各个信道，加快了整个数据传输的速度，提高了数据传输效率，这有点类似于网络中的磁盘阵列。不过在此要注意的一点是，连接的双方信道配置要一致，不可不对称配置，也就是说说两个方向的信道数要相等。这主要是PCIExpress接口在外设中的应用情况下需要着重考虑的，在计算机内部，通常两上PCIExpress设备之间不会有什么通信请求，如显卡与网卡之间。有些工业分析家建议在第一代用于替代AGP总线的PCIExpress图形总线应该采用非对称设计，来取代原有的16信道同步连接计划，因为他们认为从图形卡向系统内存传输的数据会更少些。,在物理层的另一处重要方面就是中断。PCIExpress支持两个类型的中断，现行的PCIINTx（x=A,B,C,orD)中断被保留下来了，仍可在PCIExpress总线中应用。还有一个新的中断类型，那就是MSI（MessageSignaledInterrupt，信息信号中断），MSI中断可以进一步优化PCI.2/2.3设备。INTx中断方式可以用信号方式中断主机芯片请求，它可以与现行的PCI总线的驱动程序和操作系统兼容。PCIExpress设备必须支持INTx和MS两种中断模式，原有设备将压缩INTx中断信息在PCIExpress处理信息中。MSI中断是通过内存写处理操作边沿触发和发送的。重新编写驱动程序对于MSI边沿触发中断是非常有利的，MSI方案在使用数据包协议通过串行链接中是一种行之有效的本地中断方式。MSI在多处理器系统中任何设备都可以发送中断，比起主机直接发送中断更加有效，所以现在许多多处理器系统和I/O架构都对MSI中断技术提供支持。,2.数据链路层（LinkLayer）,数据链路层的主要职责就是确保数据包可靠、正确传输。它的任务是确保数据包的完整性，并在数据包中添加序列号和发送冗余校验码到处理层。,大多数数据包是由处理层发起的，基于信任，数据流控制协议确保数据包只在终端缓存空闲时传输。排队了所有数据的重试，使得信道带宽浪费现象得到有效地约束。但数据链路层在信号中断时自动重新传输数据包。传输过程如下图所示。,3.处理层（TransactionLayer）,处理层的作用主要是接受从软件层送来的读、写请求，并且建立一个请求包传输到链接层。所有请求都是分离执行，有些请示包将需要一个响应包。处理层同时接受从链路层传来的响应包，并与原始的软件请求关联。处理层还整合或者拆分处理级数据包来发送请求，如数据读、写请求，并且操纵链接配置和信号控制。以确保端到端连接通信正确，没有无效数据通过整个组织（包括源设备和目标设备，甚至包括可能通过的多个桥接器和交换器）。,在PCIExpress总线技术中，数据包类型主要有两种，那就是由处理层发起的“处理层数据包”（TransactionLayerPacket，TLP）和“数据链路层数据包”（DataLinkLayerPacket，DLLP）。每个数据包都有一个可以使响应包定向于正确发起者的唯一标识符，包的格式支持32位内存地址和扩展64位内存地址。包同时还有如“非窥探”、“无严格排序”和“优先权”等属性，这些属性将应用于优化路由I/O子系统的数据包。,处理层包括4个地址空间，其中3个是PCI接口原有的，如内存、I/O和配置地址空间，另一外新PCI-Express接口新加的，它就是“信息空间”。PCI2.2标准中介绍不断变化的系统中断宣传的方法称之为“信息信号中断”（MessageSignaledInterrupt，MSI）。这里特殊规格格式的内存写事物代替无边信号硬写，如中断、电源管理请求、复位等等有关信息方面。另一个PCI2.2标准的特殊循环，如中断响应也属于信息执行范畴。你可以把PCI-Express信息称之为“虚拟线”，因为它们的影响将消除现有执行平台中的广阔无限频带信号的排列。,不同地址空间的传输类型,PCIExpress使用数据包和层协议结构，而不需任何边带及旁路主流串行连接信号。层协议已经在数据通信中使用多年，它们允许在不同协议的功能区域中保持分离，而且可以不用做任何改动更新或者浓缩在其它不同层中。如新的处理类型可以包括在新的协议版本中，而不会影响下面的层，或者物理媒介可以被更换，而不会对更高层有大的影响。,右图说明了PCIExpress的3个协议层（处理层、数据链路层和物理层）在数据传输中的作用，数据流从一个设备的处理层发起，经过数据链路层，到物理的总线接口设备，然后通过相应的PCIExpress数据电缆传输到另一设备的物理层设备，经过另一设备的数据链路层再传到处理层进行处理，每一层都代表一个协议栈。,下图显示了数据包在两个设备中传输的实际流程，高层数据包信息被压缩在低层封装包中，应用级数据最终在数据包的核心位置。处理层在端到端的数据传输中使用32位冗余校验码，在数据链路层是使用16位校验码的。处理层数据包头包括许多控制信息和端到端传输数据。PCIExpress处理层使用基于信任的流控制机制来确保接收设备有足够的缓存资源用于接受从发送端设备所传输的数据大小和类型。,讲到数据处理，再来讲一下PCIExpress总线接口中新的结构，那就是虚拟通道（Virtuallan）。类似于InfiniBand，PCIExpress总线技术在每一个物理信道中也支持多点虚拟通道，理论上来讲每一个单物理信道中可以允许有8条虚拟通道信道进行独立通信控制。每个通信的数据包都定义不同的QoS，如图所示。当数据包通过PCIExpress组织传输时，在每个交换器或者链接终端，数据包的基本传输信息和传策略可以得到应用。传输信息在数据包包头，它包括3位代码，可以描述8个不同的传输信道。,4.软件层（SoftwareLayer）,软件层被称为最重要的部分，因为它是保持与PCI总线兼容的关键。其目的在于使系统在使用PCIExpress启动时，像在PCI下的初始化和运行那样，无论是在系统中发现的硬件设备，还是在系统中的资源，如内存、I/O空间和中断等，它可以创建非常优化的系统环境，而不需要进行任何改动。在PCI-Express体系结构中保持这些配置空间和I/O设备连接的规范稳定是非常关键的。事实上，在PCI-Express平台中所有操作系统在引导时都不需要进行任何编辑，也就是说