（测试计量技术及仪器专业论文）基于pcie总线的高速大容量数据记录系统软件设计.pdf

摘要 摘要 高速大容量数据记录系统是一种可以实现高速数据采集、持续数据记录和大 容量数据存储的模块化记录仪器。它可以广泛的集成到雷达、电子对抗、数字通 信等需要高速数据采集的电子设备中；持续数据记录和大容量数据存储的特点使 高速大容量数据记录系统在国防、航空航天、地质勘探等领域有着不可或缺的地 位。 结合数据记录系统高速、大容量的软件设计需求，本论文对系统的仪器驱动 和应用程序设计进行技术研究。数据记录系统的软件系统由设备驱动( 内核态驱 动) 、仪器驱动( 用户态驱动) 和应用程序三个模块构成。仪器驱动为上层应用程 序提供了设备控制接口( a p i ) 函数，应用程序通过调用仪器驱动提供的各种a p i 函数实现对仪器硬件各个功能模块的控制。 本论文在介绍p c ie x p r e s s ( 简称p c b e ) 总线技术和w d m 设备驱动程序的 基础上，详细的阐述了高速大容量数据记录系统的仪器驱动的开发过程。高速大 容量数据记录系统可以分为数据采集系统和数据记录系统两个部分。数据记录系 统自带的仪器驱动程序可以将记录系统映射成主机系统的一个或多个逻辑磁盘。 应用程序通过操作系统对映射的逻辑磁盘进行访问即可实现对数据记录系统的硬 件操作。数据采集系统的仪器驱动将功能函数分为设备类函数、寄存器配置类函 数、控制命令类函数、d m a 操作类函数、中断类函数函数。 应用程序设计结合高速大容量数据记录系统的持续记录需求，采用了环形缓 冲区技术、多线程技术和d e m a n dm o d ed m a 技术，很好地实现了数据记录系统 高速、大容量的设计需求。数据记录系统的应用程序采用了v c h 与 l a b w i n d o w s c v i 结合的开发平台设计了模块化的仪器控制界面。控制界面不但实 现了采样波形的实时显示，而且用户可以方便地通过控制界面实现硬件系统的各 种功能控制。 目前，本系统已经成功完成初样机的设计和测试，仪器驱动和应用程序都满 足数据记录系统高速、大容量的设计需求。在实际使用中，系统运行稳定，记录 的数据真实可靠，持续记录速度可达1 2 0 m b s ，记录容量可达1 t b 。 关键字：p c ie x p r e s s 总线、数据记录、仪器驱动、多线程、应用程序 a b s t r a c t a b s t r a c t h i g h s p e e dl a r g e - c a p a c i t yd a t aa c q u i s i t i o na n dr e c o r d i n gs y s t e m ，f e a t r u i n gh i 曲 r a t e ，c o n t i n u o u sd a t ar e c o r d i n ga n dh i 曲- c a p a c i t yd a t as t o r a g e ，i sak i n do fm o d u l a r i z e d r e c o r d i n gi n s t r u m e n t i tc a nb ei n t e g r a t e di n t oh i 曲一s p e e de l e c t r o n i ci n s t r u m e n ts u c ha s r a d a r , e l e c t r o n i cw a r f a r ea n dd i 昏t a lc o m m u n i c a t i o n s d a t aa c q u i s i t i o nr e c o r d i n gs y s t e m 、) l ，i mc h a r a c t e r i s t i c so fc o n t i n o u sd a t ar e c o r d i n ga n dh i 曲一c a p a c i t yd a t as t o r a g ep l a y sa n i n d i s p e n s a b l er o l ei nt h ed e f e n s e ，a e r o s p a c ea n dg e o l o g i c a lp r o s p e c t i n g t h i sd i s s e r t a t i o ns t u d i e sh o wt op r o g r a mt h ei n s t r u m e n td r i v e ra n da p p l i c a t i o n p r o g r a mo ft h ed a t aa c q u i s i t i o na n dr e c o r d i n gs y s t e m t h ew h o l es o f t w a r eo ft h es y s t e m h a st h r e ep a r t s ：d e v i c ed r i v e r , i n s t r u m e n td r i v e ra n dt h ea p p l i c a t i o np r o g r a m i n s t r u m e n t d r i v e rp r o v i d e sa p if u n c t i o n sf o rt h ea p p l i c a t i o np r o g r a m a p p l i c a t i o np r o g r a ma c h i e v e t h ec o n t r o lo fm o d u l e s b yc a l l i n ga p if u n c t i o n sp r o v i d e db yi n s t r u m e n td r i v e r t h i sd i s s e r t a t i o ni l l u s t r a t e st h ed e v e l o p m e n tp r o c e s so fh i g h - s p e e dl a g e - - c a p a c i t y d a t ar e c o r i n gs y s t e m si n s t r u m e n td r i v e r , b a s e do nt h ei n t r o d u c i t o no ft h ep c i eb u s t e c h n o l o g ya n dw d m d r i v e r d a t aa c q u i s i t i o na n dd a t ar e c o r d i n ga r et w op a r t so f h i g l l - s p e e dl a g e c a p a c i t yd a t ar e c o r i n gs y s t e m d a t ar e c o r d i n gi sm a p p e di n t ot h el o g i c d i s ko fo p e r a t i o ns y s t e mb yi t si n s t r u m e n td r i v e rp r o v i d e db ya c c u s y s ，l t d a p p l i c a t i o n p r o g r a mc a na c c e s st ot h ed a t ar e c o r d i n gs y s t e ms u c ha st h es y s t e m sl o g i cd i s k s t h e i n s t r u m e n td r i v e ri s c o m p o s e d o ff i v e m o d u l e s - e q u i p m e n tf u n c t i o n s ，r e g i s t e r c o n f i g u r a t i o nf u n c t i o n s ，c o m m a n df u n c t i o n s ，d m af u n c t i o n sa n di n t e r r u p tf u n c t i o n s c i r c u l a rb u f f e r , m u l t i - t h r e a da n dd e m a n dm o d ed m aa r ea d o p t e d ，b e c a u s eo ft h e d e m a n do fc o n t i n u o u ss t o r a g e a p p l i c a t i o np r o g r a mi s d e s i g n e dt om o d u l a ru s e r i n t e r f a c ew i t hv c + + a n dl a b w i n d o w s c v ii n t e g r a t e dd e v e l o p m e n tp l a t f o r m d e v i c e c a nb ec o n t r o l l e db yu s e r st h r o u g ht h eu s e ri n t e r f a c ee a s i l y d e v i c e sp e r f o r m a n c ei st e s ta n dp r o v e st h a ti n s t n m a e n td r i v e ra n da p p l i c a t i o n p r o g r a mc a na c c o m p l i s ha l lt h ef u n c t i o n so fs y s t e mv e r yw e l l t h ec o n t i n o u sr e c o r d i n g s p e e do f t h es y s t e mi su pt o1 2 0 m b s ，a n dt h er e c o r d i n gc a p a c i t yi su pt o1 t b k e yw o r d s ：p c ie x p r e s sb u s ，d a t aa c q u i s i t i o na n dr e c o r d i n g ，i n s t r u m e n td r i v e r ， m u l t i - t h r e a d 、a p p l i c a t i o np r o g r a m h 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作 及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为 获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与 我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 签名：搿 醐：1 引日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全 部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 虢编 翩签名毋i 司 日期：以一年g 月d - , 日 l 第一章引言 1 1 课题背景 第一章引言弟一早与l 函 随着通信技术的发展及应用，各类装备将逐渐趋同信息化、网络化，为掌握 战场的主动，未来信息战中对通信安全的冲击力势必增强，其干扰对抗手段更加 隐蔽。为了战时有效识别、定位干扰信号，要求平时对信号安全性进行长期的侦 察评估，如，重要军事通信信号的实时监视记录，重要战略阵地电磁辐射信号检 测、预警等。因此，实现新技术条件下对有价值通信信号或非通信信号的长期侦 察评估尤为重要，它要求侦察评估系统除了具有更高响应速度、大的数据吞吐量、 大动态范围以及针对敌方不同干扰类型的侦察识别能力之外，还必须具备突出的 长时大容量记录的特点，即高速海量的存储能力。 纵观国内外大多数海量数据存储技术，或市场发布产品，虽然发展很快，但 其硬件体系结构都以系统前端面向各类数据服务器，后端基于串行s c s i ( s a s ) 、 光纤通道( f c ) 或串行a t a ( s a t a ) 为标准的磁盘阵列技术( r a i d ) ，其核心技 术强调的是系统的可管理性、互操作性、以及与数据安全有关的容灾特性等，主 要应用方向在互联网、电信、金融、图书、视频、气象等大型数据处理领域。相 对于侦察用长时大容量高速采集的技术性能指标的需求，上述技术在数据的多通 道并发存储速度、长时无间断能力、在线数据调度方式等多个方面均不能满足要 求。 因此，有必要利用已有高速高精度采样技术，通过大容量采集数据存储、数 据传输、信号安全评估等若干关键技术的攻关，研发我国的“高速大容量数据记 录平台 ，解决目前信号侦测系统时效低，获取干扰信息少的问题，形成有特色的 信号安全监测产品。 1 2 高速大容量数据记录系统的发展现状 目前国内外广泛采用的高速大容量数据记录技术有以下四种：1 ) 高速多轨道 电子科技大学硕士学位论文 磁带技术：采用磁带记录和保存数据，该技术在国外比较成熟，也是最早发展的 数据记录技术。2 ) 高速磁盘阵列技术：采用多个廉价的磁盘组成一个逻辑磁盘， 采用并行读写的方式可以将读写速度提升到单个磁盘的几倍。3 ) 固态( 半导体) 磁盘技术：采用半导体材料制作的具有信息记录的设备。固态存储器的读写性能 只与总线接口技术和固态存储芯片的电气性能有关，因此采用固态磁盘技术的记 录设备可以实现很高的读写速率。4 ) 光盘技术：采用光盘存储器来存储数据，存 储数据速率通常在几十m b 。 高速多轨道磁带技术是最早发展的大容量数据记录技术。采用磁带记录的方 式将大量的数据录入到磁带中。很长一段时间内磁带记录技术一直是数据实时记 录和长期保存的重要手段。采用磁带记录的数据需要专用的设备将其从磁带中读 出，不便于广泛的应用。磁带的走带速度等机械指标一直是记录速度很难提高的 瓶颈。但是由于磁带内部采用一系列革新技术以及外部总线接口技术的提升，使 得在一些环境要求指标稍低的场合仍可以考虑使用磁带记录仪。 固态磁盘技术是以固态存储器件作为数据记录的载体。固态记录器于7 0 年代 末首先进入军事应用领域。固态存储器的记录速率主要取决于总线接口速率和固 态存储芯片的电气性能等参数，因此能够达到很高的速率。目前c a l c u l e x 公司的 m o n s s t r 固态记录仪是业界记录速率和记录深度均领先的固态记录仪。它拥有高 密度、永久闪存和模块化加固封装的系统结构，克服了种种环境限制，最高持续 记录速率可达1 0 g b i t s ，最大存储容量可以达到1 6 4 t b 。 高速磁盘阵列技术是目前应用非常广泛的一项技术。多个磁盘组成一个逻辑 磁盘，采用并行访问的方式可以实现单个磁盘多倍的存取速度。高速磁盘阵列设 备采用了廉价的大容量磁盘，具有设备简单、价格便宜、易维护等明显的优点， 因此磁盘阵列技术得到了广泛的应用。磁盘阵列根据其控制方式不同可以分为专 用型磁盘阵列和总线型磁盘阵列。专用型磁盘阵列主要针对某个专业领域的应用， 采用嵌入式处理器技术。具有速度快，稳定度高等优点，但是系统的设计比较复 杂，成本很高。总线型磁盘阵列是采用通用的微机总线接口如p c i 、p c ie x p r e s s ( 简称p c i - e ) 等开发的磁盘控制器。因此总线磁盘控制设备具有开发周期短， 通用性高，升级方便，易维护等特点。新型的p c i e 总线不但克服了传统p c i 总 线所有设备共享单一带宽的缺陷，实现了所有p c i - e 总线设备独享总线带宽。基 于p c i - e 总线的数据采集卡和存储设备可以相互独立的工作，极大地提高了系统 的记录速度和稳定性。 目前国内外一些大学和研究机构在高速、大容量数据记录方面取得了不错的 2 第一章引言 研究成果。清华大学光盘国家工程研究中心主要致力于基于s c s i 总线的磁盘阵 列系统研究，并且建立了相应的速度模型。华中理工大学、上海交通大学主要研 究基于s c s i 总线磁盘设备的多线程i o ，实现多个s c s i 记录设备并行操作。国 防科技大学提出的高速数据记录系统解决了机载超宽带合成孔径雷达系统实时数 据记录的要求，实现了持续数据传输率5 0 m b y t e s ，存储容量大于7 0 g b 。美国的 n i 公司在2 0 0 8 年发布了一款基于p c i - e 总线的数据记录设备n 1 8 2 6 2 ，其持续数 据存取速度可以达到6 0 0 m b y t e s ，最大可以记录3 t b 数据。 目前我国在高速大容量记录方面与国外先进技术仍然有很大的差距。研究具 有自主知识产权的高速大容量数据记录系统对我国高速大容量记录技术的发展有 着重要的意义。 1 3 本论文的主要任务 本文结合基于p c i - e 总线的高速大容量数据记录系统的硬件结构和设计需 求，对高速大容量数据记录系统的驱动程序和上层应用程序进行研究和探讨。主 要任务为： 仪器驱动的开发：在w i n d o w sx p 系统下，结合w i n d r i v e r 开发仪器驱动， 并且以动态链接库的形式提供给用户使用。动态链接库不但实现了对硬件的控制， 而且屏蔽了底层工作细节，简化了应用程序开发。 应用程序开发：根据通用功能模块函数的动态链接库，实现应用程序与驱动 程序的连接，并实现采集记录系统的各种控制功能。 高速大容量数据记录系统的性能测试：通过数据记录系统性能的测试，检验 仪器驱动和应用程序的协调工作能力，保证高速大容量数据记录系统实现 1 0 0 m b s 的持续记录速率和1 t b 记录深度的设计需求。 3 电子科技大学硕士学位论文 第二章高速大容量数据记录系统的总体设计 2 - 1 高速大容量数据记录系统的硬件设计 长期以来，高密度磁带机一直是高速大容量数据记录和长期保存的主要手段， 但它存在价格昂贵、设备复杂、维修困难、磁带保存环境要求高、数据传递和处 理不方便等缺点。近年来，利用磁盘阵列实现数据高速大容量记录己成为数据记 录的发展趋势，磁盘数据记录器具有设备简单、价格便宜、数据处理方便、使用 维护成本低等明显优点，得到了广泛应用。本节主要介绍传统的高速大容量数据 记录系统的基本原理及其技术特点。以及作者对数据记录系统向高速、大容量发 展的一点探索研究。 2 1 1 传统的高速大容量数据记录系统 目前，在实际中应用的高速大容量数据记录系统的记录过程一般分为数据采 集和数据存储两个过程【l 】，数据采集主要负责将存储的数据传送到记录系统的数 据缓冲区中，数据存储负责将数据缓冲区中的数据记录到磁盘阵列中。根据数据 采集和数据存储之间软件、硬件的实现方式不同以及存储过程本身实现方式不同， 数据记录系统可以分为专用型数据记录系统和总线型数据记录系统两种类型【2 j 。 ( 1 ) 专用型数据记录系统 专用型数据记录系统一般由高性能的嵌入式计算机、专用的磁盘控制芯片和 f p g a 组成。采集数据直接存储于板上的高速缓存，在嵌入式计算机的控制下由 专用的磁盘控制芯片将高速缓存中的数据存入到磁盘阵列中。专用型数据记录系 统的设计比较复杂，研制周期长，成本比较高，升级比较困难。但是其采用了自 定义的高速数据传输通道，使数据传输的带宽只受到磁盘阵列的读写速度限制， 而且这种系统的实时性很好，可以实现很高的持续数据记录速度和很高的系统稳 定性。 4 第二章高速大容量数据记录系统的总体设计 图2 1 专用型数据记录系统 ( 2 ) 总线型数据记录系统 总线型数据记录系统以微机系统为开发平台，采用在p c i 总线上接入标准的 数据采集卡和磁盘控制卡。在操作系统的调度下实现采样数据上传至主机内存， 再由主机内存转至磁盘阵列。这种系统的设计相对简单、成本较低、通用性强。 因为操作系统的非实时性，可能使得系统的稳定度设计比较复杂。总线型数据记 录系统原理框图如图2 2 所示。 图2 2 总线型数据记录系统 总线型数据记录系统采用了微机作为整个系统的控制发出者。底层的数据流 控制都由操作系统的调度来完成，在很大程度上减少了软件设计的复杂性。微机 系统拥有大容量的内存，可以作为数据采集设备的数据上传缓冲区，可以很好的 实现数据采集端与数据存储端的速率匹配，保证系统的持续不间断存储。图2 2 中的实线和虚线分别代表了系统中两种不同的数据流向，也代表了两种不同的总 线型数据记录系统。 5 电子科技大学硕士学位论文 在实线所代表的记录系统中，微机系统内存将数据采集和数据存储两个过程 联系起来，数据由数据采集卡缓存后，从p c i 总线送进系统内存，然后再通过r a i d 控制卡将内存中的数据写入磁盘阵列中。在整个的数据传输过程中，数据都要使 用系统公用的p c i 总线。p c i 总线是一种设备共享带宽的数据总线，因此同一个 时刻p c i 总线上只能由采集卡数据上传数据到内存或者系统将内存中的数据写入 磁盘阵列。也就是数据采集和数据存储两个过程不能并发执行，只能采用顺序操 作的方式，从而使数据传输的整体性能降低了一半，进而也限制到采集记录系统 性能的提高。基于p c i 总线的采集记录系统在采样速率较低的场合还可以满足持 续不间断的存储要求。当采样速率进一步提高时，基于p c i 总线的数据记录系统 的缺点就显现出来了，也不满足高速采集的应用。 在虚线所代表的记录系统中，由微机系统发起数据记录命令。r a i d 控制卡 在接收到数据保存指令后，成为p c i 总线的主控设备，数据采集卡成为p c i 总线 的从设备。r a i d 控制卡对数据采集卡进行直接访问，自主完成存储功能。数据 采集和数据记录就避开了系统内存中转这一环节，使得采集记录系统的吞吐量和 实时性有很大的提高。这种工作方式的关键是如何协调两块板卡的工作，这在某 种程度上会加大硬件系统和上层软件设计的复杂程度。由于缺少了主机系统中大 容量缓存，可能因为中断等操作的响应不及时造成记录数据的丢失。当然可以在 采集卡上构建大容量数据缓冲区来弥补因缓冲空间不足所带来的不稳定性，这样 的设计会极大地增加开发成本。 2 1 2 改进的高速大容量数据记录系统 从前一节的分析中可以看出专用型数据记录系统和总线型数据记录系统各有 优缺点：专用型数据记录系统的记录速度高、性能稳定，但是开发难度大、成本 高、不易升级等缺点；总线型数据记录系统的开发简单、容易升级，由于受到p c i 总线和操作系统的限制，记录速度很难提高，很难满足高速实时数据记录的需要。 基于目前的现状，急需要一种新的记录系统来满足高速数据记录，同时方便系统 升级和维护以适应不断提高的记录速度对系统的要求。p c i - e 总线的广泛应用和 发展为上述需求提供了可行的方案。p c i - e 是一种基于串行技术的总线架构，每 个设备独享整个带宽，克服了传统p c i 总线设备共享带宽的缺点。不但极大地提 高数据传输速率，而且p c i - e 总线特殊的总线结构可以保证数据采集和数据存储 同时并发执行。基于p c i - e 总线的高速大容量数据记录系统从类型上来说是一种 6 第二章高速大容量数据记录系统的总体设计 总线记录系统。同时它也具有升级方便、开发简单、成本低的特点。 ( 1 ) 基于p c i - e 总线的高速大容量数据记录系统功能框图 基于p c i e 总线的高速大容量数据记录系统的功能结构如图2 3 所示。按功 能数据记录系统主要分为以下部分：采集存储模块、主控制逻辑模块、c a b l ep c i e 接口模块、磁盘阵列模块。 总线 图2 - 3 高速大容量数据记录系统功能框图 采集存储电路：主要实现信号的高速采样及采样数据的交替存储。它直接关 系到整机的关键性能指标的优劣。采集存储电路主要包括模拟信号调理、高速采 样、交替存储等模块，实现模拟信号的差分变换、阻抗变换、a d 采样及交替存 储。 主控制逻辑电路：数据记录系统需要控制数据高速上传至主机内存，其中主 控逻辑的合理设计便是其中的关键。f p g a 内部存储器与c a l ep c i e 接口的本地 逻辑有三种不同的突发传输方式。在不同的突发方式下，本地数据总线效率相差 数十倍。因此高效、合理的本地主控逻辑设计成为整体控制设计中非常重要的部 分。主控逻辑电路大致可以分为c a b l ep c i - e 接口本地逻辑时序控制、d m a 、d i r e c t s l a v e 时序控制、a d 采样率控制等功能。 c a b l ep c i e 接口电路：c a b l ep c i - e 总线是基于p c i e 的新型第三代( 3 g 1 0 1 高速互连总线。c a b l ep c i - e 总线不但具有p c i - e 总线的所有优点，而且还具有接 口引脚少、传输距离更长的优点。边带信号设计得到简化、最大的传输距离可以 7 电子科技大学硕士学位论文 达到7 m 。通过对p c i e 总线信号的转换即可实现与c a b l ep c i e 的互连。c a b l e p c i e 总线包括p e t p p e t n 、p e r p p e r n 差分对信号、c r e f c l k + 、c p r s n t # 、 c w a k e # 、c p w r o n 、c p e r s t # 等边带信号。其中p e t p p e t n 、p e r p p e r n 、 c r e f c l k + 信号与p c i e 总线对应差分信号之间关系如图2 - 4 所示【3 1 。 c a b i e 图2 - 4c a b l ep c i e 与p c i e 总线差分信号关系示意图 磁盘阵列模块：磁盘阵列模块是数据记录系统实现高速大容量的核心部分。 主要由基于p c i e 8 的r a i d 阵列控制卡( a c c u s y s6 1 0 0 0r a i d 控制卡) 与s a t a 磁盘组成。r a i d 阵列控制卡在系统控制下通过p c i - e 总线实现主机内存与s a t a 磁盘阵列的数据交换。为了使得s a t a 磁盘能达到最大的数据吞吐速率和最大的 数据记录深度，本系统中采用了r m d 方式对采样数据进行记录。 ( 2 ) c a b l ep c i e 总线技术的特点 由于p c i 总线技术的种种缺陷，引起了总线互连技术及体系结构开始发生重 大变革。各个设备厂商相继出现了p c i e 、r a p i d l o 、h y p e r t r a n s p o r t 、i n f i n i b a n d 等一系列高性能i o 互连技术。其中p c i - e 在芯片级互连、板级互连方面发展尤 为迅速，很快得到业界的承认。并被公认为下一代总线标准。其中c a b l ep c i e x p r e s s ( 简称c a b l ep c i e ) 就是在外部板级互连应用下发展出来的，适用于外部拓 展的高速互连总线。c a b l ep c i e 具有鲜明的技术优势，不但全面继承了p c i - e 总 线技术的优势，而且在其技术上有所发展，更加适用于外部板级设备互连。这种 新的总线技术具有以下关键技术优势【4 】： 灵活扩展特性：与p c i - e 、p c i 不同，c a b l ep c i e 总线能够延伸到主板之外， 采用专用线缆，可将各种外设直接与系统内的p c i - e 总线互连。 远距离传输特性：c a b l ep c i - e 总线解决了p c i e 总线短距离传输的缺点。通 第二章高速大容量数据记录系统的总体设计 过预加重措旌和增加差分电压抗干扰检测的方式，可以将p c i - e 总线传输距离从 几厘米扩展到7 米。 高速互连特性：与p c i 所有设备共享同一总线带宽不同，c a b l e p c i e 总线采 用p c i e 总线的点对点技术，能够为每一块设备分配独享通道带宽，不需要在设 备之间共享资源，这样充分保障了各设备的带宽资源，提高数据传输速率。 软件兼容特性：跨平台兼容是c a b l ep c i e 总线非常重要的一个特点。目前 被广泛采用的p c i p c i - x 设备可以在这一新标准提供的低带宽模式下运行，不会 出现类似p c i 插卡无法在i s a 插槽上使用的问题，从而降低了基于p c i - e 总线设 备软件开发的难度，有利于快速、高效的完成软件设计。 r a s 特性：c a b l ep c p e 基于物理层、数据链路层和事务处理层三个层次实 现高可靠的报文传输，支持事务处理层e c r c 和数据链路层l c r c 的双重c r c 校验。支持重传和错误恢复，并具有完善的错误处理和报告机制，使其具有了超 越传统i 0 总线的出色r a s 特性和数据完整性。 高级电源管理特性：c a b l ep c i e 具有高级电源管理功能，同时支持设备热插 拔和热交换等特性。 ( 3 ) p c i e 总线拓扑结构 c a b l ep c f e 的总线拓扑结构与p c i e 总线拓扑结构完全一致。可以直接将基 于c a b l ep c i e 总线的设备与p c g es w i t c h 直接链接，无需通过中间转换。p c i - e 采用了创新的点对点链接所有设备，保证了所有设备独占总线带宽，并且在同一 系统内部的不同设备可以在不同的频率下运行，从而解决了p c i 系统拓扑结构所 面临的问题。 通常，一个典型的p c g e 系统主要由以下几部分组成 5 】： r o o t c o m p l e x ：通常集成在北桥芯片的p c i e 接口芯片，用于处理器和内存 子系统与i o 设备之间的连接。 s w i t c h ：它取代了p c i 传统架构中的i o 桥接器，用来为i o 总线提供输出， 支持在不同终端设备间进行对等通信。 p c ib r i d g e ：用于实现传统p c i 设备连接。 e n d p o i n t ：可以是基于p c i e 总线或者p c i 总线的终端设备。 9 电子科技大学硕士学位论文 c p u p ：1 勰s _ p c i e x p r e s s l p c ie x p r e s s m e m o r y 也越 r o o t c o m p l e xr _l p c ie x p r e s s p c ie x p r e s s t op c ib r i d g e p c i p c i x p c ie x p r e s s p c ie x p r e s s s w i t c h c ie x ：p r e s sp p c ie x o r e s siip c ie x p r e s s p c i e x p r e s s p c ie x p r e s s l e g a c y e n d o o i n t e n d o o i m iie n d o o i n t l e g a c y e n d d o i m 图2 5p c i - e 总线拓扑结构 以p c i e 为网络的标准系统是由设备之间的点对点连接组成的。p c b e 系统 是由一个r o o t c o m p l e x ( 功能上类似于北桥芯片) 、s w i t c h ( 包含多个p c i - t o p c i 桥，以保证兼容性) 以及不同的终端设备，也包含类似于p c h 转p c i 的桥接设 备。点对点传输可以让一个终端设备通过r o o t c o m p l e x 将数据传送到另一个终端 设备，或者从一个终端设备经过一个s w i t c h 到另一个s w i t c h ，然后再到另一个终 端设备。另一种方式称之为高级点对点传输，附加的功能可以实现未来的“p c i e x p r e s s 高级信息包转换器 。一个r o o t c o m p l e x 通过高级转换功能来实现主机软 件之间的点对点传输。 ( 4 ) p c i e 总线接口的实现 实现p c g e 总线接口的方式大致有两种：采用硬pc o r e 的解决方案和可编 程门阵列( f p g a ) 软i pc o r e 的解决方案。采用f p g a 开发p c i e 接口的难度比 较大，而且还需要购买价格相当昂贵的i pc o r e 。为了节约成本，加快开发进度， 本设计中采用了p l x 公司的p e x 8 3 1 1 的硬i pc o r e 解决方案。 p e x 8 3 1 1 是p l x 公司的先进的p c ii o 加速器，采用了先进的p l x 数据管 道结构技术，3 2 位6 6 6 6m h z 总线主控接口控制器可获得高达2 6 4m b s 的p c i 1 0 第二章高速大容量数据记录系统的总体设计 突发传输速度。其基本特性如下【6 】： 支持p c i - e 总线和本地总线相互转换 支持p c b e 总线的r o o t c o m p l e x 模式和e n d p o i n t 模式 集成单通道、全双- i - 2 5 g b p s 传输的s e r d e s 支持本地总线8 位、1 6 位、3 2 位配置 支持本地总线6 6 6 6 m h z 时钟配置 支持三种数据传输模式：d i r e c tm a s t e r 、d i r e c ts l a v e 、d m a 支持三种d m a 传输模式：b l o c kd m a 、s c a r e r g a t h e rd m a 、d e m a n dd m a 支持s p i 、m i c r o w i r e 串行e e p r o m 配置 片上集成8 k bp c i e 和本地总线共享r a m 支持基于p c g e 总线的电源管理模式 兼容p c ie x p r e s sb a s es p e c i f c a t i o n ，r e v i s i o n 1 0 a 、p c il o c a lb u s s p e c i f i c a t i o n r e v i s i o n3 0 、p c it op c ib r i d g ea r c h i t e c t u r es p e c i f i c a t i o n 规范 图2 - 6p e x 8 3 1 1 内部功能框图 p e x 8 3 1 1 采用l o c a l 到p c i 、p c i 到p c i - e 的间接转换方式实现了l o c a l 到 p c g e 总线的转换。正如w i n d r i v e rw i z a r d 和p l x m o n 所显示的那样：p e x 8 3 1 1 是由8 1 1 1 + 8 3 1 1 构成的。即一个用于p c i - - p c i e 接口的p e x 8 1 1 1 芯片和一个用 于l o c a l - p c i 的p c i 9 0 5 6 芯片( 也就是p e x 8 3 1 1 ) 。 电子科技大学硕士学位论文 i “u f t “t # t t t - l q f v “p l v 撕i h | l ，*h l c r u 1 o b m l m ； 嚣一 譬篡= ：l “! 业! 竺一- j l i 嚣。景掣裟一! ! 1 2 一 f 一 ：ik k t 一i 口m 5 i i m i i 5 - i 一 】n k i 一d * o m i m d l c i m3 c i 一3 “ k i 一1 0 ：3 “ j - m i 一i d = j k ；i m 日1 i i 目目日i 日目 m nm ；，- i _ ，口，tl i 口+ 】 h l t * 0 1 n 1 t 1 17 ”一山 ”h i r 图2 7p e x 8 3 1 1 在w i n d 6 v e r w i z a r d 中的识别示例 213 高速大容量数据记录系统存储技术选择 高速太容量数据记录系统不但可以实现采样数据的实时传输，而且还可以实 现采样数据在一定时问内不f i j 断存储。数据采集系统中采用的p c i - e x l 总线可以 实现25 g b p s 的传输速率，而单个s a t a 磁盘只能实现8 0 m b s 的传输速率1 2 1 。为 了解决采集与持续大容量记录的矛盾，本设计中采用了多s a t a 磁盘组成的磁盘 冗余阵列( r a i d ) 技术来解决目前存在的单个磁盘记录速率与总线速率不匹配的 问题。 磁盘读写一直是限制数据记录系统发展的瓶颈。在上世纪8 0 年代提出了 r a i d 技术。r a i d 记录系统作为高性能的记录系统，已经得到了越来越广泛的应 用。r a i d 技术己经发展为多个级别，分别是：0 、1 、2 、3 、4 、5 等。但最常用 的是0 、1 、3 、5 四个级别。各常用r a i d 级别的性能比较如下： r a i d o 是简单的，不带有校验的磁盘分条( s t r i p p i n g ) 。r m d o 是将数据分散 放在阵列的各个磁盘上，每个磁盘记录不同的数据，同等情况下具有最大读写速 度和记录容量。本质上它并不是一个r a i d ，因为它并不提供任何形式的冗余。 r a 加能实现多个f o 操作的同时并行处理，并且不需要计算校验。因而它是所 第二章高速大容量数据记录系统的总体设计 有类型的阵列中吞吐量最快的，所以适合高速i o 的系统。例如：临时存放数据、 转存数据库、实时记录等。 r a i d l 采用镜像双工( m i r r o r i n g d u p l e x i n g ) 的方式工作。r a i d l 采用两块 磁盘互为镜像，每块磁盘记录的数据均与另一块相同。当一块磁盘出现故障时， 另一块磁盘继续工作，保障系统的继续运行。具有最大冗余、快速回复的功能， 但成本较高。整个r a i d l 系统的记录容量仅为总磁盘容量的一半。适合于对数据 安全性有较高要求且成本不敏感的领域。例如：银行、证券数据库等。 r a i d 3 采用磁盘分条和专用盘校验技术。r a i d 3 至少采用三块磁盘配置，在 其中的一块磁盘上记录专用的校验数据。当某块磁盘出现故障时，其他磁盘可以 通过校验数据将有故障的数据重新恢复出来。r a i d 3 采用了一块磁盘作为校验使 用，所以实际可以使用的磁盘容量为n 一1 。r a i d 3 在高可靠性、成本、性能间平 衡性较好，由于需要计算校验数据会导致速度稍慢，要求3 块磁盘或更多。适用 于较多写、较少读的操作，且需要有容错场合。 r a i d 5 采用磁盘分条和分布式校验技术。r a i d 5 使用至少三块磁盘配置，与 r a i d 3 所不同的是：r a i d 5 将所有校验的数据分别记录在所有的磁盘上，即每个 磁盘的既记录数据，也记录校验数据。当某块磁盘出现故障时，其他磁盘可以通 过校验数据将故障的磁盘数据重新恢复出来。r a i d 5 所有的校验数据需要使用一 块磁盘的容量进行记录，所以实际可以使用的磁盘总容量为n 1 。r a i d 5 与r a i d 3 一样在高可靠性、成本、性能间平衡性较好，由于需要计算校验数据会导致速度 稍慢，要求3 块磁盘或更多。但性能比r a i d 3 稍好。适用于较多写、较少读的操 作，且需要有容错场合。 现将各种r a i d 阵列级别性能比较如下： 表2 1 常见r a i d 级别性能比较 r a i d 级别 o l35 磁盘分条和专磁盘分条和校验数 记录模式磁盘分条镜像 用校验盘据分散记录 是否容错否是是是 所需磁盘数量一个及以上 2 n 个3 个或更多3 个或更多 可用容量最大最少中等 中等 读性能依赖磁盘数量中等最慢最慢 随机写性能 最快 最慢中等中等 顺序写性能最快 较慢中等中等 结合表2 1 的r a i d 技术对比可以知道：r a i d 0 技术有最高的数据吞吐量和 电子科技大学硕士学位论文 最大的有效数据容量。高速大容量数据记录系统最重要的指标是系统具有最大读 写速度和记录容量，r a d i o 技术就非常适合于本系统高速、大容量记录的设计需 求。设计中采用了4 块容量均为2 5 0 g b 的s a t a 磁盘组成磁盘阵列。r a i d 磁盘 阵列控制卡与s a t a 磁盘组成r a i d 0 记录方式的示意图。 图2 - 8 采用s t r i p p i n g 技术的r a i d 0 磁盘阵列 2 2 高速大容量数据记录系统的软件设计 为了保证所有p c i 设备能够平稳的升级到p c i - e 总线设备，p c i - e 软件系统 完全兼容p c i 软件系统，也就是基于p c i e 总线设备的驱动程序完全兼容基p c i 总线设备的驱动程序。因此用于p c i 系统开发的工具软件同样适用于p c i e 系统 软件的设计。 2 2 1 高速大容量数据记录系统的软件结构 高速大容量数据记录系统的软件设计是以计算机为开发平台的，整个系统的 软件架构如图2 - 9 所示。主要由p c i - e 总线驱动、仪器驱动和应用程序三个部分 组成。总线驱动位于整个软件系统的最下层，通过硬件抽象层( h a l ) 直接与硬 件打交道；仪