基于FPGA+PCI数据采集存储硬件设计方案详解

基于FPGA+PCI数据采集存储硬件设计方案详解针对双天线干涉SAR基线测量系统数据量大、实时性要求高和体积小的特点，设计并实现了一种基于FPGA+PCI的实时数据采集存储系统。系统基于PCI总线技术，采用FPGA和大容量SDRAM对采集数据进行控制和缓存，利用多个硬盘组成的磁盘阵列进行实时存储，实现了CCD相机和激光测距仪与PCI总线间的高速数据实时传输。对系统进行了功能和性能测试，测试结果表明，系统数据吞吐量大，实时性强，性能稳定，能够有效地满足基线测量系统的需求。双天线干涉合成孔径雷达系统可以获取地面目标的高程信息，具有全天候、全天时工作、测绘范围广、分辨率高等优点。干涉测量一般采用单轨双天线或重复轨道单天线系统，对于单轨双天线系统，其交轨干涉基线越长、越精确，获取的高程精度越高。一般干涉基线长度大于4m时，基线呈柔性结构而不能保持稳定基线，由于柔性基线结构出现的变形和抖动，会造成2个天线的相对位置和姿态动态变化，并最终严重影响高程精度。采用CCD相机和激光测距仪的组合基线测量系统能够实现对2个天线的位置和姿态变化进行精密动态测量，CCD相机对布设在天线上LED标志点进行高速跟踪拍摄，激光测距仪同步测量平台与合作目标之间的距离。这使得柔性基线测量系统具有输出数据量大、处理算法复杂、计算量大、处理实时性要求高等特点，本文针对柔性基线测量系统的需求，提出一种基于FPGA+PCI的数据实时采集与高速存储的解决方案，进行了硬件关键功能设计与实现。系统采用FPGA进行核心逻辑控制，对CCD相机和激光测距仪的数据进行同步采集控制，整理、利用外部大容量的SDRAM组进行缓存，采用专用的PCI接口芯片PLX9656，实现了2个传感器数据与PCI总线数据的高速传输，利用多个SATA硬盘构成的大容量的磁盘阵列进行实时存储。并对该数据采集存储系统进行了功能和性能测试，实测数据表明本文设计的系统能够有效解决柔性基线测量系统数据高速采集，大容量数据传输的难题。1系统组成及工作原理1.1主要功能和技术指标在柔性基线测量系统中，为了精确实时测量柔性基线的抖动和2个天线相对姿态的变化，需要选择高帧频、大面阵的CCD相机和高精度的激光测距仪进行组合测量，这样会产生大量高速的图像数据和激光测距仪输出的距离数据。因此本文设计的高速采集存储系统主要功能是控制各测量传感器之间的时间同步，完成各传感器数据的实时采集，并对采集的数据进行分流。一路数据进行高速存储；另一路数据输出至另外的实时处理系统中。根据柔性基线测量系统的要求，本文系统应该能够实时采集和存储2个传感器测量数据，需要达到的技术指标主要包括持续采集速度、持续存储速度和最小存储容量等。系统中CCD相机采用SVS-VISTEK公司生产的一款高分辨率、高帧频的面阵数字相机，图像的分辨率为1608列×1208行，相机帧频最高为30Hz.该相机数据AD采样为10位，数据采集只取高8位，则CCD相机每秒产生的数据量约为55.57MB.激光测距仪采用的是德国公司生产的LRFS-0040-2激光测距仪，测量速率最高可达50Hz，数据接口采用的是RS422接口，产生的数据量为9.6KB/s.2个传感器每秒的数据量约为56MB/s，则采集系统的持续采集速度必须大于56MB/s，才能对2个传感器数据进行实时采集。只有当持续存储速率大于采集速度时，才能够把数据实时准确的存储数据。所以持续存储速度要大于56MB/s，SATA硬盘理论读写速度最大可达150MB/s，利用多个SATA硬盘组成RAID阵列，可以提供比单个硬盘更高的存储性能。根据柔性基线测量系统的需求，该采集存储系统的持续工作时间最长约为2h，则需要的最小的存储容量约为390.76GB.根据上述数据采集系统的需求分析，并考虑到系统的可扩展性以及数据实际传输、终端处理的需要，要求数据采集记录速度要达到70MB/s，持续写盘阵速度要达到120MB/s，存储容量要求达到2TB.对于32bit/33MHz的PCI总线，实际使用中一般能达到80MB/s，数据进出系统内存都要经过PCI总线，会导致总线的效率降低一半。而系统的采集速度必须大于56MB/s，所以选择64bit/66MHz的PCI总线，数据传输的峰值速度可以达到528MB/s，现有系统表明64bit/66MHz的PCI总线实际传输的速度能达到200MB/s以上，所以该PCI总线的传输速度完全能满足系统需求。1.2系统组成和整体方案整个系统主要由CCD相机、激光测距仪，PCI数据采集卡，SATA磁盘阵列和计算机组成。其中PCI图像采集卡主要由传感器数据接口、FPGA逻辑控制芯片、高速缓存、PCI接口芯片组成。本文提出一种基于FPGA+PCI的数据采集存储系统的解决方案，该方案的原理如下：首先由主机端发送命令对CCD相机和激光测距仪进行配置，配置完成后启动采集，CCD相机输出的高速图像数据、同步控制信号一起送到FPGA中，在FPGA中进行缓存，激光测距仪的数据通过串口也送入到FPGA的双口RAM中进行缓存，FIFO半满后在FPGA的控制下把CCD相机和激光测距仪数据进行分流，其中一路送到外部的SDRAM组中进行缓存，SDRAM存储到设定图像帧数后给PCI发送中断，主机响应中断，从SDRAM中把数据读到内存中进行处理，并同时向硬盘中写数据完成实时存储；另一路送到相关的实时处理系统中进行处理。整个设计方案的框图如图1所示。图1数据实时采集与存储系统设计方案框图应用于柔性基线测量系统的数据实时，采集存储系统的设计包括以下几个方面的关键技术：CameraLink接口技术、多传感器同步技术、多传感器数据的实时采集与高速缓存和多传感器数据的实时存储。2数据实时采集存储系统关键设计与实现下面对本系统中的几个关键技术具体实现的设计方案进行详细阐述。2.1数据采集接口设计实验相机采用CameraLink标准接口，基本配置采用标准的MDR26连接器输出。本系统采用FPGA作为采集卡的主控芯片，FPGA支持的I/O标准为LVCMOS/LVTTL信号。因此本系统对于CameraLink接口的设计方案为：通过DS90CR288A接收器将4路相机数据LVDS信号和1路相机时钟LVDS信号转换成28位TTL数据，输出24位图像信号、图像同步信号和像素时钟信号Strobe.DS90CR288A的主要功能是完成LVDS到TTL电平信号的转换和串行信号转成并行信号。为了对相机进行参数设置和触发控制，需要将FPGA输出的相机控制信号（CC1-CC4）和信号SerTC（serial-to-camera）通过电平转换芯片DS90LV047转换成LVDS信号送入接收器中。为了接收相机向采集卡发送的应答信号SerTFG（serial-to-frame-grabber），采用DS90LV048把该LVDS信号转换成TTL信号后送入FPGA中，并送入主机端进行显示。2.2PCI接口设计由1.1节指标论证结果可知，本系统采用64bit/66MHz的PCI总线来实现数据的高速传输。PCI接口是PCI总线与外部总线的通信接口，以实现二者的通信。目前常用的PCI接口的方案是采用专用的PCI总线接口芯片，无需掌握复杂的PCI总线协议，设计简单，能够减少开发周期和成本。本系统中采用PLX9656来进行高速PCI卡的设计，以实现设置相机参数、设置激光测距参数、设置采样参数、读取图像数据等功能。PLX9656是目前性能最高的PCI接口控制器，具有PCI端66MHz、64bits，LOCAL端66MHz、32bits的性能，符合PCIV2.2规范。本系统中PCI接口设计的重点是PLX9656本地总线工作方式和数据传输模式的设置与实现。PLX9656的本地总线可以设置成3种模式：M模式、C模式和J模式。根据本系统的特点，选择C模式，可以通过把MODE1和MODE0引脚拉低来实现C模式的工作方式。在C模式下，数据传输方式分为主模式操作、从模式操作和DMA操作。采用DMA工作方式，能在不需要CPU干预的条件下，实现高数外设和存储器间的快速传输，因此比较适合CCD相机数据和激光测距仪数据的传输，DMA传输方式的实现可以通过对PLX9656的内部寄存器的DMAMODE0/1，PCICR置位来实现。2.3FPGA核心逻辑控制基于FPGA的时序逻辑控制模块是本系统的核心设计，能够实现对相机和激光测距仪的模式设置、相机和激光测距仪的数据同步控制、多个传感器数据的缓存与整理，对外部高速缓存的控制以及与PLX9656的通信。系统采用Altera公司的StratixⅡ系列EP2S60F1020器件，配置芯片选用EPC16.1）传感器触发设置本设计中，2个传感器的工作模式通过主机端进行设置，通过PCI总线将模式设置字符串传到FPGA中，通过串口控制器实现与相机和激光测距仪的通信，从而完成对相机和激光测距仪的配置。且相机和激光测距仪收到配置命令后也通过串口控制器把应答信息传到FPGA中，再通过PCI总线传到主机上。为了实现与激光测距仪的同步控制，相机选择软件外触发模式，此模式下需要在FPGA内产生一个频率为20Hz的EXSYNC触发信号送给CCD相机进行曝光读取数据，EXSYNC的低电平宽度为10μs，相机的曝光时间由主机端进行参数设置。2）数据同步控制把EXSYNC触发信号同时送给激光测距仪和相机，来实现2个传感器的输出同步。因为2个传感器的测量速度不同，相机的输出帧频为20帧/s，激光测距仪的输出频率为50Hz，所以数据同步的设计关键在于如何记录同时刻的单帧图像数据和激光测距仪数据，2个传感器同步采集的时序关系图如图2（a）所示，CLK100Hz是取2个频率的最小公倍数，可以根据FPGA的内部资源使用情况来设定，Data_lrf_sel为选择的激光数据，其中I表示该时刻的数据无效，V表示该时刻的数据有效。数据同步方案为相机数据进入FPGA后，在2个双口RAM中进行整理缓存，激光测距仪经过串口接收器把数据传入FPGA内，本设计的串口接收器带有FIFO缓存，数据经过缓存后接送入双口RAM中进行进一步缓存；按照图2（a）所示的时序关系图生成双口RAM的写使能WEN信号，WEN信号有效时把此时刻的激光数据写入双口RAM中；当读使能信号有效时，首先从双口RAM中的激光测距仪数据到FIFO中，接着读取相应帧的图像数据到FIFO中；FIFO半满后，激光测距仪数据和相机数据一起送到外部的SDRAM中进行进一步缓存，仿真时序图如图2（b）所示。由图2的仿真结果可知，本文同步设计方案能够有效地减少2个传感器之间的延时，采集2个传感器的相对同步数据。虽然不是严格意义上的同步，但已能满足柔性基线测量系统的需求。图2CCD相机和激光测距仪同步采集设计及仿真时序图3）数据缓存与整理本系统中采用的缓存方案为首先把图像数据、控制信号进行3级锁存，因为实验相机输出的图像数据为2个TAP的数据，分别把2个TAP的数据送入FPGA内部的2个双口RAM中进行缓存，左边TAP的数据按照顺序地址存储，右边TAP的数据按照逆序地址存储，从而将2个TAP的数据拼接成完整的图像。当使能信号有效时，把2个双口RAM的数据送入到FIFO中进一步缓存，当FIFO数据半满后，把FIFO的数据通过SDRAM接口控制器送入到外部的SDRAM存储器中去。4）PCI逻辑接口本系统通过PCI本地逻辑接口来完成FPGA与PLX9656的通信。系统加电启动后，PLX9656的内部寄存器由PCI总线的RST#信号复位；同时PLX9656输出局部复位信号LRESET，并检查EEPROM是否存在。如果采用本地端DMA方式控制，则整个握手过程如下：首先当SDRAM缓存中的数据达到设定值后，LINTI#信号有效，PLX9656向主机端发送中断请求信号；若CPU响应中断，则在中断相应程序内发出DMA读命令、要读的字节数和地址信息等。PLX9656申请本地总线，使LHOLD信号有效。FPGA驱动LHOLDA信号有效来响应PLX9656的请求，PLX9656将PCI地址空间映射到本地地址空间。接着通过设置寄存器来启动DMA传输，PLX9656有效ADS#（地址选通信号）、访问地址出现在LA地址总线上。再次FPGA有效READY#信号，同时使能SDRAM控制接口的读使能有效信号，数据开始出现在LD数据总线上。当数据的最后一个字节开始传输时，PLX9656驱动BLAST#信号有效，同时FPGA无效READY#信号。最后使SDRAM的读使能是信号无效，PLX9656驱动LHOLD无效，释放本地总线，接着FPGA也驱动LHOLDA无效，结束一次数据的传输。DMA传输的时序仿真图如图3所示。图3本地总线到PCI总线的DMA传输时序仿真图2.4高速缓存设计由于PCI接口芯片内部缓存容量太小，所以在实时采集过程中必须采用高速缓存器将数据进行缓存，然后再通过PCI总线送到主机，以提高系统的传输速度和性能。大容量高速的SDRAM容易买到且价格适中，本系统采用SDRAM进行缓存。Windows是多线程、抢先任务的操作系统，为了减少线程由于CPU占用时间结束而中断，中断间隔应大于线程的最大执行时间20ms，所以缓存的容量至少应为：20ms×70MB/s×2=2.8MB.本系统中采用Micron的MT48LC32M16A2芯片，该芯片为512MB存储大小，16bit位宽，133MHz的读写速度，能够满足系统数据采集和存储带宽的要求。本系统采用缓存方案为在FPGA外接2组32M*32位的SDRAM，由4片SDRAM配置而成，用于相机到PCI的数据缓冲。且SDRAM通过控制器的封装做成FIFO的接口，相机的数据写入FIFO，按照设定的图像数量给PCI发送中断，然后由PCI读取相机数据，从而克服了SDRAM结构复杂，切换控制电路难操作的缺点。2.5实时存储设计实时流盘一直是高速数据采集技术的最大瓶颈，直接制约了采集存储设备的实时存储能力。本系统中采用支持66MHz、100MHz、133MHz/64bit的PCI-X总线的主板，由8块容量为1TB的高速SATA硬盘，通过3WARE公司的RAID卡配置成RAID0方式，以获得最大化的磁盘访问速率，组成高速大容量的存储设备，整个数字相机数据采集存储设备的设计框图如图4所示。图4实时高速存储方案设计本系统把实时采集模块输出的数据，利用接口芯片PLX9656，通过PCI总线把数据送进系统内存，然后在RAID卡的控制下，将内存中的数据通过PCI总线写入SATA硬盘阵列中，理论持续写盘速度可达400MB/s以上。3实验及系统测试结果双天线干涉SAR柔性基线测量系统的模拟实验平台由传感器测量平台、合作目标和运动平台组成，如图5（a）和图5（b）所示。本文设计实现的数据采集存储系统实物如图5（c）所示。图5柔性基线测量系统原理样机实验中，对系统分别进行了功能测试和性能测试。性能测试主要包括实时采集记录速度测试、持续写盘阵速度测试和稳定性测试。对于系统的功能测试，分别进行模拟图像和实际图像数据采集测试。模拟图像为在FPGA内产生循环有规律的数据，对应的图像为条纹图像，根据采集的数据是否正确来验证采集系统的功能；然后切换到实际数据源，采集合作目标的运动图像。模拟和实测的图像和数据文件分别如图6所示。图6数据采集系统采集的数据文件与图像由图6（a）和图6（b）可知，对于模拟数据源，本文系统采集图像为黑白相间的条纹，且图像数据中像素的灰度值与设定值是一致的，不存在丢数问题。由图6（c）和图6（d）可知，本文系统采集的合作目标的图像和实际物体是一致的。模拟和实测图像数据的测试结果均表明，本文系统可以正确地进行数据采集和存储，没有图像错位现象，这验证了系统功能的正确性。系统实时采集记录速度的测试方法为：由于本系统中传感器的输出频率有限，无法反映系统的最大采集记录速度。采用在FPGA内部生成不同频率的模拟图像，通过本系统进行实时采集和写盘，利用上位机软件对图像进行回放，查看有无丢帧和错位现象。实测结果表明，当输出频率超过50Hz时，如果只采集不存盘，图像采集正确，但是选择同时存盘时，开始出现图像错位和丢帧现象。原因主要有2个：一个是当频率大于50Hz时，数据量大于100MB/s，本系统外接的高速缓存，其读写速度理论值为133MHz，因为做成FIFO接口，是边写边读，造成传输速度减半，可能导致缓存数据没有及时读走，造成图像错位和丢失；另一个是系统在主机内存中读和写是一个线程，边读边写数据导致速率跟不上。综上所述，本系统的采集记录速度可以达到100MB/