高速数据流盘处理：编程与标定

1、高速数据流盘处理：编程与标定 express正在转变着工程师们设计系统的方式。本文研究了支持高速数据流处理的技术、最大化系统流处理性能的应用设计和在数据流导入磁盘与数据流导入存储器应用中可获得的数据速率基准。 引言流处理是指以足够维持延续采集或信号生成的高速率将数据传输至仪器或从仪器输出。这就意味着任一项流处理应用的性能总是受限于数据的大小和传输速度。许多工程师利用了“流处理”技术，但是在无数应用中，数据无法以足够快的速率被生成或采集。在这些状况下，工程师们必需折衷处理，或者以足够低的采样率对要通过传输的数据举行采样，或者以所需的高速率举行采样但所持续时光较短(这个时光受限于仪器的板载存储器)

2、。然而，无论哪一种的牺牲都不是我们希翼的。传统意义上，桌面仪器系统，如、规律分析仪和随意波形发生器等，都已经实现了一定程度的数据流处理。虽然许多仪器具有十分高的采样率和带宽，但是与pc接口以返回数据给用户的总线却不时被忽视，事实上它会大大增强整体测试时光。例如，用自立示波器举行的大部分数据采集时光都是有限的，采集的持续时光由示波器中板载存储器的大小所打算(一台自立随意波形发生器也濒临同样的问题，除非待发生的波形是挺直下载到板载存储器中)。数据采集完成之后，数据通过以太网(或者更为常用的gpib)传输至控制pc。试考虑这样一种情形，大事触发之后以1gs/s的速率对数据举行采样。假如该设备每通道具

3、有256mb的板上存储空间，那么约250ms后存储器就被写满了，数据采集就会停下来。假如仪器接口用法gpib总线(其带宽约为1mb/s)，那么用户必需等待约4.5分钟(250s)，这些数据才可以传输至计算机供分析用法。现在，将其与具有相同采样率和板上存储空间的ni数字化仪/示波器相比较。相同的数据通过高带宽的pci/pxi总线传输仅需要不到3秒的时光超过80倍的性能提升。pci express/pxi express总线甚至支持更迅速的数据传输。流处理技术在pci express技术之上构建的pxi express，为每台仪器提供专用的带宽。pci express包括x1、x4、x8和x16等

4、几种链路(读为乘1、乘4等)，提供每通道250mb/s的吞吐量并具有极低的时延。对于仪器级硬件，x1与x4选项最为常见，它们分离提供了250mb/s和1gb/s(4250mb/s)的专用吞吐量。相应地，囫囵系统的吞吐量随机箱内仪器数的增强而增强。下图着重阐述了各种总线的带宽与时延比较。时延描述的是数据传输中所发生的延迟，它经常在考虑系统设计时被忽视。许多人熟悉到，更高的带宽是希翼得到的，但高时延也会对测试时光存在不利影响，所以也应该在系统设计中被考虑。图1：常见仪器总线的带宽与时延的比较。pxi平台，因为基于高带宽的pci与pci express总线，因而支持仪器将数据流导入到除板上设备存储器

5、之外的信号源或从其导出。一个pxi/pxi express数字化仪/示波器能够以高采样率持续采集数据，由于高带宽总线支持将数据以高达1gb/s的速率实时传送至pc存储器或硬盘，这意味着数据可以在在设备存储器中被笼罩之前被读取。数据采集或信号发生的瓶颈不再是总线，而事实上是对系统存储器(硬盘驱动器或者raid阵列)举行读取/写入数据的操作。这就意味着工程师们可以以其所需的高采样率长时光采集数据或发生信号，而不必影响其采样率或测试时光。例如，利用一个pxie-5122数字化仪与一个具有4tb容量的、12驱的raid阵列，可以在两个同步采样的通道以100ms/s的最大采样率采集数据，持续时光超过2.

6、5小时。全部这些意味着什么？许多应用挑战因需要十分昂贵的专有系统而在从前无法解决，但因为用法商业可用的pxi express，解决这些挑战变得可行。其中，一些应用包括信号智能中的rf/if数据流处理、数据记录与回放、面对图像与显示面板测试的数字视频发生/流处理，以及其它高数据吞吐量的应用。数据流盘应用的最优办法应用从单线程到多线程架构的演进被广泛认为是重大的编程挑战。为多核处理器提供了一个抱负的编程环境，由于labview应用在本质上是多线程的。因而，labview编程人员通过几乎很少甚至无需额外的编码，便可以从多核处理器获益。多线程应用程序十分适用于并行测试和数据流盘应用，而且，在流处理应用

7、中运用适当的编程技术，可以使pxi express仪器发挥最大性能，这是通过代码的并行化完成的。同样，并行机制还可以应用于创建数据流盘应用或从计算机处理器猎取最大性能。在流盘应用中，两个主要占用总线和处理器的任务是：1)从数字化仪采集数据，和2)将数据写入到文件中。因为这一点是事先知道的，所以进程可以划分为多个循环。利用labview队列机构，每个循环间实现了数据分享。通常，这被称为一个生产者-消费者算法结构。图2：带有队列结构的生产者/消费者循环架构。在上例中，上面的循环(生产者)从一个高速数字化仪中采集数据，并将其传递至一个队列。下面的循环(消费者)从队列中读取数据并将其写入到磁盘。在后台，labview为队列在pc中分配一个存储块。该存储器模块被用作两个循环间数据传递的暂时存储fifo。对