高速图像采集与处理.

1、高速图像高速图像采集与处理采集与处理高速图像采集与处理高速图像采集与处理图像采集图像采集多通道视频音频输入A/D模拟转换视频信号帧存储D/A视频音频压缩编码显示输出视频采集控制器计算机主机图像采集：图像采集： 图象经过采样、量化以后转换为数字图象并输入、存储到帧存储器的过程，叫做图像采集。 由于图像信号的传输需要很高的传输速度，通用的传输接口不能满足要求，因此需要图像采集卡图像采集卡。图像采集图像采集图像采集卡图像采集卡： 图像采集卡（图像采集卡（Image Capture Card），），又称图像捕捉卡，是一种可以获取数字化视频图像信息，并将其存储和播放出来的硬件设备。很多图像采集卡能在捕捉

2、视频信息的同时获得伴音，使音频部分和视频部分在数字化时同步保存、同步播放。 图像采集卡的功能是将图像信号采集到电脑中，以数据文件的形式保存在硬盘上。它是图像采集到图像处理过程间必不可少的硬件设备，通过它，我们就可以把摄像机拍摄的视频信号从摄像带上转存到计算机中，利用相关的视频图像编辑软件，对数字化的视频信号进行后期编辑处理。图像采集图像采集图像采集元件图像采集元件图像传感器图像传感器（image transducer ） 图像传感器图像传感器（感光元件）感光元件）是一种将光学图像转换成电子信号的设备，它被广泛地应用在数码相机和其他电子光学设备中。 早期的图像传感器采用模拟信号，如摄像管。如今，

3、图像传感器主要分为CCD和CMOS图像传感器两大类。图像采集图像采集 CCD图像传感器图像传感器，英文全称：Charge-coupled Device，中文全称：电荷耦合元件。CCD是一种半导体器件，能够把光学影像转化为数字信号。 CCD上植入的微小光敏物质称作像素像素（Pixel）。一块CCD上包含的像素数越多，其提供的画面分辨率也就越高。 CCD的作用就像胶片一样，但它是把图像像素转换成数字信号。CCD上有许多排列整齐的电容，能感应光线，并将影像转变成数字信号。经由外部电路的控制，每个小电容能将其所带的电荷转给它相邻的电容。 图像采集图像采集 CMOS（Complementary Meta

4、l Oxide Semiconductor），互补金属氧化物半导体。电压控制的一种放大器件。是组成CMOS数字集成电路的基本单元。 CMOS传感器有可细分为：被动式像素传感CMOS（Passive Pixel Sensor CMOS）与主动式像素传感器CMOS（Active Pixel Sensor CMOS）。 图像采集图像采集CCD：1，高解析度2，低噪声3，动态范围广4，良好的线性特性 曲线5，大面积感光6，低影像失真图像采集传图像采集传感器感器CMOS：1，功耗低2，成本低3，发展起步晚， 工艺不成熟，效果差4，发展空间大图像处理图像处理 图像处理(image processing)，

5、用计算机对图像进行分析，以达到所需结果的技术，又称影像处理。 基本内容：图像处理一般指数字图像处理。数字图像是指用数字摄像机、扫描仪等设备经过采样和数字化得到的一个大的二维数组，该数组的元素称为像素，其值为一整数，称为灰度值。 图像处理（锐化）效果图像处理（锐化）效果图像处理图像处理图像处理图像处理图像压缩图像压缩图像增强和复原匹配、描述和识别图像处理图像处理图像编码图像编码图像数字化图像数字化图像增强图像增强图像复原图像复原图像分析图像分析图像分割图像分割常见图像处理图像处理图像处理通过取样和量化过程将一个以自然形式存在的图像变换为适合计算机处理的数字形式。图像在计算机内部被表示为一个数字矩

6、阵，矩阵中每一元素称为像素。对图像信息编码，以满足传输和存储的要求。编码能压缩图像的信息量，但图像质量几乎不变。图像增强的目标是改进图片的质量，例如增加对比度，去掉模糊和噪声，修正几何畸变等图像处理图像处理图像复原是在假定已知模糊或噪声的模型时，试图估计原图像的一种技术。 图像分割将图像划分为一些互不重叠的区域，每一区域是像素的一个连续集。通常采用把像素分入特定区域的区域法和寻求区域之间边界的境界法。从图像中抽取某些有用的度量、数据或信息。高速图像采集与处理高速图像采集与处理高速高速图像采集处理图像采集处理系统：系统： 一般是指采样率和数据实时处理速率在 100MSPS以上的图像采集处理系统。

7、（SPSADC的参数，即每秒模数转换器采点数） 与传统的图像采集系统相比，高速图像采集处理系统以其高帧频、高分辨率的采集特点，可以实现对高速运动目标的实时采集、跟踪和传输，因此，被越来越广泛的应用于军事、航天、工业生产及科研等领域。 高速图像采集与处理高速图像采集与处理 目前，高速图像采集处理系统在应用中仍然存在许多问题，这些问题严重阻碍着高速图像采集处理系统的实用化进程。主要问题如下：1.随着成像技术的飞速发展，传感器的分辨率越来越高，使得采集的图像数据量越来越庞大；2.实际应用中对图像传输的实时性要求越来越高；3.用于数据传输的带宽提升；4.用于存储图像数据的磁盘空间加大. 因此，如何实时

8、的压缩图像数据，如何提升系统实时处理速度成为高速图像采集处理系统中的两个关键技术ATR-Directed 图像压缩方法图像压缩方法ATR-Directed 图像压缩方法 ATR-Directed （面向自动目标识别）图像压缩是目前高速图像采集处理系 统中应用最为广泛的一种实时图像压缩方法。它是利用目标 ROI（Region-of-interest, ROI）检测算子提取出可能存在的目标 ROI，然后对目标 ROI 进行优先编码。这种算法可以在实现较高压缩比的同时，较好的保留目标信息。 利用现有比较成熟的目标ROI检测算法得到图像中的目标ROI，然后利用嵌入式图像压缩方法，对目标ROI进行高保真

9、度压缩，从而尽可能地保持图像ATR性能。ATR-Directed 图像压缩方法图像压缩方法ATR-Directed 图像压缩方法的研究，主要体现在两个方面：（1）如何提取出对于保持自动目标识别性能至关重要的目标 ROI；（2）如何在有损编码方法中保持目标 ROI 的高保真度。核心的问题是：ROI 检测器能够充分检测出目标ROI，而且需要在图像编码过程中对 ROI 进行优先编码，并且要求算法运算量及占用的存储空间尽量小。静态目标静态目标 ROI 检测检测基于图像基于图像分分割割的方法的方法基于基于模板模板匹配匹配的方法的方法基于基于阈值阈值检测检测方法方法局部局部熵熵方法方法可以利用目标可以利用

10、目标图图像的灰度、像的灰度、纹理等特征来纹理等特征来分割出分割出目标目标ROI和背景，再利和背景，再利用目标的先验用目标的先验知识对目标和知识对目标和背景进行分离。背景进行分离。利用目标的利用目标的模板来寻找模板来寻找场景中的相场景中的相似目标。似目标。利用目标利用目标出现在出现在局部时会局部时会引起引起局局部熵部熵较大的较大的变化变化的的特点来检测特点来检测目目标标ROI，可以，可以说说也是也是背景预测背景预测基于阈值检测基于阈值检测方法一般的检方法一般的检测步骤是先进测步骤是先进行预处理或预行预处理或预检测，然后再检测，然后再进行进行阈值阈值检测检测。运动目标运动目标ROI检测检测 检测运

11、动目标ROI，主要有帧积分法、差分图像法、基于光流场的方法、基于统计模型的方法、基于小波变换的方法和基于神经网络的方法等。帧帧积分法积分法：对图像进行多帧积累增加，是序列图像检测目标ROI最直接最简单的方法。为了兼顾检测性能和算法的实时性，帧积分法将目标轨迹和目标的能量积累结合起来，有效地抑制噪声的影响，提高目标的信噪比。差分图像差分图像法法：根据差分策略不同，又可以分为基于相邻帧差的算法和基于背景图像与当前帧差的算法。在环境亮度变化不大的情况下，如果对应像素灰度相差很小，可以认为此处景物是静止的；如果图像区域某处的灰度变化很大，则认为这是由于图像中运动物体引起的，然后求出运动目标ROI在图像

12、中的位置运动目标运动目标ROI检测检测基于光流场的基于光流场的方法方法：通过计算图像的光流场，再结合目标的运动特征进行目标ROI检测。所谓光流是指图像中模式运动的速度，它是一种二维瞬时速度场。基于统计模型的基于统计模型的方法方法：首先利用较简单的算法对运动场进行粗略的估计，然后根据马尔可夫 (Markov)随机场理论构造出运动场的间断点分布模型，利用此模型来检测运动场间的断点，以此来实现运动目标ROI的检测。基于小波变换的基于小波变换的方法方法：小波理论是在 20 世纪 80 年代后期发展起来的一种新兴的信号处理方法，它具有良好的时频局部化特征和方向性特征，已被广泛应用于运动目标检测、模式识别

13、、信号处理等领域。运动目标运动目标ROI检测检测基于人工神经网络的基于人工神经网络的方法方法：这种方法首先将每帧图像分成一系列图像块，经过预处理后将这些图像块投影到一个线性滤波器组，得到不同的图像模式；然后把这些不同的图像模式根据预先计算得到的聚类原形进行分类；最后用训练得到的神经网络神经网络分类器分类器来判断图像模式是否包含目标。 目标直升机图像目标直升机图像 ROI检验算子处理图像检验算子处理图像 阈值处理图像阈值处理图像 图像图像编码编码 图像编码是ATR-Directed图像压缩方法中另一个关键环节。 图像编码是数字图像处理的重要组成部分之一。随着数字图像采集器件分辨率的提高，表示数字

14、图像的数据不断增加，从几百兆比特增加到千兆比特传输率，要满足巨大数据量的传输和存储就需要很宽频率带宽以及大容量存储器。 为了提高传输效率和节省存储空间，需要运用图像编码技术通过去除冗余数据来减少描述数字图像的数据。图像编码图像编码基于香农信息论的编码方法：基于香农信息论的编码方法： 香农编码定理指出在不产生任何失真的前提下，通过合理的编码，对于每一个信源符号分配不等长的码字，平均码长可以任意接近信源的熵。 游程编码、Huffman编码、算术编码等，这些通常称为熵编码。熵编码是基于信号统计特性的编码技术，它是一种无损编码方法，解码后能无失真地恢复图像。新型图像新型图像编码方法：编码方法： 分形编

15、码、模型编码、小波编码图像编码图像编码分形图像分形图像编码编码：在分形几何理论上发展起来的一种编码方法。分形理论描述自然界物体的自相似性，这种自相似性可以是确定的，也可以是统计意义上的。分形压缩编码算法与原图像分辨率无关，压缩确定性分形图像时图像复原质量较高，但在处理不具有明显确定性分形结构的图像复原质量不理想。模型模型编码编码：不压缩实际的量化数据，而是采用一个表示景物（一般是人、人脸等）的模型，传送的信息是告诉接收方如何改变模型以匹配输入景物（如眨眼、扭头等）。基于模型的解码器也有一个与对应编码器相同的模型，解码器利用收到的数据调整其模型，然后生成供显示的图像模型。图像编码图像编码小波变换

16、小波变换：小波变换采用变时间窗的方法对图像进行分析，对整幅图像的能量进行了重新分配。在低频时它对频率的定位较准，图像的能量主要集中于低频部分，能反映图像的整体特征；而在高频时它对时间的定位较准，很大的区域中数据的动态范围很小，有效地保留原始图像的细节和边缘。 高速图像采集处理系统高速图像采集处理系统 图像采集处理系统的架构对高速图像采集处理技术的广泛应用有着至关重要的影响。按照其对采集图像进行处理的实时性进行分类可以分为：实时处理采集系统和非实时处理采集系统。高速图像采高速图像采集处理系统集处理系统基于基于 SCSI 实时存储的实时存储的高速图像采集处理系统高速图像采集处理系统基于实时图像处理

17、的高基于实时图像处理的高速图像采集处理系统速图像采集处理系统基于基于 SCSI 实时存储的高速图像采集处理系统实时存储的高速图像采集处理系统 基于SCSI实时存储的高速图像采集处理系统属于非实时处理采集系统，这种架构主要针对采集速率大于 100fps 的图像采集系统，其不对图像进行实时处理，而是将其直接存储于 SCSI（小型计算机系统接口）磁盘阵列。 基于基于SCSI实时存储的高速图像采集处理实时存储的高速图像采集处理系统架构系统架构基于基于 SCSI 实时存储的高速图像采集处理系统实时存储的高速图像采集处理系统 基于 SCSI 实时存储的高速图像采集处理系统架构在目前高速的采集系统中应用非常

18、广泛，尤其在科研中的姿态测量、碰撞试验等采集对象的运动速度非常快的采集系统都应用这种架构。 这种架构只要在存储空间足够大的前提下，可以满足任意高速采集速率的传输要求，但是应用多硬盘阵列（通常为几十块硬盘阵列，多则可达到几百块硬盘）会带来系统成本提高、占用空间增大、设备保管困难及系统整体的灵活性、可靠性差等许多方面的问题，而且应用这种设备进行传输存储对于数据线的要求也非常高。基于实时图像处理的高速图像采集处理基于实时图像处理的高速图像采集处理系统系统 基于实时图像处理的高速图像采集处理系统属于实时处理采集系统，这种架构在系统中嵌入高速实时图像处理单元。 基于基于实时图像处理的高速图像采集处理系统

19、实时图像处理的高速图像采集处理系统图像传感器A/D转换图像处理接口存储装置缓存控制逻辑基于实时图像处理的高速图像采集处理系统基于实时图像处理的高速图像采集处理系统 基于实时图像处理的高速图像采集处理系统采用特殊的图像处理算法，对采集的图像进行实时的图像降噪、图像压缩、图像增强等处理，然后进行存储，以备图像后续处理。其中所采用的图像处理算法在可以达到处理要求的基础上，还必须具有运算简单，易于快速实现的特点，这对图像处理算法有较高的要求。硬件实现方法硬件实现方法 随着 VLSI 技术的迅速发展，为高速图像采集处理系统的硬件实现提供了有利的条件。而对于系统中核心处理单元的硬件实现方法仍然是目前研究的

20、关键，现有的针对核心处理单元的硬件实现方法主要有以下几种。硬件实现方法硬件实现方法基于基于ASIC基于基于DSP基于基于FPGA基于基于ASIC的硬件实现方法的硬件实现方法 ASIC（Application Specific Integrated Circuit）专用大规模集成电路，是针对于某一种固定算法或应用而专门设计的硬件芯片。 优点：优点：体积小、重量轻、功耗低、可靠性，在大批量应用时，可降低成本。ASIC缺点：缺点：设计周期长，造价昂贵，而且由于ASIC是为专用目的设计的，所以当算法改变时就要重新设计芯片和硬件电路。 基于ASIC的硬件实现方法灵活性差，导致其通用性较差。基于基于FPG

21、A的的硬件实现方法硬件实现方法 FPGA（FieldProgrammable Gate Array），即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。 它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路种类的不足，又克服了原有可编程器件门电路数有限的缺点。 FPGA芯片内部结构芯片内部结构基于基于FPGA的硬件实现方法的硬件实现方法IOBCLBDCMRAM可编程输入可编程输入/输出输出单元单元 ，简称，简称I/O单元单元，是芯片，是芯片与与外界外界电路的电路的接口接口部分，完成不同部分，完成不同电气特性电气特性下下对输对输入

22、入/输出信号的输出信号的驱驱动与匹配。动与匹配。数字时钟管理数字时钟管理模块模块嵌入式嵌入式RAM可配置逻辑块可配置逻辑块，是是FPGA内的内的基本逻辑单元基本逻辑单元。可以用于实现可以用于实现组合逻辑和时组合逻辑和时序逻辑序逻辑基于基于FPGA的硬件实现方法的硬件实现方法 FPGA是由存放在片内RAM中的程序来设置其工作状态的，存储在存储器单元中的值决定了逻辑单元的逻辑功能以及各模块之间或模块与I/O间的联接方式，并最终决定了FPGA所能实现的功能。因此，工作时需要对片内的RAM进行编程。用户可以根据不同的配置模式，采用不同的编程方式。 加电时，FPGA芯片将EPROM中数据读入片内编程RA

23、M中，配置完成后，FPGA进入工作状态。掉电后，FPGA恢复成白片，内部逻辑关系消失，因此，FPGA能够反复使用。当需要修改FPGA功能时，只需换一片EPROM即可。这样，同一片FPGA，不同的编程数据，可以产生不同的电路功能。因此，FPGA的使用非常灵活。基于基于FPGA的硬件实现方法的硬件实现方法系统采集对象CCD线阵相机FPGA数据采集处理控制UART调试下位机VCA显示SRAM1SRAM2 基于基于FPGA的图像的图像采集系统的整体结构采集系统的整体结构SRAM用于实时缓存采集的对象数据；CCD线阵相机用于实时拍摄数据对象；UART是一种通用串行数据总线，与计算机连接用于调试；下位机用

24、于接收FPGA处理结果的控制信号；VGA用于图像处理结果的显示；FPGA控制模块是整个采集系统的核心控制部分，负责图像采集和处理，有采集模块、处理模块构成。基于基于FPGA的硬件实现方法的硬件实现方法乒乓操作乒乓操作基于基于FPGA的硬件实现方法的硬件实现方法在第在第2 个缓冲周期个缓冲周期, 通过输入数据选择单通过输入数据选择单元的切换元的切换, 将输入的将输入的数据流数据流缓存缓存SRAM2，同时，同时, 将将SRAM1 缓存的第缓存的第1 个周期的个周期的数据送数据送到运算处理单到运算处理单元进行元进行处理。处理。在第一个缓冲在第一个缓冲周期周期, 将输入的将输入的数据流缓存数据流缓存S

25、RAM1在第在第3 个缓冲个缓冲周期周期, 再次切再次切换数据的进入换数据的进入与输出缓冲与输出缓冲模模块，如此块，如此循环循环, 周而复始。周而复始。第一缓冲周期第二缓冲周期第三缓冲周期 乒乓操作是乒乓操作是一个常常应用于数据流控制的处理技巧一个常常应用于数据流控制的处理技巧，其输入数据，其输入数据流和输出数流和输出数据流都是连续不断的，没有任何停顿，因此非常适合对数据流进行流水线式据流都是连续不断的，没有任何停顿，因此非常适合对数据流进行流水线式处理，处理，可以完成可以完成数据的无缝缓冲与数据的无缝缓冲与处理。处理。基于基于DSP+FPGA的的硬件实现方法硬件实现方法 DPS即 Digit

26、al Signal Processing , DSP芯片，也称数数字信号处理器字信号处理器， 是一种具有特殊结构的微处理器。DSP芯片的内部采用程序和数据分开的哈佛结构，具有专门的硬件乘法器，广泛采用流水线操作，提供特殊的DSP指令，可以用来快速的实现各种数字信号处理算法。优点优点：大规模集成性，稳定性好，精度高，可编程性，高速性能，可嵌入性，接口和集成方便缺点缺点：成本较高 ，高频时钟的高频干扰 ，功率消耗较大等 基于基于DSP+FPGA的的硬件实现方法硬件实现方法图像输入口Link接口FPGA接口FPGADSP计算机串口通讯FLASHSDRAM 高速高速图像采集及处理系统的硬件组成框图图像

27、采集及处理系统的硬件组成框图 系统系统采用了采用了 DSP+FPGA 为核心的设计思想，充分发挥了为核心的设计思想，充分发挥了 DSP 处理图像的高处理图像的高速性、稳定性和速性、稳定性和 FPGA 控制时序的方便控制时序的方便性，使得系统性，使得系统具有良好的快速性和实时具有良好的快速性和实时性。性。结论结论 高速高速图像采集处理系统能够以高采样率、高分辨率图像采集处理系统能够以高采样率、高分辨率实现对图像数据实时实现对图像数据实时采集采集、处理和传输、处理和传输，被，被广泛应用于广泛应用于军事、航天、科研及工业生产等军事、航天、科研及工业生产等领域，相信对领域，相信对其在应用其在应用中所存在的关键问题的解决将会带来很大的理论意义和中所存在的关键问题的解决将会带来很大的理论意义和应用应用价值。价值。文献资料文献资料v 陈 洁、张 环、王 琦. 高速图像数据采集系统设计与实现J.硅谷.2011:58-59.v 宋燕星. 高速图像采集处理系统中若干关键技术的研究D. 哈尔滨.哈尔滨工业大学. 2009年10月.v 何振琦、李光明、张慧琳、李 颀. 高