高速图像采集与处理

高速图像采集与处理 高速图像采集与处理 图像采集 图像采集 图象经过采样 量化以后转换为数字图象并输入 存储到帧存储器的过程 叫做图像采集 由于图像信号的传输需要很高的传输速度 通用的传输接口不能满足要求 因此需要图像采集卡 图像采集 图像采集卡 图像采集卡 ImageCaptureCard 又称图像捕捉卡 是一种可以获取数字化视频图像信息 并将其存储和播放出来的硬件设备 很多图像采集卡能在捕捉视频信息的同时获得伴音 使音频部分和视频部分在数字化时同步保存 同步播放 图像采集卡的功能是将图像信号采集到电脑中 以数据文件的形式保存在硬盘上 它是图像采集到图像处理过程间必不可少的硬件设备 通过它 我们就可以把摄像机拍摄的视频信号从摄像带上转存到计算机中 利用相关的视频图像编辑软件 对数字化的视频信号进行后期编辑处理 图像采集 图像采集元件 图像传感器 imagetransducer 图像传感器 感光元件 是一种将光学图像转换成电子信号的设备 它被广泛地应用在数码相机和其他电子光学设备中 早期的图像传感器采用模拟信号 如摄像管 如今 图像传感器主要分为CCD和CMOS图像传感器两大类 图像采集 CCD图像传感器 英文全称 Charge coupledDevice 中文全称 电荷耦合元件 CCD是一种半导体器件 能够把光学影像转化为数字信号 CCD上植入的微小光敏物质称作像素 Pixel 一块CCD上包含的像素数越多 其提供的画面分辨率也就越高 CCD的作用就像胶片一样 但它是把图像像素转换成数字信号 CCD上有许多排列整齐的电容 能感应光线 并将影像转变成数字信号 经由外部电路的控制 每个小电容能将其所带的电荷转给它相邻的电容 图像采集 CMOS ComplementaryMetalOxideSemiconductor 互补金属氧化物半导体 电压控制的一种放大器件 是组成CMOS数字集成电路的基本单元 CMOS传感器有可细分为 被动式像素传感CMOS PassivePixelSensorCMOS 与主动式像素传感器CMOS ActivePixelSensorCMOS 图像采集 图像处理 图像处理 imageprocessing 用计算机对图像进行分析 以达到所需结果的技术 又称影像处理 基本内容 图像处理一般指数字图像处理 数字图像是指用数字摄像机 扫描仪等设备经过采样和数字化得到的一个大的二维数组 该数组的元素称为像素 其值为一整数 称为灰度值 图像处理 锐化 效果 图像处理 图像处理 图像处理 通过取样和量化过程将一个以自然形式存在的图像变换为适合计算机处理的数字形式 图像在计算机内部被表示为一个数字矩阵 矩阵中每一元素称为像素 对图像信息编码 以满足传输和存储的要求 编码能压缩图像的信息量 但图像质量几乎不变 图像增强的目标是改进图片的质量 例如增加对比度 去掉模糊和噪声 修正几何畸变等 图像处理 图像复原是在假定已知模糊或噪声的模型时 试图估计原图像的一种技术 图像分割将图像划分为一些互不重叠的区域 每一区域是像素的一个连续集 通常采用把像素分入特定区域的区域法和寻求区域之间边界的境界法 从图像中抽取某些有用的度量 数据或信息 高速图像采集与处理 高速图像采集处理系统 一般是指采样率和数据实时处理速率在100MSPS以上的图像采集处理系统 SPS ADC的参数 即每秒模数转换器采点数 与传统的图像采集系统相比 高速图像采集处理系统以其高帧频 高分辨率的采集特点 可以实现对高速运动目标的实时采集 跟踪和传输 因此 被越来越广泛的应用于军事 航天 工业生产及科研等领域 高速图像采集与处理 目前 高速图像采集处理系统在应用中仍然存在许多问题 这些问题严重阻碍着高速图像采集处理系统的实用化进程 主要问题如下 1 随着成像技术的飞速发展 传感器的分辨率越来越高 使得采集的图像数据量越来越庞大 2 实际应用中对图像传输的实时性要求越来越高 3 用于数据传输的带宽提升 4 用于存储图像数据的磁盘空间加大 因此 如何实时的压缩图像数据 如何提升系统实时处理速度成为高速图像采集处理系统中的两个关键技术 ATR Directed图像压缩方法 ATR Directed图像压缩方法ATR Directed 面向自动目标识别 图像压缩是目前高速图像采集处理系统中应用最为广泛的一种实时图像压缩方法 它是利用目标ROI Region of interest ROI 检测算子提取出可能存在的目标ROI 然后对目标ROI进行优先编码 这种算法可以在实现较高压缩比的同时 较好的保留目标信息 利用现有比较成熟的目标ROI检测算法得到图像中的目标ROI 然后利用嵌入式图像压缩方法 对目标ROI进行高保真度压缩 从而尽可能地保持图像ATR性能 ATR Directed图像压缩方法 ATR Directed图像压缩方法的研究 主要体现在两个方面 1 如何提取出对于保持自动目标识别性能至关重要的目标ROI 2 如何在有损编码方法中保持目标ROI的高保真度 核心的问题是 ROI检测器能够充分检测出目标ROI 而且需要在图像编码过程中对ROI进行优先编码 并且要求算法运算量及占用的存储空间尽量小 静态目标ROI检测 运动目标ROI检测 检测运动目标ROI 主要有帧积分法 差分图像法 基于光流场的方法 基于统计模型的方法 基于小波变换的方法和基于神经网络的方法等 帧积分法 对图像进行多帧积累增加 是序列图像检测目标ROI最直接最简单的方法 为了兼顾检测性能和算法的实时性 帧积分法将目标轨迹和目标的能量积累结合起来 有效地抑制噪声的影响 提高目标的信噪比 差分图像法 根据差分策略不同 又可以分为基于相邻帧差的算法和基于背景图像与当前帧差的算法 在环境亮度变化不大的情况下 如果对应像素灰度相差很小 可以认为此处景物是静止的 如果图像区域某处的灰度变化很大 则认为这是由于图像中运动物体引起的 然后求出运动目标ROI在图像中的位置 运动目标ROI检测 基于光流场的方法 通过计算图像的光流场 再结合目标的运动特征进行目标ROI检测 所谓光流是指图像中模式运动的速度 它是一种二维瞬时速度场 基于统计模型的方法 首先利用较简单的算法对运动场进行粗略的估计 然后根据马尔可夫 Markov 随机场理论构造出运动场的间断点分布模型 利用此模型来检测运动场间的断点 以此来实现运动目标ROI的检测 基于小波变换的方法 小波理论是在20世纪80年代后期发展起来的一种新兴的信号处理方法 它具有良好的时频局部化特征和方向性特征 已被广泛应用于运动目标检测 模式识别 信号处理等领域 运动目标ROI检测 基于人工神经网络的方法 这种方法首先将每帧图像分成一系列图像块 经过预处理后将这些图像块投影到一个线性滤波器组 得到不同的图像模式 然后把这些不同的图像模式根据预先计算得到的聚类原形进行分类 最后用训练得到的神经网络分类器来判断图像模式是否包含目标 目标直升机图像ROI检验算子处理图像阈值处理图像 图像编码 图像编码是ATR Directed图像压缩方法中另一个关键环节 图像编码是数字图像处理的重要组成部分之一 随着数字图像采集器件分辨率的提高 表示数字图像的数据不断增加 从几百兆比特增加到千兆比特传输率 要满足巨大数据量的传输和存储就需要很宽频率带宽以及大容量存储器 为了提高传输效率和节省存储空间 需要运用图像编码技术通过去除冗余数据来减少描述数字图像的数据 图像编码 基于香农信息论的编码方法 香农编码定理指出在不产生任何失真的前提下 通过合理的编码 对于每一个信源符号分配不等长的码字 平均码长可以任意接近信源的熵 游程编码 Huffman编码 算术编码等 这些通常称为熵编码 熵编码是基于信号统计特性的编码技术 它是一种无损编码方法 解码后能无失真地恢复图像 新型图像编码方法 分形编码 模型编码 小波编码 图像编码 分形图像编码 在分形几何理论上发展起来的一种编码方法 分形理论描述自然界物体的自相似性 这种自相似性可以是确定的 也可以是统计意义上的 分形压缩编码算法与原图像分辨率无关 压缩确定性分形图像时图像复原质量较高 但在处理不具有明显确定性分形结构的图像复原质量不理想 模型编码 不压缩实际的量化数据 而是采用一个表示景物 一般是人 人脸等 的模型 传送的信息是告诉接收方如何改变模型以匹配输入景物 如眨眼 扭头等 基于模型的解码器也有一个与对应编码器相同的模型 解码器利用收到的数据调整其模型 然后生成供显示的图像模型 图像编码 小波变换 小波变换采用变时间窗的方法对图像进行分析 对整幅图像的能量进行了重新分配 在低频时它对频率的定位较准 图像的能量主要集中于低频部分 能反映图像的整体特征 而在高频时它对时间的定位较准 很大的区域中数据的动态范围很小 有效地保留原始图像的细节和边缘 高速图像采集处理系统 图像采集处理系统的架构对高速图像采集处理技术的广泛应用有着至关重要的影响 按照其对采集图像进行处理的实时性进行分类可以分为 实时处理采集系统和非实时处理采集系统 基于SCSI实时存储的高速图像采集处理系统 基于SCSI实时存储的高速图像采集处理系统属于非实时处理采集系统 这种架构主要针对采集速率大于100fps的图像采集系统 其不对图像进行实时处理 而是将其直接存储于SCSI 小型计算机系统接口 磁盘阵列 基于SCSI实时存储的高速图像采集处理系统架构 基于SCSI实时存储的高速图像采集处理系统 基于SCSI实时存储的高速图像采集处理系统架构在目前高速的采集系统中应用非常广泛 尤其在科研中的姿态测量 碰撞试验等采集对象的运动速度非常快的采集系统都应用这种架构 这种架构只要在存储空间足够大的前提下 可以满足任意高速采集速率的传输要求 但是应用多硬盘阵列 通常为几十块硬盘阵列 多则可达到几百块硬盘 会带来系统成本提高 占用空间增大 设备保管困难及系统整体的灵活性 可靠性差等许多方面的问题 而且应用这种设备进行传输存储对于数据线的要求也非常高 基于实时图像处理的高速图像采集处理系统 基于实时图像处理的高速图像采集处理系统属于实时处理采集系统 这种架构在系统中嵌入高速实时图像处理单元 基于实时图像处理的高速图像采集处理系统 基于实时图像处理的高速图像采集处理系统 基于实时图像处理的高速图像采集处理系统采用特殊的图像处理算法 对采集的图像进行实时的图像降噪 图像压缩 图像增强等处理 然后进行存储 以备图像后续处理 其中所采用的图像处理算法在可以达到处理要求的基础上 还必须具有运算简单 易于快速实现的特点 这对图像处理算法有较高的要求 硬件实现方法 随着VLSI技术的迅速发展 为高速图像采集处理系统的硬件实现提供了有利的条件 而对于系统中核心处理单元的硬件实现方法仍然是目前研究的关键 现有的针对核心处理单元的硬件实现方法主要有以下几种 基于ASIC的硬件实现方法 ASIC ApplicationSpecificIntegratedCircuit 专用大规模集成电路 是针对于某一种固定算法或应用而专门设计的硬件芯片 基于ASIC的硬件实现方法灵活性差 导致其通用性较差 基于FPGA的硬件实现方法 FPGA Field ProgrammableGateArray 即现场可编程门阵列 它是在PAL GAL CPLD等可编程器件的基础上进一步发展的产物 它是作为专用集成电路 ASIC 领域中的一种半定制电路而出现的 既解决了定制电路种类的不足 又克服了原有可编程器件门电路数有限的缺点 FPGA芯片内部结构 基于FPGA的硬件实现方法 基于FPGA的硬件实现方法 FPGA是由存放在片内RAM中的程序来设置其工作状态的 存储在存储器单元中的值决定了逻辑单元的逻辑功能以及各模块之间或模块与I O间的联接方式 并最终决定了FPGA所能实现的功能 因此 工作时需要对片内的RAM进行编程 用户可以根据不同的配置模式 采用不同的编程方式 加电时 FPGA芯片将EPROM中数据读入片内编程RAM中 配置完成后 FPGA进入工作状态 掉电后 FPGA恢复成白片 内部逻辑关系消失 因此 FPGA能够反复使用 当需要修改FPGA功能时 只需换一片EPROM即可 这样 同一片FPGA 不同的编程数据 可以产生不同的电路功能 因此 FPGA的使用非常灵活 基于FPGA的硬件实现方法 SRAM用于实时缓存采集的对象数据 CCD线阵相机用于实时拍摄数据对象 UART是一种通用串行数据总线 与计算机连接用于调试 下位机用于接收FPGA处理结果的控制信号 VGA用于图像处理结果的显示 FPGA控制模块是整个采集系统的核心控制部分 负责图像采集和处理 有采集模块 处理模块构成 基于FPGA的硬件实现方法 乒乓操作 基于FPGA的硬件实现方法 乒乓操作是一个常常应用于数据流控制的处理技巧 其输入数据流和输出数据流都是连续不断的 没有任何停顿 因此非常适合对数据流进行流水线式处理 可以完成数据的无缝缓冲与处理 基于DSP FPGA的硬件实现方法 DPS即DigitalSignalProcessing DSP芯片 也称数字信号处理器 是一种具有特殊结构的微处理器 DSP芯片的内部采用程序和数据分开的哈佛结构 具有专门的硬件乘法器 广泛采用流水线操作 提供特殊的DSP指令 可以用来快速的实现各种数字信号处理算法 优点 大规模集成性 稳定性好 精度高 可编程性 高速性能 可嵌入性 接口和集成方便缺点 成本较高 高频时钟的高频干扰 功率消耗较大等 基于DSP FPGA的硬件实现方法 系统采用了DSP FPGA为核心的设计思想 充分发挥了DSP处理图像的高速性 稳定性和FPGA控制时序的方便性 使得系统具有良好的快速性和实时性 结论 高速图像采集处理系统能够以高采样率 高分辨率实现对图像数据实时采集 处理和传输 被广泛应用于军事 航天 科研及工业生产等领域 相信对其在应用中所存在的关键问题的解决将会带来很大的理论意义和应用价值 文献资料 陈洁 张环 王琦 高速图像数据采集系统设计与实现 J 硅谷 2011 58 59 宋燕星 高速图像采集处理系统中若干关键技术的研究 D 哈尔滨 哈尔滨工业大学 2009年10月 何振琦 李光明 张慧琳 李颀 高速图像采集系统的研究及FPGA实现 J 计算机应用 2010 30 11 3094 3097 孙春凤 袁峰 丁振良 基于FPGA的多通道高速CMOS图像采集系统 J 计算机工程与应用 2008 44 21 46 48 王亚丽 基于DSP的高速图像采集及处理系统设计 D 哈尔滨 哈尔滨工业大学 2007