《数字图像处理第4版》课件-第9章数字图像处理系统及应用实例

9

数字图像处理系统及应用实例数字图像处理第4版第9章数字图像处理系统及应用实例数字图像处理第4版9.1

数字图像处理系统9.2

应用实例9

数字图像处理系统及应用实例数字图像处理第4版9.1

数字图像处理系统数字图像处理系统由前端获取图像信息的输入设备、将模拟信息转换为数字信息的A/D采样设备、对图像信息进行处理、分析的数字图像处理设备（计算机或专用处理芯片）以及终端显示输出设备组成。系统的结构原理框图如下图所示数字图像处理第4版9.1.1

数字图像处理系统的分类数字图像处理系统是以数字信号处理理论、计算机和电子技术的发展为基础的，它融合了计算机技术和电子技术的最新研究成果。数字图像处理系统按照应用目的可分为通用和专用两种类型，通用型主要完成各种算法研究、大型计算、多媒体技术研究、视频制作等；专用型一般具备一定的特殊用途，处理任务单一，且对系统体积、重量、处理速度、功耗、成本等都有特定的要求，处理器通常选数字信号处理器（DSP）。9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成计算机图像处理系统由图像采集、计算机和图像输出三部分组成。1．图像采集原始的图像数据是通过图像采集进入计算机的，因此，图像采集的作用是采集模拟图像数据，并将模拟信号转换成数字信号。计算机图像处理系统常用的图像采集部件有：模拟摄像机和图像采集卡、图像扫描仪以及数码相机等。（1）模拟摄像机和图像采集卡图像处理系统采用的模拟摄像机分为电子管式摄像机和固体器件摄像机两种。目前普遍采用的固体器件摄像机有两种类型，一是电荷耦合器件摄像机，二是互补金属氧化物半导体摄像机。9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成（2）图像扫描仪图像扫描仪也是一种获取图像并将其转换成计算机可以显示、编辑、存储和输出数字格式的设备，是一类适合于薄片介质，如纸张、照片（胶片）、插图、图形、树叶、硬币、纺织品等物体的图像数字化设备。（3）数码相机数码相机将图像采集和数字化部件集成在同一机器上，使其输出的信号能直接为计算机所接受。数码相机使图像的采集部件和主机的连接更具有通配性，而且由于其携带方便，有相应的存储器，因此更适用于现场数据采集。9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成随着微电子技术和数字图像处理技术的发展，数码相机的功能多种多样，性能不断提升。下面简单介绍数码相机成像几个关键技术：a)光学变焦（OpticalZoom）：通过镜片移动来放大或缩小需要拍摄的景物，光学变焦倍数越大，能拍摄的景物就越远。b)数码变焦（DigitalZoom）：通过数码相机内的图像处理器，把原来传感器上的一部分像素使用“插值”处理手段放大，将中心区域画面放大到整个画面。c)防抖功能：实际拍摄中由于拍摄者手抖动或拍摄物体的运动造成的图像模糊，需要靠特殊的结构或算法来抑制或消除。防抖分为三大类型：光学防抖、机械防抖和电子稳像防抖。d)防红眼（RedeyeReduction）：距离较近和光线较暗时拍摄人像会发生红眼现象，这是由于眼睛视网膜反射闪光而引起的。数码相机的“消除红眼”模式先让闪光灯快速闪烁一次或数次，使人的瞳孔适应之后，再进行主要的闪光和拍摄。9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成2．图像处理部分在计算机图像处理系统中，图像处理工作是由计算机完成的，图像处理的过程通常包含从帧存储器提取数据到计算机内存、处理内存中的图像数据和传送数据回图像帧存储器三个步骤。对于直接使用内存的采集卡，则只需和内存进行数据交换。计算机的内存越大，CPU的运算速度越快，图像处理的速度也越快。目前一个热门的研究课题是使用计算机图形处理器（GraphicsProcessingUnit，GPU）来进行图像处理算法研究，主要是因为GPU是一种高度并行化、多线程、多核的处理器，极大地提升了计算机图形处理的速度、增强了图形的质量。9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成CUDA的全称是ComputeUnifiedDeviceArchitecture（计算统一设备架构），它是NVIDIA公司在2007年推向市场的针对GPGPU的一个全新并行计算架构，使专注于图形处理的GPU超高性能在通用计算领域发挥优势。CUDA作为NVIDIA图形处理器的通用计算引擎，它包括了NVIDIA对于GPGPU的完整的解决方案：从支持通用计算并行架构的图形处理器，到实现计算所需要的硬件驱动程序、编程接口、程序库、编译器、调试器等。官方为这个架构提供的编程语言称为CUDAC。凭借良好的软硬件编程模式，在CUDA平台可方便的实现GPU通用计算，这也使得CUDA成为目前应用最为广泛的GPU通用计算平台。CUDA模型的计算流程9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成3．图像分析识别结果的输出从广义的角度讲，图像的输出形式可以分为两种：一种是根据图像处理的结果做出判断，得到的是结果或对图像内容的数学表达和描述，另一种则是以图像为输出形式，它包括中间过程的监视以及结果图像的输出。图像输出方式有屏幕输出、打印输出和视频硬拷贝输出。9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成1、嵌入式图像处理系统的硬件嵌入式图像处理系统的硬件架构大致可以分为：嵌入式处理器、存储器、输入输出设备、视频编解码器和电源管理等。2、嵌入式图像处理系统的软件嵌入式图像处理系统的软件分为无操作系统的嵌入式系统软件和有操作系统的嵌入式系统软件。在传统的软件设计中多选用无操作系统的嵌入式系统软件；而有操作系统的嵌入式软件层次分明，可扩展性和可维护性强。有操作系统的嵌入式系统软件结构9.1

数字图像处理系统数字图像处理第4版9.1.2

计算机图像处理系统的基本构成主流嵌入式图像处理系统采用FPGA+DSP处理器架构，其设计流程如下：首先，进行需求分析，明确系统功能和性能要求，如功耗、采样频率和带宽等。其次，进行算法仿真，确保算法正确性和功能完备性。第三，进行算法分解：规则、高速处理的算法由FPGA实现，复杂、速度要求不高的算法由DSP实现。第四，进行算法实现：FPGA部分通过HDL电路描述、功能验证和硬件调试完成，DSP部分通过C语言或汇编语言进行算法描述、功能验证和软件调试。最后，将系统集成并进行验证和调试。FPGA+DSP系统设计流程9.1

数字图像处理系统数字图像处理第4版9.1.3

嵌入式图像处理系统的基本构成根据IEEE的定义，嵌入式系统是“控制、监视或者辅助设备、机器和车间运行的装置”。它主要由两大部分组成：嵌入式硬件系统和嵌入式软件系统。硬件系统是整个系统的基础，构成软件运行的硬件平台；而软件系统则是整个系统的灵魂，也是嵌入式系统特点的体现，其复杂程度往往很高，软件系统开发的工作量要占到整个系统工作量的70%—80%。嵌入式图像处理系统分类9.1

数字图像处理系统数字图像处理第4版9.2

应用实例9.2.1

生物医学图像的处理数字图像处理应用于生物医学的历史几乎与其本身的历史相当，这是因为一些从事数字图像处理的研究人员，如JPL（JetPropulsionLaboratory）的R.内森等人对生物学和医学问题向来颇感兴趣，常用业余时间从事生物医学图像如细胞显微图像的研究。随着图像处理技术的不断发展，其在生物医学领域的应用也越来越广泛，而且成效显著。例如对医用显微图像的处理分析，如红细胞、白细胞分类，染色体分析，癌细胞识别等，此外，在CT技术、X光肺部图像增晰、超声波图像处理、心电图分析、立体定向放射治疗等医学诊断方面都广泛地应用图像处理技术。数字图像处理第4版9.2

应用实例9.2.1

生物医学图像的处理免疫细胞图像是一种目标呈块状分布的图像，在背景中分布着若干个目标——椭圆状的细胞核，在实际采集到的图像中还存在着各种噪声，因此如果对一幅视野里的图像进行一次性整体分割，将会由于噪声的存在而很难得到满意的结果，自动分割也就无从谈起。总结起来对免疫细胞图像的自动分割大致可以分为以下四个步骤，如下图所示：边缘检测目标定位区域生长目标分割免疫细胞图像自动分割流程1）对待分割图像进行边缘检测；2）用椭圆目标定位方法找到检测结果中每个细胞核的中心位置；3）对于得到的每个细胞核，以中心点作为种子点，进行区域生长，用一个矩形框返回细胞核轮廓的大致位置；4）用水域生长（watershed）方法在该矩形框内进行图像分割。数字图像处理第4版9.2

应用实例9.2.1

生物医学图像的处理下图为免疫细胞图像自动分割过程的示意图。a)免疫细胞图像b)边缘检测结果c)目标定位并与b)叠加的结果d)计算目标中心点

e)计算目标所在矩形框f)在矩形框内分割图像免疫细胞图像自动分割过程示意图数字图像处理第4版9.2

应用实例9.2.2

基于统计特征的高分辨率遥感图像道路提取在测量与遥感领域，目标自动提取识别是实际应用中急需，但离实际应用仍有一定差距的研究热点与关注焦点之一。遥感图像上的目标通常分为点状目标、线状目标（如道路、河流等）和面状目标（如建筑物等），其中线状目标提取在目标提取中具有承上启下的作用，而道路网的提取又在线状目标提取中占有重要地位。1）用灰度标准均方差检测直线假设图像空间中的一条角度为

θ、截距为q的直线

，映射其灰度标准均方差到参数空间上的一点(θ,q)，该点的值w(θ,q)可由以下公式求得：数字图像处理第4版9.2

应用实例9.2.2

基于统计特征的高分辨率遥感图像道路提取其中，

,

是图像上所有满足

的点。该变换的原理如下图所示。映射均方差特征到参数空间的示意图a)图像空间b)在方向上投影c)映射均方差特征到参数空间数字图像处理第4版9.2

应用实例9.2.2

基于统计特征的高分辨率遥感图像道路提取2．梯度矢量均值约束的线目标检测投影方式仍如上节所述。对原始图像进行梯度变换，对梯度矢量进行统计，用梯度矢量均值来代替上一节

处的值，就得到了梯度矢量在参数空间中的统计特性。假若图像空间中有一条角度为

θ，截距为q的线目标

。由于一条线有两条边，在每一条边上，其梯度幅值比较大且方向也比较集中，因而对应(θ,q)位置的值也会比较大。又因为直线两条边的梯度矢量是方向相反的，那么，表现在参数空间上将会在

(θ,q)

处的左右两边形成一个高峰和一个低谷（反向峰）紧密相连的峰谷并存现象，峰与谷的距离则由被检测目标的粗细程度决定。对于非直线上的位置，要么梯度幅值偏低，要么方向不集中，因此它们的平均统计量将趋向于0，从而不会在参数空间上形成峰谷并存的现象。下图是将上述中图a的梯度矢量均值映射到参数空间的示意图。映射图a的梯度矢量均值到参数空间的示意图数字图像处理第4版9.2

应用实例9.2.3

DSP组成的目标检测与识别系统DSP（DigitalSignalProcessor），也称数字信号处理器，是一种专门进行数字信号处理运算的微处理器，是建立在数字信号处理的各种理论和算法基础上，专门完成各种实时数字信息处理运算的。TI的DSP解决方案是以DSP为核心，配以先进的混合信号存储器、ASIC电路、软件及开发工具组成一套完整的解决方案，能够广泛应用于各个工业领域，主要有：1)快速处理：实时控制、机器人视觉、电机控制等；2)图形图像处理：三维动画、图像传输、图像压缩、电话会议、多媒体、图像识别等；3)语音处理：语音压缩编码、语音识别、语音信箱等；4)仪器仪表：医疗、数字滤波、谱分析等；5)通信：Modem、程控交换机、可视电话、蜂窝站、ATM、移动电话等；6)民用：数字音响、数字电视、多媒体等；7)军用：雷达、声纳、通信等。数字图像处理第4版9.2

应用实例9.2.3

DSP组成的目标检测与识别系统目前，DSP芯片的主要供应商有美国的TI、ADI、AT&T和Motorola公司等，其中，TI公司占世界DSP芯片市场的50%以上，在国内被广泛采用。1．DSP实现目标检测识别的基本框图下图所示为用于目标自动检测与识别的基于DSP的图像信号处理器硬件系统总体结构。该系统采用TMS320C6x＋FPGA架构完成实时图像预处理、目标检测、识别与跟踪及视频合成输出等功能。数字图像处理第4版9.2

应用实例9.2.3

DSP组成的目标检测与识别系统2．图像算法的处理流程系统中DSP主要完成图像预处理、目标检测、识别与跟踪及视频合成输出功能，图像处理流程如下图所示。下面简要分析各模块的功能：目标分割目标识别目标跟踪视频合成图像预处理图像处理流程（1）图像预处理模块抑制背景和噪声，对降质图像进行恢复，提高目标的信噪比。图像在传输和转换过程中，由于图像的传输或转换系统的传递函数对高频成分的衰减作用，加之噪声的影响，造成图像的细节轮廓不清晰。图像预处理的作用：一是补偿图像的轮廓，使图像更清晰；二是抑制噪声和背景，提高目标的信噪比。数字图像处理第4版9.2

应用实例9.2.3

DSP组成的目标检测与识别系统（2）目标检测模块接收在预处理阶段经过抑制噪声和增强处理后的图像序列，从目标和背景的混合图像中将背景和目标初步分离，提取出可能的潜在目标，完成预处理后的图像分割，并根据目标的灰度、大小、运动和方向等特征进行搜索、分类，检测出可能的目标位置。高通滤波后怎样选择一个合适的门限把小目标和孤立噪声点提取出来是一个关键问题。在该系统中，采用高通滤波后自适应门限进行分割的方法。基于上一步的N×N的高通滤波模板，设

周围的N×N方阵中灰度值为

。设高通滤波后该点灰度值变为

，则数字图像处理第4版9.2

应用实例9.2.3

DSP组成的目标检测与识别系统（3）目标识别模块基于目标的特征或运动信息，分析虚假目标特性，从所有可能的目标中剔除假目标，提取出真实的目标；通过计算目标的边缘、形心或通过相关匹配确定目标的坐标位置。经过上述初步检测、聚合后，图像中除了真、假目标之外，还可能有少量的背景干扰。这时，为了能识别真实目标，先对其进行区域标记。完成标记后，在多帧连续处理过程中，引入“检测前跟踪”及“边跟踪边检测”的思想，对各潜在目标建立置信度目标链，目标链中包含了有关区域的特征。在经过若干帧检测后，对应置信度最高的区域就被确定为目标区域。下图为目标识别的流程图。图像标记建立目标链目标匹配目标链刷新目标识别目标识别流程数字图像处理第4版9.2

应用实例9.2.3

DSP组成的目标检测与识别系统（4）目标跟踪利用图像帧目标的运动信息（运动的一致性、连续性、方向性），准确预测目标的运动轨迹。（5）视频合成在调试和设备维护过程中，使用监视器作为显示输出设备。将要显示的原始图像与目标识别及跟踪模块的输出结果送到视频合成部分。由视频合成部分产生复合同步信号、复合消隐信号、场同步信号、场消隐信号，与要求输出的图像合成标准电视信号输出，供显示器显示。图a为远距离小目标，通过图像预处理（高通滤波）后，目标的信噪比得到增强，但图b所示的增强图像中，除了目标还有许多高频噪声和假目标存在，后续通过自适应门限分割和根据目标的特性进行目标识别后，得到图c所示的检出目标。a)原目标图像b）预处理增强后图像c）检测出的目标目标自动检测识别示意图数字图像处理第4版9.2

应用实例9.2.3

DSP组成的目标检测与识别系统3．算法中的关键技术在整个目标检测识别系统中，应用的图像处理技术有：1）如何从噪声背景和干扰中将小目标提取出来，是进行后续目标检测、识别的关键，这里我们用到了图像增强技术中的图像锐化，采用空域高通滤波将小目标进行增强，提高它的信噪比；2）怎样选择一个合适的门限把增强后的目标从复杂背景中提取出来是整个算法中的又一个关键问题，这里我们针对具体情况采用了图像处理中的自适应门限分割技术；3）将可能的目标分割出来后，应用数字图像处理技术中的图像特征对目标进行了匹配、识别，通过多帧检测，识别出真正的目标。数字图像处理第4版9.2

应用实例9.2.4

立体视觉系统1）机器视觉导航针对现在社会普遍存在的安全驾驶问题，机器视觉导航技术的应用显得尤为重要，半自动驾驶技术或无人驾驶技术正在慢慢从技术研究走向市场应用，这必将成为迈向全自动、零事故驾驶的里程碑。在航空航天领域，从1970年前苏联第一辆月球探测车成功登陆月球开始，月球车的研究就一直方兴未艾，到2013年，“嫦娥3号”也将搭载我国的月球车开展探月之旅。美国在近些年的火星探测计划中，也通过火星探测器完成了火星表面影像和岩石标本等的采集。无人驾驶汽车、月球车和火星探测器都成功应用了立体视觉领域的机器视觉导航技术，如下图所示。a)我国月球车在沙漠训练b)美国“好奇号”火星探测器月球车和火星探测器示意图数字图像处理第4版9.2

应用实例9.2.4

立体视觉系统对于机器而言，摄像机系统相当于人的眼睛，软件处理系统相当于人的大脑，通过摄像机去采集图像，通过算法处理和分析，最终对环境做出判断。一个完整的视觉导航系统应能够完成两个基本的功能：1)准确的判断自身的位置；2)对于目标位置，合理规划出可行路线，检测道路和避开障碍物。在本节，我们主要介绍一下道路和障碍物的检测方法。左图为道路检测处理流程，主要是通过检测路面的边界来实现路面定位，但这仅限于比较理想的情况。考虑到光照、阴影等复杂环境因素的影响，近年来，有人提出了通过像素的分类来实现整个路面定位检测的方法，如右图所示。道路检测处理流程路面像素分类结果数字图像处理第4版9.2

应用实例9.2.4

立体视觉系统如果摄像机能够和人眼一样获取环境的深度信息，那么对环境中障碍物的定位自然不成问题，因为视差图的边缘正是物体的边缘，如下图所示。图c中，不同灰度范围表示不同的物体，灰度的深浅代表物体在三维空间的深度，灰度值越大说明物体离摄像机越远。从图中可以看出，目前的算法还不能精确的估算整个空间的深度信息，同时立体匹配算法的海量运算限制了实时应用。a)左图像b)右图像c)计算视差立体匹配算法数字图像处理第4版9.2

应用实例9.2.4

立体视觉系统在城市规划和勘测中，希望能够利用不同角度的航拍图像，重建出城市建筑的三维模型。城市建筑基本都是正方体，相对野外地形勘测和建模来说相对简单。基本的流程如下图所示。地图绘制算法流程数字图像处理第4版9.2

应用实例9.2.4

立体视觉系统左图为图像的轮廓匹配结果，右图是在轮廓匹配基础上进行边缘精细匹配的结果轮廓匹配结果边缘精细匹配结果数字图像处理第4版9.2

应用实例9.2.4

立体视觉系统最后得到左图所示的带纹理的重建三维建筑图像。右图是结合GIS（地理信息系统）进行的三维建筑重建图像。带纹理的重建三维建筑图像结合GIS系统进行的三维建筑重建图像数字图像处理第4版9.2

应用实例9.2.5

影视制作领域的增强现实技术增强现实（AugmentedReality，简称AR）技术，也称为混合现实技术，融合了图像处理、计算机视觉和计算机图形技术等诸多