《光电子成像技术》-17

17.1引

言图像处理是指将图像信号转换成数字信号、并利用计算机对其进行分析、处理和理解的应用技术。早期的图像处理的目的是为了改善图像的质量，它是以人为对象，以改善人的视觉效果为目的。在图像处理过程中，输入的是质量低的图像，输出的是经过改善质量后的图像，常用的图像处理方法有图像增强、复原、编码、压缩等。首次获得实际成功应用的图像处理技术是美国喷气推进实验室(JPL)，他们对航天探测器徘徊者7号在1964年发回的几千张月球照片使用了图像处理技术，如图像校正、灰度变换、去除噪声等方法进行处理，并考虑了太阳位置和月球环境的影响，由计算机成功地绘制出月球表面地图，获得了巨大的成功。下一页返回17.1引

言随后他们又对探测飞船发回的近十万张照片进行更为复杂的图像处理，以至获取了月球的地形图、彩色图及全景镶嵌图，获得了非凡的成果，为人类登月创举奠定了坚实的基础，也推动了图像处理这门学科的诞生。在以后的宇航空间技术，如对火星、土星等星球的探测研究中，图像处理技术都发挥了巨大的作用。图像处理技术取得的另一个巨大成就是在医学上获得的成果。1972年英国EMI公司工程师发明了用于头颅诊断的X射线计算机断层摄影装置，也就是通常所说的CT。CT的基本方法是根据人的头部截面的投影，经计算机处理来重建截面图像，称为图像重建。上一页下一页返回17.1引

言1975年EMI公司又成功研制出全身用的CT装置，获得了人体各个部位鲜明清晰的断层图像。1979年，这项无损伤诊断技术获得了诺贝尔奖，说明它对人类做出了划时代的贡献。与此同时，图像处理技术在许多应用领域受到广泛重视、并取得了重大的开拓性成就。属于这些领域的有航空航天、生物医学工程、工业检测、机器人视觉、公安司法、军事制导、文化艺术等，使图像处理成为一门引人注目、前景远大的新型学科。从20世纪70年代中期开始，随着计算机技术和人工智能、模式识别科学研究的迅速发展，图像处理技术向更高、更深层次发展。上一页下一页返回17.1引

言人们已开始研究如何用计算机系统来解释图像，实现类似于人类视觉系统来理解外部世界，这被称为图像理解或计算机视觉。很多国家，特别是发达国家投入了大量的人力、物力到图像处理技术研究中，取得了不少重要的研究成果，但这本身是一个比较难的研究领域，存在不少困难，因为人类本身对自己的视觉过程还了解甚少，因此有待人们进一步研究和探索。上一页下一页返回17.1引

言本书前面各章已分别介绍了各类宽光谱成像技术，其中包括短波辐射成像、X线成像、紫外线成像、可见光成像、微光夜视成像、红外热成像、激光成像、微波成像、遥感成像、高速摄影摄像、极弱光子计数成像等多光种电子成像技术，所有这些成像系统均离不开对已产生的初级有缺陷的图像，进行进一步的处理，或者像机械人那样，对已获得图像予以自动识别、分析和决策，以求达到一个更远的作用距离、更高的图像清晰度，最终满足用户完成对特定景物(目标)的探测、识别和辨认的任务。上一页下一页返回17.1引

言本章以此为目的，分别概略介绍了光电子图像处理的技术内涵、需求背景和国内外发展动态，阐述了图像工程、图像处理与计算机视觉的概念以及它们之间的关系，对图像处理技术所包括的研究内容进行了简单描述。另外，本章还介绍了一些当今图像处理技术的热点研究方向，如图像增强、图像识别、图像融合、电子稳像、图像拼接、图像传输和图像压缩及编解码技术等，对它们的技术特点和效果都进行了介绍，列举了一些应用实例。最后，专门介绍了视频跟踪技术及其最新研究进展。上一页下一页返回17.1引

言本章要点：图像工程技术概述图像工程应用背景和发展动态图像处理方法(增强、融合、拼接、压缩、传输、稳像)视频跟踪技术上一页返回17.2图像工程技术概述17.2.1图像与计算机视觉人类从外界获取信息，一般是通过视觉、触觉、听觉、嗅觉等感觉器官来实现的。其中，60％80％的信息是由人的眼睛，即视觉来获得。可见，视觉器官是人类最重要的感知器官。长期以来，人类的视觉系统一直是学者们非常感兴趣的领域。为此人们进行了大量的研究，希望通过某种人工的手段来实现人类的视觉功能。计算机视觉正是在这些研究的基础上逐渐形成的一门新的学科。它包括所有由人类设计并在计算机环境下实现的模拟人的某些视觉功能的技术。下一页返回17.2图像工程技术概述计算机视觉是一个相当新颖、而且发展十分迅速的研究领域，并成为计算机科学和人工智能的重要组成部分。计算机视觉系统的目标就是用图像来创建或恢复现实世界模型，然后认知现实世界。计算机视觉系统获取的场景图像一般是灰度图像，即三维场景在二维平面上的投影。此时，场景三维信息只能通过灰度图像或灰度图像序列来恢复处理，这种恢复需要进行多点对一点的映射逆变换。在信息恢复过程中，还需要有关的场景知识和投影几何知识。上一页下一页返回17.2图像工程技术概述实际上计算机视觉所要做的大部分工作就是图像理解所要做的工作，尽管它的目标是图像，而图像理解的对象主要是符号和数据，但由于计算机视觉所强调的工作目标就是图像理解部分。所以，目前普遍的、非严格的定义都认为计算机视觉就是图像理解。上一页下一页返回17.2图像工程技术概述17.2.2图像工程由于图像技术近年来得到极大的重视和长足的发展，从而出现了许多新理论、新方法、新算法、新手段、新设备。图像界一致认为亟须对它们进行综合研究和集成应用。这个工作需要在一个整体框架下进行，这个框架就是图像工程。众所周知，工程是将自然科学的原理应用到工业部门而形成的各学科的总称。图像工程学科则是将数学、光学和计算机等基础科学的原理，结合在图像应用中积累的技术经验而发展起来的。“图像工程”的概念在1982年首先提出，主要包括有关图像的理论技术，对图像数据的分析管理以及各种应用，但其后一段时间并未得到广泛的响应。上一页下一页返回17.2图像工程技术概述现在的图像工程可以看做是一个对整个图像领域进行研究应用的新科学。事实上，图像技术多年来的发展和积累，为图像工程学科的建立打下了坚实的基础，而各类图像应用也对图像工程学科的建立提供了强烈的需求背景。图像工程的内容非常丰富，根据描述程度和研究方法的不同等，可将其分为三个层次：图像处理、图像分析和图像理解。换句话说，图像工程是既有联系又有区别的“图像处理”、“图像分析”及“图像理解”三者的有机结合，以及对它们的推广应用。上一页下一页返回17.2图像工程技术概述所谓“图像处理”，则着重强调在图像之间进行的变换。虽然人们常用图像处理泛指各种图像技术，但比较狭义的图像处理，主要是为了对图像进行各种加工，以满足改善图像的视觉效果或可辨识性的需要。目前人们主要研究的是数字图像，主要应用的是计算机图像技术。这包括利用计算机和其他电子设备进行和完成的一系列工作，例如图像的采集、获取、编码、存储和传输，图像的合成和产生，图像的显示和输出，图像的变换、增强、恢复和重建，图像的分割，目标的检测、表达和描述，特征的提取和测量，序列图像的校正，三维景物的重建和复原，上一页下一页返回17.2图像工程技术概述图像数据库的建立、索引和抽取，图像的分类、表示和识别，图像模型的建立和匹配，还包括各种数字图像的压缩编解码技术和存储技术等。另外，图像技术还可包括为完成上述功能而进行的硬件设计及制作等方面的技术，例如包括采用电荷耦合器件照相机、带有视像管的视频摄像机和扫描仪等进行图像的采集；采用电视显示器、随机读取阴极射线管进行图像的显示等；采用磁带、磁盘、光盘、磁光盘等进行图像的存储；借助各种通信网进行图像的通信等。上一页下一页返回17.2图像工程技术概述数字图像处理的是二维信息，处理信息量很大，因此对计算机的计算速度、存储容量等要求较高，在成像、传输、存储、处理、显示等各个环节的实现上，技术难度较大，成本也高，这就对频带压缩技术提出了更高的要求。数字图像中各个像素间并不是独立的，其相关性大，在图像画面上，经常有很多像素有相同或接近的灰度。就电视画面而言，同一行中相邻两个像素或相邻两行间的像素，其相关系数很高，而相邻两帧之间的相关性比帧内相关性一般说还要大些，因此图像处理中信息压缩的潜力很大。上一页下一页返回17.2图像工程技术概述此外，由于图像是三维景物的二维投影，一幅图像本身并不具备复现三维景物的全部几何信息的能力，三维景物背后部分的信息在二维图像画面上是反映不出来的。因此要分析和理解三维景物，必须作合适的假定或附加新的测量，例如双目图像或多视点图像。在理解三维景物时需要知识导引，这也是人工智能中正在致力要解决的知识工程问题。上一页下一页返回17.2图像工程技术概述所谓“图像分析”，则主要是对图像中感兴趣的目标进行检测和测量，以获得它们的客观信息从而建立对图像的描述。如果说图像处理是一个从图像到图像的过程，则图像分析是一个从图像到数据的过程。这里数据可以是对目标特征测量的结果，或是基于测量的符号表示。它们描述了图像中目标的特点和性质。上一页下一页返回17.2图像工程技术概述所谓“图像理解”，重点指的是在图像分析的基础上，进一步研究图像中各种目标的性质和它们之间的互相联系，并得到对图像内容含义的理解，以及对原来客观场景的解释，从而指导和规划行动。如果说图像分析主要是以观察者为中心研究客观世界(主要研究可观察到的事物)，那么图像理解在一定程度上是以客观世界为中心，借助知识、经验等来把握整个客观世界(包括没有直接观察到的事物)。上一页下一页返回17.2图像工程技术概述由上所述，“图像处理”、“图像分析”和“图像理解”是处在三个描述程度和数据量各有特点的不同层次上。图像处理是比较低层的操作，它主要在图像像素级上进行处理，处理的数据量非常大；图像分析则进入了中层，通过分割和特征提取，把原来以像素描述的图像，转变成比较简洁的非图形的描述。图像理解主要是高层操作，基本上是对从描述图像抽象出来的符号进行运算，其处理过程和方法与人类的思维推理有许多类似之处。上一页下一页返回17.2图像工程技术概述本章由于篇幅有限，重点只介绍图像处理技术内容。图像处理技术是图像分析与图像理解的前提，通过对图像处理基本知识的掌握，可以为将来开展人工智能与计算机视觉技术研究奠定基础。上一页返回17.3图像工程应用背景和发展动态17.3.1应用背景图像是人类获取和交换信息的主要来源，因此图像处理的应用领域必然涉及人类生活和工作的各个方面的需求。随着人类活动范围的不断扩大，图像处理的应用领域也将随之不断扩大。在如下领域方面均有巨大的市场潜力和发展前景。下一页返回17.3图像工程应用背景和发展动态1.军事领域图像处理技术是军事领域的研究热点，在各种光电传感系统中得到了广泛的应用，对光电系统的精度、自动化和智能化程度起着重要的作用。光电武器系统具有很好的隐蔽性、直观性和抗电磁干扰性，在军用领域具有极其重要的使用价值。但是，传统的光电设备在实际的工程应用中，暴露出了许多问题，例如，由于光电设备载体的抖动引起的传感器成像不稳；单一传感器图像存在的目标特征探测的局限性；长时间的画面注视会引起疲劳，易出现错误判断等。这些问题都给人工操作带来较大困难。上一页下一页返回17.3图像工程应用背景和发展动态此外，随着新一代武器系统对光电设备整体功能要求的不断扩充，如防区外空射武器的自动目标识别、多目标跟踪以及高帧频跟踪等，都对相关的图像处理技术提出了新的要求和方向，如景象匹配精确制导自动目标识别技术、多目标跟踪技术、高帧频跟踪技术、电子稳像技术、图像融合技术、具有图像处理功能的军事自动化指挥系统和飞机/坦克/军舰为载体的模拟训练系统等。通过相关图像处理技术的工程应用，可以大大提高武器装备中光电系统的整体性能。上一页下一页返回17.3图像工程应用背景和发展动态由于工艺、材料以及基础工业水平的限制，国内在各种传感器研发方面，始终处于跟踪仿研和技术追赶的状态，与国外相比，探测距离和图像质量均有明显不足。考虑到提升现有传感器硬件性能需投入较大，且周期较长，因此，要推广应用图像处理技术，可在现有传感器图像的基础上，提升图像的信噪比，增加对目标的探测距离，提高对目标的识别与跟踪能力，拓展战场视野空间，改善战场侦察效果，研发周期短且效果显著，并易于工程化、产业化，从而以最小的成本最大程度上挖掘现有成像装备的潜能，是提高光电武器装备性能的捷径。上一页下一页返回17.3图像工程应用背景和发展动态此外，应用先进的图像处理技术，对武器装备进行改进升级，可以挖掘现役装备的作战潜能，使老装备焕发新活力。2.遥感领域图像处理在飞机遥感和卫星遥感技术中具有重要作用。许多国家每天派出很多侦察飞机对地球上有兴趣的地区进行大量的空中摄影。对由此得来的照片进行处理分析，以前需要雇用几千人，而现在改用配备有高级计算机的图像处理系统来判读分析，既节省人力，又加快了速度，还可以从照片中提取出人工所不能发现的大量有用情报。上一页下一页返回17.3图像工程应用背景和发展动态从20世纪60年代末以来，美国及一些国际组织发射了资源遥感卫星(如LANDSAT系列)和天空实验室(如SKYLAB)，由于成像条件受飞行器位置、姿态、环境条件等影响，图像质量总是不理想。因此，以如此昂贵的代价进行简单直观的判读来获取图像是不合算的，而必须采用数字图像处理技术。如LANDSAT系列陆地卫星，采用多波段扫描器(MSS)，在900km高空对地球每一个地区、以18天为一周期进行扫描成像，其图像分辨率大致相当于地面上十几米或100m左右(如1983年发射的LANDSAT－4，分辨率为30m)。上一页下一页返回17.3图像工程应用背景和发展动态这些图像在空中先处理(数字化，编码)成数字信号存入磁带中，在卫星经过地面站上空时，再将数据高速传送下来，然后由处理中心分析判读。这些图像无论是在成像、存储、传输过程中，还是在判读分析中，都必须采用很多数字图像处理方法。现在世界各国都在利用陆地卫星所获取的图像进行资源调查(如森林调查、海洋泥沙和渔业调查、水资源调查等)，灾害检测(如病虫害检测、水火检测、环境污染检测等)，资源勘察(如石油勘查、矿产量探测、大型工程地理位置勘探分析等)，农业规划(如土壤营养、水分和农作物生长、产量的估算等)，城市规划(如地质结构、水源及环境分析等)。上一页下一页返回17.3图像工程应用背景和发展动态我国也陆续开展了以上诸方面的一些实际应用，并获得了良好的效果。在气象预报和对太空其他星球研究方面，数字图像处理技术也发挥了相当大的作用。3.生物医学领域图像处理在生物医学工程方面的应用十分广泛，而且很有成效。除了CT技术之外，还有一类是对医用显微图像的处理分析，如红细胞、白细胞分类，染色体分析，癌细胞识别等。此外，在X光肺部图像增晰、超声波图像处理、心电图分析、立体定向放射治疗等医学诊断方面都广泛地应用图像处理技术。上一页下一页返回17.3图像工程应用背景和发展动态4.通信领域当前通信的主要发展方向是声音、文字、图像和数据结合的多媒体通信。具体地讲是将电话、电视和计算机，以三网合一的方式在数字通信网上传输。其中以图像通信最为复杂和困难，因图像的数据量十分巨大，如传送彩色电视信号的速率达100Mbit/s以上。要将这样高速率的数据实时传送出去，必须采用编码技术来压缩信息的比特量。在一定意义上讲，编码压缩是这些技术成败的关键。除了已应用较广泛的熵编码、DPCM编码、变换编码外，目前国内外正在大力开发研究新的编码方法，如分形编码、自适应网络编码、小波变换图像压缩编码等。上一页下一页返回17.3图像工程应用背景和发展动态5.工业领域图像处理技术在工业和工程领域中有着广泛的应用，如自动装配线中非接触式检测零件的质量、并对零件进行分类，印刷电路板疵病检查，弹性力学照片的应力分析，流体力学图片的阻力和升力分析，邮政信件的自动分拣，在一些有毒、放射性环境内用来识别工件及物体的形状和排列状态，在先进的设计和制造技术中采用工业机器视觉等。其中值得一提的是研制具备视觉、听觉和触觉功能的智能机器人，将会给工农业生产带来新的激励，目前已在工业生产中的喷漆、焊接、装配中得到有效的利用。上一页下一页返回17.3图像工程应用背景和发展动态6.公安刑侦领域在公安刑侦领域主要有图片的判读分析、指纹识别、人脸鉴别、不完整图片的复原，以及交通监控、事故分析等。在高速公路不停车自动收费系统中，目前已投入运行的有车辆和车牌自动识别系统，它们都是图像处理技术成功应用的典型范例。上一页下一页返回17.3图像工程应用背景和发展动态7.文化艺术方面的应用目前在这类应用中，有电视图像画面的数字编辑、动画的制作、电子图像游戏、纺织工艺品设计、服装设计与制作、发型设计、文物资料图像的复制和修复、运动员动作分析和评分等，现在已逐渐形成一门新的艺术———计算机视觉艺术。上一页下一页返回17.3图像工程应用背景和发展动态17.3.2国外发展动态及水平国外很早就将图像处理技术应用于军事领域，并在目标跟踪、图像识别、图像融合、电子稳像等领域取得了许多研究成果，这些研究成果广泛应用于各类光电系统上，大大提升了陆、海、空等领域的武器系统性能。现有的光电武器装备对于远距离、低信噪比目标的探测距离通常很短，由于发现不了远处敌方目标，从而增大了自身受到攻击的可能性。最近的几次国外战争表明，提高传感器性能已经迫在眉睫，尤其是解决在恶劣天气下的远距离作战问题。上一页下一页返回17.3图像工程应用背景和发展动态通过采用图像增强技术提高光电系统目标图像信噪比，是在保留光电系统原有结构和尺寸前提下、提高系统探测距离的一种性价比很高的有效手段。利用先进的图像处理方法改进现有光电系统，不仅能够提高系统的探测距离，而且还能够提高系统的可靠性，降低了系统的成本。促使系统可以在更远的距离上投放武器，缓和了系统的反应时间，提高我们武器的精度，也可使我方的光电系统更多地停留在对方武器射程之外，从而提高了自身武器装备的生存能力。通过采用先进的图像处理方法，进行图像增强，能够增加对弱信号目标的识别能力与探测距离，使我们看得更清、看得更远。上一页下一页返回17.3图像工程应用背景和发展动态由于现代高技术作战环境的需要，使目标跟踪技术研究得到了迅速发展。目标跟踪问题的发展历史可以追溯到第二次世界大战前夕世界上出现第一部跟踪雷达站SCR－28的时候。此后，各种雷达、红外、声呐和激光等目标跟踪系统相继发展并日趋完善。传统的跟踪系统是一个探测器连续瞄准和跟踪一个目标。随着传感器技术和数字处理技术的不断发展，以及现代战争中敌机突防能力和机群密度及批次的增加，单目标跟踪已经不能够满足现代战争的要求了。上一页下一页返回17.3图像工程应用背景和发展动态多目标跟踪问题无论在军事和民用方面都有着十分广泛的应用，如在军事方面的弹道导弹防御、空中预警、空中攻击(多目标攻击)，海洋监视(水面舰只或潜艇)，战场监视(地面坦克或空中飞机)，民用方面包括空中交通管制(民航飞机)等。尤其是多目标跟踪技术在军事上的应用受到了各国广泛重视。近些年来，由于红外和可见光侦察、监视设备在军事上的大量应用，也推动了多目标跟踪技术的快速发展。图像包含了更广泛、更丰富的信息，利用图像提供的丰富信息可以提高跟踪系统的跟踪精度。图像跟踪技术是一种被动式跟踪技术。上一页下一页返回17.3图像工程应用背景和发展动态由于现代战争中电子战应用频繁，对制电磁权的争夺日趋激烈，作为主动式跟踪武器的雷达受到严重威胁，而基于红外或可见光的数字图像跟踪技术，由于其跟踪精度高，工作时不向外辐射电磁波，不易被敌电子侦察装置发现，不受任何电子干扰装置干扰影响等优点，受到各国军方高度重视。上一页下一页返回17.3图像工程应用背景和发展动态美军在海湾战争和伊拉克战争中大量使用基于数字图像的电视跟踪系统、侦察系统和武器控制系统，获得了大量的战场信息，为赢得战争的胜利起到了决定性的作用。“全球鹰”是美军最新型无人驾驶侦察机，可以用高分辨率传感器，对感兴趣的目标区进行持续24小时侦察，可对重要的移动目标进行不断的观察和跟踪，并提供高质量的精确图像。定点侦察照片可精确到1英尺(0.3048m)，在一次任务飞行中，“全球鹰”既可进行大范围雷达搜索，又可提供7.4万平方公里范围内的光电/红外图像，目标定位的圆误差概率最小可达20m。上一页下一页返回17.3图像工程应用背景和发展动态当前，欧美等发达国家都强调把精确制导技术、包括典型目标自动图像识别与跟踪技术列为发展武器的重点技术之首，一些第三世界国家也针对当前武器装备发展的新特点及其自身的国情，积极调整和重新制订武器装备发展规划，筹划适合本国国力和军情的武器装备建设计划，为争取战略主动权作准备。上一页下一页返回17.3图像工程应用背景和发展动态进入20世纪90年代后，随着计算机技术和大规模集成电路技术的迅猛发展，计算机产品的性能迅速提高，图像处理设备的价格持续下降，这些变化为数字图像处理的发展提供了良好的条件。人们研究的重点开始从传统的光学稳像、机械稳像，转向电子稳像技术的研究。与传统的光学稳像、机电结合的稳像方法相比，电子稳像具有易于操作，更精确、更灵活、体积小以及价格低，能耗小、高智能化等特点，它不仅可以稳定光学系统的移动，也可以对目标进行跟踪，可补偿任何形式的作用量，且不依赖任何的支撑体系。同时由于大规模集成电路技术的不断提高，也促使设备的进一步小型化和轻量化。上一页下一页返回17.3图像工程应用背景和发展动态尤其适用于机载成像设备对体积和重量的特殊性要求，因为机载负荷(体积和重量)的减少就意味着飞行速度和飞行距离的增加。所以，利用电子图像技术将是现代稳像技术的重点发展方向之一。到目前为止，电子稳像技术的研究已有近三十年的历史，在美国、法国、俄罗斯、加拿大及以色列等技术先进的国家，对电子稳像技术应用于军事方面早已进行了较深入的研究。美国著名的AH－64“阿帕奇”直升机，利用电子稳像技术获得高精度的多运动目标自动检测和跟踪，对敌方目标自动进行排序及威胁告警。上一页下一页返回17.3图像工程应用背景和发展动态美国研制的装在无人驾驶越野车上的稳像装置的稳像精度优于1个像素。加拿大防御研究机构根据军方的要求，把电子稳像技术应用于安置在10m高桅杆上监视系统中，用来实现稳定风吹桅杆引起视频图像的晃动，其稳像精度达到了1个像素，该系统的图像处理速度达30帧/s，满足了实时性的要求。日本、韩国也对家用摄录机的图像稳定技术进行了研究和开发，并已有产品销售。现在，许多高档的家用摄录机中也装有电子稳像设备，如日本松下NV－S1型摄录机的电子稳像器，它能克服在水平2°、垂直1.4°范围内抖动，当要摄取的静态目标由于抖动引起图像模糊时，即刻变为稳定而清晰的图像。上一页下一页返回17.3图像工程应用背景和发展动态以美国和欧洲为代表的发达国家，在红外、可见光、激光成像等领域率先结合先进的数字图像处理硬件及软件技术，对经由光电传感器获取的图像进行深度处理，获得高清晰图像，使得成像系统性能超越其他国家同类系统，在战场敌方状态感知方面，占据遥遥领先优势。上一页下一页返回17.3图像工程应用背景和发展动态近年来，国际上在图像融合技术上已开展了大量的模型和算法研究。美国国防高级研究计划局负责实施的战略计算机计划中，列入了几个演示验证示范系统，如自主式地面战车，自动目标识别系统等，它们都把多种侦察仪器的图像信息融合技术作为重要的研究内容；美国德克萨斯仪器公司研究将红外热图像和微光图像融合，来提高夜战能力。F16战斗机上的“LANTIAN”吊舱，将红外、激光测距、可见光摄影机等多种图像传感器数据统一叠加显示在飞机屏上，提高了低空导航和目标寻找能力。上一页下一页返回17.3图像工程应用背景和发展动态美国20世纪90年代的“孟菲斯”核潜艇装备了多图像传感器融合系统，可使操纵手在最佳位置上直接观察到各传感器的全部图像；美国TI公司也研制出将红外热像仪与微光夜视仪进行融合的系统。英国研制出了具有图像融合处理功能的双波段热像仪。西欧卫星中心也正在开发基于图像融合可用于环境、战场监视的卫星系统。当前一些军事大国研制的双模精确制导武器系统的复合制导中，分别采用了不同种成像传感器之间的融合，如美国的爱国者、俄罗斯的SA13等。除了军事应用外，多源图像融合技术还被广泛应用于计算机视觉、医疗诊断及遥感应用等领域。上一页下一页返回17.3图像工程应用背景和发展动态2003年，美国“勇气号”和“机遇号”火星探测器发回了大量的火星地面照片，科学家们运用图像拼接技术，合成了火星表面的宽视角全景图像。图像拼接技术在宇宙空间探测、海底勘测、医学、气象、地质勘测、军事、视频压缩和传输，档案的数字化保存，视频的索引和检索，物体的3D重建，军事侦察和公安取证，数码相机的超分辨处理等领域，都有广泛的应用和需求。上一页下一页返回17.3图像工程应用背景和发展动态17.3.3国内发展动态及水平我国在图像处理技术方面的研究虽然起步较晚，但因其本身的重要性及其广泛应用前景，引起了军方和工业等部门的高度重视。目前国内各大军工集团、中科院研究机构和许多高等院校，把图像处理技术研究重点主要集中于视频跟踪方面，在其他研究方向上只开展了部分仿真研究工作。在传感器图像预处理方面，国内的红外热像产品基本上只进行了简单的红外图像处理，实现了亮度对比度增强、两点均匀式校正、图像平滑、图像降噪、伽马校正、图像锐化等少数功能，对成像质量具有一定改进，但不能够对图像质量产生飞跃性的贡献。上一页下一页返回17.3图像工程应用背景和发展动态国内电子稳像技术的研究起步较晚。到目前为止，国内有一些院校正在从事这方面的研究工作，但从报道上看，基本处于实验室仿真阶段。国内尚未见到对电子稳像技术进行工程应用的报道。在20世纪90年代，国内就开始进行图像融合技术的研究。一些高校也在此领域进行了算法的仿真和原理样机的研制，但离实际应用还有不小的差距。目前，有部分高校正在进行自动目标识别技术的仿真研究，但是离真正意义上的自动目标识别功能还有较大差距。上一页返回17.4图像处理方法现有的图像类型有很多种，包括本书涉及的电视图像、红外图像、微光图像、紫外图像、遥感图像、激光图像、雷达图像、X光图像、超声波图像等。由于其成像传感器类型的差异，所获取的图像质量也大相径庭。每一种类型的图像都有其优缺点和局限性，为了提高其质量，可以采取一些图像处理方法予以改善。当然，没有一种能针对任何图像都通用的和万能的图像处理方法，只有针对不同类型的图像，按照其图像特性采取针对性的图像处理方法，才能满足实际工程需求。下面介绍一些常用的图像处理方法，并适当给出经图像处理后效果改善的若干实例。下一页返回17.4图像处理方法17.4.1图像增强图像增强是指按特定的需要，突出一幅图像中的某些信息，同时削弱或去除某些不需要的信息的图像处理方法，其目的是改善图像的“视觉效果”，使图像的某些特性更加鲜明、突出，这样，可以提高图像质量，使处理后的图像更适合人眼视觉特性或机器分析，以便于实现对图像的更高级的处理和分析。上一页下一页返回17.4图像处理方法从图像处理的结构特点分类，可把图像增强处理的算法分为逐点灰度处理、邻域处理(窗口处理)和统计处理(局部或整幅图像的统计)三类。这种分类与实时处理器结构密切相关。从运算在什么范畴上进行分类，可分类为空间域处理、频率域处理和彩色增强处理三大类。空间域处理是在原图像上直接进行数据运算。它又可分为在与像点邻域有关的空间域进行的局部运算和对图像作逐点运算的点运算。频域处理是在图像的傅里叶变换域上进行修改，增强感兴趣的频率分量，然后将修改后的傅里叶变换值再作反傅里叶变换，得到增强的图像。上一页下一页返回17.4图像处理方法彩色增强处理是针对彩色图像进行相关处理。图像增强的总体描述可如图17-1所示。通过采取适当的灰度变换和空域滤波结合处理的方法可以将原本模糊不清，甚至根本无法辨认的原始图片处理成明晰、清楚、富含大量有用信息的可使用图像。上一页下一页返回17.4图像处理方法在图像采集过程中，如果亮度不足或者亮度太大，采集得到的图像灰度可能会局限在一个很小的范围内，这时在显示器上看到的图像会模糊不清，缺乏灰度层次感，这实际上是由于对比度太差(对比度太小)，输入图像亮度分量的动态范围太小造成的。改善这样的图像质量可以采用灰度变换法，用一个线性单值函数，对图像的每一个像素灰度作线性扩展，通过扩展输入图像的动态范围，达到图像增强的目的，从而有效地增强图像的对比度，改善图像视觉效果。上一页下一页返回17.4图像处理方法假设原图像的灰度分布函数为f(i，j)，像素灰度分布范围为［a，b］；根据图像处理的需图17-2分段线性灰度变换示意图要，将其灰度范围变换到［a’，b’］，变换后的图像灰度分布函数为f’(i，j)，则可进行如下变换：

为了突出自己感兴趣的目标或灰度区域，对那些不感兴趣的灰度区域做相对抑制，从而使得特征物体的灰度细节得到增强，通常可采用分段线性灰度变换方法，常用的是三段线性变换法，如图17-2所示。其变换式如下：上一页下一页返回17.4图像处理方法

如果上式中：|a’－c’|＞|a－c|，|c’－d’|＜|c－d|，|d’－b’|＝|d－b|(17-3)上一页下一页返回17.4图像处理方法这相当于扩展了第一区间［a，c］，压缩了第二区间［c，d］，维持了第三区间［d，b］。图17-3所示为采用分段线性灰度变换方法的图像增强算法处理后的图像对比。由于图像增强的最终目的是采用一系列技术去改善图像的视觉效果，或将图像转换成一种更适合于人类观察、分析和处理的形式，因此评价图像增强的效果主要采用主观评价方法，由观察者依据自己的感觉，对图像质量进行评价。在具体做法上，可在一定的条件下，由一组专家和非专家观察者，分别对所评价的图像进行打分，然后按照一定的规则得出一个总的评价结果。主观评价方法是最具说服力的，因为图像最终的服务对象是人的眼睛。上一页下一页返回17.4图像处理方法17.4.2图像融合随着现代信息技术和传感器技术的不断进步，出现了多种先进的成像传感器，可以获取和利用的图像资源在急剧增加。由于成像原理不同和技术条件的限制，任何一个单一图像数据都不能全面反应目标对象的特性，均具有一定的应用范围和局限性。因此，将多种不同特性的图像数据结合起来，相互取长补短，便可以发挥各自的优势，弥补各自的不足，有可能更全面地反映目标特性，提供更强的信息解译能力和可靠的分析结果。上一页下一页返回17.4图像处理方法这样不仅扩大了各图像数据源的应用范围，而且还提高了分析精度、应用效果和使用价值。所谓多源图像融合，就是将在同一时间、或不同时间获取的关于某个具体场景的多源图像信息加以综合，以生成一个新的有关此场景的描述，而这个描述是从单一图像的信息中无法得到的。多成像传感器的图像融合，能解决传统的依靠单一传感器不能顺利完成的任务。例如，受照明、环境条件(如噪声、云、烟雾、雨等)影响，真实场景被破坏，不能精准的对其实施评估；目标状态的复杂多变(例如，运动，密集目标、伪装目标等)引起的目标丢失，误判；上一页下一页返回17.4图像处理方法目标位置(如远近、障碍物等)影响场景或目标的整体特征读取，以及传感器存在固有的缺陷等。实践证明，正确选择获取场景信号源的成像传感器，得到的融合图像能更适合人或机器的视觉特征，有助于对图像的进一步分析、目标的检测、识别或跟踪。通过对多源图像的融合，可克服单一图像存在的局限性，提高多源图像的使用效率，并有利于对物理现象和事件进行定位、识别和解释。上一页下一页返回17.4图像处理方法图像融合是信息融合的一个重要组成部分，它是将多源信道所采集到的关于同一目标的图像，或同一信道在不同时刻获得的同一目标的图像，经过一定的图像处理，提取各个信道的信息，最后综合成一个目标图像，以供观察或进一步处理。如图17-4所示，图(a)是微光夜视图像，具有最适合人类视觉观察的特性，但是作用距离短，晚上不能有效工作；图(b)是红外图像，具有作用距离远、全天候的观察能力，但是噪声大，图像效果差；图(c)是融合后的图像，它结合了红外热像与微光夜视的优点，图像的视觉质量得到了明显改善。上一页下一页返回17.4图像处理方法针对图像融合的不同级算法，常采用像素级图像融合来实现，主要包含图像的预处理(几何校正、图像去噪及边缘增强等)、图像配准和像素级融合三部分：(1)首先对来自不同的传感器图像由于各种因素引起的图像扭曲、融合图像尺寸大小不一致进行校正，并根据图像的特征采取相应的去噪方法，同时由于图像经过去噪处理后，边缘轮廓被平滑，引起部分细节信息的丢失，因此需要对图像进行边缘增强处理；上一页下一页返回17.4图像处理方法

(2)然后需要对待融合的图像进行精确的时空配准，配准的精度将直接影响最终融合图像的质量，故而非常关键；(3)最后根据图像的特征和处理时间的限制，选取适当的融合框架和规则，进行图像的像素级融合，并对融合图像进行指标评价。目前主要有两种方法对图像融合效果进行评价，一类是主观评价，即通过人的观察对融合图像的质量给出一个定性的评价，该结果受人为因素影响较大；另一类是客观评价标准，通过定义一种或几种评价参量，然后计算融合图像的这些参量。上一页下一页返回17.4图像处理方法主观评价常由参与的评价人员通过目视或目测来进行，为了保证图像主观评价在统计上有意义，参加评价的观察者应当足够多。当前的图像融合效果的客观评价问题一直没有得到很好的解决，原因是同一融合算法，对于不同类型的图像，其融合效果不同；同一融合算法，观察者感兴趣的部分不同，则认为效果不同；不同的应用要求图像的各项参数不同，由此导致选取的融合方法不同，其效果也不同。目前常用的客观评价指标主要有基于图像统计特性的客观评价、基于图像信息的客观评价以及最近出现的基于人类视觉模型的客观评价。上一页下一页返回17.4图像处理方法17.4.3电子稳像电子稳像是应用计算机数字图像处理和电子技术的方法来直接确定图像序列的帧间偏移并进行补偿的技术。它利用电子稳像技术，需要首先检测出参考图像与被比较图像之间的运动位移，对其做必要补偿，以消除或减轻视频图像帧间的不稳定，获得清晰而稳定的图像序列，该方法具有灵活性强、精度高及高智能化特点。按照图像处理算法分析的特点，可以将各种电子稳像算法划分为基于图像特征的方法、基于图像灰度信息分析法和基于频域的方法。下面将简单介绍基于图像特征的电子稳像方法。上一页下一页返回17.4图像处理方法电子稳像的关键是运动估计。运动估计的目的是检测出当前图像相对于前一帧图像的不需要的随机抖动，以便对这个信息做反向补偿，从而获得稳定的图像系列。图像的运动量是由摄像机和被摄对象之间的相互运动决定的，而图像上能够反映这种运动量的一些特征量，例如，图像上的特征景物、物体的边缘、角点、曲边缘等局部特征和表面积等全局特征。因此稳像算法首先采用的方法就是根据特征量来判断图像的运动矢量，此方法也是获取图像运动矢量最常用的算法。其基本步骤如下：上一页下一页返回17.4图像处理方法对图像序列中每一帧图像进行处理，提取特征量；建立特征量的帧间对应关系；计算特征量的运动参数；将特征量的运动代入图像运动模型中，求出整幅图像运动矢量。其中关键技术是特征量的选取。在各种特征量中，由于特征点的运动只有平移量，因此选取后易于跟踪和匹配，而在众多的特征点中，又以物体角点所含的信息量最为丰富，它能够充分地反映图像的各项变化量，因此一直是人们重点研究的对象，而角点的确定则是其关键技术。上一页下一页返回17.4图像处理方法根据图像序列的各种信息进行局部运动估计和全局运动估计，可以取得运动参数来进行综合评价，从而实现运动补偿，最终得到稳定的输出序列。局部运动估计的任务是估计单个像素在连续的两帧图像之间的运动；全局运动估计的任务是以局部运动估计的结果作为依据，应用适当的运动模型，估计连续的两帧图像之间的运动。运动补偿主要是对于全局运动偏差的补偿，但通常稳像过程中少量的局部运动不可避免，它会对整体运动估计产生不利的影响，因此首先通过匹配方法估计出局部运动参数，再进行整体估计，最终获得稳定的图像系列。上一页下一页返回17.4图像处理方法图17-5(a)和(b)分别是未稳像和经过电子稳像补偿的水平匀速运动小轿车拍照片，所运用的电子稳像模型和算法是：

(1)匀速直线运动图像MTF衰减模型(见第七章动像MTF衰减问题)。假设MS(N)为系统的调制传递函数，N为频率；M静态(N)为系统静态调制传递函数，v目标为目标的运动速度，v载体为系统载体本身的运动速度或随动速度，τ为系统惰性时间，则有：上一页下一页返回17.4图像处理方法

式中：分母项Mv(N)≥1，所以，在动像条件下，MS(N)＜M静态(N)；在理想稳像条件下，即v目标－v载体＝0，MS(N)＝M静态(N)上一页下一页返回17.4图像处理方法

(2)电子稳像补偿算法。由式(17-4)得，理想稳像条件(v目标－v载体＝0)下，系统的动像MTF由其静态MTF所决定，或对式(17-4)做修正，并进行傅里叶反变换，即可获得所要的不被动像模糊的原图像f(x，y)，即f(x，y)＝FF－1MS(N)×Mv(N)(17-5)式中：f(x，y)为稳像后图像的二维分布，FF－1为傅里叶反变换。上一页下一页返回17.4图像处理方法应该强调，不同的图像序列的图像特征和运动规律各不相同，加上气候条件、传感器的工作方式等成像环境的差异，电子稳像的模型和算法不同，而且，使得评价电子稳像效果存在很多随机因素，导致了无法用同一种标准来评定不同的图像序列。电子稳像效果评价也可以分为主观评价方法和客观评价方法。图像最终是给人看的，合理地评价图像的质量，可以充分遵循人眼的视觉特点，让观察者对同一视频图像序列，根据其视觉效果的好坏进行评判、打分，是对图像序列帧间的平稳性进行评定的重要依据。上一页下一页返回17.4图像处理方法但由于观察者受到心理、文化背景、周围环境及不同的应用场合等因素影响，人眼对同一图像序列中的不同区域往往具有不同的感兴趣程度，对同一视频图像评价的差异性往往也很大，个人的评价往往有较强的主观性。但对于为满足人们视觉要求的目的来说，主观评价法无疑是一种方便、实用的视频连续图像序列评价方法。目前稳像质量的客观评价方法很多，通常用保真度、最大稳定范围及帧处理率三个性能指标来评价系统，能获得较好的效果。上一页下一页返回17.4图像处理方法17.4.4图像拼接通常我们能够很容易获取的是现实世界中的一系列局部的分离图像，视场非常有限，然而如果能把这些分离的图像信息合成为“全景世界”图像，则对我们更为重要。在日常生活中，使用普通相机拍摄宽视野的场景图像时，人们必须通过调节相机焦距才可以摄取完整的场景，但这样所获取的全景照片的分辨率相对较低，这是因为相机的分辨率(最小可分辨单元)是一定的，拍摄的场景越大，不得不把物镜焦距调得更短，这样得到的图像的角分辨率就越低。因此人们不得不以长焦距、窄视野来换取高分辨的场景照片。上一页下一页返回17.4图像处理方法另外，由于距离的限制，某些超大尺寸的物体无法用一张照片拍摄下来，这在航天照片的拍摄中显得尤为突出。利用广角镜头和扫描式相机可部分解决视角不足这一问题，但这些设备价钱昂贵，使用复杂，而且广角镜头的边缘难免会产生扭曲变形。为了在不降低图像分辨率的条件下获取大视野范围的场景照片，人们提出了图像拼接技术，将普通图像或视频图像进行无缝拼接，得到超宽视角甚至全景图，这样就可以用普通相机实现场面宏大的景物拍摄。如图17-6所示。上一页下一页返回17.4图像处理方法图像拼接的目的就是利用计算机进行自动匹配，将一系列具有重叠区域的局部真实世界图像，合成一幅单一的、更大的、完整的、高分辨的、更复杂的宽视野全景图像，以扩大视野的范围，使我们可以更加客观、形象地认识和理解真实世界。图像拼接用于自动创建高分辨率的大范围图像，它是生成全景图的关键技术。要求拼接后的图像最大限度地与原始图像接近，失真尽可能小，没有明显的缝合线。上一页下一页返回17.4图像处理方法图像拼接技术的基本流程如下：(1)首先获取待拼接的图像，然后经过预处理(滤波等)，建立图像的匹配模板，采用一定的匹配策略进行图像配准，找出待拼接图像中的模板或特征点在参考图像中对应的位置；(2)根据模板或图像特征之间的对应关系，计算出数学模型中的各参量值，从而建立两幅图像的数学变换模型；

(3)根据建立的数学转换模型，进行统一坐标变换，即将所有图像序列变换到参考图像的坐标系中，以此来构成完整的图像。对于图像转换后的非整数情况，则需要采用插值算法进行图像拼接；上一页下一页返回17.4图像处理方法

(4)最后，需要对图像过渡和重叠区域进行图像融合，最终得到无缝的全景拼接图。在图像拼接的实现过程中，会有很多因素影响着无缝拼接技术的效果，例如，参与拼接图像的质量、摄像相机运动方式的不同、拍摄条件的变化等。另外，重叠区域的确定也会影响无缝拼接技术的效果。重叠宽度大了则拼接处理效果会好，但计算机速度下降；反之，重叠宽度小了，计算速度虽然高了，但是处理效果将变差，而且不同的算法对重叠宽度的要求也是不一样的。上一页下一页返回17.4图像处理方法这些因素都直接影响着图像拼接的效果和效率。而这些影响因素也直接给图像无缝拼接技术的实现带来了很大的困难，这也是该领域研究过程中主要要解决的问题。而单方面考虑消除这些因素的影响已出现多种解决办法，并且取得了好的效果，但是要同时消除这几种因素带来的多种影响，就需要有效地进行取舍、折中，从而实现无缝拼接。上一页下一页返回17.4图像处理方法对于图像拼接技术的效果通常是对其拼接缝进行评价。一般而言，客观评价图像质量的结果往往和视觉效果不一致，有时评价较好的图像却使视觉难以接受。而主观评价图像质量时，受到观测者喜好、情绪和心理等因素的严重制约，很难作出客观判断。所以图像拼接质量评价的趋势是能够兼顾两者，取长补短，实现既符合主观感受又客观精确的评价系统。因为最终鉴定图像质量的是人的视觉，因此合理评价图像质量的方法应充分遵循人眼的视觉特性。上一页下一页返回17.4图像处理方法17.4.5图像传输与图像压缩技术随着科技的发展，现代战争中的武器系统不断趋向于自动化，尤其是侦察系统(如无人侦察机)，必须把采集的大量军事信息及时传输给指挥中心。图像作为信息含量最为丰富的载体，在信息化战争中发挥着越来越重要的作用，战场态势感知、远程精确制导、敏感目标瞄准以及毁伤效果评估都越来越依赖于图像信息。图像信息的实时或近实时传输是生成各级指战员可共享的通用作战图的基础。如果把未压缩的原始图像数据进行直接传输，数据中的冗余信息对计算机硬件和通信带宽都会造成很大的浪费，并且不能达到实时性的要求。上一页下一页返回17.4图像处理方法由于数据链通信带宽的限制，必须对数字图像视频信息进行一定程度的压缩后再进行传输，以提高效率，节省资源。图像信息由空基(侦察机、无人机、飞艇、作战飞机侦察吊舱)或天基(卫星、航天器)传感器获取，图像类型主要包括合成孔径雷达(SAR)、红外、可见光、微光、多光谱、超光谱等图像。由于体积、质量和功耗的限制，传感器平台不能进行实时的图像处理，需要通过数据链将图像信息传输到地面基站、舰载处理中心、机载处理中心等信息处理平台进行分析处理，然后将处理结果作为指令发送到相关的作战平台。上一页下一页返回17.4图像处理方法视频信号是由时间上分离的图像序列构成的动态图像信号。研究表明，视频数据表示中存在着大量的冗余，即图像的取样点之间，在亮度和色度信息方面存在极强的相关性。图像数据可以进行压缩有以下几个方面的原因：原始图像数据是高度相关的，大多数图像内相邻像素之间有较大的相关性，存在很大的冗余度，即空间冗余度；序列图像前后帧之间有较大的相关性，即时间冗余度；若用相同码长表示不同出现概率的符号也会造成比特数的浪费，即符号冗余度；除此之外，还存在着信息冗余、视觉冗余、结构冗余、知识冗余、纹理统计冗余等；根据视觉特性允许图像编码有一定的失真也是图像可以压缩的一个重要原因。上一页下一页返回17.4图像处理方法可以把一幅二维数字图像表示为一个二维亮度函数、通过采样和量化而得到的一个二维数组(矩阵)。这样一个二维数组的数据量通常很大，从而对存储、处理和传输都带来许多问题，提出了许多新的要求。为此人们试图对图像采用新的表达方法，以减小表示一幅图像所需的数据量，这就是图像压缩要解决的主要问题。图像压缩是指用较少的比特率、有损或无损地表示原来的像素矩阵的技术。图像压缩研究的就是寻找高压缩比的方法，且压缩后的图像要有合适的信噪比，在压缩传输后恢复原信号，且在压缩、传输、恢复过程中，还要求图像的失真度要小。上一页下一页返回17.4图像处理方法图像压缩过程常称为编码，图像恢复过程常称为解码。压缩数据量的重要方法是消除冗余数据，从数学的角度来说，是要将原始图像转化为从统计学角度上看起来尽可能不相关的数据集。这个转换要在对图像进行存储、处理和传输之前进行，而在这之后需要将压缩了的图像解压缩，以重建原始图像或其近似图像。图像压缩和解压缩都是图像编码要研究的问题，分别称为图像编码和图像解码。上一页下一页返回17.4图像处理方法随着成像技术的飞速发展，传感器分辨率越来越高，图像传输的实时性要求也越来越高，图像数据量越来越庞大。根据解码结果对原始图像的保真程度，图像压缩的方法可分成两大类：无损压缩和有损压缩。前者常用于图像存档，压缩率一般在1/101/2倍。而后者可以取得较高的压缩率，但图像经过压缩后并不能通过解压完全恢复原状，所以一般用于容许一定信息损失的应用场合。根据需要，有许多压缩技术既可用于无损压缩，也可用于有损压缩。简单的无损压缩只能实现较低的压缩比，已经无法满足通信带宽的要求，必须对图像进行有损压缩，才能实现较高的压缩比。上一页下一页返回17.4图像处理方法1.基本概念和理论数据冗余是指如果用不同方法表示给定的信息时使用了不同的数据量，则在数据量较多的方法中，有些数据必然代表了无用的信息和重复表示了其他数据已表示过的信息，这就是数据冗余，它是数字图像压缩中的关键概念。数据可以用数学定量地描述。假如用n1和n2分别代表用来表达相同信息的两个数据集合中的信息载体单位的个数，那么第一个数据集合的相对数据冗余被定义为RD＝1－1/CR(17-6)上一页下一页返回17.4图像处理方法式中：CR称为压缩率：CR＝n1/n2。由于数字视频在空间、时间、结构等方面上都存在着庞大的冗余信息，所以只要尽可能地去除这些冗余信息，就可以对数字视频信号进行压缩。数字视频信号的冗余信息包括：编码冗余、像素间冗余、时间冗余和心理视觉冗余等。上一页下一页返回17.4图像处理方法2.视频压缩的基本技术视频压缩编码的基本技术有很多种，它们大都是用来去除视频信号中的某一种或几种冗余信息。其中，有用于去除信息熵冗余的统计编码，统计编码又包括Huffman编码，算术编码和行程编码。有用于去除空间冗余、频谱冗余或时间冗余的变换编码和预测编码，在去除时间冗余时，一种比较常用的技术是运动补偿技术。另外还有用来去除视觉冗余的量化技术。典型的视频压缩编码技术包括Huffman编码、算术编码、行程编码和小波变换等。上一页下一页返回17.4图像处理方法(1)Huffman编码。Huffman编码广泛应用于很多国际标准中，如JPEG、MPEG等。它对统计独立的信源能达到最小平均码长，是一种最佳编码方法。Huffman编码的过程如下：第一步，将信源符号按其出现的概率大小进行排序，然后将具有最小概率的两个信源符号的概率相加，得到一个新的概率值。第二步，将这个概率值看成是一个新的信源符号的概率，将其与其他剩余的概率值重新排序，再将其中具有最小概率的两个信源符号的概率相加。第三步，重复以上步骤，直到剩余两个信源符号为止。上一页下一页返回17.4图像处理方法这样就形成了一个Huffman树。编码时，从树根到树干，每一步有两个分支，每个分支赋给一个二进制码。概率大的分支赋0，概率小的分支赋1，直到结束；或者概率大的分支赋1，概率小的分支赋0，直到结束。从树根到树干，将分支上的二进制数连接起来，靠近树根的二进制数放在高位，远离树根的二进制数放在低位，这样就得到了与信源符号一一对应的码字。Huffman编码在变字长编码方法中是最佳的，其码字的平均长度很接近信源符号的熵值。上一页下一页返回17.4图像处理方法(2)算术编码。算术编码的思想在20世纪70年代后期和80年代得到了全面的发展。它是一种优于Huffman编码的编码方式。一般来讲，Huffman编码为每一个符号分配的码字具有整数位长度。而当一个符号具有较大的概率(接近1)时，它所对应的信息量就接近为零。这时用一个bit位来表示这个符号是非常浪费的。上一页下一页返回17.4图像处理方法算术编码绕过了用一个特定的代码来表示一个信源符号的做法，它用一个单独的浮点输出数值代替一个流的输入符号，把一个信源集合映射到实数线上0到1之间的一个区间。这个集合中的每一个元素都要用来缩短这个区间。信源集合中的元素越多，所得到的区间就越小，当区间变小时，就需要更多的位数来表示这个区间。这就是区间作为代码的原理。算术编码首先假设一个信源的概率模型，然后用这些概率来缩小表示信源集合的区间。在编码、译码过程中，子区间的起始位置和长度值越来越长，实际应用中无法实现。因此较实用的改进算法就必须限制小数点后的位数。上一页下一页返回17.4图像处理方法(3)行程编码。行程编码(Run

LengthCode)也称为行程长度编码。行程编码的基本原理是建立在图像的统计特性基础之上的。在实用中，图像像素多数是以扫描方式进入计算机的，沿扫描行的特定方向计算同一灰度连续有多少个像元称为行程。像素幅度的连续长度和终点位置标记是行程编码方法的重要参数。根据终点位置标记方法的不同，将行程编码分为两类：行程终点编码，行程的终点位置由扫描行的起始点算起至行程终点位置时的像素数确定；行程长度编码，某行程的终点位置由它距前一终点的相对距离来确定。上一页下一页返回17.4图像处理方法行程编码是近似熵编码，对于画面不复杂的图像采用行程编码可以得到很高的压缩比。在多媒体图像国际压缩标准(JPEG)中，对块内量化后的变换系数也采用了行程编码方法。上一页下一页返回17.4图像处理方法(4)离散小波变换。小波变换(WT)，也称为子波变换，由于它在表示非平稳图像信号方面的灵活性和适应人类视频特征的能力，已经成为图像和视频压缩方面的有力工具。小波变换在空间域(或时域)和频域都具有很好地局部化特性，它为图像信号提供了多分辨率/多频率的表示方法。在真实世界中，图像和视频信号都是非平稳的。小波变换将非平稳的信号分解为一系列的相对比较平稳的多级子带信号，使得编码更加容易。在编码时，可以选择适应于每个子带统计特性的编码方案和参数，使得编码每个平稳的分量比编码整个非平稳信号有着更高的效率。上一页下一页返回17.4图像处理方法Mallat提出的多分辨塔式分解与合成算法极大地促进了小波变换在工程上的应用，随后提出的基于提升结构的小波变换方法进一步地扩展了小波的应用范围，尤其是在图像/视频领域中的应用。对于二维的数字图像信号，离散小波变换可以通过在水平和垂直方向上分别应用h，g滤波器或提升框架进行一维滤波来实现。数字图像二维离散小波分析通过h，g滤波器的实现如图17-7所示。上一页下一页返回17.4图像处理方法二维离散小波变换每次分解产生一个低频子图LL和三个高频子图，即水平子图LH、垂直子图HL和对角子图HH。下一级的小波变换是在前一级产生的低频子图的基础上进行的，如此重复进行即可实现多级小波分解。对一幅数字图像进行三级小波分解的过程如图17-8所示。图17-9显示了512×512的Woman图像的两级小波分解后的结果及相应子带在二维空间上的分布。对图像进行N级小波变换将生成3×(N＋1)个子带，分别是最低频子带LLN与其他高频子带LHi、HLi和HHi(i＝1，2，…，N)。上一页下一页返回17.4图像处理方法上面我们介绍了数字图像压缩的基本理论，并描述了最常用的压缩方法，这些压缩方法构成了当前图像压缩的核心技术。在实际应用中，考虑到图像质量、计算复杂度、通信带宽及实时性等要求，图像视频编码器的设计往往很复杂，新的算法层出不穷，与其他图像处理领域的结合也更加密切，因此，对于图像编码压缩理论的研究和标准的制定，都在不断地探索和改进中。在民用图像数据压缩技术方面，国际标准化组织(ISO)、国际电工委员会(IEC)和国际电信联盟(ITU)下属的国际电报电话咨询委员会(CCITT)，陆续完成了一系列图像数据压缩与通信的建议和标准，包括二值图像压缩编码标准JBIG、上一页下一页返回17.4图像处理方法静止图像压缩编码标准JPEG、JPEG2000、序列图像压缩编码标准H.261、MPEG1、H.262/MPEG2和H.263；MPEG4标准的制定工作也取得了很大进展。上述的民用图像压缩标准把压缩还原后的图像与原始图像之间的灰度误差统计值(例如MSE、PSNR)作为压缩性能指标，没有考虑到“压缩－解压缩”过程引起的图像信息损失对于后续过程的影响。因此，对于图像压缩系统，必须设计专用的压缩方案，使得压缩后的图像数据既能满足带宽的限制，又能保持图像处理的性能。上一页返回17.5视频跟踪技术17.5.1视频跟踪原理现实生活之中，大量的有意义的视觉信息都包含在运动图像序列之中，甚至有些动物的眼睛经过进化，可以看见运动着的物体。视频跟踪技术是近些年来新兴的一个研究方向，是计算机视觉的核心内容，它是一项结合了图像处理、计算机、传感器、自动控制、模式识别与人工智能等多种不同领域先进成果的高技术课题。视频跟踪器由于图像信息量大，而且具有直观、实时、精度高、抗电子干扰能力强等特点，因而在军事应用中占有重要地位。下一页返回17.5视频跟踪技术视觉跟踪在导弹的精确制导、机载武器系统、火控系统目标的自动跟踪、无人驾驶飞行器、机器人视觉导航等领域中得到了广泛的应用。欧美等发达国家已经将视频跟踪技术列入国家制定的高技术发展规划中。例如美国已经将计算机视觉列入战略防御计划中，并完成了开阔地面上孤立目标的运动物体探测，复杂环境中的目标实时跟踪等研究。图像制导以其高精度和可攻击目标要害部位等特点，在最新研制的战术导弹跟踪中得到了广泛的应用，成为了精确制导技术的发展重点。上一页下一页返回17.5视频跟踪技术精确制导武器采用高精度探测、控制与制导技术，能够有效地从复杂环境中检测、识别和跟踪感兴趣的目标，并选择和攻击目标的要害部位，以达到有效摧毁目标的目的。视频跟踪系统是当前精确制导技术的发展方向，它具有智能化程度高，制导精度高，作用距离远，抗干扰能力强等优点，其中目标视频跟踪算法是该系统的核心部分。通过采用视频跟踪技术，一方面可以实现“发射后不管”，保证了飞行员和投弹飞机的安全；另一方面，可以用有限的火力给敌方目标以精确和致命的打击。上一页下一页返回17.5视频跟踪技术由于视频跟踪的图像通常受到传感器本身特性的影响，存在对比度差、视野范围小、模糊和混叠等问题，因此可以采用图像增强技术以改善图像质量；采用图像融合技术获得更大光谱范围和更高质量的图像；采用电子稳像技术消除图像的抖动；采用图像拼接技术拓展观察的视野空间。经过以上图像处理方法进行视频跟踪就能够看得更远，跟得更准、更精确。上一页下一页返回17.5视频跟踪技术视频跟踪系统能从电视摄像机(或热像仪等成像器件)输出的图像信号中提取目标位置信息，实现自动跟踪目标运动的系统。图17-10给出了视频跟踪系统的基本组成。电视摄像机安装在跟踪转台上，其输出的全电视信号(包含图像和同步、消隐信号)送到视频信号处理器，基于数字信号处理(DSP)的视频信号处理器，能从全电视信号中识别、提取出目标图像信号，解算出目标的位置数据(相对于摄像机瞄准线的误差角)，并送到控制器；控制器输出的控制信号加到跟踪转台的控制电动机上，使跟踪转台带动摄像机自动跟踪目标运动。上一页下一页返回17.5视频跟踪技术视觉跟踪算法的基本原理是，视觉传感器采集到运动目标的图像后，借助目标识别算法提取出运动目标信息，然后对包含有目标及背景的序列图像，运用跟踪算法来预测它的运动轨迹，这样将使图像序列中不同帧中的同一运动目标关联起来，从而得到各个运动目标完整的运动轨迹。如图17-11所示。上一页下一页返回17.5视频跟踪技术17.5.2视频跟踪算法对于视觉跟踪问题，可以把视觉跟踪系统大致地分成由下向上(bottom

up)的研究框架和由上向下(top

down)的研究框架。由下向上的方法是通过分析图像的内容、对目标进行建模和定位来计算目标的状态，它又称为基于数据驱动(data－driven)的方法。例如，通过曲线拟合来重建参数形状。这种方法不依赖于先验知识，通常效率较高，然而这种算法在很大程度上取决于图像分析的能力，因为图像像素的拟合、聚类和轮廓描述等处理可能被杂波和噪声所干扰。上一页下一页返回17.5视频跟踪技术而由上向下的研究方法需要基于目标模型、通过图像量测数据对状态进行假设检验。这种方法对图像分析的依赖性较少，因为目标的假设能够为图像分析提供强有力的约束。但是它的性能是由产生和检验这种假设的方法所决定。为了达到可靠而有效的跟踪，必须进行一系列的假设，这样就要涉及更多的计算。由于跟踪目标种类的多样性和环境的复杂性，最近几年出现了许多具有针对性的视觉跟踪算法。对它们的研究方法进行分类的界限不是绝对的，从方法论讲，可以大致概括出如下几种主要的视频跟踪方法。上一页下一页返回17.5视频跟踪技术1.基于相关的视频跟踪方法人类具有识别自然界中各种生物和物体的能力，这是计算机所难以达到的。人们之所以能够认出熟悉的人和事物，是因为他们具有关于这些人和事的先验知识，在我们的脑海中已经有它们的模板。根据这些模板，人们才能够通过视觉根据模板和目标的相关性，识别出各种不同的物体。基于相关的跟踪方法的基本思想是，把一个预先存储的目标模板作为识别的依据，然后在图像序列中的各个子区域图像与目标模板进行比较，找到和目标模板最为相似的一个图像区域，则认为它是当前目标的位置。上一页下一页返回17.5视频跟踪技术这种算法具有很好地识别能力，可以跟踪复杂背景中的目标，但是它对于非刚性目标姿态变化的适应性差，而且由于计算量大，一般情况下满足不了实时跟踪的要求。2.基于特征的视频跟踪方法基于特征的跟踪方法利用了特征位置的变化信息，通常由三个过程构成。首先，从图像序列中提取出对灰度或颜色变化不敏感的显著特征，如边缘、拐角、有明显标记的区域所对应的点、线段、曲线等。其次，在不同图像中寻找特征点的对应关系，也就是匹配。上一页下一页返回17.5视频跟踪技术现有的匹配技术包括模板匹配、金字塔分层搜索匹配、树搜索匹配、约束松弛匹配和假设检验匹配等。最后是计算运动信息。在对于非刚体目标的跟踪方法中主要有基于主动轮廓模型的跟踪方法，它是通过能量最小化的原则进行的。但是这种模型依赖于图像中的细微变化，对图像噪声敏感，不能用于实时和快速的目标跟踪。而基于跳跃模型的主动轮廓跟踪方法可以在不连续的情况下由节点设置表达，依靠寻找最大倾斜点找到物体确切的边界位置，然而最大的缺点是对遮挡情况特别敏感。上一页下一页返回17.5视频跟踪技术3.基于运动的视频跟踪方法基于运动的视觉跟踪方法是利用图像序列中目标的运动信息来对目标进行跟踪的一种方法。对于灰度图像而言，这种运动信息又称为光流。物体在光源照射下，其表面的灰度呈现一定的空间分布，称为灰度模式，光流就是图像中灰度模式运动的速度。光流表达了图像中运动目标的变化信息，可用来确定目标的运动。对于光流的定义是以点为基础，所有光流点的集合就是光流场。光流场是一种二维瞬时速度场，它是物体的三维速度场在成像平面上的投影，不仅包含了被观测物体的运动信息，而且包含了三维物体结构的丰富信息。上一页下一页返回17.5视频跟踪技术由于实际景物中的速度场不一定总是与图像中的直观速度场有唯一的对应关系，而且偏导数的计算会加重噪声水平，使得基于光流的