（计算机应用技术专业论文）常见图像退化问题分析及其复原技术研究.pdf

北京邮电大学硕十研究生论文 常见图像退化问题分析及其复原技术研究 摘要 原始图像在其获取、存储和传输过程中，由于受到图像捕捉系统、存储介质 以及传输系统等因素的影响，使得最终获取的图像不可避免地存在图像退化问 题。对于这些存在退化问题的图像，如果不进行适当的检测评定和复原处理，将 会直接影响到后续的图像处理环节。本文本着通用性和实时性的原则，对形状上 的几何失真退化、形态上的颜色失真退化以及拉条断磁迹数据损伤退化的原因做 了深入的分析，并分别针对这三种图像退化问题提出了检测和复原方法。 本文以v i s u a lc + + 和m a t l a b 为实验软件环境，针对上述图像退化问题实现 了一个检测评定和复原系统。实验证明本文提出的方法能够有效地对上述图像退 化问题做出检测评定和复原，并具有良好的通用性和实时性。 关键词：图像退化图像复原几何畸变颜色失真拉条断磁迹 北京邮电大学硕士研究生论文 r e s e a r c ho na n a i 。y s i sa n dr e s t o r a t i o no f c o m m o ni m a g ed e g r a d a t i o np r o b l e m s a b s t r a c t i m a g ed e g r a d a t i o np r o b l e m sa r ev e r yc o m m o na m o n gi m a g ec a p t u r e ，s t o r a g ea n d c o m m u n i c a t i o np r o c e s s t h e r ea r em a n yf a c t o r sc o n t r i b u t i n gt oi m a g ed e g r a d a t i o n p r o b l e m ss u c ha si m a g ea c q u i s i t i o ns y s t e m ，s t o r a g em a t e r i a la n dc o m m u n i c a t i o n m e c h a n i s m i ft h e s ed e g r a d a t i o np r o b l e m sa r cn o td e t e c t e da n dr e s t o r e dp r o p e r l y , t h e y w i l lh a v ean e g a t i v ei n f l u e n c eo nt h es u b s e q u e n tp r o c e s s i n gs t e p i nt h i sp a p e r , a f t e r a n a l y z i n gt h e r e a s o n so fg e o m e t r i cd i s t o r t i o n sd e g r a d a t i o n ，c o l o rd i s t o r t i o n s d e g r a d a t i o na n ds h i f tl i n ed a t al o s ed e g r a d a t i o n ，w ep r e s e n tt h ep r a c t i c a ld e t e c t i o na n d r e s t o r a t i o ns o l u t i o n sf o rt h e s et h r e ei m a g ed e g r a d a t i o np r o b l e m sr e s p e c t i v e l y w ed e v e l o p e dat o o lf o rt h ed e t e c t i o na n dr e s t o r a t i o no fc o m m o ni m a g e d e g r a d a t i o np r o b l e m s ，b a s e do nv i s u a lc + + a n dm a t l a b t h ee x p e r i m e n ts h o w st h a t t h ep r a c t i c a lm e t h o dw ep r o p o s e dc a nd e t e c ta n dr e s t o r et h o s ei m a g ed e g r a d a t i o n p r o b l e m se f f e c t i v e l y k e yw o r d s ： i m a g ed e g r a d a t i o n ，i m a g er e s t o r a t i o n ，g e o m e t r i c d i s t o r t i o n ，c o l o rd i s t o r t i o n ，s h i f tl i n e v 北京邮电大学硕士研究生论文 创新性声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含 其它人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其它教育机 构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 申请学位论 本人签名： 处，本人承担一切相关责任。 日期：型：! ： 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学 校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段 保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文 注释： 本 导 用本授权书。 日期：型重：兰： 北京邮电大学硕士研究生论文 1 1 研究背景 第一章引言 数字图像处理被广泛应用于其它学科中，如生物医学、军事、天文、气象： 物理和化学等等，并且对这些学科的发展产生着非常重要的影响，甚至还产生了 许多交叉学科如医学图像处理等。此外，数字图像处理在人们的日常生活中也发 挥着越来越重要的作用，特别是近年来，随着图像硬件设备和数字图像技术的迅 速发展，图像技术被运用在各种应用场景如数字图像识别、视频图像监控和个人 数字电影中。图像处理应用相关的课题成为当前最具有研究价值和应用前景的重 要研究方向之一。 数字图像处理，即是用数字化的方法来处理图像信息，是基于计算机、数学 和人类视觉等学科的- l - j 交叉研究领域。虽然近年来图像处理系统取得了较大的 进展、成像材料如c c d 等的单位面积的像素数量不断提升，但是图像的质量仍 然受到各种因素的制约如成像传感器的非线性、图像散焦失真和镜头畸变退化等 等。原始图像在其获取、存储和传输过程中，由于受到图像获取系统的缺陷，图 像存储介质的缺陷，以及传输过程中发生的问题等因素的影响，使得最终获取的 图像不可避免地存在各种图像质量下降问题，我们称之为图像退化问题。相应的， 图像复原可以看作是为图像退化的逆过程，目的是尽量消除退化因子对图像的影 响，使其最大限度上恢复到原始图像，最终改善图像的质量。 图像退化问题分析及其复原是数字图像处理中的一个非常重要的分支，有着 广阔的应用前景。在大多数应用场景下，对于退化图像其复原的效果好坏直接关 系到后续处理的成功率和准确率。如在二维条形码的识别中，经常出现一些几何 畸变退化问题导致识别准备率的下降；在基于内容的视频图像监控系统中，需要 进行图像特征抽取和图像配准等基于内容的操作，而在不同的光照条件下所获得 的图像信息不同程度的存在着颜色失真退化，也会对后续的处理环节造成影响； 又如我们在日常生活中经常会遇到视频图像节目中的马赛克、划痕和拉条断磁迹 现象，从而在视觉效果上大打折扣。因此寻求一种面向图像退化问题的检测和复 原方法，使得存在有退化问题的图像能够得到适当的复原，就成为了亟待解决的 研究课题。 本文将选择实际应用场景中常见的几何畸变退化、颜色失真退化和拉条断磁 迹数据损伤退化，针对通用性和实时性的要求对图像中的退化问题进行深入的分 析，并进行复原方法研究，从而对后续的处理提供便利。本课题也是实验室项目 3 北京邮电大学硕七研究生论文 q rc o d e 图像识别和数字视频图像质量分析的重要组成部分。 1 2 研究目的 北京邮电大学计算机科学与技术学院智能通信软件与多媒体实验室长期从 事多媒体与图像处理方面的研究，积累了丰硕的科研成果。本文作者在硕士研究 生就读期间有幸参加了图像处理和多媒体应用方面的项目，并参与了项目的需求 分析、技术调研、详细设计、编码测试和文档撰写工作。 依据实验室项目，本文作者对对数字图像处理特别是图像退化及其复原问题 进行分析和研究，并结合实验室在该领域的理论研究和技术开发成果，以期站在 实际生产应用的角度进一步完善图像退化问题的检测及其复原方法，对实际应用 场景中常见的几何畸变退化、颜色失真退化和拉条断磁迹数据损伤退化问题分别 提出切实可行的检测和复原方案。 1 3 论文成果和意义 本文对常见的三种图像退化问题( 几何畸变退化、颜色失真退化和断磁迹数 据损伤退化) 产生的原因作了深入的分析，总结抽象了退化的数学模型。并提出 了相应的检测和校正方法。对于几何畸变退化问题，本文根据实际场景中的情况 对图像中存在的几何畸变类型做出了判定，并结合成像系统模型法和数值分析 法，提出了一种面向几何畸变退化的自适应复原方案。针对颜色失真退化，本文 提出了“颜色直方图主体域划分的概念，并引入亮度直方图作为辅助特征值， 实现了针对颜色失真退化的检测和复原。而在拉条断磁迹数据损伤退化问题中， 本文把重点放在了退化问题的检测上，提出了一种空间滤波加权算子用于退化问 题的检测，并对复原方面做出了相关的研究分析。 本文所提出的方法有着良好的通用性和实时性，能够有效地消除上述常见的 三种图像退化问题带来的影响，使得后续的处理的成功率和准确率都得到了很大 的提升。 最后，本文利用所研究的工作，结合实验室项目q rc o d e 识别数字视频图像 质量分析，搭建了一个图像退化问题检测及其复原的应用系统，结合应用场景对 本文的算法提出了验证。 1 4 论文的总体结构 论文余下的部分共分为五章： 4 北京邮电大学硕士研究生论文 第二章介绍了数字图像处理的基础知识，主要包括图像获取和数字化、图像 退化的常见类型和场景、图像复原的相关知识：第三章介绍了针对几何畸变失真 的自适应复原方案；第四章介绍了颜色管理的相关知识，对颜色失真退化提出了 一种可行的复原方法：第五章着重介绍了拉条断磁迹数据损伤退化的原因和检测 方法，并对此类退化问题的复原方面提出了解决方法；第六章对本文工作进行了 总结和未来工作展望。 ) 北京邮电大学硕+ 研究牛论文 第二章图像复原基础 2 1 数字图像处理概述 图像处理技术是以图像为处理对象的运算和加工处理，使其满足人类视觉心 理要求的一种技术。图像处理在其本质上可以看作是信号处理在图像上的应用， 传统的信号处理技术如抽样、量化和降噪等可以直接应用在图像信号处理上。然 而，由于图像信号本身是二维信号，图像处理有着和常规一维信号处理不同的处 理方式。 图像处理按照其处理方式不同可以分为基于光学理论的传统图像处理和数 字图像处理。基于光学理论的传统图像处理，即是用模拟的方法依靠光学设备来 进行图像处理，如电影胶片的拷贝，用柔光镜片实现平滑操作等等。虽然这种图 像处理方式现在已经逐渐为数字图像处理方法所代替，但是光学理论模型和传统 图像处理方法依然是现代图像处理中必不可少的理论基石和重要参考资料，对现 代图像处理有着非常重要的参考和借鉴意义。 数字图像处理即是采用现代数字技术对图像进行处理的技术，利用计算机对 数字图像信息用数据处理的方法加以运算和处理，然后产生满足特定需要的图像 信息。由于目前大多数的图像数据是以数字图像的形式获取、存储和传输，我们 所称的图像处理在默认情况下是指数字图像处理。 从模拟的图像信号到数字图像信息的转换成图像的数字化，通常在图像采集 阶段进行，是数字图像处理的第一步。数字图像处理还包括图像获取，图像增强， 图形复原，图像压缩及其编码，图像重建，图像分割，图像匹配和识别等等，在 2 3 节中我们将会做进一步的介绍。 图2 - i 数字图像处理流程【1 】 此外，由于图像本身的特殊性，图像处理又与人工智能，数学和计算机科学 有着紧密的联系。根据图像处理所应用的场景不同，我们可以将其分四个层面： 第一层为图像的获取及其显示层，第二层为对图像内容进行底层处理层，第三层 为图像简单特征提取层，第四层为图像语义信息提取层，如图2 2 所示： 6 北京邮电大学硕士研究生论文 图2 - 2 图像处理分类 数字图像处理的基本操作通常包括几何变换、图像增强、边缘检测、颜色处 理、图像分割、图像特征配准和图像复原等方面。其中几何变换指图像的放大、 缩小、旋转等简单几何操作；图像增强是依据主观感受而改善图像质量的处理技 术；图像边缘检测则根据不同的算子或者先验模型进行边缘特征提取；颜色处理 是指在颜色空间上进行的彩色灰度图的相互转化、自平衡以及颜色调整等；图像 分割依据特定的分割标准把二维图像分割成不同的具有一致性的区域：图像复原 的则依据客观标准对图像质量加以改善。 数字图像处理中的直方图( h i s t o g r a m ) 是一个常用的概念，经常用于数字 图像信息处理中。直方图是一个统计学上面的概念，指的是将一组数据在另外一 组相关数组上的分布统计图。最为常见的直方图就是曝光量直方图，经常用在数 码相机等设备曝光量的衡量中。然而，图像直方图作为图像数据的统计表示，也 常常用于图像退化分析和复原及其它图像处理环节中，如空间直方图、颜色直方 图和基于特定信息的专用直方图等。 此外，基于彩色空间的图像处理和图像数据压缩已经随着人们的需求逐渐成 为一个非常重要的领域。基于彩色空间的图像处理，也称彩色图像处理，区别于 通常情况下的灰度图像处理。由于硬件设备的飞速发展和彩色图像获取设备的普 及，数字图像处理已经不再局限于灰度图像处理。彩色图像处理的基础是彩色空 问模型，我们将在第四章加以详细的介绍。 由于图像信息包含有非常高的数据量，特别是在大分辨率和图像序列的应用 场景下，出于存储或者网络传输的要求，需要对高数据量的图像信息进行压缩处 理以减少存储或者传输的负载。图像压缩可以分为图像数据有损压缩和图像数据 无损压缩。数据有损压缩的思想即是损失压缩精度以换取压缩率，国际标准化组 7 北京邮电大学硕十研究生论文 织和u 联合组成了静态图像联合专家小组( j p e g ) 和动态图像联合专家小组 ( m p e g ) ，制定了j p e g 、m p e g 系列标准。 下面我们选取一些和本文紧密相关的部分数字图像处理知识和一些专用符 号表示加以介绍。 2 2 图像获取及其数字化 作为图像处理的第一步，图像获取的方式和获取图像的质量直接关系到后续 的处理步骤。在科学实验和我们的日常生活中，到处可以见到各种各样的图像获 取设备如照相机、便携摄像头和专业摄像机等等。我们可以根据所获取的图像形 式分为静态图像获取设备和动态图像获取设备。前者所获取的是静态的单幅图像 数据，通常获取的图像质量无论是分辨率还是精准度都比较高；后者所获取的是 动态的图像序列( 也称视频数据) ，通常获取的图像数据量较大。 我们知道，人眼是人类用于感知外界图像信息的器官，也是图像获取设备的 原型。和人眼类似，通常数字图像的获取系统逻辑上由三大部分组成：光学系统、 图像传感器和模拟数字转换器，如图2 3 所示。下面我们对这三个组成部分进行 简要的介绍。 图2 - 3 图像获取系统 光学系统负责把来自不同方向的入射光转换成平行光，投射到一个成像平面 ( 也称焦平面) 上。完成这部分功能的器件通常是光学镜头，镜头的特征和素质 直接影响到投射到成像平面上面的图像光线质量。衡量光学系统的指标有光学分 辨率、焦距、相对孔径和视场角等。根据焦距和有效成像平面的比例不同，我们 可以把光学系统分为长焦系统、中焦系统、广角系统和鱼眼系统，分别根据需要 用于不同的场景中。如长焦系统类似于望远镜系统，可以获得较高的放大倍率， 而广角系统和鱼眼系统可以获得较大的成像视野。 图像传感器负责捕捉目标物体的能量经由光学系统投射形成图像原始信号， 类似于人眼系统中的视网膜。在人眼系统中，人眼后部内壁的视网膜负责感知来 自外界的图像信息。视网膜表面分布的锥状体和杆状体负责具体的光线感知。其 中锥状体对颜色细节感知灵敏度很高；而杆状体则没有彩色感知能力，但对图像 的总体和低照明度下图像的信息感知能力较强。 提到光的概念，我们就不能不提到电磁波谱。自从牛顿通过玻璃棱镜发现自 然界的白色光可以转换成从红色到紫色的连续光谱后，人类对光的认知发展很 8 北京邮电人学硕士研究生论文 快。光可以看作是一种电磁波，而电磁波为按照固定波长传播的f 弦波。人眼可 以感受到的光线范围只占了电磁波的一小部分。电磁波可见部分的波段大致分布 在0 4 3 t m 到0 7 9 , u m 的范围，按照波段又可以分为红色、橘黄色、黄色、绿色、 蓝色和紫色【1 】。人眼感知到的目标物体的颜色由目标物体反射光的可见波组成 来决定，如果来自目标物体的反射光的可见波的组成相对比较平衡，则人眼感知 到的颜色接近于白色。对于图像传感器系统而言，传感器会对目标物体的反射光 产生一个和其各颜色通道光量成j 下比的输出信号。 常用图像捕捉设备的图像传感器通常是由若干个单个传感器组成的传感器 阵列( 矩阵) 组成的。传感器阵列可以分为一维传感器阵列和二维传感器阵列。 一维传感器矩阵常用于扫描仪等设备中。通常我们采用的图像获取设备使用的传 感器大都是二维传感器矩阵。在传感器矩阵中，很多数量的单个光感元器件以阵 列方式排列，常见有如c c d 和c m o s 传感器。目前的商用图像传感器通常是 1 0 0 0 0 术1 0 0 0 0 级别的方阵，即为1 0 0 万个像素点的倍数。 一 ( 1 ) 单个传感器( 2 ) 传感器矩阵 图2 - 4 单个传感器和二维传感器矩阵 图像获取系统的另外一个重要组成部分是模拟数字转换器，也称a ，d 转换 器，负责将图像传感器所获取的模拟图像原始信号数字化，形成数字图像数据输 出。图像的数字化通常由采样和量化两个部分组成。假设一幅二维图像可以用 厂 ，y ) 函数表示，其中x 和y 分别为二维图形连续的的横坐标和纵坐标，最大值 分别是图像的宽度和高度，而函数值厂为图像的像素值。坐标和像素值都需要做 相应的数字化处理，其中坐标值的数字化称为取样，而像素值的幅度值的数字化 称为量化操作。 设上述f ( x ，y ) 二维图像的宽度为m ，高度为。 厂 ，y ) = ，q 1 )，q 2 ) ，q m ) f ( 2 ，1 ) f ( 2 ，2 ) f ( 2 ，m ) f ( u ，1 ) ，( ，2 ) f ( u ，m ) 公式( 2 1 ) 北京邮电大学硕十研究牛论文 设转化后的数字图像为i ( a ，b ) ，其中a 和b 分别为数字图像的横坐标和纵坐 标，则数字图像l ( a ，6 ) 实际上可以用一个二维矩阵来进行表示： i ( a ，6 ) t ，1 1 ，2 1 凡1 ，1 2 j 2 2 ，2 公式( 2 - 2 ) 我们通常所说一幅图像的参数可以表示为8 0 0 * 6 0 0 * 2 4 ，其中8 0 0 * 6 0 0 是指 取样的分辨率，2 4 是指存储一个像素所占用的比特数，为量化的分辨率。 2 3 图像退化 原始图像在其获取、存储和传输过程中，由于受到图像获取系统的缺陷、图 像存储介质的缺陷、以及传输过程中发生的问题等因素的影响，使得最终获取的 图像不可避免地存在各种图像质量下降问题，我们称之为图像退化问题。 和人眼成像系统不同，成像系统不具备类似于完善的自适应性。虽然近年来 成像系统取得了较大的进展，成像材料如c c d 等的单位面积的像素数量不断提 升。但是图像的质量仍然受到各种因素的制约如成像传感器的非线性，图像散焦 失真和镜头畸变退化等。常见发生退化的场景有：旧电影的光斑和拉条问题、旧 照片的发黄发暗褪色问题、摄像机发生抖动或者和目标物体存在相对运动造成的 运动模糊、使用广角和长焦镜头时发生的镜头畸变和数字视频图像的马赛克问题 等等。造成图像退化的原因通常有： 1 ) 成像系统和目标物体的相对运动造成的运动模糊退化； 2 1 成像系统的镜头畸变，相差造成的图像退化； 3 ) 成像系统的聚焦部分造成的聚焦模糊失真； 4 ) 气候条件造成的遥感照片图像退化； 5 ) 现场光线条件造成的图像退化： 成像系统本身的缺陷导致的噪声干扰退化； 乃图像存储介质如胶片、磁带、磁盘和光碟等损伤造成的图像退化； 8 ) 图像传输系统和图像编解码系统造成的图像退化。 根据图像退化在整个数字图像处理过程中发生的环节不同，图像退化可以分 为成像系统中的图像退化、存储和传输过程中的图像退化两个类别。 2 3 1 成像系统中的图像退化 人眼成像系统作为一个生物体系，因其具有完善的自适应性调节功能，可以 1 0 “一k 北京邮电大学硕士研究生论文 最大程度上避免这些图像退化问题。但是我们所使用的图像成像系统是机械系 统，虽然近年来引入了一些自适应性设计如自动调整感光度和白平衡等，仍不能 彻底解决成像系统中的图像退化问题。如2 2 节所述，图像的成像系统是一个很 复杂的物理系统，其三个组成部分光学系统、图像传感器和模拟数字转换器任何 一个部分发生退化问题，将会影响到最终获取图像的质量。我们从图像成像系统 的逻辑组成部分入手，来分析其分别对应的图像退化。 光学系统中对图像质量影响最大的因素是像差。光学系统成像的误差程度的 描述称为像差。由于实际光学系统的不完善性，光线经由光学系统后会形成各种 各样的像差，最终产生图像畸变、模糊等光学成像问题。常见的像差有色差、球 差、彗差和畸变等。如鱼眼镜头获取的图像通常存在不同程度的几何畸变退化。 图像传感器受光照条件影响较为明显，特别是恶劣环境下的光照条件如黑夜 和不同色温的现场光等。因为图像传感器本身是机械的图像光电转换系统，不具 备人眼那样对亮度以及颜色的完善自我调节能力，所以得到的图像呈现不同的颜 色失真退化。如在视频监控系统中，夜问获取的图像通常呈现蓝色，而室外早上 和傍晚获取的图像通常呈现很明显的黄色。 2 3 2 存储和传输过程中的图像退化 在数字图像处理的各个环节中，通过成像系统获取图像仅仅是图像处理的第 一步。在图像的存储和传输环节中，图像退化也普遍存在。我们知道，早期的图 像和电影的存储介质是胶片和磁带，而胶片和磁带上面附着的化学物质对保存的 环境极为敏感，不适当的温度和湿度等都有可能损坏或者影响所存储的内容。并 且由于胶片和磁带本身的特性，经过较长时间保存后也容易发生化学变化情况造 成图像退化。 随着数字技术的发展，图像数据实现了数字存储和传输，但是仍不能避免图 像退化问题。在存储方面，光盘表面的磨损极易造成视频图像的马赛克和拉条现 象。在传输方面，由于采用了压缩编码传输，传输过程的部分信息丢失也会造成 在解码解压缩时候的图像质量退化。如m p e g 4 编码和解码中和y u v 信息的传 输中，出现的拉条断磁迹和绿画面数据损伤退化等等。 2 4 图像复原 在大多数应用场景下，图像退化问题普遍存在且对后续处理影响很大。而图 像复原可以看作是为图像退化的逆过程，它以退化图像为出发点，对图像退化的 原因进行分析。图像复原的目的是尽量消除退化因子对图像的影响，使其最大限 1 1 北京邮电人学硕士研究生论文 度上恢复到原始图像，改善图像质量。和图像增强强调主观感觉不同，图像复原 强调客观方面的图像质量改进。图像复原通常需要建立图像退化模型。在分析图 像退化原因的基础上，以存在退化问题的图像为原始依据，利用先验信息进行校 正。 假设原图像为l ( x ，y ) ，退化图像为j ( x ，y ) ，退化函数为，噪声函数为0 ，y ) ， 则图像退化和复原模型可以用图2 5 简要描述： 退化 i ( x , y )n ( x ，y ) 7j ( x ，y ) 图2 - 5 图像退化和复原模型 在图像复原过程中，我们以退化图像，仅，y ) 为依据，然后根据先验知识得到 退化函数丁 ，y ) 和噪声函数o ，y ) 的近似描述，设计复原算法得到原始无退化 的近似值，u ，) ，) 。 假设退化系统t 为线性且位置不变，则在时域上： ， ，y ) = t o ，y ) l ( x ，y ) + n o ，) ，) 公式( 2 3 ) ” ”表示时域上面的卷积。 设弓 ，y ) 、弓o ，y ) 、e o ，y ) 、目o ，y ) 为上面公式对应的傅立叶表达式， 则上式在频域上的表达方式为： e ，y ) = 弓o ，y ) 奎e o ，y ) + 目 ，y ) 公式( 2 4 ) 以上就是图像复原的数学模型公式基础，可以看出，对退化图像进行复原的 过程就是对退化函数和引入噪声做近似估计，然后利用图像退化模型设计算法得 到近似于原始无退化图像的复原后图像。 图像复原可以分为基于数学运算的方法和基于模型分析的方法。前者又可以 分为在时域上的复原和在频域上的复原，一般都是通过估计图像的点扩散函数， 然后运用迭代等数学运算方法进行图像复原。基于数学运算的方法具有较好的通 用性和一般性，特别是对噪声图像的复原效果较好。但是对于相对复杂的退化图 像，特别是有特定条件下的规律性图像退化，复原效果不甚理想。 而基于模型分析的方法较好地弥补了基于数学运算复原方法的不足。基于模 型分析的方法根据图像退化的先验信息建立数学模型，对图像退化的原因做出估 计和分析，从而对退化图像进行复原。基于模型的方法通常分为建立退化模型和 复原算法设计两个部分。常见的基于模型分析的方法有运动模糊复原和散焦失真 复原等。 北京邮电大学硕士研究生论文 2 4 1 基于数学运算的复原 常见的基于数学运算的图像复原方法可以分为基于时域和基于频域两类。基 于时域的图像复原方法有均值滤波、中值滤波和极值滤波等。均值滤波有局部平 滑作用，在去除图像噪声的同时也损失了图像的细节信息。而中值滤波和极值滤 波假设噪声存在的形式为孤立的像素点，取目标像素值为排序好的中值或者极 值，对随机噪声的复原较为有效。此外，中值滤波在消除图像噪声的同时也能够 较好地保持原有图像细节，目前使用较为广泛。 在实际应用场景中，图像的退化过程除了噪声的影响，还和图像的像素值有 关。在这种情况下基于时域的图像复原方法要么不能够达到一个比较理想的复原 效果，要么就是所耗费的空间复杂度和时间复杂度太高，无法应用到实际的应用 场景中。这时就需要把图像从时域变换到频域，在频域空间内进行复原处理。常 见的频域图像复原方法有维纳滤波等。维纳滤波，又称最小均方误差滤波，它把 图像和噪声信号当作随机过程来进行处理。维纳滤波的思想就是通过退化图像计 算出一个复原图像的估计值，使二者之间的均方误差最小。 2 4 2 基于模型分析的复原 在大多数情况下，图像的退化过程比较复杂，采用基于数学运算的复原方法 无法从根本上进行图像复原。基于模型分析的图像复原根据不同的应用场景，进 行特定的退化原因分析，从而能够获得一个比较理想的复原效果。基于模型分析 的复原方法通常分为建立退化模型和复原算法设计两个部分。 本文研究的三种图像退化问题及其复原方法都是基于模型分析的复原方法。 其中几何失真退化主要是图像像素位置的退化，依赖于图像的坐标系统；颜色失 真退化是图像像素值的退化，依赖于图像所采用的颜色空间模型；而拉条断磁迹 数据损伤退化则是图像数据的缺失引起的退化。 2 5 小结 本章首先介绍了图像处理的基本概念和基础，把图像处理分为基于光学理论 的传统图像处理和数字图像处理。又根据图像处理所应用的场景，将其分四个层 面：图像的获取及其显示层、对图像内容进行底层处理层、图像简单特征提取层 和图像语义信息提取层。特别对对本文影响较大的图像获取系统和图像的数字化 做了详细的介绍。参考人眼的图像获取系统，数字图像获取系统逻辑上可以分为 光学系统、图像传感器和模拟数字转换器。最后，讨论了图像退化和图像复原的 北京邮电人学硕士研究生论文 基本概念，分析了常见图像退化问题的原因，介绍了图像复原基于数学运算的方 法和基于模型分析的方法，并对这两种方法的优缺点做了分析。 1 4 北京邮电大学硕士研究生论文 3 1 概述 第三章几何畸变退化 在诸如数字识别、车牌识别和条形码识别等应用场景中，特别是基于日常便 携图像采集设备的应用场景中，通过图像采集设备所获取的图像不可避免地存在 有如运动模糊，畸变失真退化等成像问题。如摄像机和目标物体存在相对运动造 成的模糊重影、用广角镜头拍出的照片中远处的建筑物通常是歪斜的、在翻拍旧 照片的时候常常拍出畸形的结果等。 对于这些几何畸变退化问题，如果不对其进行适当的处理，将会直接影响到 后续的处理的准确性和效率，甚至无法进行后续处理。对于一些常见的图像复原 处理如运动模糊复原、散焦模糊复原和噪声复原等研究都已比较成熟，而对几何 畸变退化的复原矫正尚没有一个通用的解决办法。本章从发生在实际应用场景 模糊二维条形码q rc o ：l e 图像识别 中的畸变问题出发，分析了几何畸变退化 图像的退化模型，并根据实际情况中的畸变情况，提出了一个自适应的几何畸变 退化复原方案。 ( 1 ) 基准图像 ( 4 ) 枕形畸变 鬻 鞋 蓬 羹翳 鼙 囊 鞯专沣球 。t 毒j逄豳 越享二 羔主叠 到：i ! ；篱f 鼙 一j 錾麴 醛垂 ( 2 ) 投影畸变( 3 ) 桶形畸变 ( 5 ) 混合畸变( 6 ) 柱面畸变 图3 - 1 几何畸变示意图 1 5 北京邮电大学硕士研究牛论文 3 1 1 几何畸变定义 在实际的成像系统中，视频捕捉介质平面和物体平面之间不可避免地存在有 一定的转角和倾斜角。转角对图像的影响为发生旋转，倾斜角的影响表现为图像 发生投影变形，如图2 1 ( 2 ) 所示。另外一种情况就是由于摄影机系统本身的原因 导致的镜头畸变。此外还有由于物体本身平面不平整导致的曲面畸变如柱形畸变 等。这些畸变统称为几何畸变。 图3 - 1 以等间隔正交网格为例说明了常见的几种几何畸变： 几何畸变又可分为线性几何畸变和非线性几何畸变。通常情况下，线性几何 畸变指缩放、平移、旋转等畸变。而非线性几何畸变由成像面和物平面的倾斜、 物平面本身的弯曲、光学系统的像差造成的畸变，表现为物体与实际的成像各部 分比例失衡，如图3 - 1 中的( 2 ) ( 3 ) ( 4 ) ( 5 ) ( 6 ) 。 常见对几何畸变退化问题的复原研究大多基于具体成像系统，如模拟鱼眼和 针孔系统进行摄像机标定，通过确定摄像机畸变参数对所获取图像进行后续校正 和复原处t 里 2 1 1 3 4 。其优点是一旦确立成像模型，便可以快速有效地根据模型 参数对畸变图像进行几何变换从而实现复原。但是通常情况我们所面临的图像其 成像系统未知且多样化。最后，这种方法不适宜解决一般性无法预知模型的畸变 退化比如由成像面不平整造成的曲面畸变如柱形畸变。另外一种常见的解决办法 是多项式变形技术 5 1 1 6 1 ，其实质是利用数值分析的办法求解几何变换方程。优 点是不需要预先知道成像模型，对复杂曲面畸变退化能够进行校正和复原。缺点 一是运算量大，不适用于实时性要求较高的系统，二是这种方法对多项式的次数 和控制点的选取要求严格，发生复原失控的概率很大，不适用于一些只存在投影 变换和镜头畸变的图像。 基于对上述常见线性和非线性几何畸变退化产生的原因的分析，我们提出一 种相对通用的解决方案，其要点在于针对实际情况中非线性畸变和投影畸变存在 较为普遍而镜头畸变和曲面畸变较少，对图像中存在的几何畸变类型做出了判 定，结合成像系统模型法和数值分析法进行几何畸变复原。 3 2 几何畸变退化原因及复原 一般的讲，摄像机成像系统可以看作是一个广义透视变换系统，从物体空间 的世界坐标系到图像采集设备坐标系，以及最终成像的二维平面坐标系，成像过 程就是在这些坐标系中的坐标转换的过程。 1 6 北京邮电大学硕士研究生论文 图3 - 2 几, f , - - f 畸变和空间变换 几何畸变体现在转换过程中就是坐标在变换过程中发生了失真。基于数字图 像处理的变换即是以图像处理为基础，通过几何坐标变换来矫正畸变图像中的坐 标，使其恢复到原物体图像的位置和比例关系。包括两个步骤：第一步需要建立 空间几何变换，使得畸变图像恢复到原图像的空间位置，常用的方法有基于成像 系统模型的方法和数值分析法，图3 2 给出了空间几何变换示意图；第二步为插 值，简要的说，就是取得相应坐标位置上的像素值，我们在后续的章节中进行详 细的介绍。 3 2 1 方案流程图 我们提出的复原方案流程图如图3 3 所示： 图3 - 3 方案流程图 其中虚线范围内的处理环节为预处理以及后续处理环境，主要包括图像的输 入输出、图像的标准化、图像的预处理以及简单的去噪、目标区域轮廓检测等。 首先我们对根据目标区域的轮廓信息对输入图像做透视变换处理，对图像中存在 的非线性畸变和投影畸变退化问题进行复原，然后判断透视变换后图像的是否符 1 7 北京邮i u 人学硕十研究生论文 合理想无退化图像的边界定义，若符合则直接进行后续处理环节。若不符合理想 无退化图像的边界定义，则判断透视变换后图像的是否符合光学对称性，若符合 则进行镜头畸变的后续处理，否则转入数值分析复原部分进行后续复原处理。 为了兼顾复原处理的实时性和复原图像质量两方面的要求，在图像插值步骤 我们选择双线性插值作为插值方法。此外，由于进行了诸如图像变换、图像插值 等操作，得到的复原图像会产生一些毛刺和孤立点等噪声，可以采用中值滤波等 平滑算子进行适当的平滑处理。 3 2 2 预处理以及轮廓查找 图像的预处理环节涉及的问题较多，在此我们主要讨论两个问题：一是图像 的二值化，因为其它环节的处理都是基于二值图像予以展开的；二是图像中目标 区域的轮廓或者边缘信息查找。 图像的二值化，也称图像的灰度级分割，是把灰度图像根据设定的二值化阀 值把图像连续的灰度值分为两种灰度值，分别用“0 ”和“1 ”表示。即是对于每 个像素点，如果图像的灰度值大于二值化阀值，则令其为白点，反之就令其为黑 点，最终得到一幅二值化图像。 图3 - 4 显示了灰度图像的二值化示意图： ( 1 ) 灰度图像( 2 ) 二值化图像 图3 4 图像的二值化示意图 在图像的二值化过程中，最为重要的就是二值化阀值的设定。常见的图像二 值化方法根据阀值是否变化可以分为固定阀值二值化和动态阀值二值化，根据处 理区域又可以分为全局二值化处理和分区二值化处理。其中基于分区的二值化处 理时间复杂度较高，我们此处采用全局自适应阀值进行图像的二值化处理。o s t u 算法，又称最大类问方差算法，是一种自适应的阈值确定的方法，因其具有良好 的分割性能和较低时间复杂度，在图像的二值化处理中被广为使用。o s t u 算法 的基本思想是根据假设的动态二值化阀值对图像的灰度级作划分，使得两部分之 问的类间方差最小。 北京邮电人学硕士研究生论文 二值化图像由于其较抽象的形状描述性，常常用于文字识别、纹理分析、边 缘信息检测中。此外，由于二值化图像在保留形状描述特征的同时大大降低了原 始图像的数据量，并且简化了后续分析和处理的步骤，本章其它环节的处理也基 于二值化图像特征信息，以获取较好的时问复杂度和空间复杂度。根据二值化图 像计算出退化参数后，再根据需要应用在原始图像上，实现对原始图像的复原处 理。 在面向几何畸变退化的复原的预处理中，由于透视变换、畸变复原等算法都 参考了目标区域的轮廓信息，目标区域轮廓的查找也是很重要的一个环节。通常 情况下，对于不同的应用场景，轮廓检测需要一定先验知识，比如q r 码识别中 的定位方框【7 】，身份证识别中身份证的轮廓阴影，也可以结合h o u g h 变换进行 直线检测、利用c a n n y 算子【8 】进行边缘检测等办法确定。在本文的实验环境中， 根据二维q r 条形码图像中的定位方框进行轮廓检测。 3 2 3 透视变换 透视变换，也称投影变换，其实质是基于坐标位置的几何变换。透视变换常 用于图像的校正中，例如在基于内容的视频监控系统中，由于图像捕捉设备与地 面之间有一倾斜角，有时根据实际的需求需要将图像变换成其它表达形式，就需 要利用透视变换来完成。在此，我们不对透视变换公式的推导进行详细的介绍， 而重点介绍其在几何畸变退化问题复原中的应用。 简要的说，透视变换可以将( x ，y ) 坐标系中的四个顶点“，咒) 映射到 ， ，) 坐 标系的四个顶点 ；，u ) 0 - - i ，2 ，3 ，4 ) ，并根据这个映射关系对其它坐标点进行映 射变换： 口i ：c o o * x i + 1 * y i + 2 ； c 2 0 掌毛+ c 2 l 咒+ c 笼 v i ；鱼抱学 公式( 3 1 ) c 2 0 宰五+ c 2 l 木y i + c 笼 其中，c 2 2 - - 1 ，其它系数、c o l 到可由下式计算得到： 1 9 北京邮电大学硕+ 研究牛论文 00 - - x o 木u o 00 - x 1 木1 0o 2 宰比2 00 - - x 3 木u 3 y o1 一而宰 m1 一五木h y 21 艺宰l ，2 y 31 一屯窜屹 - y o 宰u o - y l 枣“l - y 2 宰u 2 - y 3 半u 3 一y o 木 - y x 木u y 2 母 ，2 一y 3 掌屹 公式( 3 - 2 ) 在实际应用场景中，我们预先定义一个符合场景需求的规则目的图像。然 后根据目的图像区域的坐标，去源图中寻找其对应点。因为目的图像区域是正则 的，那么其所有内点坐标很容易得到，这样通过透视变换就规避了在源图中找内 点这一复杂的计算和判断。设函数f ( x ，y ) 表示目的图像于坐标( x ，y ) 的一个像素 点的灰度值，函数g m ， ，) 表示源图中位于坐标 ， ，) 的一个像素点的灰度值。那 么我们可以使用如下等式进行透视变换： f ( x ，y ) 。g ，v ) 。g ( ! q 兰兰鱼警，三兰鱼羚 公式( 3 3 ) c 2 0 + 毛+ y f + c 2 2c 2 0 t + c 2 l y i + c 2 2 在面向几何畸变退化的复原研究中，做透视变换的意义有两个：一是判断透 视变换后图像的四个边在给定的阀值内符合理想图像的边界定义( 一般定义为直 线) ，若符合则直接进行后续的处理。二是对于不符合理想图像的边界定义的图 像，透视变换能够矫正其存在的线性畸变和投影畸变，得到一副只含有镜头畸变 或者曲面畸变的畸变图像，为下一步的矫正提供了便利。 3 2 4 镜头畸变复原步骤 在具体成像系统中影响最大的就是镜头畸变，其中最为普遍存在的就是桶形 畸变和枕形畸变。这两种畸变都属于径向畸变。和径向畸变相关的还有切向畸变， 切向畸变就是矢量端点沿切线方向发生的畸变，而径向畸变为矢量端点沿法线方 向发生的畸变。常见场景下主要影响是径向畸变，对于切向畸变影响很小，忽略 不计。 州肌泐如蜘“吃心 删印印印印印劬纫 o 0 0 0 而吒黾 1 1 1 1 o 0 o 0 蜘h 虼儿0 0 0 0 墨屯黾0 0 0 0 北京鄙电大学硕士研究生论文 桶 形 jk 打羁 l 7 7 一 、夕 1 广 以 k l c l ， 、j | l一 畸变 图3 - 5 桶形畸变和枕形畸变示意图 径向畸变具有严格的光学对称性，即图像以中心点和x ，y 轴对称，这是曲 面畸变所不具有的。若经过透视变换后的图像符合这个特征，我们可以判定目前 存在的几何畸变为镜头畸变。我们根据成像模型系统简要分析一下径向畸变产生 的原因和矫正方法。 图3 - 6 镜头径向畸变示意图 图3 - 6 中，虚线为成像系统，实线部分为成像面；c 为像平面l 的中心，也 可作为畸变中心，o c 为垂直于像平面i 的光学轴线，s 为以o 点为中心的球面， p 0 为物平面上一点在成像面上的理想成像点。向p 0 点入射的光学经由球面s ， 与s 相交于p 2 点，对应像平面的p 1 畸变点。这样本来应该成像于p o 点，却成 像在了p l 点。 径向畸变以图像的中心为对称点，离中心越远，畸变就越明显；畸变后的 成像点和理想的成像点之间的距离和半径的平方成比例，比例系数称径向畸变系 数，径向畸变系数为正表示为枕形畸变，为负则表示桶形畸变。显然，对于径向 畸变需要求得畸变中心和畸变系数，而过透视变换后的图像的中心就是畸变中 心，选取相关的参考点便可以计算得到畸变系数，完成镜头畸变的矫正。 北京邮电大学硕士研究生论文 3 2 5 曲面畸变复原步骤 若经由透视变换后的图像不符合镜头畸变的光学对称性特征，我们判定该图 像具有曲面畸变，此时我们采用进行数值分析的方法分析几何变换函数来进行几 何矫正。假设，似，y ) 为获取到的可能存在畸变的图像，0 ，y ) 为目标实际的图像 或理想图像。那么存在一个非线性变换t ，使得两者的坐标满足 ，v ) = r ( x ，y ) 。 给定变换t 在理想无畸变图像一系列点( x o ，y 。) ，( x l ，y 。) ，( 吒，妩) 所对应的 畸变图像点为 。，v o ) ， ，u ) ， ，屹) ，可以构造一个简单的变换函数g ， 作为变换t 的近似表达式，使得变换t 和近似表达式g 之间的偏差最小，能够 反映所给数据的总体趋势，这在数值分析中称为曲线拟合。近似变换函数g 称 为拟合函数，常用的拟合方式有直线拟合、多项式拟合、曲线拟合等，这里我们 采用多项式拟合。定义 i l l ，p ) 一( 薹薹a o