（计算机应用技术专业论文）机器视觉中若干重要问题的研究.pdf

摘要 机器视觉研究试图实现从2 d 图像到3 d 场景的推断。一个完整的机器视觉 系统往往要涉及一系列复杂的过程，从图像获取、预处理、特征提取选择，到 更高级的推断决策。这些过程之间高度的相互影响、相互依赖，要实现真正成 功的视觉系统需要研究人员对这些过程以及它们之间的关系有较深的认识。 介于机器视觉的复杂性，本文只集中讨论机器视觉领域中的四个重要问 题，从底层到高层，分别为图像获取、图像预处理、特征选择和模式分类。 在图像获取阶段，作者希望通过改造相机构造，以获取更多、更合适的视觉信 息。通过我们提出的s l i t 光圈，我们可以同时获取全景深的清晰图像与图像深 度图，在很大程度上优化了数据采集的工作；在预处理阶段，我们研究了经典 的传感器灰尘导致的图像污点，成功的提出了一个自动检测消除这些污点的 方法，好的预处理方法可以使得后续的视觉算法更加鲁棒、更加精确。特征选 择，是提取特征之后，做模式分类决策之前关键的一步，我们提出的c d f s 方 法能够自适应地为不同的类选择不同的特征，大大的提高了分类正确率。在模 式分类阶段，作者提出的c a m n n 分类器通过优化距离测度，在保持与最近邻分 类器相似的计算复杂度的同时，在佳能上达到或超过了k - 近邻分类器。 关键字：机器视觉、数码成像、图像恢复，失焦测距、特征选择、模式分类、 光场 中图分类号：t p 3 9 1 4 1 l u a b s t r a c t m a e h i n ev i s i o ni sa ni n f e r e n c ef r o m2 dv i s u a la r r a yt o3 ds c e n e ac o m p l e t e m a c h i n ev i s i o ns y s t e mu s u a l l yi n c l u d e sas e r i e so fc o m p l e xp r o c e d u r e s f r o mi r a - a g ea c q u i s i t i o n ，p r e p r o c e s s i n g ，f e a t u r ee x t r a c t i o n s e l e c t i o n ，t oh i g h - l e v e lc l a s s i f i c a - t i o n r e c o g n i t i o n t h e s ep r o c e d u r e sa r eh i g h l yi n t e r - r e l a t e da n di n t e r - d e p e n d e n t ， s ot h a tt om a k eav l 。s i o ns y s t e mr e a l l yw o r k ar e s e a r c h e rh a st oh a v eat h o r o u g h u n d e r s t a n d i n gt oa 1 1t h e s ep r o c e d u 嘲a n dt h e i rr e l a t i o n s h i p 0 u rr e s e a r c h e si nt h ep a s tt h r e ey e a r sc o v e r e ds e v e r a li m p o r t a n tt o p i c si n m a c h i n ev i s i o n ，r a n g i n gf r o ml o w - l e v e li m a g ea c q u i s i t i o nt oh i g h - l e v e lp a t t e r n c l a s s i f i c a t i o n 。a tt h es t a g eo fi m a g ea c q u i s i t i o n ，w eq u e s t i o n e dt h ec o n v e n t i o n a t c a m e r ac o n s t r u c t i o na n dp r o p o s e dt ou s es l i ta p e r t u r ep a i r sf o raf u n - r a n g ei m a g - i n ga n dd e p t hf r o md e f o c u s n e wd e s i g nm i g h te n a b l eu so b t a i nm o r ea n d b e t t e ri n f o r m a t i o nf o rt h el a t e rv i s i o np r o c e d u r e s a tt h es t a g eo fp r e p r o c e s s i n g w es t u d i e dt h ei m a g ea r t i f a c t sd u et os e n s o rd u s t 0 u rp r o p o s e dm e t h o de f f e c - t i v e l yd e t e c t sa n dc l e a r st h ea r t i f a c t sw h i c hm a yd a m a g et h el a t e rm a c h i n ev i s i o n a l g o r i t h m s t ou n d e r s t a n de 咖a c l e 虬w e l l c a p t u r e di m a g e w eh k e ys t i ln e e dt od ol e a - t u r ee x t r a c t i o n s e l e c t i o na n dd oa n a l y s i s s o w ef u r t h e rp r o p o s ean o v e lc l a s sd e - p e n d e n tf e a t t i r es e l e c t i o n ( c d f s ) m e t h o d ，w h i c hw i l la d a p t i v e l ys e l e c taf e a t u r e s u b s e tf o re a c hs p e d t i cc l a s sa n di m p r o v et h el a t e rd e c i s i o nc o r r e c t n e s s t h e n ，w e a l s op r o p o s ean e wm e t h o df o rp a t t e r nc l a s s m c a t i o n ，c a l l e dc 锄n n t h em e t h o d c a m n n g r e a t l yi m p r o v e st h ec l a s s i f i c a t i o np e r f o r m a n c eo fn e i g h b o r - b a s e dc l a s s i f i - c a t i o nm e t h o d s ，w h i l ek e e p i n gac o m p e t i t i v ec o m p u t a t i o n a lc o m p l e x i t ya sn e a r e s t n e i g h b o rc l a s s i f i c a t i o nm e t h o d ha l l 。o u rw o r kc o v e r sf o u ri m p o r t a n tt o p i c si nm a c h i n ev i s i o n i m a g ea c q u i - s i t i o n ，p r e p r o c e s s i n g ，f e a t u r es e l e c t i o n ，a n dc l a s s i f i c a t i o n ，f r o ml o w - l e v e lt oh i g h - 1 e v e l k e yw o r d s ：m a c h i n ev i s i o n ，c o m p u t a t i o n a lp h o t o g r a p h y , i m a g er e c o v e r y d e p t hf r o md e f o c u s ，f e a t u r es e l e c t i o n ，p a t t e r nc l a s s i f i c a t i o n ，l i g h tf i e l d s u b j e c tc l a s s i f i c a t i o n ：t p 3 9 1 4 1 论文独创性声明 本论文是我个人在导师指导f 进行的研究工作及取得的研究成果。论文中除 r 特别加以标注和致啪的地方外，不包含其他人或其它机构已经发表或撰写过的 研究成果。其他同志对本研究的启发乖l l 所做的贡献均已在论文中作了明确的声明 并表示了谢意。 作者签名 论文使用授权声明 本人完全了解复旦大学有关保留、使用学位沦文的规定，即：学校有权保留 送交论文的复印件，允许论文被查阅和借阅；学校叫以公布论文的全部或部分内 容，。u 以采用影印、缩印或其它复制手段保存论文。保密的论文在解密后：守此 规定。 作者签名导师签名： 主然订期：导师签名：! 山兰：! 订斯： 第一章导言 视觉系统通过感知光场 1 i t 解周围的场景。一般来说，在一个开放区间 里，光场是四维的，如果考虑光谱与时间，它将是一个六维的场。简单的说， 所谓感知光场即是对这个光场的某种采样。当前的数码成像技术普遍采用透 镜成像的原理与二维的光感应器，采集到的是一个的二维数组，称为图像。因 此1 9 7 0 年代末d a v i dm a r r 2 】指出机器视觉研究的目标在于从二维图像出发，来 推断三维场景。更广义的说，机器视觉研究也应该包含前期的成像，通过改造 成像设备达到更有的对广场的采样，从而让许多视觉问题交得更加简单。由此 出发，s h r e en a y a r 等人在近年提出了计算相机( c o m p u t a t i o n a lc a m e r a ) 的概 念| 3 1 。这己成为近年来的一个研究热点。 从过程上看，一个完整的机器视觉系统应该包含图像采集、图像预处理、 特征提取选择、模式分类等步骤，才能实现从二维图像到三维场景的推断。 这些过程之间高度的相互影响、相互依赖。如果想完成一个成功的机器视觉系 统，一个研究者应当对其中的各个过程及其关系有比较深入的理解。 首先，图像采集是对光场进行采样的过程，它决定了所有后续分析的主要 信息来源。不同图像采集方法可以产生截然不同的图像数据，如何进行合理的 采集是一个很重要的问题。从研究者的角度，我们需要透彻理解摄像机构造、 特性，及其物理成像的原理。 其次，因为成像技术的限制以及不可控的复杂环境，我们往往需要先对图 像做预处理，比如感应器反应曲线的校准、色彩通道的处理、阴影反光等光照 问题、噪音清除、图像污点的清除等等 4 1 ，【5 】，【6 ，然后我们才能进行一些进 一步的操作，否则许多机器视觉算法将会失败。 至此，我们已经得到了一个比较理想的图像，可以进行图像分割、特征提 取等深入的工作。在这里，存在两个重要的研究观点，种观点认为我们需 要先做3 d 的重构，然后才能做真正的场景理解；另一种观点认为我们可以跳 过3 d 重构的步骤，在2 d 图像上直接做分析并理解场景。但是不论哪一种观点， 我们最终一般都需要从数据中提取某种特征，然后再傲进一步的分析。人们 一般把特征组织成向量的方式，构成特征向量。虽然特征向量有其明显的局限 性，但由于数学表达上的简易型，目前大部分主流的特征提取、特征选择与分 类的方法都基于特征向量这种表达方式。模式分类是一个智能系统的核心模块 之一，许多智能问题最终都归结为模式分类的问题。这样分类器的设计也是机 器视觉研究中一个重要的问题。 要实现真正成功的视觉系统需要研究人员对这些过程以及它们之间的关系 都有较深的认识。基于此，本文对其中的若干重要问题进行了较深入的研究。 我们工作涵盖了机器视觉领域的四个重要问题，从底层到高层分别为图像获 取、图像预处理、特征选择和模式分类。 在图像采集阶段，我们研究如何改造、利用光圈的形状获得更合理的对光 场的采样，并由此提出了s l i t 光圈对。我们知道，对普通的相机设置来说，清晰 的全景深图像与准确的失焦测距是相当矛盾的两个任务。当我们把光圈设为很 大的时候，景深就会很小，也就是说只有物体接近对焦平面的时候，其成像才 是清楚的；但是小景深的优点是很有利于做失焦测距，从而获得一个场景的深 度图。当我们把光圈设置的很小的时候，透镜成像将接近于小孔成像拥有无限 的景深，也就有了全景深的清晰图像。但是此时我们无法做失焦测距。另外， 小光圈意味着相同时间内很少的光通量，这将带来新的问题。可见，一个清楚 的全景深图像与一个较精确的深度图对于许多视觉任务是至关重要的。我们提 1 2 第一章导言 出的s h t 光圈对可以帮助我们获得更清晰的全景深图像与更准确的变焦测距，从 而为后续的许多视觉任务的解决带来很大的好处。 在预处理阶段，我们研究了感应器灰尘导致的图像污点。感应器灰尘是数 码成像中常见的问题，特别是对于可换镜头的单反相机。当更换镜头的时候， 感应器暴露在环境中，这样灰尘就可能在第二个镜头装上之前掉进相机内部。 积累起来的灰尘遮挡射进来的光束在相片上形成暗点。这些污点不仅在视觉上 降低了相片的质量，同时也对许多机器视觉的算法也造成了很多问题。清除感 应器灰尘导致的图像污点是一种典型的图像预处理问题，对此我们提出了基于 污点物理模型的污点去除方法，不仅有效的解决这一类特殊的污点问题，也为 其他图像预处理问题指出了一个新的方法。 在特征选择阶段，我们注意到。在过去的数十年里，对于很多视觉问题， 比如纹理，人们已经找到了大量的特征提取方法。这些方法为特征融合与选择 提供了一个丰富的特征库。如何做好特征选择显得非常重要。我们提出的类依 赖的特征选择( c d f s ) 的最初动机是一些纹理特征往往在某一类纹理中有效，而 对于其他的纹理却没有用处。既然不同的纹理能被不同的纹理特征子集更好的 刻画，那么传统的特征选择方法只寻找一个全局的特征子集的做法将很难获得 成功。不同于传统的特征选择框架，c d f s 利用纹理均一性为每一个纹理类寻找 一个类依赖的特征子集。另外，我们的c d f s 方法打破了传统的单一特征向量 的信息表达结构，具有一定的理论意义。许多智能闯题，包括机器视觉问题， 最终都可以归结为模式分类问题。如何设计分类器也是个很关键的问题。 我们从距离优化的角度出发，提出了一个新的c a m 分布，然后基于这个分布得 到c a m 加权距离，这个新的距离定义有效的提高了最近邻分类器及k 近邻分类的 性能。 由于机器视觉的复杂性，我们无法覆盖其中所有的问题，而只是选择了中 间四个比较重要的问题，沿着机器视觉从感知光场到推断场景的过程，提出了 一系列新的理论与方法。第二章我们将讨论图像获取的问题，提出使用s l i t 光 圈替换传统的圆形光圈。在第三章中我们讨论图像的预处理，针对常见的感 应器灰尘问题提出了一套完善的检测、清除方法；这个方法指出了一个基于物 理模型进行图像预处理的新思路，有较大的扩展空间。在第四章中我们提出并 分析类依赖的特征选择方法c d f s 。第五章我们将分析距离的优化，以及如何 用c a m 加权距离改善最近邻分类器。最后，我们在第六章对我们的工作做一些 总结，并前瞻未来的后续工作。 第二章s l i t 光圈的应用 3 d 场景的的重构作为机器视觉领域中一个核心问题，是许多年来人们长 期研究的对象。近年以来，利用图像的失焦程度来测距的方法吸引了相当多人 的注意力。给定成像的设置，场景中的一定距离的点发出的光线，通过透镜折 射，按照1 f = 1 矿+ 1 v 的原理将在特定点成像；而远于或近于该距离的点都 会被一定程度的模糊化，而且这个模糊的程度与点偏离的距离成正比。通过采 用两种特定的不同成像设置，获得两张不同的模糊化的图像，并加以比较，我 们将能从两张图像模糊度的差异中推断出场景的任意点的深度。 2 1失焦测距的原理 对于一个薄透镜来说，场景中一个离透镜距离为u 的点p ，将在透镜的另一 面根据法n 1 f = 1 u + 1 v ，成像在距离为v 的q 点，其中f 是透镜的焦距。 如果感光器平面刚好位于q ，我们将得到一张聚焦的图像，否贝光线在到达感 光器的时候将处于发散的状态，这种发散的形式可以用一个点发散函数( p s f ) k 来描述。这个发散函数的函数的形状由光圈的形状决定，而发散的程度将在很 大程度上决定于感光器偏离q 的距离。通过估计这个发散的程度，我们可以推 算这个偏离距离，从而推算出p 的位置。 如果不附加其他特殊的信息，单独一张失焦图像一般是不足以用来估计深 度信息的。比如，我们无法辨别一张是图像是一张模糊化的尖锐纹理，还是一 张清晰的变化均匀的纹理。为了解决这个歧义性，我们一般采用一个场景的两 张( 或多张) 不同程度失焦的图像，j 1 ，1 2 ： fi t = i k 1 l 厶= i k 2 五= f k t 或。 五= i k 2 其中，i 是一张聚焦的图像，+ 是卷积符号，甄是第i 张图像的p s f 函数，而五，反是 各个函数的傅立叶变换。 一般情况，因为相机的设置已知，k 1 ，k 2 之间的函数关系是己知的。在f 1 4 ， 8 1 中。它们采用不同大小的光圈，k 1 ，k 2 的关系可以表示为：k i ( z ，i 矿) = b 9 2 ( k z ，k y l u ) 。在【9 ，1 7 ，7 】中，两张图像的模糊化程度的和是固定。而 在我们的设置中，k ，鲍的函数关系更加简单，k a = 弼。在所有这些设置 中，两张图象的相对模糊化程度越高，深度估计的准确性与可靠性一般也会越 高。 p s f 函数的形式一般会考虑使用高斯函数或者是p i l l b o x 。理论上来说，模 糊函数应该是一个p i l l b o x ，但是就如| 7 1 中所说的，p i l l b o x - - 般会由于离散化、 衍射等等作用而退化成高斯函数。虽然我们提出的方法并不局限于某种特定 的函数形式，我们在实现中将选择p i l l b o x ，因为当模糊化程度很高的时候，离 散化等退化因素在很大程度上是可以忽略不计的；而当模糊化程度比较小的时 候，p i l l b o x 跟高斯函数区别不大。 3 4 第二章s l i t 光圈的应用 2 2s l i t 光圈成像 2 2 1 s l i t 相机的成像几何 对于一个s l i t 光圈的相机，物体深度与视角模糊的关系可以从图2 2 所示的成 像几何中得到。我们首先考虑一个平行于镜头的尺寸为a 。xa 。的s l i t 矩形光圈。 这样场景中的一点p 将被投影到感应器上的一个& x 蜀的矩形区域。 由图2 2 ，我们可以得到如下的关于a 与s 的关系： & = a 尚 这个公式可以被改写成： 矿= 端二凳v ： ( 2 1 ) ( 2 2 ) 对于一个给定的相机，v 是已知的，而a 可以通过下一节描述的方法进行校准。 所以我们可以由对图像估计s ，从而估计a v 。 对于一个薄透镜，我们有1 f = 1 u + 1 ( v a v ) ，所以物体的深度u 可 以通过下面的公式从a v 推导而得： u = 矿f - 五( v - f a 了v ) ( 2 3 ) 结合公式2 2 2 3 ，我们可以把物体的深度表示为失焦模糊大小的函数。 在实际实现时，s l i t 光圈有时不能被放到镜头的位置。比如为方便起见， 如图l 所示，我们在镜头盖上切开一条小缝。如图3 所示，镜头盖与镜片之间的 存在一个位置差g ，这个位置差导致p 的成像点的位置与先前描述的有一个位 移z 。这个位移可以表示为： 门、 一= 善【1 y 。南) 一 ( 2 4 ) 注意因为如图2 3 所示的遮挡关系，这个位移只发生在垂直于s l i t 的方向。这个遮 挡在一个长度与镜头直径相当的s l i t 的长条方向上是可以忽略不计的。为了弥补 这个g 导致的位移，公式1 将被改成： 5 ：f = a 矿赫言a y f ( 2 5 ) 图2 1 ：采用s l i t 光圈的相机。s l i t 光圈是简单在镜头中间切开一条缝而制成。 第二章s l i t 光圈的应用5 图2 ，2 ：册t 光围相祝的几何成像模型 关于公式2 4 ，2 5 的推导细节，请参考附录1 。 当使用t e l e c e n t r i c 镜头( g = f ) 时，这些公式将变成： 三。a ( 1 - - a 叫v f y ( 2 6 ) 在我们的实现中，g = f ，所以我们采用了公式2 6 公式2 6 与公式2 3 一结合，我 们就得到了景深u 与模糊化大小的关系。 图2 3 ：由光圈与镜头之间的间隙导致威像位置的偏移 2 2 2 s l i t 相机的校准 为了利用前面所述的深度、失焦模糊程度与成像几何，s l i t 光圈的尺寸a 以 及其到镜头的距离g 需要事先做好精确的校准。我们将不直接校准这两个值， 6 第二章s l i t 光圈的应用 饥：3 1 = 岛s 他：加= a 叫最 怕：= ( 1 一 r s 冀) 步骤： 1 做一个校准板，正中间及四个角上都有一个黑色圆点 2 把校准板平行镜头放在距离巩的地方，把相机对焦在的地方，略小 于巩 3 用横向光圈在最小的f - n u m b e r 采集图像厶 4 拿掉镜头盖，用最大的f n u m b e r 采集另一张图像厶 5 把两张图像标准化，使其具有相同的亮度 6 从两张图像中截出中间的两个黑圈p 1 和尼 7 k 采用p i l l b o x 的形式，由p 1 p ，y ) = 易( 缸y ) k p ，引最，晶) 估 计，岛，从而得到饥 8 从f ，和巩，计算y ，从而得到他 9 在两张图像上，定位角上黑圈的中心在纵向上的位置一和z ，加上 第7 步得到的岛，这样我们就可以有计算仇。 表2 1 ：s l i t 光圈的校准 而将校准三个比率，y l = s , & ， 2 = a w & 和蚀，其中对应于公式2 6 ， 1 3 将满 足一= - ( 1 0 3 ) 。 使用一个中间及四角都有一个黑色圆点的校准板，我们可以相当容易的 估计m ，他，竹。我们把校准板平行与镜头放在仉的位置，把相机对焦在略近 于明的处，然后通过表2 1 中所描述的步骤，我们将得到7 1 ，讹，舶的估计值。 一旦我们有了m ，7 2 ，竹以及f 与，我们就可以在景深与模糊程度之间做转化。 2 3失焦测距及图像恢复的算法 对于这样一个推断问题，我们的目标是找到一个深度d 与一个对焦的图 像j ，以最小化能量函数： 易j = l i i 豇( d ) 一五1 1 2 + l i i 盔( d ) 一丘1 1 2 另外，我们将增加一个简单的规范项以提高恢复图像的质量； 易j = i l ，蟊( d ) 一五1 1 2 + | i j 盔( d ) 一丘1 1 2 + e 0 川2 对于个给定的d ，我们可以确定相应的p s f 函数k l 和j g ，从而有了能量函数 的偏导： ；等= j = ( 盔磊+ 庇盈) 一( 五反+ 丘或) + e j = o 这里贾是x 的共扼。这样恢复的图像可以表达成： ，= 群谳 皿， 扛面雨面万石。 j 第二章s l i t 光圈的应用 7 这个式子可以进一步泛化到任意多张图像的情景： 当只有一张图像存在的时候，这个公式就退化成普通的维纳滤波。 把式子2 7 插到原来的能量函数中，我们就得到了对于每个深度d 的能量公 式： 玩= i i j 盔( d ) 一五0 2 + i i j 岛( d ) 一丘0 2 黼nl i 僻耩j 2 ( 。8 ) 这样一个最优的深度d 。应当是： 矿= m - g m j n 玩( 1 1 ，如，k 1 ，k 2 ) ， 这个最优化的过程可以通过一维的简单搜索估计得到。 在这里，我们利用了等距平面的假设，即假设图像上的每一个点都有相同 的深度，这样模糊的核函数就是平移不变的，从而可以表示成卷积的形式。等 距平面当然在很多情况下并不成立，但是当我们取比较小的图像区域的时候， 它可以视作一个不错的近似。这样对于每个深度d 每一个点的能量都通过它的 一个较小邻居域估计得到。 为了控制邻居的区域。我们把公式2 ，8 重新转化到空间域，而得到一个能量 图c = a + g ，这里： a ( z ，y ) = 岛( z ，f ) = 卜鞣川 2 卜鞣剐 2 给定一个深度d ，这个图为每一个点 x ，y ) 提供了一个能量代价的估计值。为 了更好的稳定性，我们进一步把c 做高斯平滑： c = 旧+ 岛) t 心，( 2 9 ) 在这里；是一个o - 均值，标准差为口的高斯函数。这样按照公式2 9 ，在每一个 深度上评价各个点的能量代价，我们就得到了一张深度图。表2 ，2 给出了该方法 的具体流程。 2 4 实验 为了验证我们的提出的s l i t 光圈与算法的有效性，我们在人工集与真实数据 集上都作了失焦测距与图像恢复的实验。 2 4 1 人工数据 为了比较s l i t 光圈与传统的圆形光圈在图像恢复及变焦测距能力上的差别， 我们首先在人工数据上进行了系列的实验。我们分别考虑了有噪音和没有噪 音的情况。 蒜 = - r 8第二童s l l t 光圈的应用 如：纵向光圈得到的图像 相机设置：f 校准参数：饥，协a n d 蚀 输出： 9 ( z ，们：深度图 够( z ，) ：深度可信度图 ，：对焦后的图像 预处理：v i g n e t t i n g 矫正 一 过 程： 1 把9 初始化为全零 2 把够的每一个值初始化为一个很大的值 3 对每一个采样的深度d 根据公式2 4 ，缩放如的尺寸，使其与 对齐 一 用相机参数、校准参数，把深度d 换算成模糊程度岛 一 根据模糊程度& a n d3 z ，生成p s f 赢扇 根据公式2 9 ，计算c = c z + 岛 一 如果c ( z ，口) 1 2 几，( z ) = 1 2i x t l = 1 2 ( 3 1 ) 【1i f l x r i 1 2 1 4 第三章藤应器灰尘导致的图像污点的去除 图3 3 ：感应器灰尘的成像几何模型 根据图3 3 中的相似三角形关系，我们得到r = d a i 。而值a 俎就是相机光 圈数的倒数。从卢到o t 的投影也可以形式化为一个卷积操作： o = 口 n ， 我们注意到感应器灰尘落在低通滤波片之上，那么低通滤波片本身是否会 影响污点的形成呢? 如我们在附录中讨论的，这个作用般足够小，可以忽 略。 3 3 2o t 函数空问 有灰尘的投影几何，对于每个f 会存在一个函数空间，包括所有在这种设置 下的可能的污点函数，复0 = 恤：卢+ n ，= q ，0 p l 。这将作为是图像恢复 中的一个约束。 3 4 单张图片中污点的去除 给定一个污点区域d n ，找们的目标是恢复其无污点的原来面目。 根据我们的灰尘模型，需要满足： i o = u o ，( p n ) + n 这里，我们假设图像噪音n 是加性的。灰尘函数口与参数7 都是未知的，所以这是 一个i l l - p o s e d 的视觉问题。为了更好的引导图像恢复的过程，我们将综合图像上 下文信息与灰尘模型信息。 第三章感应器灰尘导致的图像污点的去除1 5 3 4 1形式化 我们把这个图像恢复的问题表达为一个最大后验概率的问题： a r g m a x 尸( ，d ，q i j ) = a r g i n a x p ( 【，d ，o ，厶，厶口) = a r g m a x p ( i d i 【0 ，o ，厶d ) 尸( u 二，o i 如，d ) p ( 矗，d ) = a r g m a x p ( l i u o ，o ，l 加) p ( u o ，n 厶d ) 因为8 独立于名和。，而且厶在给定，d 和。对，条件独立於毛，d ，所以 我们就有了： = a r g m a x p ( ，o i j ) = a f g m a x p ( 厶f u o ，。) p ( u o f 厶，d ) p ( o ) 如果进一步表示为对数能量的形式，这就是一个最小值问题： e ( ，q i d = a l 历i ，口) + a 2 场( i 晶，o ) + a 3 历( o ) ( 3 2 ) 这里最利用灰尘模型与污点区域内的信息，可以定义为j d 与厶口的工2 距离： 1 e l i ，a ) = 钏厶一a l l 2 ( 3 3 ) 如 s 3 1 q b 阐述的，系数a 1 理论上由图像的信噪比决定。 而易利用了周边图像的信息，恢复后的区域最好与其上下文有一定的一致 性，而且边界区域的过渡应该平滑。类似于【5 7 】，我们这样定义这个能量： e 2 ( v o l & 。) 5 亲d d i s t ( ，厶，。) 2 ， ( 3 4 ) 这里，皿是d 的一些相互重叠的区域， 1 d i s t ( u 。，矗。) = 划毛t 1 2 其中。恳= a r g r a i n l i 一厶1 1 2 。 b e n d 易表达了污点的函数空间约束。如果给定一个o t ，我们把1 1 3 ( n ) 定义为其到 函数空间要i 的l 2 距离： 1 e 3 ( 口) = 言| l a 一7 9 亥( a ) 1 1 2 ，( 3 5 ) 这里豫( q ) 是。到空间复l 的投影： 强( a ) = a r g 霉啦l l a u 计算p 韩 ) 等价于寻找一个矿t ( 0 矿 1 ) ，最小化f = i l q 一口，f 1 ，悒所以 可以用其偏导来解嚣= 陋一+ 几r ) + ，这里r y ) 为( - x ，- y ) 如何确定 这里的r 值将在后面一节3 4 ，4 中讨论。 赢观上看，用这样一个能量公式来恢复一个无污点的图像可以被视作一 个有约束的i n p a i n t i n g 或者纹理生成的方法。第二项易可以是任何的纹理生成 或i n p a i n t i n g 的目标函数，用来从周围区域传播信息。这里，我们选择了一个基 于p a t c h 的纹理生成方法 5 4 】与一个全局优化方法【5 7 】。这个生成过程同时还被污 点的物理模型及区域内信息忍所约束。这些信息一起帮助我们得到一个更接近 於真实场景的恢复图像。 1 6 第三章癌应器灰尘导致的图像污点的去除 3 4 2 函数优化 在目标函数3 2 的优化问题中，口的估计依赖于对u 0 准确的预测，然而【，d 同 时也依赖于一个精确的口估计。对于这样一个c h i c l m a n d 馏闯题，我们采用交 替最小化的方法【5 3 】来优化e ( ，o i j ) 对于一个污点区域，我们先用一个传统的纹理生成方法产生一个初始方 案u 妒( 最初的可疑污点区域的检测可以简单的通过拟合2 d 的高斯函数并检查 其凸性来获得) 。这样我们就可以依据 n = a x g r a i ne ( a i ，u ) 以州= n r g r a i ne ( u i ，o ( ) ， 交替的做函数优化： 妒_ a ( o ) _ t 9 ) - + o ( 1 ) _ _ 分) 一o ( n ) _ 这里目拘偏导可以通过公式3 2 ，3 3 3 4 和3 5 计算得到： a e o u v 2 a 1 ( 。一厶) + 地簇口( 一旭) o e o a= a 1 ( ，0 o 一厶) + a 3 ( a 一7 级( o ) ) 这个递归序列将在i l q ( 帕一o r ( n + 1 ) | i 7 - + 变化迅速，而在r r 的时候变化缓慢，我们 就可以用a r g m a x ra 2 e 加2 来估计r 。在应用中，我们发现r 与r 之间的微小偏 差并不会对图像恢复结果带来视觉上明显的差别，这大概是因为真正的污点函 数仍然存在于被低估的f 所对应的空问中，而且如果灰尘不是太尖锐的话仍然能 能被稍大的r 接受。 我们注意到d 对一个相机是固定的，而且跟镜头无关。如果我们在一个相 机上得到了这个值( 比如使用我们下一节中介绍的方法) ，那么所有其他同一 型号相机的用户就可以直接算出r = d a f ，其中，似相规的f - n u m b e r 。 3 4 5 污点区域的检测 当r 已经确定，我们提出的方法就可以为图像中每一个区域估计一个能量。 一个低的能量表明其恢复的结果与上下文及污点模型更一致，这样这块区域含 有污点的可能性也越大。按照这个方法，如图3 4 所示，一些可疑区域的能量已 被计算出来。因为灰尘的特性与色彩致性，感应器灰尘造成的污点常常能被 从场景中正常的暗点中区分出来。这样，我们就可以为用户提供一个排序的可 疑区域列表。 1 8第三章感应器灰尘导致的图像污点的去除 一张图像两张图像四张图像 图3 5 ：在2 个污点区域的的能量嘞相对于d 的变化曲线。图像由一个戤d 础d c 83 3 0 t q i 枫拍摄获得。红色的曲线是1 2 个污点的平均趋势。从左到右分剐是，采甩f 1 1 的单张 固片；采胃f ，h s f ，2 2 的两张图片：采用f 1 1 f t 6 f ，1 9 和f 2 2 的四张图片。对 于卓张图像的倩况，d 可以通过二阶导数来求得；对于多张图像的情况，d 对应着能量 最小值的位置。 3 4 6 实验结果 图3 1 所示是从一个c a n o n3 0 d 单反相机拍摄的图片片段。在文中所有的实 验中，能量函数的系数设为a 1 = 0 9 ，a 2 = 0 4 ，b = 0 9 ，a 4 = 0 9 。在这个试验 中，r 的值被设为1 0 。在我们的得到的可疑区域列表中，我们挑选了最前面的 两个区域做图像恢复。我们比较了我们的方法，纹理生成方法 5 4 1 ，和真实的场 景( 通过轻微平移相机得到) 。因为真实场景在亚像素上的偏差，我们没有做 定量比较，而只做了视觉上的直观比较。如果不考虑污点区域内的图像信息， 纹理生成方法产生了与真实场景不同的叶子结构与纹理。丽且，因为纹理的不 规则性与算法的扭曲作用，叶子的细节在许多地方也被模糊化了。相反，我们 的方法更好的保留了叶子的原来面貌。 图3 7 显示了另一个由k o d a kd c s3 3 0 相机拍的的例子。这里r 被设置为4 。 通过我们的方法，一共2 0 个污点区域中的1 7 绿色箭头指示) 出现在我们输出 的可疑区域列表的前1 8 位。真实的污点区域是通过拍摄均匀场景锝到的。3 个被 漏检的区域用红色标出。一个被错检的区域用黄色箭头标出。虽然这个检测结 果没有完全正确，但是它已经给用户提供了一个很有用的工具。 因为这个相机有大量的灰尘，我们的真实场景是用另一个相机拍摄得到 的，所以看上去有所不同。但是它已经很清楚的告诉我们真实的无污点的图 像。与传统的纹理生成方法相比，我们的恢复也好的多。 3 。5 多幅图像中污点的去除 如果我们拍到多张图像，即使相机的设置有所不同，我们也能够进一步提 高污点检测与清除的性能。在一段时间内，灰尘函数卢可以认为是不变的，这个 附加的约束可以让我们进一步估计口，并且能够更可靠的估计d 。 3 。5 。1 形式化 假设我们有一组图像五，i = 1 ，2 ，m 和它们对应的f n u m b e r ，p l ，p 2 ，p 。 类似与色彩一致性的形式，在不同图像上的。函数应该对应与一个共有的p ： 妒2 呷缸孚协几n 一酬2 ， ( 3 7 ) 这里死= d n ，而d 是通过第3 5 2 节所描述的方法求得的。从公式( 3 7 ) ，我们 第三章感应器灰尘导致的图像污点的去除 1 9 图3 6 ：从多张图像中得到的两个口函数 可以定义一个代表p 在多个图像上一致性的能量项： 尾= e ( q 1 ，o t 2 ，d ) = 妻邑j j 卢 几n q j j 2 ” 我们有其偏导： o e 5 8 q t = b 1 3 r t o 所以，一个多幅图像的能量函数将是： f 州“= 萎鼋+ k 如， 其中蜀代表第i 张图像五所对应的能量。 3 5 2d 和卢的估计 ( 3 8 ) ( 3 9 ) 当我们有许多图像的时候，我们就可以对d 做一个更可靠的估计。由m 个图 像，我们可以从每一个污点区域中获得一组污点函数o tf u n c t i o n s0 1 ，n 。 因为这些a 函数因同一灰尘而起，它们应该满足m 条等式啦= 卢+ 几d 。，i = 1 ，m 。一个正确的d 值在反卷积o 后等到相同的胁否则，p 的不一致会导致 很高的第五项能量如 图3 5 显示估计d 时更好的稳定性。对采样的d ，我们计算其优化能量，并 画出玩相对于d 的曲线图。在我们所有的实验里k = 0 6 。当我们使用两张图像 时上0 的最值已经变得清楚可见了，当有四张图像时，j l d 的最值就更清楚了。 同时，我们可以根据公式3 7 估计灰尘函数声。给定q 1 ，啦，。p 可以通 过。怕 n 一啦1 1 2 相对于卢的偏导等于0 而求得。这样我们就有： p = d e c o n v ( 2 ( a r ) ，e ( r ) ) ， 其中c = d e c a n v ( a ，b ) 是反卷积操作，其得到的c 满足a = b c 。 图3 6 显示了两个我们求到的口函数。我们也注意到当有多张图像时，可疑 灰尘图像的检测也变得更可靠了。 3 5 3 实验结果 图3 8 显示了三个由c a n o n2 0 d 相机拍到的复杂场景，光圈分别设置为f 1 6 ， f 1 4 和f l l 。在这些图像中，存在两个真正的污点区域( 红色矩形区域) 。因 为这些图片都包含很多暗色的小区域，从任意单独一张蚓像中检测可以区域都 是很困难的。当我们运用单张图象检测与恢复算法时c a ) ，真正的两个污点区 域出现在前1 1 个可疑区域中( 绿色箭头标出) 。当我们同时使用三张图像时， 这两个区域成功的被检测为头两个可疑区域。 进一步仔细的比较，我们可以看到我们的图像恢复质量比传统的纹理生成 方法高很多。另外，我们观察到使用单张图像虽然难以提供准确的检测结果， 但是其图像恢复效果可以与多张图像相婉美。 2 0 第三章感应器灰尘导致的图像污点的去除 强3 _ ：单张图片的污点a 动检测与清除，图像用k o a 豳d e s3 3 0 相机在f i 8 下 拍摄。在中，绿色的箭头表示指令检测劭的可疑区域中正确的1 7 + ；红色箭 头表示被漏检的几个污点区域；黄色箭头表示被错检的几个区域。我们输出的 可疑污点列表可以帮助用户检测污点。真实场景是通过另外一个无灰尘的相机 拍摄得到。我们放大7 一个恢复后的污点区域，用来与纹理生成的结果及真实 场景作眈较。 阻3 b ：含有许多貌似污点的复杂场景，f b 三张用一个c a n o n2 0 d 在f n u m b e r s f 1 6 , f 2 4 和f 1 1 拍到图像。第一张圈显示7 当我们用一张图得到的可疑区 域结果。这个感应器a 有两个真正的灰尘区域( 琨红色矩形标出) 。当我们同 鼹使用3 张图片的时候我们战功地把污点区域检测为头两个可疑区域，f b ) 左 图污点区域的放大图。f c ) 纹理生成的结构( 纹理填充的区域用蓝色矩形框标 出) 。( d ) 基于单张图像得到污点清除结果。( e ) 基于多张图像得到的污点清除结 果。 第四章类依赖的特征选择 4 1 前言 纹理，这个因物体表面反射、颜色、几何变化而导致的视觉属性，在图像 分析与理解中扮演了重要的角色。虽然没有一个公认的纹理定义，我们仍然可 以从几个不同的角度描述纹理。这些不同的角度的理解也形成了许多不同的纹 理特征的提取方法。这些方法可以粗略的分为统计的、结构的、基于模型的、 与信号处理方法等几种【2 4 l 。经过过去几十年的积累，我们已经有了大量的特征 提取方法【2 4 ，2 1 ，2 0 ，27 】a 这些特征提取方法形成了一个丰富的特征库，为大多数引用提供了大量的 信息。为了更好的利用这个库，人们提出了不少特征融合的方法。s o l b e r g 3 1 把 灰度共生矩阵方法2 0 】，局部统计特征，分形特征与马尔可夫随机场的特征 结合在一起，应用中s a r 图像分类上，取得了很不错的效果。h u a n gf 3 3 1 集成 了g a b o r 模型与高斯马尔可夫随机场的特征，据称在b r o d a t z 的部分子集上得到 了很高的分类率。c l a u s i f l 9 1 研究了g a b o r 模型与灰度共生矩阵的融合，应用于 纹理分类；融合后的特征比其原有的单个特征组纹理有高的多的的可分性。 描述纹理有很多特征，但是一个特定的纹理在这些特征上常常表现的不一 致。个纹理的内涵一般只存在于它自己的一个特别的特征子集中。一些纹理 特征对这一类纹理很重要，但是对另外一些类则毫无用处。从图4 1