（信号与信息处理专业论文）基于灰度梯度的散焦图像测距算法的研究.pdf

基于灰度梯度的散焦图像测距算法的研究 摘要 在计算机视觉中，计算目标物体到摄像机的距离是至关重要的，它是景物目 标三维重建的关键。基于散焦图像的测距方法( d f d ) 是近年来计算机视觉领域的 研究热点之一。它属于单目视觉，避开了目前仍未能有效解决的立体视觉中的特 征点匹配问题，因此在很多领域更具有实际应用价值。但现有的散焦测距算法大 多是利用至少两幅图像，提取图像的边缘信息，通过比较图像边缘的模糊程度来 估计物体与摄像机的距离。然而，因为散焦图像的边缘模糊程度较大，难以确定 其精确位置。因此，只根据图像边缘信息估计物体深度有很大的局限性。 本文在s u b b a r a o 测距算法的基础上，将灰度梯度法用于散焦图像的深度估 计中。第一，由灰度梯度法确定物体上两点间的相对深度。第二，根据散焦模型， 由两物点在c c d 成像面上弥散斑直径的大小关系判断实际成像面与聚焦像面的 相对位置关系。第三，利用s 变换，通过估计点扩散参数，求得用于估计物体与 镜头间距离的公式。 该方法从研究图像二维信息中三维线索的角度出发，通过理论分析和详细推 导，证明了利用单幅散焦图像的灰度信息来估计物体深度的可行性，对单幅图像 的散焦测距方法进行了初步探索。 关键词：计算机视觉；散焦测距；灰度梯度；s 变换 t h e a l g o r i t h mo fd e p t hf r o md e f o c u sw i t h g r a yg r a d i e n tm e t h o d a b s t r a c t i n c o m p u t e rv i s i o n ，c o m p u t i n gt h ed i s t a n c eb e t w e e nt h eg o a lo b j e c ta n dt h e c a m e r ai s v e r yi m p o r t a n t i ti st h ek e yt o3 dr e c o n s t r u c t i o n s i nr e c e n ty e a r s ，t h e m e t h o do ft h ed e p t hf r o md e f o c u s i n g ( d f d ) i so n eo ft h eh o t p o t si nc o m p u t e rv i s i o n i tb e l o n g st ot h em o n o c u l a rv i s i o n i ta v o i d e dc h a r a c t e r i s t i cp o i n t sm a t c h i n gq u e s t i o n i ns t e r e o s c o p i cv i s i o nw h i c hh a sn o tb e e na b l et ob es o l v e de f f e c t i v e l ya tp r e s e n t t h e r e f o r ei th a s p r a c t i c a la p p l i c a t i o nv a l u e si nm a n yf i e l d s b u tt h ee x i s t i n ga l g o r i t h m o fd f d m o s t l yu s e st h ee d g ei n f o r m a t i o no fi m a g e st h r o u g he d g ee x a m i n a t i o n ，a n d e s t i m a t e st h ed i s t a n c ef r o mo b j e c tt ot h ec a m e r at h r o u g ht h es u r v e yi m a g ee d g ef u z z y r a d i u s h o w e v e r , t h ed e f o c u si m a g ee d g ef u z z yd e g r e ei ss ob i gt h a ti ti sd i f f i c u l tt o d e t e r m i n ei t se x a c tl o c a t i o n s ot h e s em e t h o d sc a nn o ta p p l yi nm a n yf i e l d s t h i sp a p e rb a s e so nt h es u b b a r a o sa l g o r i t h m ，a n du s e st h eg r a yg r a d i e n tm e t h o d i ne s t i m a t i n gt h ed e p t ho fd e f o c u si m a g e f i r s t l y , d e t e r m i n et h ec o m p a r a t i v e l yd e p t h o ft h et w or e l a t i v ep o i n t si nt h ei n t e r f a c eo ft h eo b j e c ta c c o r d i n gt h eg r a yg r a d i e n t m e t h o d s e c o n d l y , j u d g et h ep o s i t i o nr e l a t i o n s h i pb e t w e e na c t u a li m a g es u r f a c ea n d f o c u s e di m a g ep l a n e a c c o r d i n gt o d e f o c u sm o d e l t h i r d l y , m a k eu s eo ft h e s - t r a n s f o r mt oe s t i m a t et h ep a r a m e t e ro fp o i n ts p r e a df u n c t i o n ，t h e no b t a i n st h e f o r m u l at h a tc a ne s t i m a t ed i s t a n c eb e t w e e nt h eo b j e c ta n dt h el e n s t h r o u g ht h ef u n d a m e n t a lr e s e a r c ha n da n a l y s i s ，t h ef e a s i b i l i t yi nu s i n gt h eg r a y i n f o r m a t i o no fad e f o c u si m a g et oe s t i m a t et h ed e p t ho fo b j e c ti sp r o v e d k e yw o r d ：c o m p u t e rv i s i o n ；d f d ；g r a yg r a d i e n tm e t h o d ；s - t r a n s f o r m n 独创声明 ； 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表或撰写过的研究成果，也不包含未获得 ( 逵! 垫塑查基丝噩噩挂型直明数：奎拦亘窒2 或其他教育机构的学位或证书 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作 了明确的说明并表示谢意。 学位论文作者签名：场搦谚 签字日期：乃护年易月6 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。 本人授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学 技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通过网 络向社会公众提供信息服务。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 何瓠穆 签字日期：悸年6 , e l6e t 导师签字： 硼谚 签字日期：劲好年石月6 日 基于灰度梯度的散焦图像测距算法的研究 1 绪论 1 1 研究的背景及意义 计算机视觉f 1 - 2 1 ( c o m p u t e rv i s i o n ) 技术是人工智能( a r t i f i c i a li n t e l l i g e n t ) 研究的分支之一，是在数字图像处理的基础上发展起来的新兴学科。它从信息处 理的层次研究视觉信息的认知过程，研究视觉信息处理的计算理论和表达与计算 方法，包括图像特征提取，摄像机定标，立体视觉，运动视觉f 或称序列图像分 析) ，由图像灰度恢复三维物体形状的方法，物体建模与识别方法以及距离图像 分析方法等方面。它能够在图像及图像描述之间建立映射关系，从而使计算机能 够通过数字图像处理和分析来“理解 图像的内容。作为- - f l 综合性的交叉学科， 计算机视觉处理的领域涉及到计算机科学与工程、信号处理、物理学、应用数学 与统计学以及神经生理学与认知科学等方面，并在制造业、检验、文档分析、医 疗诊断和军事等领域的各种智能自主系统中有着广泛的应用。 恢复图像中物体的三维信息一直以来都是计算机视觉研究领域中非常重要 的一环，而估计目标物体的深度信息又是三维重建领域中非常关键的一步。目前， 有不少恢复图像中物体深度的方法，例如：立体视觉( s t e r e ov i s i o n ) 3 1 ，由运动估 测物体的三维结构( s t r u c t u r ef r o mm o t i o n ) t 4 1 ，散焦测距( d e p t hf r o md e f o c u s ) 5 】等， 这些方法都已经在许多国际上的文献被验证过，这些技术可以应用到三维空间的 重建，图像中物体的辨识等许多的方面，并且带给我们非常多有用的帮助。 本论文目的在于通过对所获得二维图像进行处理及分析，根据成像镜头参 数、成像位置对图像清晰度的影响，研究现有的几种主要散焦测距手段和算法， 利用图像灰度梯度，改进了散焦测距算法，并进行理论研究和分析，为单幅图像 的散焦测距作初步探索。 1 2 测距方法简介 根据是否需要人为控制测量环境，可将距离测量方法分为主动和被动两种方 式。 基于灰度梯度的散焦图像测距算法的研究 1 2 1 主动测距方法 主动测距需要发射人造光照射物体，如激光和具有一定纹理结构的光，通过 分析物体反射光的纹理形变或直接测量光的传播时间来确定物体的距离。 按照是否与被测量物体接触，可以把主动测距方法分为：接触式测距方法和 非接触式测距方法。 接触式测距方法采用非常灵敏的探头沿物体表面进行逐点测量，需要以机械 运动方式沿物体表面逐点扫描，所以这种测量非常昂贵、费时，对于柔软的物体， 该方法无法适用。 非接触主动测距的方法按采用的手段可分为光学主动测距和非光学主动测 距。非光学主动测距主要有微波雷达测距和声纳测距，光学主动测距方法主要有 结构光场方法和飞行时间方法。飞行时间方法采用调制激光光束，通过测量光束 往返于物体和传感器的时间来计算物体与传感器的距离，这种方法适合于测量距 离较远而精度要求不高的物体。采用结构光场进行物体距离测量的方法从原理上 说，都是采用三角测量原理，通过测量投射图案的变形得到物体的距离信息，测 量精度较高。 主动测距方法虽然可获得更精确的数据，但存在以下缺点： 1 、需要发射大量的能量，而某些发射波对人体是相当有害的；尤其是在军 事上应用时，还容易暴露了自己。 2 、体积较大。在高放大倍率的应用场合，如半导体工业，镜头和物体之间 的距离甚小，而测量装置又需要与镜头平行，能容纳测距系统的设计日益困难。 3 、设备造价昂贵。测距装置成本将随着测距装置的分辨率上升。 4 、三维立体景物对焦困难。测距时，得到的是物体上某一点与镜头的相对 位置，并且经过镜头所成的图像不一定是最清晰的图像。 1 2 2 被动测距方法 被动测距则是通过探测物体的自然光辐射并进行分析来确定物体的距离。被 动测距的典型方法有：立体视觉【6 】、运动测距法阴、单目测距【8 】等。 2 基于灰度梯度的散焦图像测距算法的研究 立体视觉是将两个( 双日) 或两个以上( 多目) 摄像镜头拍摄的物体二维图 像进行特征匹配。如果物体的某个特征点处在两幅图像中相同的位置，即表明该 特征点处在两摄像镜头轴线的交汇处，通过物体其它特征在两幅图像中位置的不 同来确定该特征点的位置。立体视觉的基本原理是从两个( 或多个) 视点观察同一 景物，以获取在不同视角下的感知图像，通过三角测量原理计算图像像素间的位置 偏差( 即视差) 来获取景物的三维信息，这一过程与人类视觉的立体感知过程是类 似的。一个完整的立体视觉系统通常可分为图像获取、摄像机定标、特征提取、 立体匹配、深度确定及内插等几部分。 运动测距法是用时间换取空间的一种方法，也就是说用一个成像传感器在不 同时间和不同的空间位置获取一系列的物体图像。依据物体维图像序列的时间 t 和空间变化情况来提取物体的距离表面信息。在运动测距的图像处理方法上与多 目立体视觉测距类似，其关键技术也是在不同图像中寻找对应点。 立体视觉与运动距离检测方法需要寻找图像对应特征，并计算出它们之间的 位移量。提取物体的特征是一项非常费时和复杂的工作。这两种测距方法受限于 遮挡问题( 即物体在一个场景上可见，但在另一个场景上不可见，这时无法找到 对应特征，因而无法计算物体深度) ，利用它们对深度进行高密集测量的难度较 大。 单目测距中基于图像处理的测距方法【9 】有：对焦测距法和散焦测距法。 对焦测距法d f f ( d c p t hf r o mf o c u s ) 1 0 , n 】采用不同光学参数进行拍摄，在一系 列的物体图像中找出最清晰的像，根据几何光学的成像原理，计算出物体的深度。 这种方法可以得到较为精确、密集的物体深度信息。然而，它需要在不同光学参 数下，对物体拍摄大量的图像，因而难于进行实时测量。 散焦测距法d f d ( d e p t hf r o md e f o c u s ) 5 , 1 z l 是一种从离焦的图像中获得物体 深度信息的方法。根据物体散焦程度越大图像越模糊的原理，利用在不同光学参 数下拍摄的两幅或三幅图像来确定散焦点扩散函数的扩散参数，根据散焦扩散参 数与物体距离的关系来进行深度计算。 散焦测距法与立体视觉和运动视觉相比，不需要在物体的不同图像中寻找对 3 基于灰度梯度的散焦图像测距算法的研究 应特征。由于图像的采集过程都保持同一方向，它消除了立体视觉和运动视觉的 遮挡问题。与对焦测距方法比较起来，它无需拍摄大量图像，操作运算都是对局 域图像进行的，且计算方法简单，运算速度快，所以可高密集地测量物体的深度。 1 3 散焦测距法 1 3 1 国内外研究进展 已有很多研究者研究利用图像模糊程度计算物体的深度问题。下面对这一领 域国内外的工作进行一下回顾： 1 9 8 7 年，p e n t l a n d 针对具有阶跃边缘的物体，首次提出通过图像模糊程度计 算物体的距离的方法( 即d f d ) ，假设成像系统的点扩散函数服从高斯分布，用 l a p l a c i a n 算子测量阶跃边缘图像的模糊程度，利用散焦扩散参数来计算物体距 离 5 】o 1 9 8 8 年，s u b b a r a o 和g u r u m o o r t h y 提出可以用线扩散函数的扩散参数表示 物体的距离，计算物体阶跃边缘的深度。他们在计算过程中，取消了点扩散函数 的高斯函数限制，只要求点扩散函数具有圆对称性，使p e n t l a n d 提出的方法能够 适用于更广泛的光学系到1 引。 p e n t l a n d 提出根据不同光学参数下得到的两幅图像恢复物体的深度信息的方 法，要求拍摄其中一幅物体图像的孔径光栏是针孔，以使物体图像在整个范围内 是清晰的，而另一幅图像则采用大孔径进行拍摄，然后分别将这两幅物体图像分 成很多对应的子图块，计算对应子图块在一个频带或多个频带内的信号能量，通 过对应位置的信号能量查找出物体的距离。这种方法的最大缺点是测量时采用了 针孔孔径，导致进入摄像系统的能量很少，使拍摄图像产生很大的噪声，严重影 响测量精度。 同年，s u b b a r a o 在研究p e n t l a n d 方法的基础上，取消了拍摄过程中针孔限制 的条件，通过假设系统的点扩散函数满足高斯分布，找出了系统光学参数无限小 变化和有限变化时，散焦扩散参数与光学系统参数变化之间的关系。随后，他将 该方法扩展到非高斯分布的散焦点扩散函数【1 4 1 。 4 基于灰度梯度的散焦图像测距算法的研究 上世纪9 0 年代早期，为了提高散焦测距方法的精度，e n s 和l a w r e n c e 提出 散焦测距的迭代矩阵方法：寻找不同光学参数的两幅散焦图像的卷积变换矩阵， 他们认为卷积变换矩阵代表了两幅散焦图像之间的“点扩散函数 ，通过计算这 个“点扩散函数 的扩散参数，估计出物体的深度分布【1 5 】。 1 9 9 2 年，s u b b a r a o 和w e i 认为点扩散函数的扩散参数为两幅图像的一维傅 立叶变换参数之比；在频域中，利用两幅散焦图像的频谱计算物体的深度，去掉 了p e n t l a n d 方法中拍摄散焦图像的针孔限制和点扩散函数先确定模型的约束条 件，其空间分辨率为1 2 8 1 2 8 像素，深度测量的均方误差为3 5 。 为了在频率域内精确估计出物体的深度分布，1 9 9 4 年，x i o n g 和s h a r e r 提出 采用矢量滤波来补偿散焦传递函数随着频率变化而造成的非均匀性。在频域中， 采用在两幅图像中占主体支配地位的频率来计算物体的深度【9 1 。 1 9 9 5 年，k l a r q u i s t 1 6 】等人提出了利用多张散焦图像作散焦测距的最大似然估 计的方法，这种方法与以往所有的散焦测量法都不相同，可以说是一个全新的散 焦测量法，可惜在他们的方法中不仅需要求出最佳成像点的位置，同时也因为未 知量数目增多而可能使估测值更容易受到噪声的影响。 1 9 9 5 年，w a t a n a b e 和n a y a r 认为散焦测距中采用l a p a l c i a n 和高斯算子不能 得到高精度的深度测量是因为这些滤波算子的频带宽度很宽，为了弥补这一不 足，提出通过设计宽带有理滤波算子得到精确的物体深度的方法，该方法可以达 到7 7 的空间分辨率，是被动散焦测距方法中空间分辨率比较高的。 1 9 9 5 年，r a ja g o p a l a n 和c h a u d h u r i 1 7 】将图像分成多个子图块，其中各相邻 子图块之间存在重叠，再以位移变动的区域作计算，解决因为点扩散函数p s f 在图像的临近区域间造成重叠的问题。1 9 9 8 年，他们在假设图像为自回归过程 的前提下，以c a r a m e r r a o 下限( c r l b ) x 8 l ，计算出散焦测距模型最佳化的相机 参数值。 1 9 9 9 年，s c h e c h n e r 和k i r y a t i 提出了使用灵敏度分析探讨使用圆柱状的点扩 散函数p s f 来估计误差与不同频率成分的关系，并提出了使基于散焦图像的测 距方法的估计更为精确的指导方向。但是他们的分析都只是针对如何调整相对模 5 基于灰度梯度的散焦图像测距算法的研究 糊的参数来让估计误差降到最低，并没有提到绝对参数如何影响d f d 的精确度。 此外，因为他们使用的p s f 适用于计算散焦程度较严重的图像，所以其分析结 果无法适用于轻微散焦的图像。而r a ja g o p a l a n 和c h a u d h u r i 所使用的p s f 虽然 较适用于轻微图像的失真，但是他们假设图像为自回归a r ( a u t o r e g r e s s i v e ) 模型 所产生，因此计算出来的c r l b 与图像内容相关。再加上他们仅提出计算机模拟 的一组数据，因此很难据此引伸出其它的用途。 综上所述，由国外众多研究者进行的研究，可以看出散焦测距相关研究的重 要性。近年来，国内也有学者从事散焦测距研究，但提出的各种d f d 算法仍然 具有很大的局限性，如要求目标物体形状规则 1 9 1 ，或要求目标景物必须有较为明 显清晰的边缘或纹理【刎。大多算法只根据目标物体边缘的模糊程度来估计景深， 并没有充分利用图像的二维信息。 1 3 2 散焦测距的主要应用 随着科学技术的发展，数字图像处理、模式识别、人工智能、神经网络、专 家系统和计算机视觉等相关技术的不断发展成熟为数字近景摄影测量提供了技 术上的保障。同时，高分辨率c c d 数码相机、摄像机的出现，不仅满足了解算精 度方面的需求，而且大大缩短了影像数据获取和传输时间，提高了工作效率。计 算机性能的提高、各种3 d 硬件加速设备、三维软件开发平台的发展为散焦测距 的发展提供了良好的软、硬件环境。 散焦测距方法已被广泛的应用于机器人视觉、智能交通、医学、工业检测、 目标识别等领域，并在这些领域具有十分重要的应用价值和广阔的应用前景。下 面介绍散焦测距的几种主要应用： 1 机器人视觉及自动导航f 2 1 1 移动机器人可同时获取某一场景的两幅图像，并以此恢复场景的三维信息， 利用这些信息来认识目标、识别道路、判断障碍等。自动导航装置将立体图像和 运动信息组合起来，与周围环境进行自主交互，这种技术已用于无人汽车、无人 飞机和无人战车等。实现在高速公路上具有道路跟踪能力，可避免与前方车辆碰 撞的视觉辅助驾驶系统。 6 基于灰度梯度的散焦图像测距算法的研究 2 智能交通f 2 2 j 安全车距预警系统：作为智能交通系统的重要组成部分，长期以来一直都受 到较高重视。一些国家研究了可实用化的车载设备，这些车载设备在计算机的控 制下，通过声音、图像等方式向驾驶员提供辅助驾驶信息，并可以自动或半自动 的进行车辆控制，从而有效地防止事故的发生。其中测距技术则是实现车辆安全 的关键。 智能车辆视觉导航：为了准确识别道路环境，视觉导航系统理应获得车辆前 方道路的三维信息，包括车辆与道路的位置关系和道路中障碍物信息。要正确的 理解三维世界环境，应该采用双目或者三目视觉系统，但是双目或三目视觉系统 需要的计算量较大，目前计算机的计算能力还不是以满足车辆导航系统的实时要一 求，并且也会提高系统成本。对于道路检测来说，需要获得道路方向和车辆与道 路的位置关系，丽不必要完全理解整个三维世界环境。采用双目视觉系统，一般 用于道路上的障碍物检测，可以获得图像的深度信息，如g o l d 视觉系统。目 前基于视觉导航的智能车辆多采用单目视觉系统完成道路检测及跟踪。采用单目 视觉系统检测道路，由于从三维的世界环境转换到图像的二维信息，在这个转换 过程中，损失了三维环境中深度信息。为了从单目视觉系统中获得道路的三维信 息，在一些合理的假设，如道路平坦假设、道路边缘连续性假设、道路模型假设 等的基础上，恢复深度信息。 3 医学图像分析【2 3 】 目前医学图像已经广泛用于医学诊断，成像方法包括传统的x 射线成像、 计算机层析c r ( c o m p u t e dt o m o g r a p h y ) 、核磁共振成像m r ( m a g n e t i cr e s o n a n c e i m a g i n g ) 、超声成像等，计算机视觉在医学图像诊断方面有两类应用：一是对图 像进行增强、标记、染色等帮助医生诊断疾病，并协助医生对感兴趣的区域进行 测量和比较；二是利用专家知识系统对图像进行分析和解释，给出诊断结果。 在很多情况下，医生需要知道患者某些部位的三维数据，比如人体整形手术 中，医生需要知道整形部位的三维数据，并对术前数字化进行修改，拟合出病人 术后的预期结果：而放射治疗中，知道肿瘤部位的三维数据可以帮助医生制定适 当的治疗方案。对远程手术和远程证实，三维显示也非常重要，尽管可以采用双 7 基于灰度梯度的散焦图像测距算法的研究 目立体视觉方法实现，但采用实时获得的三维数据是更为理想的方法。采用散焦 三维测量系统，可以从任意角度获得物体的三维数据，然后通过三维显示方法在 远程显示出来。 4 工业检测【2 4 】 当零件模型数据通过c a d 软件设计或对已有模型进行数字化后，通过不同 的生产方式和过程进行生产，最终得到的部件与原始模型之间的差异必须控制在 允许的范围之内，此时差异发生的位置和大小的精确确定需要对实际生产部件进 行三维测量得到。根据测量的数据，找出改进生产过程的方法，以满足设计要求。 例如，有些汽车厂家为检查车灯是否合格，利用数字相机对车灯进行实时拍照， 经三维重建后与设计模型相比较，最后确定其是否合格。 5 目标识别【捌 尽管针对物体的灰度和色彩进行识别已有大量的研究，但准确识别物体仍然 没有解决。由于物体是由三维信息组成的，由亮度信息和几何信息共同表示，可 以比较准确地识别物体，所以采用物体的三维信息进行目标识别是目前比较可行 的方案。 1 4 论文的主要研究内容 本论文研究了国内外主要的散焦测距算法，在s u b b a r a o 测距算法的基础上， 利用图像灰度梯度法，改进了散焦测距算法。本论文的具体安排如下： 第一章介绍论文研究的背景及意义，综述国内外散焦测距方法的研究进展， 分析该领域存在的问题，明确本论文的主要研究内容。 第二章介绍被动散焦测距的基本理论知识。介绍了点光源通过薄透镜的理想 成像模型。介绍了两种重要的成像分布函数，点扩散函数( p s f ) 和光学传递函数 ( o a f ) ，并讨论了影响图像模糊的因素。 第三章研究了两种经典的被动散焦测距算法，p e n t l a n d 的散焦测距算法和 s u b b a r a o 的散焦测距算法，并比较了它们的优缺点。 第四章根据图像的灰度与反射光亮度的关系，在s u b b a r a o 测距算法的基础 8 基于灰度梯度的散焦图像测距算法的研究 上，利用图像灰度梯度改进了散焦测距算法。通过详细的理论分析和，探讨了用 一幅散焦图像的灰度信息估计出物体深度信息的可行性。这是本论文的论述重 点。 第五章总结全文的研究工作，并对本文的进一步完善和后续研究工作进行了 探讨。 9 基于灰度梯度的散焦图像测距算法的研究 2 被动散焦测距的基本理论 2 1 点光源的理想成像模型髑1 空间三维物体上无数的点光源散发出的光线穿过相机镜头，落在成像平面上 形成了二维图像。为了描述其成像原理，先要分析一个点光源的成像原理，一个 理想点光源经过凸透镜的成像模型如下图所示。 凸透镜 、 。 f j一 、 i y ) - - 、 划， 。 ，一u 1 7 r 图2 - 1点光源的理想成像模型 在图2 1 点光源的理想成像模型示意图，厶是点光源p 发出的平行于透镜轴 心的光线穿过透镜后折向焦点的光线，也是点光源穿过透镜中心的光线，厶和乞 的交点就是点光源p 的理想聚焦成像点p 。设透镜的焦距为厂，点光源距离透镜 中心的距离( 即物距) 可用“o 表示，成像点p 距离透镜中心的距离( 即像距) 可用v o 表示，则可得透镜关系式如下： 111 一i 。一4 - 一 ，比ov o ( 2 - 1 ) 将c c d 图像传感器放在最佳成像点处时可得到点光源的成像最清晰。若己 知相机的焦距长度厂与最佳成像点对应的位置，则根据式( 2 1 ) ，就可以计 1 0 基于灰度梯度的散焦图像测距算法的研究 算出深度值u 。，如下式所示： 2 2 成像的分布函数 铲糟 1 ，。一， ( 2 2 ) 光学成像系统是信息传递的系统。光波携带输入图像信息( 图像的细节、对 比、色彩等) 从物平面传播到像平面，输出像的质量完全取决于光学系统的传递 特性。在一定条件下，成像系统可以看作空间不变的线性系统，因而可以用线性 系统理论来研究它的性能。对于相干与非相干照明的成像系统可分别给出其本征 函数，把输入信息分解为由本征函数构成的频率分量，研究这些空闽频率分量在 系统传递过程中，丢失、衰减、相移等等变化，即研究系统的空间频率特性或传 递函数。显然，这是一种全面评价光学系统像质的科学方法。 传统的光学系统的图像质量评价方法是星点法和分辨率法。星点法指检验点 光源经过光学系统所产生的像斑，由于像差、玻璃材料不均匀和内应力以及加工、 装配的工艺缺陷会使像斑不规则。很难对它作定量计算和测量，检验者的主观判 断将明显影响客观评价像质。分辨率法虽能定量评价系统分辨景物细节的能力， 但并不能对可分辨范围内的像质好坏给予全面评价。 为了改进分辨率评价方法，早在1 9 3 8 年弗里塞就提出改用亮度呈正弦分布 的分辨率板来检验光学系统。1 9 4 6 年杜弗提出用傅里叶方法分析光学系统，开 拓了新的成像理论。1 9 4 8 年塞德第一次利用通信理论方法分析并改进了电视摄 像管透镜组。这是光学传递函数的萌芽时期。 5 0 年代霍普金斯发展了杜弗的理论，完整提出了光学传递函数的概念和处 理方法。光学传递函数的概念从此得到普遍的重视，进入了迅速发展的时期。特 别是进入7 0 年代以后，由于大容量高速度数字计算机以及高精度光电测试技术 的发展，使光学传递函数的计算和测量日趋完善，并逐渐向实际应用推广。 传递函数法不仅是一种成像系统图像质量的评价方法，也是成像理论的重要 基础。 基于灰度梯度的散焦图像测距算法的研究 2 2 1 光学成像系统的点扩散函数( p s f ) 罔1 任何平面物分布砜，y 。) 都可以看作无数小面元乩，y o ) d x o d y g 组合而成， 而每个面元都可以看作一个加权的6 函数。对一个透镜或一个成像系统，如果能 清楚地了解物平面上任意一个面元的光振动通过系统后，在像平面上所得光振动 的分布情况，通过线性叠加，原则上便能求得任何物通过系统后所成的像。这里 的关键是求出任意面元的光振动所对应的像分布。当该面元的光振动为单位脉冲 ( 6 函数) 时，这个分布函数叫点扩散函数p s f ( p o i n ts p r e a df u n c t i o n ) ，或脉冲响 应。通常用矗瓴，y 。；而，y ；) 表示，它表示物平面上( ，) 点的单位脉冲通过系统 后在像平面上( 坐标为t ，y ；) 的光振动分布。一般说来它既是而，y i 的函数，也是 x o ，y o 的函数。 根据傅里叶光学理论，可以得到衍射受限系统的点扩散函数为 盹咖x p 一舞k 慨沁+ 一m y 渺 ) 蚴 p 3 ， 其中k 是与而，y 。；而，) ，。无关的复常数；p ，y ) 是出射光瞳函数，在光瞳内其 值为1 ，在光瞳外其值为零；喀是光瞳面到像平面之间的距离，它不是通常意义 下的像距，盔一般不等于从后主平面到像平面的距离。 如果光瞳相对于a 盔足够大时，则在无限大区域内尸 ，y ) 都为1 ，这样上式 就可以变为 ( 】，o ，y q ；鼍，y ) ak a 2 吐2 6 瓴一 西，咒一m y o ) ( 2 - 4 ) 上式表明，当可以忽略光瞳的衍射时，y 。) 点的脉冲通过衍射受限系统 后在像平面上得到的仍是点脉冲，其位置为而= m x o ，咒一m y 。这便是几何光学 理想成像的情况。 物乩瓴，y 。) 通过衍射受限系统以后像分布q ，咒) 是砜，y 。) 的理想像 1 2 基于灰度梯度的散焦图像测距算法的研究 以 ，咒) 和点扩散函数 f ，墨，儿) 的卷积。即 q 瓴，咒) = q 瓴，只) 木办瓴，魏) ( 2 5 ) 镜头成像系统模型在时间域可以用上式来表示。同样，它在频率域则可以用 光学传递函数来描述。 2 2 2 光学成像系统的光学传递函数( o t f ) 光学成像系统的成像特性在空域中由点扩散函数元( ，五，咒，来表示，在频率域 中则用矗r 五，) ，t7 的频谱函数川六，) 誊华违季筝的成像譬性。川正，) 饕叫做 光学成像系统的光学传递函数o t f ( o p t i c st r a n s f e rf u n c t i o n ) 2 9 - 3 1 。 光学成像系统的光学传递函数研正，) 是其点扩散函数 ( ，毛，y ；) 的傅里叶 变换，即 h ( l ，) 一f h ，y ；) 】 ( 2 - 6 ) 所以对于衍射受限系统，像分布瓴，y 。) 是砜，y 。) 的理想像哝瓴咒) 和点 扩散函数厅( ，而，y ；，) 的卷积在频率域则可以表示为 g f ( 无，) 一g g ( 正，) 日。( 正，) ( 2 - 7 ) 在这里，是像分布阢 ，y ；) 的傅里叶变换，q f 氕，厂y ) 是理想像( ，鼍咒) 的 傅里叶变换。 根据傅里叶光学理论，可以得到衍射受限系统的光学传递函数为 毗删= 丝篇一 仁8 ， 一般情况下光学成像系统对输入( 物) 的各种频率的指数基元的作用相当于 一个低通滤波器，低于某一频率的指数基元成分将让其按原样完全通过，而高于 基于灰度梯度的散焦图像测距算法的研究 该频率的指数基元成分将被截止。 根据傅里叶光学理论，光学成像系统的点扩散函数( p s f ) 等价于一个低通滤 波器，不同散焦情况下该滤波器的截止频率不同。聚焦越准确，滤波器的截止频 率就越高；反之，散焦越严重，滤波器的截止频率越低。在空域上，点光源成像 之后成为有一定大小的像斑，相邻像素之间互相影响；在频域上，高频分量的流 失造成图像细节的模糊。故一般情况下散焦程度可以用图像高频分量的损失来衡 量。 2 2 3 镜头成像系统分析 ，。真实景物经镜头成像后变模糊的原因是研究散焦测距的前提，下面具体分 析图像模糊的过程。 通常物体可以看作是呈二维分布的许多点光源，这样，物体通过镜头系统 的成像是分布在空间的p s f 光斑的叠加，因为由傅里叶光学理论可知，一个镜 头系统可以合理地近似为平移不变的线性系统，从而就可以把像描述为物体与光 学成像系统p s f 的卷积。 图2 ，2 是一个简单的等价光学镜头成像系统的示意图。物平面上的p 点经光 学镜头聚焦成像于p 点，而在像平面上则是一个圆斑。这样在像平面上入射光的 能量就不集中一点，而是散布于整个圆斑内，从而造成了图像的模糊。 图2 - 2 镜头成像系统示意图 由傅里叶光学理论对上面的这种现象分析，我们得到两点结论。第一，在这 1 4 基于灰度梯度的散焦图像铡距算法的研究 个圆斑内所有像素的灰度值几乎相等；第二，这个模糊图像的数学模型可以用理 想图像，( ，而y ) 和_ 个圆形函数c i r c ( x , y ) 的卷积来表示。假设该光学成像系统为 时不变线性系统，上面的卷积可以表示为： f 0 ，y ) x c i r c ( x ，y )( 2 9 ) 这里的圆形函数c i r c ( x , y ) 定义为 嘶，y ) 。净x 2 + y 2 s r 2 ( 2 1 0 ) 【0 ， 其它 为了得到更进一步的结果，我们在频域中分析上面的卷积公式：对函数 c i r c ( x , y ) 进行傅里叶变换后，在考虑了白光中各种不同波长的光波对图像畸变 的影响基础之一，则c 咖c ( ，五y ) 可以用一个二维的高斯点扩散函数h ( x ，y ) 来代替。 一个二维的高斯点扩散函数h ( x ，y ) 【3 2 】有如下定义： h ( x ，y ) = 去a 一( 等) 这里盯为与模糊圆圈的半径相关的扩散参数。仃越小，镜头成像系统就越 理想，图像就越清晰。理想的点扩散函数为6 函数，此时光学成像系统成像最清 晰。通过设置不同的盯值，可以得到聚焦程度不同的图像。图2 3 为仃一0 5 时的 三维高斯点扩散函数示意图。 从图2 3 可以看出，高斯点扩散函数类似于一个低通滤波器，光线能量的频 带宽度随着低通滤波器截止频率的增加而变窄，使得镜头成像系统到达像平面的 入射光高频成分损失的越多，图像就越模糊；相反，光线能量的频带宽度随着低 通滤波器截止频率的减小而变宽，使得镜头成像系统到达像平面的入射光高频成 分损失的越少，图像就越清晰。点扩散函数的确可以描述光学成像系统的成像特 性。对于散焦程度不同的数字图像，因此我们可以通过分析图像高频成分的多少 来判断图像的清晰与否。图像的高频分量丰富，图像就越清晰；图像的高频分量 基于灰度梯度的散焦图像测距算法的研究 少，图像就越模糊。 0 ：8 0 i 6 0 4 0 , 2 0 1 0 1 0 1 0 图2 - 3 三维高斯点扩散函数 2 3 二维图像中的三维信息口3 1 1 口 二维图像是三维世界中物体的二维投影。所以二维图像中必然存在很多线 索，可以用于三维解释【3 4 3 6 1 。 1 透视穿插：当一个目标遮挡住另一个目标时就出现穿插现象，这是遮挡 目标到观察者的距离比被遮挡目标的距离要近。可以利用已识别的目标或表面的 穿插现象，来计算目标间的相对深度。 2 透视缩放：是指目标的距离与它在图像中的大小成反比。缩放这个术语 专门用来比较与图像面平行的目标大小。比如当从很高的建筑物上观看下面的街 道时，距离地面越高，任何汽车就显得越小。因此目标在图像中的大小可以用来 计算该目标的三维深度。 3 透视缩短：在与目标轴成锐角的方向观察目标时，图像中的目标会出现 透视缩短现象。这提供了另一个线索，反映了二维视图与三维目标之间的关系。 在一幅二维图像中，还有更多其他的三维线索，比如纹理梯度，它常常能够 1 6 基于灰度梯度的散焦图像测距算法的研究 反映三维目标的距离或表面方向的变化；运动视察告诉我们近处目标的图像要比 远处目标的图像运动的更快一些；与较近的目标相比，远处的目标会带更多的青 色；由于目标和观察者之间空气的散射作用，图像可能显得不够明快等。 2 4 本章小结 本章介绍了散焦测距算法的基本理论。首先，从一个独立的点光源成像原理 出发，详细地介绍了散焦测距算法的理论基础。具体说明了光学成像系统的点扩 散函数( p s f ) 和光学传递函数( o ) 的概念，把模糊图像看作是清晰聚焦图 像与点扩散函数p s f 卷积的结果。随后，本章分析了镜头成像系统，介绍了物 体经镜头系统的成像过程及造成图像模糊的原因。最后讨论了2 d 周像结构和3 d 表面及目标间的关系，揭示了如何从二维图像中所反映出来的透视穿插、透视缩 放及透视缩短等特性中寻找到三维深度的信息。 1 7 基于灰度梯度的散焦图像测距算法的研究 3 散焦测距算法的研究 p e n t l a n d 和s u b b a r a o 的散焦测距算法是两种经典的测距方法。它们都是通 过改变摄像机的内部参数，得到同一场景的两幅散焦程度不同的图像，通过比较 两幅图像中对应点的散焦程度来估计二维图像中的深度信息。下面详细介绍两种 测距算法的基本原理。 3 1p e n t l a n d 的散焦测距算法吲 1 9 8 7 年，p e n t l a n d 首次提出单目视觉，为景深测量提供了一种新的基于散焦 图像的测距方法f 简称d f d ) ，为以后利用d f d 求景深的相关研究奠定了基础。 首先将摄像机镜头孔径调至最小( 针孔) ，取得第一幅图像，接着将镜头孔径放 大，取得另一张模糊程度不同的图像，并将模糊图像看作是聚焦图像通过高斯点 扩散函数p s f 的结果，利用逆滤波方法来估测物体的景深。 p e n t l a n d 提出了两种方法来实现景物深度图像的重建： 第一种方法是基于测量散焦图像的模糊边缘，该方法需要预先知道图像边缘 的位置和幅值大小。 第二种方法是调整镜头光圈大小拍摄散焦程度不同的2 幅图像，通过比较这 两幅图像并计算对应区域中的散焦变化，从而得到深度信息。 3 1 1 单幅阶跃边缘灰度图像测距的原理 图3 1 灰度阶跃变化的图像工( x ，y ) 1 8 基于灰度梯度的散焦图像测距算法的研究 如图3 - 1 所示，假设图像t ( x ，) ，) 在位置( ，y 。) 处有个阶跃的灰度变化，变 化值为。则图像i ( x ，y ) 的亮度定义如下： ，、f n + 占， 凯x o 时 m 卜 仇，主 而i i 仇，鄯 而h 习 令原图像与高斯点扩散函数做拉普拉斯卷积，所得值为c ( x ，y ) 。 即 c ( x ，y ) t v 2 ( g ( 厂，口) 0 ， ，) ，) ) ( 3 1 ) = 庐2 g ( 厢虿面可，。) i ( u ，y ) 如d v 。g d g ( x _ - x o 一, c r ) ( 3 - 2 ) 4 x 令- o ，贿c m 掣一南唧( - 吾) ， n r ：z 7 r 盯。iz 盯一j 取绝对值后两边取自然对数，可得： 令么一吉 n 南丢札i 掣l1 1 1 丽i 一虿岫l t 产l 肛h 南 则式( 3 4 ) 可写作： c 乩l 掣l a x 2 + b ，c ( 3 - 4 ) ( 3 5 ) 把a x 2 + bac 看作一个z 2 的线性回归方程，这样就能得到常量a 和b 的最 大似然估计为： ( # + ；2 ) q a ；兰= _ ：；_ 艺研+ 种 b ；石一；一 1 9 ( 3 6 ) 基于灰度梯度的散焦图像测距算法的研究 石是x i 的平均值，c 是e 的平均值。 1 因此，可以得到空间常量口的估计值为盯= ( - 2 a ) 一。有了的值，就可以利 用几何透镜成像公式来求出物体与镜头间的距离u 。 3 1 2 两幅不同散焦程度图像测距的原理及实现 上一种方法要求知道场景特性对图像的贡献，这就限制了它的应用范围。如 果有两幅相同场景的图像，测量就会相对容易一些。由于这两幅图像场景相同， 只有景深不同，也就避免了两幅图像中点对点的匹配问题。因为光圈不同会引起 聚