（通信与信息系统专业论文）立体图像压缩算法研究.pdf

摘要 立体图像技术是目前图像领域重要的研究方向之一。立体图像技术拥有非常 广阔的应用前景，在科研、军事、教育、工业、医疗、娱乐等诸多领域，都十分 重要的应用价值。通过立体图像人们可以观察到具有真实深度感的景物，就好像 物体都真实地摆在眼前。然而这种增加视觉真实感的代价是图像的数据量比单通 道时成倍的增加了。因此，对立体图像压缩编码方法是目前立体图像研究领域的 热点之一。虽然不断有人提出新的算法，但还没有一种算法得到该领域专家们的 公认，成为标准的立体图像压缩算法。 一幅立体图像是由两幅或更多幅的图像对组成，这些图像对间有很大的双目 相关性，存在大量的冗余，这就为压缩提供了很大的空间。针对这种相关性，本 文提出了一种立体图像的压缩算法，可以有效地压缩数据，对立体图像的传输和 存储有一定的参考价值。 本文首先对人眼视觉系统的特性和人类产生深度视觉的原因进行了论述。在 此基础上通过对人类视觉认知的研究，提取图像的拓扑特征。以拓扑特征为约束 条件提取立体图像对中左视图的特征点，依据特征点对左视图进行d e l a u n a y 三 角剖分，形成三角网。使用归一化协方差的方法在右视图上寻找特征点，并匹配。 然后依据匹配的左右视图特征点对左视图进行三角网格变形处理，重建出右视 图。最终，将左视图和重建的右视图合成还原出立体图像。 经过大量实验，根据数据和主观评价表明，本文提出的算法具有较好的效果。 立体图像在经过压缩处理后，解压缩还原出的立体图像仍有很强的立体效果，观 看无不适感，图像的轮廓特征几乎没有损失。 关键词： 拓扑特征特征点匹配d e l a u n a y - 触j y y 图像变形 a b s t r a c t s t e r e oi m a g et e c h n o l o g yi st h ef i e l do fi m a g e so fo n eo ft h ei m p o r t a n tt r e n d s s t e r e oi m a g et e c h n o l o g yh a sv e r yb r o a da p p l i c a t i o np r o s p e c t s ，c a i lb eu s e di n s c i e n t i f i cr e s e a r c h ，m i l i t a r y , e d u c a t i o n a l ，i n d u s t r i a l ，m e d i c a l ，c o m m e r c ea n dm a n y o t h e ra r e a s p e o p l ec a l ls e ear e a ls e n s ew i t hd e p t hb yt h es t e r e oi m a g e ，j u s tl i k es e e t h er e a lt h i n g s h o w e v e r , t h i si n c r e a s ei nt h ep r i c ei sr e a l i s t i cv i s u a li m a g e so fd a t a t h a nd o u b l e dt h ei n c r e a s ei ns i n g l e - a i s l e s o ，t h es t e r e oi m a g ec o m p r e s s i o nc o d i n g m e t h o di so n eo ft h eh o ta r e a s a l t h o u g hs o m eo fn e wm e t h o d sh a v eb e e nr a i s e d ，n o o n eh a sb e e nr e c o g n i z e db yt h ee x p e r t so ft h i sf i e l d ，b e c a m et h es t a n d a r dc o m p r e s s i o n m e t h o d as t e r e oi m a g ef r o mt w oo rm o r ep i e c e so f i m a g e so nt h ec o m p o s i t i o no f t h e s ei m a g e sa r ea m o n gt h eg r e a tb i n o c u l a rr e l e v a n c e ，t h e r ea r eal o to fr e d u n d a n c y s o ，t h e s ec a nb eu s e dt oc o m p r e s st h es t e r e oi m a g e t h i sp a p e rp r o p o s eac o m p r e s s i o n o fs t e r e oi m a g e ，h a ss o m ev a l u ef o rt r a n s m i s s i o na n ds t o r a g eo fs t e r e oi m a g e t h i sp a p e rf u - s te x p l a i nt h ec h a r a c t e r i s t i c so fp e o p l e sv i s u a ls y s t e ma n dt h e r e a s o no fv i s u a ld e p t h f r o mt h er e s e a r c ho fh u m a nv i s i o n , e x t r a c tt h et o p o l o g i c a l f e a t u r e so ft h el e f ti m a g e p r o c e s st h el e f ti m a g ew i t hd e l a u n a yt r i a n g u l a t i o nb a s eo n t h ef e a t u r ep o i n t s ，m a t c ht h ef e a t u r ep o i n t so ft h er i g h ti m a g e a n dt h e nm o r p ht h e l e f ti m a g eg e tt h er e b u i l dr i g h ti m a g e f i n a l l y ，an e ws t e r e oc o m p o s e db yt h el e f t i m a g ea n dr i g h t t h r o u 曲e x p e r i m e n t s ，a c c o r d i n gt od a t aa n ds u b j e c t i v ee v a l u a t i o ns h o wt h a tt h e m e t h o di se f f e c t i v e i nt h es t e r e oi m a g ed a t ac o m p r e s s i o na tt h es a m et i m e ，t h ed e p t h o fs t e r e oi m a g ei ss t i l ls t r o n g ，t ow a t c hw i t h o u td i s c o m f o r t ，i m a g ef e a t u r e st h eo u t l i n e o fa l m o s tn o 】o s s e s k e yw o r d s ：c h a r a c t e r i s t i c so f t o p o l o g y , m a t c h i n gf e a t u r ep o i n t s ，d e l a u n a y t r i a n g u l a t i o n , m o r p h i n g 英文缩略语表 英文缩略语表 l o g l a p l a c i a no fg a u s s i a n s u s a n s m a l l e s tu n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s u s a n - u n i v a l u es e g m e n ta s s i m i l a t i n gn u c l e u s l m e a r la b s o l u t ed i f f e r e n c e s s d a s i m i l a r i t ys e q u e n t i a ld e t e c t i o na l g o r i t h m h i 冲- h i g h e rr a n d o mp h a s e 【i 洲- m a g n e t i cr e s o n a n c em i c r o s c o p y f f d f r e ef o r md e f o r m a t i o n m f f d m u l t i l e v e lf r e ef o r md e f o r m a t i o n 6 7 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特另u 加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：名域 签字日期：2 t 7 d 男年6 月声日 学位论文版权使用授权书 本学位论文作者完全了解苤壅盘堂有关保留、使用学位论文的规定。 特授权墨奎盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：名夏砍导师签名： 辛裕育 签字日期：2l 7 ) g 年b 月s日 签字日期：如譬年f 月丁日 第章绪论 第一章绪论 人类获取的信息8 0 来自眼睛，1 5 来自于声音，这说明图像是人们生活中 信息交流最主要的载体，也是蕴涵信息量最大的媒体。正因为这点，图像也给人 们的信息交流、信息存储带来很大的困难。特别是数字化社会的今天和未来，这 一问题尤其突出。数字化信息具有庞大的数据量，给存储、传输及通讯等实际应 用带来了极大的不便及限制。因此，在许多应用场合，为了能够有效地存储和传 输数据，一个有效途径就是对图像编码压缩。用比原有图像少很多的数据近似表 示原始图像，以提高图像的存储率和传输率。 人们对图像质量的要求不仅仅满足于二维图像的表示，希望对图像的描述更 生动具体更真实。随着立体成像和显示技术的发展，也开始了对三维立体图像编 码压缩技术的研究。 1 1 立体成像原理 人类是如何通过双眼观察事物得到立体视觉感的? 这是困扰众多科学家很 长时间的问题。对于人类双眼的功能，从笛卡儿开始就对此有研究，牛顿也曾经 对双眼的视交叉作过猜测。直到1 8 3 8 年发明电桥的w h e a t s t o n e 发明了立体镜。 让人从右眼看到右边镜下的照片，左眼看到左边镜下的照片。结果人居然看到了 实实在在的、有深度的景物。镜下的照片，左边是从左侧拍摄的，右边是从右侧 拍摄的。这两张照片就像人的双眼从稍有不同的两个角度去“拍摄”。它们并不 完全一样，而是像点在两张照片上有水平错位。它的存在才是人真实深度感知的 原因。因此，w h e a t s t o n e 找到了使人类获得立体视觉感的重要因素之双目 视差【l j 。1 8 6 6 年，h e l m h o l t z 2 j 在研究中发现了使人体具有立体视觉感的另一重要 因素运动视差，即头部在运动时会看到同一物体的不同映像。自此，一个崭 新的视觉研究领域向人们展开。 视差使人产生立体视觉感，是因为人的两眼之间的平均距离约6 5 m m 【3 】，观 察物体的角度稍有不同，即左眼看到的物体与右眼看到的同一物体之间有细微的 差别，因此描述场景轮廓的方式也不尽相同。大脑根据这两个有细微差别的场景 进行综合处理( 生理融合作用) ，产生精确的三维物体感知以及该物体在场景中的 定位，这就是具有深度的立体感。立体成像系统的工作就是对每个场景至少产生 两幅图像，一幅代表左眼所看到的图像，另一幅代表右眼所看到的图像，这两幅 第一章绪论 有关联的图像称为立体图像对，见圉l l hj 、t 。慝 图1 - 1 立体图像对 通过提取左视图与右视图的差值，可以得到视差图。它是一幅图像的近似轮 廓线。这一幅差值图像包含立体视差相关信息。从图1 - 2 中可以看出，左右视图 的图像数据具有高度的相关性。如果视差图是一幅0 值( 全黑) 的图像，这也就 表明左右视图完全一样。根据人获得立体感的原理，这样的一对图像是不可能让 人获得立体感的。 图卜2 视差图 第一章绪论 12 立体图像显示技术 立体显示技术就是根据人类的立体视觉原理，将左视图传给左眼右视图传 给右眼，从而使人获得立体视觉感。 按照复用方式划分，立体显示技术可分为空间复用方式和时间复用。 空间复用方式中，立体图像对同时显示在屏幕上，通过一些特殊的手段( 例 如，极化偏光眼镜、彩色滤光日b 镜等) ，使双眼分别同时观看到不同的图像，从 而获得立体感州。 时间复用方式中，立体圉像对轮流显示在屏幕上，通过一些特殊的手段( 例 如，l c d 开关眼镜等) ，使取眼时分地先后观看到不同的图像，从而获得立体感 躅。 根据在观看时是否需要使用辅助视具，立体显示技术又可分为戴眼镜立体显 示和不戴眼镜立体显示。其中，戴眼镜立体显示方式包括立体眼镜和立体头盔显 示器，如图l 一3 所示；不戴眼镜立体显示方式包括双视点立体显示方式和多视点 立体显示方式，如图1 _ 4 所示。根据产生立体感的原理不同，多视点立体显示方 式又分为平板显示方式和体积显示方式。 从光学原理上讲，不戴眼镜的立体显示方式利用了各种光学表面，无需眼镜 即可观看立体图像，因此被称为自由立体( a u n s t 口伽s c o p i c ) 显示方式n 够童一 自移 图13 戴眼镜立体显示辅助设各 第一章绪论 翩震 a 视差狭缝光栅b 棱柱镜光栅c 菲涅尔透镜 黑；8 1 1 一：一7 一。 d 点阵列光栅e 可变彩屏幕 f 全息屏幕 图1 4 不戴眼镜立体显示设备 1 3 立体图像压缩编码技术 立体图像由左右视图组成，视图间具有根强的双日相关性，立体序列由左视 和右视序列组成除了每个图像序列中存在的空间和时间相关性外，左右视图流 间通常有高度的交叉相关性，所以在立体图像编码中，除了去除序列的时空冗余 度外，进一步利用双目交叉相关性，能有效提高编码效率网。 1 3 1 几种主要的立体图像压缩编码技术 独立编码立体图像左右视图的低效性体现在不能有效去除两视图之间的交 叉冗余度，高效的立体图像编码方法希望能进一步去除两视图间的交叉冗余度。 目前已有的立体图像编码方法主要分为和一差法、全局移位法、视差估计辟 偿 法和基于对象的编码方法。 ( 1 1 和一差法 和一差法是最早提出的立体图像编码算法，该方法的理论依据是；如果左右 视图具有相同的一阶或二阶统计特性，立体视图对的和与差是不相关的从而可 去除交叉冗余度。另外一种等价于和一差编码的方法是对立体图像对进行三维余 弦变换闭。然而，立体对的和与差并非不相关，随着视差值的增大，这种编码的 性能不断降低。 r 2 1 全局移位法 全局移位法是对和一差法的改进算法。将其中一副图像水平移动到使两副图 像的交叉相关性选到最大的位置，与另一副图像相减以去除冗余度，然后对差值 第一章绪论 图像进行编码【9 】【1 0 l 。全局移位法是基于场景中的物体具有相似的视差值的假设， 所以对于不同物体有不同视差的图像全局移位法并不是很有效。 ( 3 ) 视差估计辟 、偿法 l u k a c s 首先提出了视差补偿预测的概念【l i 】，y a m a g u c h i 随后对立体图像视差 与预测编码进行了进一步理论分析。视差补偿的目的是：通过估计立体视图对中 物体的视差以去除立体视图对之间的交叉冗余度。视差补偿编码的基本方法是， 首先对立体图像进行视差估计，求出视差矢量场，然后根据视差场找到目标图像 各像素点或各部分在参考图像中的同名点或对应部分，以其作为目标图像的预测 值，预测图像与原图像的差称为残差图像。用这种方法场景中不同部分有不同的 视差，编码效率高于和一差法和全局位移法。 ( 4 ) 基于对象法 作为m p e g - - 4 独有特色的基于视频对象的编码，其核心思想是：将用户感 兴趣的对象从场景中分割、提取出来进行单独编码、分配给较多的码流，对其余 不重要的部分给予较少的码流，以显著提高编码效率。基于对象法在单通道视频 编码中已经得到深入研究【1 ”，但在立体图像编码中的研究还很有限 1 4 】。视频 对象的分割和提取是基于对象法的关键问题，但这在单通道基于对象编码中就是 一个未得到很好解决的问题，对于立体图像编码来说更是新兴的研究课题。 1 3 2 立体图像对和单通道视频序列的比较 立体图像对是由两台或更多的摄影机按照大约6 5 m m 间距水平分布同时拍摄 相同物体进而根据显示方式合成出的图像。它们之间存在较高的交叉相关性。单 通道视频序列是一台摄像机在一段时间内拍摄的图像序列，序列中的各图像间存 在着较高的时间相关性。立体图像对间的相关性和单通道视频序列中的相关性是 很相似的，立体成像也被认为是对基本单通道系统的扩充。但事实上，由于立体 图像对与单通道视频成像机理不同，两者还是存在很大的差异： ( 1 ) 视差补偿的效率低于运动补偿的效率 对于采用低比特率编码的典型视频序列，一般情况下，除了有少许的场景移 动外，背景在帧与帧之间不移动，可以认为背景是静止的。所以只是将运动对象 模型化为纯粹的移动，而且运动对象在相邻帧间的运动量也不大。相比较，立体 图像对中每个对象，不管是静止对象还是运动对象，都有视差位移，而且还可能 有比较大的视差位移。所以立体图像视差补偿性能比单通道视频的运动补偿性能 低。 ( 2 ) 像素点在匹配图像中的亮度性质不同 在块匹配方法中，均方误差准则( m s e ) 及均方绝对差准则( m a e ) 等， 第一章绪论 均假设沿匹配位移量，两幅图像的对应像素点的亮度恒定。在单通道视频序列中， 这个假设的含义是指图像中某点在各帧中的投影亮度不变；而对于立体对，则是 指该点在左右视图中的投影亮度不变。这个假设在单通道视频序列中一般是正确 的，但在立体图像对中却不一定成立。因为立体图像对用两个相机拍摄，摄像机 相对于场景的位置对于吸收物体反射光照的程度不一样，这是造成立体图像对中 同一物体的亮度变化的主要原因。所以，用和运动估计中相同的准则来找视差匹 配点必然会引起不准确的匹配。 1 4 本文的主要贡献和论文结构 本文主要对立体图像的压缩编码算法作了分析和研究，提出了一种立体图像 压缩算法。首先通过对人类视觉认知特性的研究，根据图像的拓扑特征提取左视 图的特征点。然后使用归一化协方差的方法对左右视图对进行特征点匹配。根据 提取出的左视图特征点对图像进行d e l a u n a y 三角剖分，并依据右视图匹配的特 征点对左视图进行三角网格变形，重建出右视图。最终，将左视图和重建的右视 图合成立体图像。经过大量实验，得出此算法具有较好的效果，观察得出还原出 的立体图像有很强的立体感，几乎没有失真。本文对立体图像的数据的存储与传 输研究有着一定的参考价值。 本文所有实验都是在m a t l a b 软件环境下完成的。实验所用立体图像为双视 点立体图像。最终生成的立体图像效果通过由天津市三维显示技术有限公司生产 的3 d c e 5 计算机立体成像驱动器和l c d 开关眼镜观察得出。 第二章从生理学、几何光学以及心理学等不同的角度剖析人眼获得立体感的 原理。介绍了双眼视差、p e n a m 融像区等概念。 第三章从人类视觉认知生理学和心理学的方面分析了图像拓扑特征的重要 性，并且在图像边缘检测的基础上，根据边界能量的统计学特性提取了左视图的 拓扑特征。 第四章基于图像的拓扑特征提取了左视图的特征点，并对立体图像对的右视 图匹配特征点。 第五章根据提取的特征点对左视图进行d e l a u n a y 三角剖分。 第六章对剖分出的三角网格和匹配的特征点对左视图进行图像变形，重建右 视图。 第七章通过一个实例完整地描述了本文提出的立体图像压缩算法。实验结果 表明，本算法具有较好的效果。 结束语对本文的工作进行了总结，同时指出了不足及需要努力的方向。 6 第二章立体视觉特性 第二章立体视觉特性 人类通过双眼观察到了客观事物，获得了立体视觉感。研究立体成像显示技 术就要依赖于对人类视觉系统的研究。因此，从多方面研究人类的立体视觉特性 是很有必要的。 2 1 生理立体视觉 生理立体视觉 1 5 】是由人眼生理构造、双眼会聚和双眼视差等因素构成的立体 视觉，不同的生理立体视觉因素将对立体成像产生不同的影响。 2 1 1 人眼基本结构 图2 1 是人眼横截面结构图i l 引。人眼是一个复杂而精密的光学系统，眼睛的 前面覆盖着称为角膜的透明表面，其余部分的外层称为巩膜。巩膜是一层包含毛 细血管的组织，它是由纤维质外层组成，包围着脉络膜。脉络膜是视网膜外面包 围着的一层黑色膜，作用是吸收透过视网膜的光线，避免光线在眼内多次反射。 进入角膜的光线通过一个在肌肉的控制下改变形状以完成对远处和近处物体正 确聚焦的晶状体聚焦在视网膜表面上。虹膜位于晶状体的前面，中央是瞳孔。瞳 孔可以随着外界环境亮暗的程度调整大小，起到控制进入眼睛的光线数量的作 用。角膜、虹膜和晶状体共同包围的空间称为前室，其间充满了眼房水。晶状体 后面的后室空间充满了被称为玻璃体的透明液体。视网膜位于后室的内壁，由棒 形接收器和锥形接收器组成。棒形接收器是长条形的，而锥形接收器在结构上一 般比较短和厚。这两种接收器有重要的作用上的区别，棒形接收器对于光线比锥 形接收器更敏感。在亮度比较低的情况下，棒形接收器提供被称为微光视觉的视 觉相应，锥形接收器则相应高亮度的光线。它们的响应被称为适应性视觉。一只 眼睛包含大约6 5 0 万个锥形接收器和大约1 亿个棒形接收器分布在视网膜上。视 网膜由视锐度极为敏锐的中央凹区、视锐度略差的黄斑区、以及只对运动图像敏 感的周边区构成。在中央凹处密集着大量感光细胞，是视网膜上视觉最灵敏的区 域。外界景物经过晶状体调节之后，总是在视网膜的中央凹和黄斑区形成清晰的 图像，分布在视网膜上的视神经会聚在盲点并以神经束的方式将视觉信息传递到 大脑视区。盲点是神经纤维的出口，因为没有感光细胞，所以在盲点上没有视觉。 7 第二章立体视觉特性 当在特定距离观察一个物体时，眼睛的睫状肌会调节晶状体的届度，尽可能 使影像落在视雕曦的中央凹上，以保证呈现在视网膜影像的清晰。看远物时晶状 体较扁平，而看近物时较凸起，人眼的能使被观察的对象在视网膜上清晰成像的 功能称为晶状体调节功能。在没有其它深度线索时，这种晶状体调节功能给大脑 提供了估计和判断物体距离的生理信息，即晶状体调节可以提供一种生理深度暗 示，但是晶状体调节所提供的信息只限于距眼球2 m 范国内才是有效的，属于近 距离的生理深度暗示。 i 、 2 12 双眼会聚 图 1 人眼的结构 人通过两只眼睛来观察物体时，两眼的视轴会在被观察物体的某点上相 交，该点的视像就会落在两只眼睛中央凹的位置上，即落在两只眼睛的相应点上， 这就是双眼会聚。其中，双眼视轴的交点被称为会聚点两视轴的夹角被称为会 聚角，会聚点到两眼晶状体中心连线中点的距离被称为会聚距离。当物距发生变 化时，会聚角的丈小随之改变，而会聚角大小的改变依赖于眼球的六条井部肌肉 的协同运动，这些动觉信号传到大脑，便构成一种深度线索。在观看近距离物体 时，视轴趋于集中；在观看远距离物体时，视轴趋于平行。双眼的会聚角及眼肌 的紧张程度与被观看物体的距离形成了一定的关系。大脑可以根据眼肌的紧张程 度和会聚情况来判断被观看物体与人眼之间的距离，即积眼会聚也可以提供一种 生理深度暗示。然而，同晶状体调节一样，双眼会聚作为距离线索仅在l o i n 内 有效一旦超过这一距离，双眼视轴接近平行，双服会聚就不再是有效的深度线 & 第二章立体视觉特性 索。 2 1 3 双眼单视区 1 8 5 8 年p e r t a i n 发现，在视区由于视差而引起复视( 即不能把该物体在左、 右眼两个视网膜上形成的像在大脑中融汇成单一的视觉) 的最远端和最近端之间 有一个区域受生理过程的作用，双像成为一个单像。后来这个区域被称为p e n a m 区。这是双眼视觉的单像融合区。p e n a m 区说明并不是所有的在两个视网膜上形 成的含有双眼视差的图像都能在大脑中形成单一的立体视觉，只有满足一定取眼 视差条件的图像对才能被融合成单一的立体图像。因此为了获得最佳的立体图像 效果，必须控制全部景物的双眼视差使其构成的两个图像能够在大脑皮层中融合 成单一的图像。 2 14 双眼视差 双眼视差是使人类产生立体视觉的最主要因素，是知觉立体物体和分辨物体 前后距离的重要条件，借助双眼视差可以比借助晶状体调节、双眼汇聚更准确地 知觉立体信息。两眼的视野发生重叠是产生双眼视差的重要基础。虽然在双眼视 野中的物体两眼都能看到，但是由于人的两只眼睛相距约6 5 r a m ，物体在两眼视 网膜上的影像并不是完全重叠的，这些不重叠信息通过从视网膜出来的视神经到 达视交叉，在视神经交叉处进行半交叉( 颥侧的一半视神经纤维到同侧，鼻侧的 一半通过视交叉后到对侧) ，然后传至脑的外侧膝状体形成突触。 熏 r i 二 图2 - 2 视觉信号解剖学上的传输路径 第二章立体视觉特性 如图2 2 所示，对于两只眼睛而言，左视野的景物正好投射到左眼视网膜的 鼻侧和右眼视网膜的颢侧，于是这就全部到了大脑的右半脑皮层。而右视野的景 物正好投射到右眼视网膜的鼻侧和左眼视网膜的颞侧，于是这就全部到了大脑的 左半脑皮层。半交叉使得来自两眼相应区域的输入到达大脑的同一位置，这为双 眼视差提供了生理基础。 双眼视差包括水平视差和垂直视差，其中，仅有水平视差对深度知觉起作用， 垂直视差对深度知觉不起作用。如果两幅图像的垂直视差过大，超出了人眼能够 调节和适应的范围，就会造成很大的不舒适感【1 7 1 。 图2 3 表示了双眼视差的几何学原理。视轴在f 点辐合，p 点置于f 点后一 定距离上。f 点影像的双眼视差是零，因为f 点的每个影像都处在中央凹。如果 c o 是f 点的辐合角，秒是p 点的视夹角，用视夹角表示p 点影像的水平视差7 7 就 是c o 一护，如果用近似值表示，那么： 刁a d d 2( 2 一1 ) 其中，d 为点f 到双眼瞳孔平面的距离，d 是f 和p 点间的距离，a 是两 眼间的距离。 p 图2 - 3 双眼视差 双眼视差是最强烈的生理立体视觉暗示，在距离较近时双眼视差的深度分辨 率较高。当观看的物体距离变远时，双眼视差的深度分辨率随之下降。双眼视差 与深度分辨率之间的关系表达式： l o +，。孵i争，。d。，。，。o 第二章立体视觉特性 甜。n ( a - d ，k 。 其中t 仉血f f i ! 4 5 4 l o 。( r a d ) ，为3 0 立体视锐度t 口f f i 6 5 口n t 为双眼瞳距- 2 2 心理立体视觉 心理立体视觉是人类长期对自然景物进行观察而得到的一种立体视觉记忆 和立体视觉经验i l q ，依靠这种视觉记忆和经验，我们能够从平面图像中提取出物 体间的相对位置和相对深度。心理立体视觉主要是由遮挡、阴影、几何透视、结 构级差等因素构成。 遮挡是指一个物体麓蔽了另一个物体的一部分，我们可以通过遮挡来判断深 度秩序，但不能判断事物闻的距离。遮挡在前面的物体被知觉为近些。图2 _ 4 说 明了遮挡提供的深度暗示。 图2 - 4 遮挡提供的深度暗示 阴影是另一种较强的心理深度暗示。阴影是由不透明或半透明物体的阻碍所 引起的表面照度的变化。物体投射在自己上面或是投射到其它物体上的阴影被称 为分离阴影。分离阴影可以作为物体和它所投射到的表面闻相对距离的线索。图 2 - 5 说明了这种阴影提供的深度暗示【l q 。当球和它的阴影同时沿着对角线从左移 向右边，球看似贴若表面在移动，且越变越大；当球沿着对角线移动，而它的阴 影水平移动时，球看似慢慢地离开了表面，并且维持同样的太小。 么主至至丢主垂 雩荔酵箬专 圈2 - 5 阴影提供的深度暗示 第二章立体视觉特性 几何透视是指平面上的刺激物，根据视角原理，近处的对象面积大，占的视 角大，看起来较大；远处的对象占的视角小，看起来较小。几何透视视日常生活 中最常见的心理立体视觉暗示。几何透视主要包括直线透视、大小透视、视野中 高度、纹理梯度。图2 - 6 说明了几何透视提供的深度暗示。 图2 - 6 透视提供的深度暗示 当人们观察含有某种结构纹理且与视线不垂直的大表面时，随着距离的增加 会产生近处稀疏和远处密集的结构密度级差。这种结构密度级差给出了距离视觉 的线索。距离近，物体的结构容易分辨；距离远，物体的结构不容易分辨。 2 3 本章小结 本章首先从生理学的角度分析了人类立体视觉的影响因素，主要有晶状体调 节、双眼汇聚、双眼视差。然后又从心理学角度阐述了人类立体视觉，介绍了遮 挡、阴影、几何透视和结构级差这几个心理立体视觉的影响因素。 1 2 第三章拓扑特征提取 第三章拓扑特征提取 特征提取位于生物视觉感知过程的初级阶段。本章先从知觉的角度出发，将 特征提取放到认知科学的研究领域来讨论。然后再介绍一下边缘检测，最后具体 分析拓扑特征提取理论。 3 1 知觉 知觉是人脑对客观事物整体属性的反应。长期以来，科学家们对知觉领域进 行了大量的研究。对于知觉的基本问题，知觉究竟是直接的刺激信息整合还是经 验参与的间接的信息组织和解释，一直是研究者们争论的重点。下面分别对直接 知觉和间接知觉这两个方面做一下介绍。 3 1 1 直接知觉 直接知觉，即认为知觉只具有直接性质。直接知觉的思想最早来源于g e s t a l t 心理学，它的主要观点是：人们的知觉是对事物整体的反映，并不是对各部分的 简单总和。知觉具有独立于网膜影像之外的整体属性，g e s t a l t 心理学把这种整体 属性称为“完形”，以往研究表明这种“完形似乎是先天的，这也就是说知觉 过程是内在的或无意识的，它可能h 很z 少受到人的各类观念的影响。 在g e s t a l t 心理学的基础上，g i b s o n 提出了直接知觉理论。他指出知觉是人 与外界接触的直接产物，它是外界物理能量变化的直接反映，不需要思维的中介 过程。自然界的刺激是完整的，可以提供丰富的信息，人完全可以利用这些信息， 对作用于感官的刺激产生与之相对应的直接知觉经验。例如：由一个景物的光线 分布形成的可靠线索可以直接为深度和距离知觉提供信息。自然环境中不同大小 和位置的物体受到来自各种方向的光线照射，同时这些物体又反射出不同的光 线，因此人在任何一个位置，观察周围空间时，都是有其特定的光线分布的，在 周围空间每一点上的光线分布都含有一定的差别。比如说，日常生活中，当一个 人站在一条砖路上向远方眺望时，近处的砖会显得大而清晰，远处的砖会显得小 而模糊。这种近处稀疏、远处密集的光线结构显示出表面介质的密度级差，而且 随着视线通向远方，砖的网膜影像变小，视网膜单位面积所包含的砖的数目增加， 也显示出同样的密度变化。换句话说，光线分布的结构或表面质地的密度与物体 第三章拓扑特征提取 的网膜影像都是按照视角规律变化的，因此人可以直接知觉距离。 知觉具有直接特性，在某种程度上来说，这一点是毫无疑问的，因为如果在 没有客观刺激的情况下，人们自动地产生了知觉，那这一定是幻觉，但是直接知 觉论过分地强调了知觉的刺激驱动性，未注意到知觉也会受到已有经验的影响， 所以在二战后，这一理论开始受到越来越多的批评，心理学家们转而开始关注间 接知觉论。 3 1 2 间接知觉 早在1 9 世纪中叶，h e l m h o l t z 就提出了知觉经验论，他认为所有的视知觉都 源于我们过去的视觉经验，他甚至把瞬间完成的无意识知觉称为是一种视觉习 惯。一个多世纪后， b n m e r 和g r e g o r y 发展了这一知觉经验论，他们认为过去 经验的最主要功能是提供假设，而知觉是一种包含假设检验的过程，人在知觉时， 接受感觉输入，在已有经验的基础上，形成当前刺激是什么的假设，人们可以重 复地形成和检验假设，直到验证了某一假设，才算完成对感觉信息的知觉组织。 他们的观点在后来被称之为假设检验说。 总地来说，间接知觉理论认为刺激本身的信息是模糊的、不完整的和不能对 外界事物进行全面描述的，所以个体必须在过去经验的基础上，对刺激信息作出 推断、评价和解释，才能实现对刺激的真正知觉。 3 1 3 直接知觉与间接知觉的比较 在当代认知心理学中，直接知觉和间接知觉间的争论常被描述为自下而上和 自上而下加工之间的对立。自下而上加工是指由外部刺激开始的加工，而自上而 下加工则指由有关知觉对象的一般知识开始的加工。l i n d s a y 和n o r m a n 将自下 而上加工称为数据驱动加工，而将自上而下加工称为概念驱动加工。直接知觉论 只讲究自下而上加工，而间接知觉论则讲究自上而下和自下而上加工相结合，即 刺激信息和内部经验的匹配。 今天的心理学家，绝大多数都已经承认，自上而下和自下而上的加工同时并 存于人类的知觉过程之中；也就是说，并不存在纯粹的直接知觉或纯粹的间接知 觉，所有知觉都是直接和间接一体两面的过程。这就是为什么看上去直接知觉论 和间接知觉论都能够获得部分实验支持的原因之一；而另一部分原因，则要归于 这些实验在具体设计上的不同。 1 4 第三章拓扑特征提取 3 2 边缘检测 边缘是图像最基本也是最重要的特征之一，是图像中灰度发生急剧变化的像 素的集合，两个具有不同灰度值的相邻区域之间总存在着边缘。图像边缘是图像 最基本的特征之一，边缘检测是图像分割、目标区域识别、区域形状提取等图像 分析方法的基础，在工程应用中有着重要的地位。根据灰度变化的特点，可将边 缘分为阶梯型、屋顶型和脉冲型三种类型【2 0 1 ，如图3 1 所示。对于阶梯型边缘， 灰度变化曲线的一阶导数在边缘处呈现极值，而二阶导数在边缘处呈现零交叉； 对于屋项型和脉冲型边缘，灰度变化曲线的一阶导数在边缘处呈现零交叉，而二 阶导数在边缘处呈现极值。 阶梯型边缘 厂 _ j i 一 屋顶型边缘脉冲型边缘 图3 1 灰度边缘类型 由于边缘是图像上灰度变化最剧烈的地方，传统的边缘检测就是利用了这个 特点，对图像各个像素点进行微分或求二阶微分来确定边缘像素点。一阶微分图 像的峰值处对应这图像的边缘点；二阶微分图像的过零点处对应着图像的边缘 点。根据数字图像的特点，处理图像过程中常采用差分来代替导数运算，对于图 像的简单一阶导数运算，由于具有固定的方向性，只能检测特定方向的边缘，所 以不具有普遍性。为了克服一阶导数的缺点，定义图像的梯度为梯度算子： r 3 1 ya f三 g e f ( j ，后) 】= ( ) 2 + ( 寻) 2 】2 ( 3 1 ) 够 伽 它是图像处理中常用的一阶微分算法，式( 3 1 ) 中f ( j ，k ) 表示图像的灰度值， 图像梯度的最重要性质是梯度的方向是在图像灰度最大变化率上，它恰好可以反 映出图像边缘上的灰度变化。 边缘检测算子是利用图像边缘的突变性质来检测边缘的。它的基本思想是利 用边缘增强算子，突出图像中的局部边缘，然后定义像素的“边缘强度”，通过 设置阈值的方法提取边缘点集。图像的边缘检测一般分为以下四个步骤： l 入 第三章拓扑特征提取 ( 1 ) 滤波：边缘检测算法主要是基于囱像强度的一阶和二阶导数，但导数 的计算对噪声很敏感，因此必须使用滤波器来改善与噪声有关的边缘检测方法的 性能。需要指出，大多数滤波器在降低噪声的同时也导致了边缘强度的损失，因 此边缘增强和降低图像噪声之间需要取得一种平衡。 ( 2 ) 增强；增强边缘的基础是确定图像中各点领域强度的变化值。增强算 法可以突出领域强度值有显著变化的点。边缘增强一般是通过计算梯度幅值来完 成的。 ( 3 ) 检测；在图像中有许多点的梯度幅值比较大，而这些点并不一定都是 边缘，所以应该用某种方法来确定哪些点是边缘点。最简单的边缘检测判据是梯 度幅值闺值判据叫。 ( 4 ) 定位：确定边缘所在的像素如果要更加精确地确定边缘位置，也可 以在子像素分辨率上来估计边缘位置，边缘的方向也可以被估计出来阱】。 常用的边缘检测分为两种类型田l ；一种是以一阶导数为基础的边缘检测算 子，通过计算图像的梯度值来检测图像边缘，如：r o b e r t s 算子、s o b e l 算子、p r e w i n 算子；一种是以二阶导数为基础的边缘检测算子，通过寻求二阶导数中的过零点 来检测边缘，如：l a p l a c i a u 算子、l o g 算子、c a n n y 算子。下面简要介绍一下 这些算子，并使用这些算子对图3 - 2 进行边缘检测。 3 2 1 一阶微分算于法 图3 - 2 原始图像 应用较多且典型的几种一阶微分算子方法：r o d c a s 算子、s o b e l 算子、p r e w i t t 算子都是利用了检测梯度最大值的方法。 3 21 1r o b e r t s 算子 r o b e r i s 边缘检测算子是一种利用局部差分运算来寻找检测边缘的算于。它的 1 6 第三章拓扑特征提取 算子表达式为： g ( i ，力= ( 【万丽一7 再i 了面r + 昕虿石历一7 砑而抨 ( 3 2 ) 也可近似表示为： g ( i ，) 爿，( f ，d f ( i + l ，+ 1 ) i + f ( i + l ，力一f ( i , j + 1 ) i ( 3 3 ) 用卷积模板表示该公式为： g 饥，) 爿ql + i q ( 3 4 ) 其中g t 和g ，由下面的模板计算： q = b 匀q = 巴目 ， 信用r e h e r t s 篁千讲行曲德格涮的结娶加固3 - 5 所示 图3 - 3r o b e r t s 算子的边缘检测 r o b e r t s 算子边缘定位精度较高，但易丢失一部分边缘，同时由于拄经过圈 像平滑计算，因此不能抑制噪声。该算子对具有陡峭的低噪声图像相应最好。 3 2 12s o b e ! 算子 s o b e l 算子的表达式为： 研f ，j 】= i f ( i - 1 ，j + 1 ) + 2 f ( i ，+ 1 ) + ，o + 1 ，j + 1 ) - f ( i l ，j 1 ) 一2 f ( i ，j 1 ) 一f ( i + l ，j 1 ) i + i f ( i l ，一1 ) + 2 ，( f l ，j ) + f q 一1 ，+ 1 )( 3 - 6 ) - f ( i + l ，j 一1 ) 一2 f ( i + 1 ，j ) 一f ( i + l ，+ 1 ) l 它由图3 4 所示的两个眷积核形成。图像中的每一个点都是与这两个核做卷 积，一个核对垂直方向的边缘响应最大，另一个核对水平方向的边缘响应最大。 两个卷积的最大值作为该点的输出值。s o b e l 算子很容易在空间上实现，对噪声 具有平滑作用，受噪声影响较小，可提供较为精确的边缘方向信息，但同时也会 检测出许多伪边缘，检测到的边缘宽度鞍粗，边缘位置定位精度不高。使用s o b e l 第三章拓扑特征提取 算子进行边缘检测的结果如图3 - 5 所示。 园盟 圈3 - 4s o b e l 算子模板 3213 p x e w i 媾子 图3 - 5s o b e l 算子的边缘检测 p r e w i t t 算子和使用s o b e l 算子的方法一样，图像中的每个点都用这两个核进 行卷积，取最大值作为输出。p r e w i t t 算子的卷积模板如图3 - 6 所示。要注意的一 点就是p r e w i t t 模板没有把重心放在接近模扳中心的像素点，这点就是它和s o b e l 算子的不同。由于这个不同，导致了噪声的结构对两个算子的影响很大，当圈像 的噪声是均匀分布时，用s o b e l 算子效果比较好，当噪声靠近边缘点时，用p r e w i t t 算子能取得更好的效果。使用p r c w i t t 算子避行边缘检测的结果如图3 7 所示。 圜口 图3 - 6p r e w i t t 算子模板 第三章拓扑特征提取 3 22l a p l a c i a n 算子和l o g 算子 l a p l a e i a n 算于是一个二阶微分算子，它利用边缘点处的z - 阶导函数出现零交 叉的原理检测边缘。l a p l n e l a n 算子具有各向同性的性质其定义为： 芹月2 v 。，“，) = j j ，( 1 ，j ) + _ ：，( ) ( 3 7 ) “ 卵 图像函数的l a p l a e i a n 算法可队借助如图3 - 8 所示的模板卷积核之一来实现。 由于l a p l a e i a n 算子是二阶差分，职倍加强了噪声，园而对图像中的噪声相当敏 感；另外它常产生双像囊宽的边缘，且也不能提供边缘方向的信息，因此， l a p j a c m 算子很少直接用于边缘检测，而主要用于己知边缘像素后确定该像素 是在图像的暗区还是在明区。 盟圜髑 图3 - 8l a p | a e i a n 算子模板 l o g 算子是根据图像的信噪比来求出检测边缘的最优滤波器。该方法首先采 用高斯函数对图像进行低通平滑滤波，然后采用l a p l a e i a n 算子进行高通泣波， 根据二阶导数的过零点来检测图像的边缘。高