图像理解之立体视觉.ppt

1、章毓晋(TH-EE-IE),第5章立体视觉：双目,5.1立体视觉5.2双目成象和视差5.3基于区域的双目立体匹配5.4基于特征的双目立体匹配5.5视差图误差检测与校正,章毓晋(TH-EE-IE),立体视觉主要研究如何借助（多图象）成象技术从（多幅）图象里获取场景中物体的距离（深度）信息5.1.1立体成象方式5.1.2立体视觉模块,5.1立体视觉,章毓晋(TH-EE-IE),5.1.2立体视觉模块,六个模块六项工作1.摄象机标定2.图象获取3.特征提取立体视觉借助不同观察点对同一景物间的视差来帮助求取3-D信息（特别是深度信息）。所以需要判定同一景物在不同图象中的对应关系选择合适的图象特征以进行

2、多图象间的匹配,章毓晋(TH-EE-IE),5.1.2立体视觉模块,六个模块六项工作4.立体匹配根据对所选特征的计算来建立特征间的对应关系，从而建立同一个空间点在不同图象中的象点之间的关系，并由此得到相应的视差图象5.3-D信息恢复根据得到的视差图象，可以进一步计算深度图象，并恢复场景中的3-D信息,章毓晋(TH-EE-IE),5.1.2立体视觉模块,六个模块六项工作6.后处理3-D信息常不完整或存在一定的误差(1)深度插值只能恢复出图象中特征点处的视差值(2)误差校正（见后）(3)精度改善象素级视差到亚象素级的视差,章毓晋(TH-EE-IE),获得同一场景的两幅视点不同的图象5.2.1双目横

3、向模式5.2.2双目横向会聚模式5.2.3双目纵向模式,5.2双目成象和视差,章毓晋(TH-EE-IE),5.2.1双目横向模式,摄象机坐标系统和世界坐标系统重合象平面与世界坐标系统的XY平面也是平行两个镜头中心间的连线称为系统的基线B,章毓晋(TH-EE-IE),1.视差和深度,5.2.1双目横向模式,章毓晋(TH-EE-IE),1.视差和深度3-D空间点在两个摄象机的公共视场（视角不同，被摄物的形状，摄影环境）测距精度x1e=x1+e，d1e=x1+e+x2+B=d+e,5.2.1双目横向模式,章毓晋(TH-EE-IE),2.角度扫描成象象素是按镜头的方位角和仰角均匀分布的可借助镜头的方位

4、角来表示物象的空间距离,5.2.1双目横向模式,章毓晋(TH-EE-IE),两个单目系统绕各自中心相向旋转,5.2.2双目横向会聚模式,章毓晋(TH-EE-IE),两个摄象机是沿光轴线依次排列基本排除由于遮挡造成的3-D空间点仅被一个摄象机看到的问题公共视场的边界很容易确定,5.2.3双目纵向模式,章毓晋(TH-EE-IE),直接用单点灰度搜索会受到图象中许多点会有相同灰度、图象噪声等因素影响而不实用5.3.1模板匹配5.2.2双目立体匹配,5.3基于区域的双目立体匹配,章毓晋(TH-EE-IE),5.3.1模板匹配,相关函数对f(x,y)和w(x,y)幅度值的变化比较敏感相关系数,章毓晋(T

5、H-EE-IE),5.3.2双目立体匹配,1.极线约束C和C“之间的连线称光心线，光心线与左右象平面的交点E和E”分别称为左右象平面的极点光心线与物点W在同一个平面中，这个平面称为极平面，极平面与左右象平面的交线L和L分别称为物点W在左右象平面上投影点的极线,章毓晋(TH-EE-IE),5.3.2双目立体匹配,2.匹配影响因素(1)由于景物自身形状或景物互相遮挡的原因，用左图象确定的某些模板不一定能在右图象中找到完全匹配的位置。此时常需根据其他匹配位置的匹配结果来插值这些无法匹配点的数据(2)不同模板图象应有不同模式。但在平滑区域得到的模板图象具有相同或相近的模式，使匹配有不确定性，并导致产生

6、误匹配。此时可需要将一些随机的纹理投影到这些表面上以将平滑区域转化为纹理区域,章毓晋(TH-EE-IE),5.3.2双目立体匹配,3.光学特性计算利用灰度信息进一步计算物体表面的光学特性N为表面面元法线方向的单位向量S为点光源方向的单位向量V为观察者视线方向的单位向量反射亮度I(x,y)为合成反射率(x,y)和合成反射量RN(x,y)的乘积,章毓晋(TH-EE-IE),5.3.2双目立体匹配,3.光学特性计算第一项散射效应，第二项镜面反射效应H为镜面反射角方向的单位向量向量H反映出视线向量V的变化,章毓晋(TH-EE-IE),5.4基于特征的双目立体匹配,基于区域方法的缺点是依赖于图象灰度的统

7、计特性，所以对景物表面结构以及光照反射等较为敏感5.4.1基本方法5.4.2动态规划匹配,章毓晋(TH-EE-IE),5.4.1基本方法,典型方法的主要步骤(1)用边缘检测寻找物体的轮廓线，并在轮廓线上确定特征点(2)利用立体匹配方法匹配各特征点(3)对匹配点求视差，获取匹配点的深度(4)利用获得的匹配点进行深度插值，以进一步得到其它各点的深度,章毓晋(TH-EE-IE),5.4.1基本方法,3-D空间坐标中一个特征点W(x,y,z)通过正交投影后在左右图上分别为：按先平移再旋转的坐标变换对u计算,章毓晋(TH-EE-IE),5.4.1基本方法,平行于XZ平面的一个平面图：,章毓晋(TH-EE

8、-IE),注意：仅由稀疏的匹配点并不能唯一地恢复物体外形示例：过这4个点的曲面可以有无穷多个,5.4.1基本方法,章毓晋(TH-EE-IE),顺序性约束：物体可见表面上的特征点与它们在两幅成象图象上投影的顺序正好反过来有遮挡时，图象上投影的顺序不满足顺序性约束,5.4.2动态规划匹配,章毓晋(TH-EE-IE),建立在两条极线上确定的多个特征点之间的对应关系将匹配各特征点对的问题描述为一个在由特征点对应结点的图（graph）上搜索最优路径的问题,5.4.2动态规划匹配,章毓晋(TH-EE-IE),5.5视差图误差检测与校正,视差图产生误差周期性模式、光滑区域的存在，以及遮挡效应、约束原则的不严

9、格性，等等通用快速的视差图误差检测与校正算法直接对视差图进行处理与产生该视差图的具体立体匹配算法独立计算量仅仅与误匹配象素点的数量成正比,章毓晋(TH-EE-IE),1.误差检测顺序匹配约束,5.5视差图误差检测与校正,对点P和Q的Z坐标的限制,章毓晋(TH-EE-IE),1.误差检测检测匹配交叉（顺序匹配约束未满足）区域令PR=fR(i,j)和QR=fR(k,j)为fR(x,y)中第j行中任意两象素，则其在fL(x,y)中的匹配点可分别记为PL=fL(i+d(i,j),j)和QL=fL(k+d(k,j),j)。定义C(PR,QR)为PR和QR间的交叉标号，如果顺序匹配约束满足记为C(PR,Q

10、R)=0；否则记为C(PR,QR)=1。对应象素点PR的交叉数（crossnumber）Nc,5.5视差图误差检测与校正,章毓晋(TH-EE-IE),2.误差校正假设fR(i,j)|ip,q是对应PR的交叉区域，则该区域内所有象素点的总交叉数（totalcrossnumber）Ntc为：校正交叉区域中误匹配点（零交叉校正算法）(1)找出具有最大交叉数的象素fR(l,j)：,5.5视差图误差检测与校正,章毓晋(TH-EE-IE),2.误差校正(2)确定对匹配点fR(k,j)的新搜索范围fL(i,j)|is,t(3)从该搜索范围中找到能够减小总交叉数Ntc的新匹配点(4)用新匹配点来校正d(k,j)，消除对应当前最大交叉数象素的误匹配,5.5视差图误差检测与校正,章毓晋(TH-EE-IE),2.误差校正例,5.5视差图误差检测与校正,章毓晋(TH-EE-IE),2.误差校正交叉区域：fR(154,j),fR(162,j)总交叉数：Ntc28(1)具有最大交叉数的象素：fR(160,j)(2)新匹配点fR(160,j)的搜索范围为：fL(i,j)|i181,190,5.5视差图误差检测与校正,章毓晋(TH-EE-IE),2.误差校正(3)对应fR(160,j)且能够减小Ntc的新匹配点fL(187,j)(4)将对应fR(160,j)的视差值d(160