基于子空间的鲁棒射影重建方法

基于子空间的鲁棒射影重建方法

1射影重建因子化方法3d欧构是对未标准图像序列的恢复场景的3d结构，主要用于场景几何结构的重建和虚拟场景的整合。这一直是计算机视觉领域的研究重点。在这个问题上，研究人员提出了几种方法，直接使用测量约束来估计摄像机的数量和场景的欧状结构。近几年来,使用因子化方法求解射影重建问题得到了重视.射影重建因子化方法可以同时考虑所有图像,且不需要指定参考图像,其形式化为将一个由未知射影深度值缩放的测量矩阵因式分解为投影矩阵和结构矩阵的乘积.因此,射影深度的估计是射影重建因子化方法中待解决的关键问题之一.现有方法主要有使用对极几何关系估计射影深度的非迭代方法,其需要估计多视点几何关系,例如:基本矩阵、三焦张量或四焦张量等,该类方法对噪声是敏感的在本文中,将以文献[9,13]提出的方法为基础,对其进行扩展,使得新方法可以处理丢失数据项和局外点.为了确保其收敛,本文将因子化方法形式化为一个极小化问题序列,在不同步骤上,针对所关注的子问题,对同一个目标函数关于不同参量进行极小化.由于在场景中可能存在遮挡现象,测量矩阵中仅含有有效数据项的假定条件不能得到满足.因此,对于一个实用的因子化方法,必须处理丢失数据项的问题.另外,由于特征跟踪算法的局限性,使得在测量矩阵中存在一定比例的局外点,消除局外点对因子化方法的影响是需要解决的问题.当测量矩阵中都是有效数据项时,射影结构和投影矩阵可使用SVD关于一个未知的4×4变换矩阵求得.但由于丢失数据项和局外点的存在,不能直接使用SVD.因此,在本文算法中,需要一个鲁棒的PCA算法.本文使用广义Lagrange乘子法(ALM)极小化一个由核范数和L本文第2节给出子空间的包含性度量;第3节给出消除局外点和丢失数据项影响的秩约束RPCA方法;第4节给出能够处理丢失数据项和局外点数据的基于子空间的射影重建因子化方法;第5节给出本文算法的详细分析,使用人工合成数据、恐龙网格数据和真实图像数据以验证本文算法的有效性和鲁棒性;第6节给出结论及将来的工作方向.2结构矩阵s的行向量张成空间与pans的相关定义场景中n个3D点S其中W由式(2)可知,W其中span(S)表示由S的行向量张成的子空间.由式(1)可知,结构矩阵S的行向量张成的4D子空间与缩放测量矩阵W的行向量张成的空间之间存在式(4)所示的关系.2.1qp/ws转换方程不失一般性,假定结构矩阵S是行满秩的,规范化其行向量,使其是span(S)的正交基,并构造满足式(5)的正交矩阵[S如果W很明显,要使式(3)是满足的,当且仅当O(W2.2问题的形式给定图像坐标x3鲁棒主成分分析由于丢失数据项和局外点的存在,式(1)不再满足.为了鲁棒地估计出由正确射影深度缩放的测量矩阵其中,其中权数λ是一个正值.在矩阵中存在丢失数据项和局外点的情况下,由观测数据准确地恢复本质上的低维线性子空间被称为鲁棒主成分分析(RPCA)在本小节算法中使用广义Lagrange乘子技术(ALM)求解式(10),用于消除局外点和丢失数据项的影响.ALM方法已经被证明具有令人满意的Q-线性收敛速度3.1求解rpca的广义lagrange乘子法对于式(10)表示的RPCA问题,其相应的广义Lagrange函数如式(11)所示.在算法1中描述了求解RPCA问题的广义Lagrange乘子法,下标k表示迭代次数.3.2估计主异化空间的维度在求解RPCA问题(式(11))的算法1中,由于仅需要大于指定阈值的奇异值及相应的奇异向量,所以需要估计主奇异空间的维度且计算完整的奇异值分解(SVD)是没有必要的.在算法1中,外层循环的预测规则是sv其中,d=min(m,n);sv4鲁棒射影重建算法极小化问题(8)的一次迭代内嵌2个极小化问题,分别对应交替估计结构矩阵S和射影深度λ算法2.基于子空间的鲁棒射影重建方法.1.设k=0,丢失数据项{x2.k=k+1,固定M3.对每个i(=1,…,m),固定M本步计算的误差如4.1结构矩阵子矩阵在本文算法2的步2中,需要估计秩为4的结构矩阵S.假定矩阵M上式中奇异值沿Σ的对角线降序排列,通过设S是V的前4个列向量组成的子矩阵和S4.2辐射的深度假定M为了极大化f(Λ如式(18)所示,ue003由本文算法2的实验证实,一般经过5次迭代式(19),射影深度λ5实验数据的实验配置在本节,将算法2与Tang子空间方法进行比较,使用3类不同数据检测算法2的有效性和鲁棒性.第1类实验数据是人工合成数据,如图1所示;第2类实验数据是恐龙的三角网格在20个视点处投影,共有315个特征点,人为设置每一视点处的摄像机矩阵,如图2所示;第3类实验数据是取自于牛津大学的视觉几何研究组的房子模型图像集,如后面图10所示.在实验数据中含有一定比例的丢失数据项和局外点,在这种实验环境下,Tang子空间方法不适用.在前两类数据的实验配置中,高斯噪声级别变化范围是(0~7),局外点占总特征点数的比率的变化范围是(0~15%).在不同噪声级别下,针对不同局外点比率,在每个实验环境下重复实验50次,取平均值为结果,以验证算法2的鲁棒性,即消除丢失数据项和局外点影响的能力.在不同噪声级别下,使用完整的测量矩阵(不含有丢失数据项和局外点)估计射影深度值,分析算法2的射影深度的估计值与噪声级别的相关性,以验证算法2的有效性.实验表明当实验数据中含有较多局外点和丢失数据项时,需要使用非线性方法完成丢失数据项的恢复和局外点数据的修正,算法2为其提供较好的初始值.5.13d误差性能首先确定将在射影空间中重建的3D点X其中,S5.2算法2类,多次迭代在不同噪声级别下,算法2是收敛的.在使用人工合成数据的情况下,噪声级别不影响迭代次数,均小于10次迭代,可求出可接受的结果.ALM的收敛性质在文献[14,20]有详细推导.在算法2的外层循环中,除施加秩4约束的ALM方法之外的其它部分,一次迭代的时间复杂度是O(mn),与测量矩阵的大小成正比,保证了算法2的收敛.5.3tag子空间方法与nd-pcr误差关系设置50个特征点在一个边长范围为[-0.5,0.5]的立方体内,在20个视点处放置摄像机,摄像机的内部参数矩阵为在不同噪声级别下,将本文算法2与Tang子空间方法在各局外点比率下的误差值比较,以验证当测量矩阵中存在局外点时算法2的鲁棒性,算法2要好于Tang子空间方法.在图3中,子图(a)~(c)分别是Tang子空间方法在X、Y、Z坐标估计值的RMS误差,其范围是(0~70),多数情况下在(0~20)之间;仅在局外点比率是7%和11%,噪声级别是4和5时,X、Y、Z坐标估计值的RMS误差达到70左右.子图(d)~(f)分别是算法2在X、Y、Z坐标估计值的RMS误差,其范围是(0~2),多数情况下在(0~0.8)之间;仅在局外点比率是15%,噪声级别是11时,X、Y、Z坐标估计值的RMS误差在(1.8~2)之间.由图3的上下子图比较看出,算法2的RMS误差远小于Tang子空间方法的RMS误差.在不同局外点比率下,算法2与Tang子空间方法在各噪声级别下的误差值比较,验证当测量矩阵中存在局外点时,算法2抑制噪声的能力,本文算法2与Tang子空间方法相似.在图4中,子图(d)~(f)分别是算法2在X、Y、Z坐标估计值的RMS误差,其范围是(0~0.4),远小于Tang子空间方法的RMS误差范围(0~60).在不同噪声级别下,算法2的坐标估计值的RMS误差大致呈线性发散,且在局外点比率大致小于7%时,X、Y、Z坐标估计值的RMS误差是相近的.由图4的子图(a)~(c)可知,在局外点比率是15%时,Tang子空间方法的RMS误差在不同噪声级别下会聚到相近的数据附近,说明Tang子空间方法坐标估计值的RMS误差主要由局外点引起,对不同级别噪声的抑制效果良好.在图5中,子图5(a)和(b)分别是算法2与Tang子空间方法在不同局外点比率下所用时间比较.当测量矩阵含有局外点,Tang子空间方法在各局外点比率下,所用时间范围是(20~60)ms;当测量矩阵无局外点,Tang子空间方法在噪声级别0~3上所用时间变化不大,在噪声级别4~11上所用时间与噪声级别大致呈线性关系.在局外点比率是15%、噪声级别为2情况下,算法2所用时间为3300ms左右;其它情况算法2所用时间均在500ms以下,但比Tang子空间方法所用时间大10倍左右.子图5(c)和(d)分别是算法2与Tang子空间方法在不同噪声级别下所用时间比较.算法2在不同噪声级别下所用时间相近,Tang子空间方法也是如此;但前者所用时间大致十倍于后者所用时间.由子图5(c)和(d)可知,两个方法的所用时间与噪声级别相关性较弱,算法2比Tang子空间方法多出的时间主要用于处理局外点.5.4方法的估计值对比该类实验数据是恐龙三角网格在20个视点处投影,人为设置每一视点处的摄像机矩阵,共有315个特征点,数据点的X、Y、Z坐标的RMS分别是74.24969、36.83906和24.12055.为了突显局外点的影响,在实验结果显示时,使用网格的边面显示模式.在该类数据实验中,在每个实验配置下重复50次,取平均值为结果,算法2和Tang子空间方法在X、Y、Z坐标估计值的RMS误差,如表1所示.在显示恢复的模型和X、Y、Z坐标值的RMS误差时,仅选择其中一次实验结果显示.如表1所示,在无局外点,无噪声的实验配置下,算法2与Tang子空间方法差别较小,两种方法效果均良好.在图6中,子图6(b)~(d)分别是算法2在X、Y、Z坐标上的估计值与真值比较,子图6(f)~(h)分别是Tang子空间方法在X、Y、Z坐标上的估计值与真值比较.在X、Y坐标值上,两种方法的估计值与真值几乎没有差别;如子图6(d)和(h)所示,在Z坐标值上,两种方法在Z=0的位置处,有一些波动,但幅度不大.如表1所示,在无局外点的各噪声级别下,两种方法抑制噪声的效果较好.为了检测算法2的鲁棒性,分别在局外点比率为(5%~15%),高斯噪声级别为(0~7)实验配置下实验.限于篇幅的原因,在此仅给出局外点比率为5%和10%,噪声级别为7情况下的实验结果,分别如图7和图8所示.本文算法2的X、Y、Z坐标估计值的RMS误差远低于Tang子空间方法的X、Y、Z坐标估计值的RMS误差,表明本文方法消除局外点影响的能力要好于Tang子空间方法.但局外点比率10%情况下的坐标估计值的RMS误差不如在局外点比率为5%时明显.各坐标估计值的波动幅度随噪声级别增加而增加,Z坐标估计值尤其如此.由于噪声级别的增加,某些局外点没有被处理,如图8的子图(a)和(e)所示,表明噪声级别对局外点处理有一定影响,其相关性研究是我们将来工作的方向.在局外点比率为15%,噪声级别为0配置下的实验结果分别如图9所示,两种方法消除局外点影响的能力均在减弱,在该局外点比率下,本文算法2生成的结果已不能直接用于欧氏重建升级,但可以用于捆绑调整方法之类的非线性优化方法的初始值.如表1所示,本文算法2在X、Y、Z坐标估计值的RMS误差明显低于Tang子空间方法在X、Y、Z坐标估计值的RMS误差,且两者之间的比值相比局外点比率为5%和10%时都要高,表明在这种实验配置下,本文算法2的鲁棒性要远好于Tang子空间方法的鲁棒性.由表1可知,随着局外点比率的增大,在不同噪声级别下本文算法2消除局外点的能力大致呈线性关系,而Tang子空间方法估计值的RMS误差增加较快,说明其消除局外点影响的能力较弱.5.5实验结果和讨论该类实验数据是来自于牛津大学的视觉几何研究组的房子模型图像集,由10幅图像组成,图10给出其中的第1、4、7和10帧.由于该类图像序列没有真值数据,本文算法2的重建结果没有像前两类人工合成数据一样,计算3D估计值和真值之间的误差.本文算法2对该类数据的重建结果如图11所示,其中图11(a)是将在第1帧上检测的特征点附加到第1帧上,使用“+”表示其位置;图11(b)是重建3D点在第1帧处的重投影点附加到第1帧上,同样使用“+”表示其位置;图11(c)和(d)分别是实际恢复3D点云数据在模型的右上方30°角和左下方45°角的观测视图.在该类实验中,实际恢复的3D点有672个.由图11的子图(a)和(b)对比可知,重投影点与对应的特征点位置基本没有差别,表明重投影误差较小.由图11(c)和(d)可知,本文算法2处理该类实验数据是有效的.在该类实验中,重投影点和特征点比较结果如图12所示.图12(a)是在各帧处重投影点与特征点坐标误差的RMS,均小于1;图12(b)和(c)分别是在第5帧上重投影点和特征点的X和Y坐标值比较,在X和Y坐标值上,两者相差很小,几乎重合在一起;表明基于重投影误差的本文算法2的有效性.6消除局外点影响本文贡献:(1)在算法2中将射影重建因子化问题表示为同一个目标函数关于2组不同参量交替估计秩4结构矩阵和射影深度,且两个估计子问题在同一个子空间框架中,先后对同一个目标函数的极小化保证了迭代解的收敛.(2)在算法2中使用施加秩4约束的基于ALM的RPCA方法估计秩4结构,不仅可以恢复丢失数据项而且还消除了局外点的影响.(3)算法2中的射影深度的迭代估计方法依赖于上一步鲁棒估计的结构,所以用较少的迭代就可收敛到当前结构下的射影深度优化值.本文算法2的恢复丢失数据项和消除局外点影响的能力增强了因子化方法的适用能力.与Tang因子化方法相比,本文算法2生成的重建结果优于Tang因子化方法的结果.由实验可知,在低局外点比率下,例如:局外点比率小于10%,即使局外点比率为10%,且在无噪声级别情况下,算法2具有较强的消除局外点影响和抑制噪声的能力,其结果可直接用于欧氏重建升级;但在高局外点比率,尤其是高噪声级别情况下,例如:局外点比率为10%或15%,且噪声级别为7,算法2的结果可用于捆绑调整算法的初始值,以极小化2D重投影误差.由表1所示,在X、Y、Z坐标值下,本文算法2的RMS误差相比Tang子空间方法的RMS误差小得多.另外本文方法在X、Y、Z坐标上的RMS误差相差不大,位于最优化值邻域的可能性较高;本文算法2的结果作为捆绑调整算法的初始值,应当具有良好的效果,收敛到全局优化值可能性较大;其验证是我们将来的工作之一.ehartiecterficitact为多价值的methodTheproblemconsideredinthispaperisStructurefrommotion(SFM)incomputervision.Thefactorizationmethodforsolvingthisproblemisoneoftheresearchhotspotinthisfield.Allthepointsarevisibleinallviewsandmismatcheddatum(outliers)arenotpresentedinmeasurematrixarenecessaryconditionsoftheexistingsubspacemethod.Toeliminatetheharmfuleffectofoutliersandmissingdatumtofactorizationmethod,arobustsubspaceprojectivereconstructionmethodisproposedinthispaper.Underlowerratiosofoutliers,reconstructionresultofthisalgorithmcandirectlyusedforupdatingofEuclideanreconstruction;butunderhigherratiosofoutli