基本矩阵估计和图像矫正模板

1、基本矩阵的预计和图像改正模板基本矩阵的预计和图像改正模板基本矩阵的预计和图像改正模板0前言矩阵描绘的是从不一样样拍摄点拍摄同一场景的图像时两图中点的对应关系，它还供给有关位置和摄像机参数的信息。计算F矩阵最常用的是八点算法。要获取最少八个对应的图像点对。在这种算法下，我们可以很简单的使用线性方法来预计矩阵。可是八点算法对额外噪声十分敏感。为了战胜这一弊端。哈特利（计算机视觉中的多视图几何的作者）引入一个坐标使图像标准化归一化。可是这种线性方法有一个弊端，那就是除去了秩等于2的约束。为了强加拘束，这个F矩阵是利用奇怪值分解重修获取的。这就造成了另一个问题：这个重建的过程会产生额外的噪声。为了减少

2、噪声，哈特利又应用非线性优化设置七个变化参量来知足秩等于2的拘束。对于那七个变量参数有好多有关的方法，我提出用一个标量的双四元数来描绘矩阵。这些参数代表对一个图像缩放和旋转。也就是说，我们对原图像进行了旋转。经过使用这些旋转，我们创办了一个新的图像改正方法。对于立体般配来说，图像改正是不可以或缺的部分。它把任务由二维找寻变为一维找寻，减少了任务量。流行的改正方法大概可以分为两类：平面法和极性法。平面改正法是对图像进行透视变换，这是容易理解且易于实现。可是，这种方法不可以办理那些极点位于图像内部的图像对。极点改正法可以办理这种状况，但他们需要依据极点的地点进行一些繁琐的预办理。F矩阵最麻烦的地方

3、在于它的秩等于2，没有逆矩阵。为了计算F矩阵，人们提出了八点算法。这是一种易于实现的线性算法，可是对噪声过分敏感。人们又提出一种鉴于图像坐标归一化和非线性最优化的八点算法。还有好多其余成本函数最小化的方案。一些人采纳另一种参数化的七自由度的方法来知足秩等于2的拘束。对于线性求解，七点般配是可以用于F矩阵的。图像改正技术与F矩阵关系亲密，所以密集点的般配是不可以或缺的。经过改正，两图片中全部的极线会水平对齐，将二维找寻变为一维找寻，使得任务大大减少。实质上来讲，图像改正是一种旋转。另一方面，一些改正方法已经合用于非标定图像对。非标定图像的改正比标定图像更合用，因为正确的预计的相机参数是困难的，哪

4、怕只有一个像素的错误就不利于正确般配。F矩阵的预计1.1对极几何(两视几何）对极几何描绘的是场景中的三维点和一对图像点之间的关系。给定一个场景中三维点P被映射到I和I0两图像中，这三个点就构成一对极几何（图1）。点C和C0表示分别图像I和I0相机中心。三点P，C和C0构成平面，这就是所谓的极平面。每个图像平面与极平面订交，称为极线；一点投影在一个图像会有一个对应点位于其余图像平面的极线上（极线拘束）。这个拘束是指当我们有两个图像I和I0，和一点P在I上，假如我们要找寻在I0上对应点P0，仅沿极线找寻即可以了。假定I平面上的点Pu,vT对图像和I0平面上的点Pu,vT都是是P的投影点，增加了齐次

5、坐标的二维图像坐标，这样笛卡尔坐标下P和P旋转为射影坐标mu,v,1T和mu,v,1T。采纳这种画法，极线拘束表现为以下形式：mTFm0（1）图1。对极几何Fig.1.Epipolargeometry在两幅图像之间，F矩阵将点m照耀为对应的对极线，将对极点照耀为0。不可以供给对应点间的一一对应。F是一个3x3的矩阵。F矩阵的有秩等于2的拘束，这是因为全部极线必然经过图像的极点。1.2八点算法的从头审察对于给定的图像对，常用八点算法来线性的预计F矩阵。对应的点ui,vi和ui,vi，由线性系统获取方程：（2）此中（3）（4）此中f由F矩阵获取：（5）同时有拘束条件f2221f11f12f33需要

6、获取最少八个对，我们才能求解出（2）的预计矩阵。在刚才的过程中我们没有考虑“矩阵秩等于2”的拘束。为了知足这一拘束，采纳知足约束和FF的Frobenius范数最小的F作为F矩阵。详细的方法以下：第一，对没有秩等于2拘束条件下的矩阵进行奇怪值分解分解（SVD）以下：（6）假如有在上述过程中无噪音，第三个奇怪值，3应该是0。所以，以下矩阵F可以代替作为拘束矩阵的秩等于2：（7）这个重构矩阵F可以作为F矩阵。这个过程实现了预计矩阵的秩为2的拘束，但它引入附带噪声。为认识决这个问题，大部分工程在下一步采纳非线性优化方法。因为对应点必然位于极线的拘束，我们可以设计下面的几何成本函数：（8）m,Fm表示极

7、线上点P0和对应点P在图像的坐标系统下的距离的平方。1.3秩等于2的参数化方法我们所提出的方法的出发点是公式的形式7）。这种形式表示的矩阵由两正交矩阵SO（3）和秩等于2的对角矩阵。假如不失一般性，我们可以指定对角矩阵为（1，s，0），此中s2。1一般状况下，当一个正交矩阵的队列式是1，矩阵是一个旋转矩阵，可以用一个单位四元数描述。四元数qq0,q1,q2,q3此中q02q12q22q321，旋转矩阵可以表示以下：（9）独立变量的数目是三；比方q1，q2和q3，假如公式（7）中的正交矩阵U和V是旋转矩阵，我们可以采纳双四元（DQ）来参数化。不幸的是，不是全部的正交矩阵都是旋转矩阵。正交矩阵的队

8、列式可以是1个或1，队列式是1的正交矩阵其实不是旋转矩阵。可是，我们老是能把公式（7）中的两个正交矩阵旋变为两旋转矩阵，方法是经过改变对角矩阵中的另一个参数的标记s。有四种状况要考虑，依据组合二者的决定要素：应用上述程序，方程（7）成为两旋转矩阵和对角矩阵的乘积。旋转矩阵用式（9）那样的有三个参数的单位四元数描绘，而对角矩阵只要要单参数。所以，预计矩阵一个七自由度的矩阵是：（10）s1（11）采纳上述参数，几何成本函数可以改写为以下形式：（12）此后，上述的成本函数可以经过参数使其最小，同时保持秩等于2拘束：（13）图2一个原始图像变换；图像I使用RT旋转，图像I使用RT旋转。Fig.2.Tr

9、ansformationofanoriginalimage;theimageIwithhomogeneouscoordinatesisrotatedbyRTandtheimageIistransformedbyRT.图3极线。它们被表示为变换后的图像和平面之间的交叉线，包含线x=y=0；平面包含线x=y=0被称为极平面。在这个图中，我们展现了两个极平面和两条极线。Fig.3.Epipolarlines.Theyarerepresentedasintersectionlinesbetweenthetransformedimagesandplanesthatincludethelinex=y=0;

10、theplanesincludingthelinex=y=0areinterpretedasepipolarplanes.Inthisfigure,weshowtwoepipolarplanesandtwoelipolarlinesbydotedlines.图片改正由两个旋转矩阵和对角的参数化产生一种新的使全部极线平行的改正方法。（14）令nRTmTRTmnx,ny,nzTnx,ny,nz，n则式（14）改写以下：（15）上述方程表示以下比率关系：（16）更详细（17）符号代表二维矢量构成的前两个元素，即xxy和y作为的三位矢量的元素。方程（16）的几何解说以下：第一，图像I使用RT旋转而来，

11、I图像的旋转是由RT转变来的。我们称由RT和RT照耀而来的图像平面作为变换后的图像。值得注意的是，三维空间的原点不是相机的中心，而是投影坐标系统的（0,0,0）。此后，变换后的图像进行垂直投影到xy平面。这个正交投影是使得式（17）中z重量消逝。方程（16）表示，任何一对对应点在投影平面上位于同一穿过原点的直线上。换句话，由RT旋转后的I平面和一个过x=y=0的平面有一条交线，这条交线就是极线。由RT变换后的平面I和同一含x=y=0的平面订交于一线，这就是相对应的极线。那个包含线x=y=0平面被称为极平面。让我们考虑一个随意平面平行线x=y=0：z轴。我们称这种平面为参照平面。全部参照平面和极

12、线之间的交线（此中包含线x=y=0），应平行于相互。将旋转后图像平面上的一个点沿着线（极平面与平面z=常数之间的交线）投影到参照平面，即图4中箭头所示的投影。此后再投影点在参照平面上知足式（16）。所以，任何从旋转后平面再投影到参照平面的投影点知足方程（14）而且这个在参照平面上的再投影的图像和极线平行。经过改变在再投影过程中的z值，全部再投影点在参照平面上的构成改正图像。改正过程是可逆的：经过改变z的值，由一个改正后的点可以找回它对应的独一的原始点。图4。改正图像：图像再投影到参照平面的改正图像。Fig.4.Therectifiedimage:theimagere-projectedonto

13、thereferenceplanebecomestherectifiedimage.Inthere-projectionprocess,apixelonthetransformedimageplaneismappedalongtheepipolarplaneandperpendicularlytothez-axis.实验3.1经过模拟数据谈论矩阵为了谈论DQ方法，同时为了比较其余现有的方法，我们利用一些人工数据集。我们选择了以下三种方法：极点参数法（EP），两极点参数法（BEP）和巴托丽参数法（BP）。3.1.1极点参数法（EP）（18）为了保证一个矩阵是奇怪的，一列被描绘为其余两列的线性组合

14、。方程（18）有八参数；af最大绝对值被设置为1。3.1.2两极点参数法（BEP）（19）图5。相机配置。配置1（平行）和配置2（同向来线）。Fig.5.Cameraconfigurations.Configuration1(parallel)andConfiguration2(straight).图6。算法仿真结果。前两张是配置1，后两张是配置2。Fig.6.Simulationresultsofthealgorithms.Upper:Configuration1,Lower:Configuration2.在这个参数化，两极点位于,1T,1T，ad中绝对值最大的置1。3.1.3巴托丽参数法（

15、BP）（20）这个参数是鉴于式（7）。巴托丽提出使用一个标量的六个旋转矩阵表示欧拉角。比方，R（x）代表一个欧拉角x绕x轴旋转矩阵。这四个参数化方法（EP，EP，BP和DQ），我们使用LevenburgMaquardt算法来最小化成本函数（8）。我们依据式（7）利用线性解的秩等于2拘束求解非线性最小化的初始解。表1均匀计算时间（毫秒）计算一个矩阵的构造1，N=30=2。Table1Themeancomputationaltimes(msec)forcalculatinganF-MatrixunderConfiguration1withN=30and=2.0.为了模拟，我们准备了一些人工数据集。

16、我们随机产生N个三维空间的点并由图5中所示的两种配置产生一对480 x640像素的图像。第一，我们用线性解来预计初始解与虚假图像上的再投影点。此后，我们用四参数化方法获取最后的F矩阵。偏差被定义为一个点的极线和其余图像上的对应点之间的距离。（21）经过改变噪声的水平易数目，我们可以比较这些方法的正确性。在本文中，我们重复100次，并利用均匀节余偏差。图6显示结果。上面是下配置1，下面的是在配置2。“SVD”指方程（7）的初始解。对于噪声的水平，我们将点数固定为N=30，并在图像中增添g高斯噪声来协调投影点。固然偏差是跟着g上涨增添，可是这四种方法（EP，EP，BP和DQ）在两种配置下有几乎相同

17、的精度。有关用于计算F矩阵点数目，我们使用g=2。我们发现这四种参数化方法有很近似的精度。这些结果表示，我们的参数化方法是有竞争力的与其余现有方法。为了明确四种方法的性能，我们进行了T查验。依据结果证明，明显性差别不超出1%。表1显示了计算时间使用Athlon64X2运转在2.41GHz。他们是在N=30，=2.0配置1条件下计算一个F矩阵均匀办理时间。这表示，我们的方法比BP法更快，和其余两种方法比较也绝不逊色。3.2真切图像的实验结果我们使用三个图像证明所提出的方法，称之为“House”，“Corner”和“Wall”。我们用手持相机捕捉这些图像。全部的图像是480X640像素的大小和采纳

18、的商业数字相机（佳能IXY数码相机）。在全部的图像集，令我们感兴趣的点是由Harris算子提取的而候选点是依据归一化互有关经过一个窗口般配决定的。此后，线性解的常例的八点算法作为初始解。八个对应的对（包含噪声）被用作输入。我们使用RANSAC，进而获得靠谱的初始预计。给定一组图像对，相应的对的列表可以自动获取。我们可以使用随意平面平行于z轴作为参照平面的图像改正。要确立参照图像独到的，我们需要一个含有相应的变换后图像平面形心xm,ym,zm的参照平面；该参照平面的法线向量xm,ym,0图像House（图7（a）是这种研究的一个典型；两幅图像的拍摄地点大概平行，只有一点微小的旋转；用我们的方法得

19、出的极线。图7（b）显示变换后的图像沿z轴被察看到。在这些二维图像，直线经过原点（x=y=0）对应一个极线；其余，任何一对与图像相同的线斜率对应的极线。图像显示在两个图像三对相同斜率的线分别对应极线。这个图展现了我们一个重要的事实：在1.4节中描绘的旋转是把极旋转到的z轴。改正后的图像如图7所示。我们发现任何般配的地区位于同一水平线，显示了极线水平对齐。注意，所提出的方法获取的改正图像不近似于由平面改正或极性改正获取的图像。图像集“Corner”被相机光轴运动拘束。这样的运动必然位于极点的里面的图片（图8（a）。经过使用我们的方法，我们可以使用相同的程序，这样的图像对。图8（b）显示变换后的图

20、像察看到沿z轴；注意极点已经挪动到原点。我们的方法改正的图像显示在图8（c）。所提出的方法的一个重点的优势是，该方法合用于这样的图像对，即即是其极点是在这样的地点也不需要的预办理。沿着图像的水平扫描线，我们可以在这两个改正图像找到般配的地区。图7。（a）“House”。线是极线。（b）旋转后图片在z=0平面上的正交投影。每个线经过原点（x=y=0）对应一个极线。其余，在两幅图像中同一梯度的线对应极线。（c）我们的方法改正的图像。Fig.7.(a)SampleimagepairsetHousethe.Thelinesarepipolarlines.(b)Orthogonalprojectedim

21、agesontheplanez0ofthetransformedimages.Eachlinepassingthroughtheorigin(x=y=0)correspondstoanepipolarline.Moreover,anylineswiththesamegradientonbothimagesarethe表2图像改正的均匀偏差（像素）。correspondingepipolarlines.(c)TherectifiedimagesbyourTable2Themeanerrors(pixel)oftheimagerectification.method.图8。（a）“Corner”。

22、（b）极点位于图像内的投影图像。在这种状况下，任何过原点的线都是极线。（c）经我们的方法改正。图9所示，第三样本wall是一个主要的平面场景。这种状况被以为是预计F矩阵时最难的一种状况。这些数字表示，使用双四元数和一个标量参数可以正确预计极线。表2经过四个参数化方法获取的三个真切图像集显示的均匀偏差（21）。全部的非线性优化方法实现偏差小于一个像素，同时保持秩2拘束。该表表示，在这四个参数化方法的精度是相像的，我们所提出的方法与其余现有的方法是有竞争力的。DQ法存在最少一个已知的限制。假如极点位Fig.8.(a)SampleimagepairsetCorner.(b)Projected于图像坐

23、标系的原点（在大部分状况下是位于左imageswhoseepipolesarelocatedinsidetheimage.Inthis上角的图像地区），我们的方法不合用。这是因case,anylinepassingthroughtheoriginisalsoanepipolar为在该方法中，如图7（b）和图8（b），极点移line.(c)Imagesrectifiedbyourmethod.动到Z轴。当极点位于原点，由TTR和R依据式（17）变换而来的平面垂直于Z轴，这意味着对变换后的图像平面上的全部点都拥有相同的Z值。所以，改正后的图像会变为一条线。图9。（a)“wall”，这是一个主要的平

24、面场景。（b）我们的方法改正图像。Fig.9.(a)SampleimagepairsetWallwhich,isaplane-dominantscene.(b)Imagesrectifiedbyourmethod.结论和展望我们提出了一种鉴于双四元数和一个标量的参数化的预计矩阵的新方法。该方法包含保持秩2拘束的非线性优化。因为F矩阵由两个3X3旋转矩阵与一个秩为2的对角矩阵构成，我们揭示两张图像之间的旋转关系。这些旋转产生一种新的图像改正。不论极点的地点，我们的改正方法合用于以相同的方式图像对。我以为，这种图像改正的方法会在图像工程和机器视觉中间有不小的应用，最少是一种可供选择的方法。参照文件

25、A.Al-Zahrani,S.S.Ipson,J.G.B.Haigh,Applicationsofadirectalgorithmfortherectificationofuncalibratedimages,InformationSciences160(2004)5371.2N.Ayache,C.Hansen,Rectificationofimagesferbinocularandtrinocularstereovision,in:ProceedingsofInternationalConferenceonPatternRecognition,1988,pp.1116.N.Ayache,F.

26、Lustman,Trinocularstereovisionforrobotics,IEEETransactionsonPatternAnalysisandMachineIntelligence13(1991)7385.4A.Bartoli,P.Strum,Nonlinearestimationofthefundamentalmatrixwithminimalparameters,IEEETransactionsonPatternAnalysisandMachineIntelligence26(2004)426432.P.Beardsley,A.Zisserman,D.Murray,Navig

27、ationusingaffinestructureandmotion,in:ProceedingsofEuropeanConferenceonComputerVision,1994,pp.8596.B.Boufama,R.Mohr,Epipoleandfundamentalmatrixestimationusingthevirtualparallaxproperty,in:ProceedingsofInternationalConferenceonComputerVision1995,pp.10301036.Z.Chen,C.Wu,H.Tsui,Anewimagerectificational

28、gorithm,PatternRecognitionLetters24(2003)251260.C.-C.Cheng,G.-L.Lin,Acquisitionoftranslationalmotionbytheparalleltrinocular,InformationSciences178(2008)137151.O.Faugeras,Whatcanbeseeninthreedimensionswithanuncalibratedstereorig?in:ProceedingsofEuropeanConferenceonComputerVision,1992,pp.563578.M.A.Fi

29、schler,R.C.Bolles,Randomsampleconsensus:aparadigmformodelfittingwithapplicationstoimageanalysisandautomatedcartography,CommunicationsoftheACM24(1981)381395.A.Fusiello,E.Trucco,A.Verri,Acompactalgorithmforrectificationofstereopairs,MachineVisionandApplications12(2000)1622.A.Fusiello,L.Israra,Quasi-Eu

30、clideanuncalibratedepipolarrectification,in:ProceedingsofInternationalConferenceonPatternRecognition,2008,pp.14.C.Harris,M.Stephens,Acombinedcornerandedgedetector,in:ProceedingsofAlveyVisionConference,1988,pp.147152.R.Hartley,Projectivereconstructionandinvariantsfrommultipleimages,IEEETransactionson

31、PatternAnalysisandMachineIntelligence16(1994)10361040.15R.Hartley,Indenseoftheeight-pointalgorithm,IEEETransactionsonPatternAnalysisandMachineIntelligence19(1997)580593.16R.Hartley,Theoryandpracticeofperspectiverectification,InternationalJournalofComputerVision35(1999)115127.17R.Hartley,A.Zisserman,

32、MultipleViewGeometryinComputerVision,seconded.,CambridgeUniversityPress,2003.S.Kumar,C.Micheloni,C.Piciarelli,G.L.Foresti,Stereorectificationofuncalibratedandheterogeneousimages,PatternRecognitionLetters31(2010)14451452.R.Liu,Q.Zhu,X.Xu,L.Zhi,H.Xie,J.Yang,X.Zhang,Stereoeffectofimageconvertedfromplan

33、ar,InformationSciences178(2008)20792090.H.Longuet-Higgins,Acomputeralgorithmforreconstructingascenefromtwoprojections,Nature293(1981)133135.Q.T.Luong,O.Faugeras,Thefundamentalmatrix:theory,algorithms,andstabilityanalysis,InternationalJournalofComputerVision17(1995)4376.J.Mallon,P.F.Whelan,Projective

34、rectificationfromthefundamentalmatrix,ImageandVisionComputing23(2005)643650.D.W.Marquardt,Analgorithmforleast-squaresestimationofnonlinearparameters,JournaloftheSocietyforIndustrialandAppliedMathematics11(1963)431441.24A.Papadimitriou,T.Dennis,Epipolarlineestimationandrectificationforstereoimagepairs,IEEETransactiononPatternAnalysisandMachineIntelligence5(1996)672676.M.Pollefeys,R.K