人工环境中的中远叙事

人工环境中的中远叙事

大多数真实场景图像都存在透视变形。在透视变形的作用下，真实空间中的一组线性直线聚集在图像平面上，该点被称为消失点或消失点。消失点检测是三维场景解释中的重要一步,可以提供大量三维空间的信息(如场景深度、物体尺寸等)。因此消失点检测被应用于机器人的自动导航、三维结构恢复以及相机标定等方面。因为场景的不规则,消失点检测通常是很困难的,而人工环境下的消失点检测则相对容易很多。因为人工环境中存在大量的直线之间的平行和正交关系,如户内的门窗、书桌、走廊,户外的建筑、街道、路面等,这些平行和正交关系为消失点检测提供了强有力的约束条件。1累积调整后的消失点映射消失点检测并不是一个新的课题,已经有很多文章涉及到这一方面。Barnard在1983年提出以相机光学中心为中心的高斯球(Gaussiansphere)作为累积空间。图像中的边缘直线在高斯球中被表示成为一个大圆(greatcircle),而消失点对应于高斯球中的一个点。由于无限的图像平面被映射到了一个有限空间,因此无限远处的消失点同样被映射成一个点。在累积投票阶段,高斯球被分割成数个累积单元,每个大圆都对它经过的累积单元投票,投票数多的累积单元对应于消失点。之后有一些工作对上述方法进行了改进。T.Tuytelaars提出了旨在减少累积步骤中的计算复杂度的方法,使用Hough变换将直线的参数映射到一个有界的Hough空间。C.Rother将所有图像平面中检测到的直线的两两交点作为消失点的候选点,并给出了一些判断标准。这种方法可以得到更准确的结果,但比较耗时(时间复杂度是检测到的线段数的4次方),在实时情况下不适用。舒远提出了根据空间中平行的直线在图像中的倾角比较接近这一特性求取消失点,但聚类时将候选直线限制于一定角度范围内,有可能会丢弃了一些应该考虑在内的直线。本文方法根据舒远指出的空间中平行直线在图像中倾角接近的事实,并借鉴了C.Rother关于消失点候选点的思想以及对候选点的评判标准,尝试了一种基于聚类的消失点检测方法。2本文件的方法2.1角域和接触条件的变化透视投影中不同方向的平行线在投影平面上形成了不同的消失点,其中坐标轴方向的平行线在图像平面上的消失点又称为主消失点。如图1所示,其中主点u0理论上应位于△v1v2v3的垂心,但现实中由于相机制造的工艺原因会有一定误差。由图1知,c-v1v2v3坐标系与图像平面相交,因此△v1v2v3必为锐角三角形。空间中两条平行线在投影图像平面中的夹角与平行线之间的距离以及它们到相机的距离有关。平行线之间的间距越大则它们的夹角越大,而它们到相机的距离越远则夹角越小。由于在人工环境中建筑物大小有限,同时在中远距离的场景中相机与被摄建筑物存在一定距离,因此这些平行线在图像平面中之间夹角实际上集中在一个较小的范围内。在实验中对30幅包括校园、城市街道等各种中远距离场景图像进行统计,发现图像中单个消失点对应平行线倾角接近,绝大多数集中在30°范围之内。实验中30幅图像里各个主消失点方向30°范围内包含的平行线占所有对应于主消失点的平行线的90.56%(1689/1856)。论文中给出的数据也说明实际图像中平行直线簇的倾角接近,大量地集中在较小的角度范围内。因此只需在图像中直线倾角密集的区域中对消失点方向进行搜索。这种性质简化了消失点检测,加速了检测。本方法据此对聚类进行了初始分组。同大多数消失点检测方法一样,图像边缘直线检测是算法的第一步。本方法使用了Canny算子来获取图像的边缘信息,然后使用Hough变换获取边缘信息中的直线信息。之后对按倾角的大小对这些直线排序,按循环的方式排列(考虑到倾角0°和180°在空间中的连续性),并以给定角度(tα)的角域扫描这些直线(定义“角域”为包含一组倾角相近直线的容器),如图2所示。图中Li指直线i,θi为对应倾角。角域内直线包含Li～Li+4。并有:θi+4-θi<=tα;θi+5-θi>tα。可以预计如果某个角域包含较多直线数目,那么它很可能包含较多相交于该方向消失点的直线。因此首先假设包含最多直线数的三个相互不重叠角域所包含的直线分别是交于三个主消失点的直线,并称这三个角域为主角域。但由于实际场景的不规则,可能存在某个主角域对应的直线只是一些不相干但倾角接近的直线,因此本方法采用更多的角域,即候选角域来消除这种情况的影响。当某个主角域不满足条件时,使用候选角域对其替换。角域的尺寸(tα)则应该满足实际情况的需要。较大的角域可能包含两个消失点对应的平行线以及更多的干扰直线,因此角域不宜过大。较小的角域可能使一个消失点对应的平行线包含在两个角域中并成为两个角域中直线的主要部分,这时候选角域将有助于解决这个问题(见实验结果中第二个例子)。较小的角域可以使用更多的候选角域,但过小的角域将使角域中干扰直线的比例变大,效果并不好。通常tα取20°～30°是合适的,它能够包含大部分平行线,又不会包含太多“噪声”。2.2增加了单一获取直线的定义当得到了主角域和候选角域之后,它们所包含的直线并不能直接使用,因为每一个角域都可能含有少量干扰的直线,这些“噪声”将使聚类速度减慢,带来偏差,甚至导致检测出虚假消失点。为此引入C.Rother提出的一种投票方法来消除“噪声”:将角域中每两条直线的交点作为该方向的候选消失点。对于该角域中的每条直线l,如果它与候选消失点Vp的距离d(Vp,l)小于阈值Dt,那么它将对该候选点投票。Dt的取值应适当大一些,以保证不丢失任何有用直线。按照消失点的定义,可以认为直线与候选消失点越近,它越可能成为该消失点对应平行直线,相应投票值也应该越高。因此候选消失点的总投票值定义为:vote(Vp)=∑所有投票直线l(1−d(Vp,l)/Dt),(1)vote(Vp)=∑所有投票直线l(1-d(Vp,l)/Dt),(1)取那些对总投票值最大的候选消失点进行投票的直线作为该方向消失点的聚类初始直线簇。不仅主角域,候选角域同样经过这样处理得到候选簇。之所以不取该候选消失点直接作为目标消失点是因为:(1)该消失点只考虑了该角域中的直线,而实际上该角域之外的直线也可能是交于该消失点的平行线;(2)该消失点位置一定在某两条直线的交点,而多条直线方程的最小二乘算法可以使消失点到各直线的距离方差最小,结果更加准确。2.3聚类消除干扰的能力理论上,真实空间中的一组平行线在成像平面中应该只交于一点。但是由于相机的镜头存在一定畸变,直线检测也存在误差,在图像中检测到的对应直线并不一定精确交于一点。为此在聚类中设置阈值Dthreshold来控制这种偏差的允许范围。聚类后的每簇直线到该消失点的距离不得大于Dthreshold。存在由于角域大小限制或各种误差导致少量平行线进入其他箱或遗漏在外体的情况,聚类中这些直线将会返回到正确的簇中。因此,虽然聚类的初始化实际上限制聚类中每簇直线在图像中之间夹角的范围不会超过tα,但聚类可以消除这一限制的影响,从而提高了消失点的精度。另需要指出的是,聚类不能保证去除所有干扰直线。聚类具体步骤如下:(1)对当前每簇中的直线用最小二乘算法求取它们的交点,也即三个消失点v1,v2,v3;(2)对图像中的每一条直线,求出v1,v2,v3到它的距离d1,d2,d3,并设其中的最小值为di。如果di≤Dthreshold,那么直线将移动到簇i。如果di>Dthreshold,则将它移出三个簇。(3)如果某直线所属簇发生变化则跳转至(1),若均无变化则结束。聚类所得到的三个方向的消失点还需要进一步检查以确认是否是虚假消失点。如果检测满足下面两个条件,则认为得到的三个消失点是正确的。否则,将候选簇分别替换原先三个簇中的一个,并重新进行聚类,直到三个消失点满足条件。若任意三个簇的组合均不满足条件,那么检测失败。检测虚假消失点的标准如下:(1)三个消失点的三角形标准三个消失点组成的三角形一定是锐角三角形(如3.1中所述)。(2)相机焦距标准设三个消失点在图像坐标系中坐标分别为v1(x1,y1),v2(x2,y2),v3(x3,y3),u0点坐标(x0,y0),则相机焦距f为:f=−((x1−x0)∗(x2−x0)+(y1−y0)∗(y2−y0))−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−√,(2)f=-((x1-x0)*(x2-x0)+(y1-y0)*(y2-y0)),(2)将聚类后得到的消失点坐标代入该式所得到的相机的焦距应该符合实际情况,至少公式中根号内不能为负。如果相机焦距准确范围已知,那么该标准将具有更强的判别能力。3聚类去除噪声后的部分图像实验采用佳能powershotA70数码相机对人工环境进行拍摄。图3-a是暨南大学计算机系实验室窗外的真实场景。实验中图片大小为320×240,256灰度级,程序中各参数设定如下:tα=30°,Dt=30,Dthreshold=10,景深设为无穷远。对图3(a)使用Canny算子提取边缘并二值化后得到图3(b)。图3(c)显示了对图3(b)进行Hough变换后提取到的直线。图3(d)显示了聚类初始化中接近水平方向30°角域中的所有直线。图3(e)显示了该方向采用2.2中的投票方法去掉噪声后的结果。图3(f)显示了该方向聚类之后得到的消失点所对应线段,对其使用最小二乘算法将得到最终消失点坐标。可以看出投票方法有效的去除了噪声,而聚类则进一步去除了偏差相对比较大的直线。图3(g)和图3(h)分别显示了另一簇中去噪声和聚类后的图像。对比两幅图可以明显发现图3(h)中下方的线段在聚类之前并不在该簇。再对比实际图像图3(a),可以看出图3(h)下方线段除最左下为干扰线段外,其他与图中其他线段均为图3(a)中房屋右侧水平方向轮廓,实际空间中这些直线平行。因此聚类结果与实际相符合,而簇中增加的直线提高了消失点坐标的准确度。图3(i)和图3(j)分别显示了第三个消失点方向的初始直线和最终直线。根据这些直线求得三个方向消失点坐标为(988,230)、(179,-1096)、(-25,212),相机焦距为347。该坐标以图像左上角为原点,x轴水平方向向右为正,y轴垂直方向向下为正。为了验证结果的正确性,将这些数据代入图1,并以图像几何中心近似代表图像主点u0,可知三个消失点方向近似地相互正交。同时对图3-a作水平翻转后,再进行三个消失点检测,结果为(-706,231)、(165,-1286)、(349,210),它们之间的相对位置与原图接近,垂直方向上的偏差则稍大一点。图3-i是另一幅建筑物图像,图3-j显示了对图3-i进行Hough变换后提取的直线。由于建筑物正面的直线信息非常丰富,而且之间夹角较大,导致这些直线进入了两个主角域。但程序检测到它们不满足三角形标准,