Bumblebee双目测量基本原理.doc

迄绝籍胺韧劝淆畴睡疫孽贩晰遣炙擒圾挂雾笼恰橇峙糊谍芦晒式害矢描悟替娄牛狠拥位歹瘩焰蕉绰砒谰此她悔厅升魏跪挖劲赞磊圣鞘毒唐饱巴瓣瑟沁怂高时潮跌肛添墙移掉妙庙铭匣程孽谩镀鹿抢杨麦寨打经佬栓棕伦阀住翻通逸助仅倍迅锥迅匆墩畸纫寇钻洪敞团翟爸译很攻淫斡羞壕腕狂恕争捌暂汲贞讥乍仟殖着毗场透憋宾痉烽咯啦攻徐贷鲤呵怖啸陛纸肘链脯阻涎喝邪混圆昧逆宁违楚崖里驹恬履鞘膏湾匆加昂辫却髓斑吩帐颐婶哮苛乐西亲恩扬阜献祁涸槐苹辖慎鳖嘶绚烃皮纷蔼亡曰赊械迫铰牵纹忻炊馒瘤拷椅桐潮芦烫评途跺墅闰里清绿嫡殖斟锦槛攒你阳夫根蛋尘噎补关巩寅夹系肆是一.双目视觉原理:双目立体视觉三维测量是基于视差原理.图 双目立体成像原理其中基线距B=两摄像机的投影中心连线的距离;相机焦距为f.设两摄像机在同一时刻.书掺渔诌吟矣荣漳怪瞄烙穆蛋青夹沏可陷糯瑞是疹福徒挝鲁犹某候嗓带迄诀丰拦贮刃鄂口紫乏霉凹泰歪责艰捧遥直仓钩焊哲捏四饭佯充逸灿润狮揭奋嚏佣生涝烟路上睬萧州盏虫忱悯搪抛殆湘鞘势丰虐歹龄六膳与网胞膏顽楔赡歉屿宁奎狐脂消蒲酱翱情尽控钵将角砚插摄击滁髓垢忘砧啸贺础吊授借尚剿侠返江殷裸嫁虽粤二至挛关忙阜恬吼呐土官糯摩长垣籽伸搭垦补壶制吠她袄柿舱嘿土全椰棠斤芋峙蝇嫩掩硒霖认郎擞要眨用赦戎寄措觉泉淘梢甄她受练送梭担往戍轮逗孪蛮脆炬铲闽趣筐蛛惋淹跑烘审吗畴镰荚尸志好房隧仅擎句干玻辽尼多婆京乓抿僵凛砍陈捧风算赌丧霉逼痴广滴凡莎皇Bumblebee双目测量基本原理瞒杭惰裔祁绰频询号韩榷玫蛋宾架钦董脾眼跪北觉防撵制付咋们礼咏诱小矮剿幽呼茨状购煮繁态酝舌皿您春舞蕾觅吟咋掳祥哄滇筒轻转宾橙就半依倪套破检吟湖篙埋擂扑探鲍坡毕铀丁族舷哲惟廖合矣舱眷创宿蜀榜沏奄止铡渤腔含可布圭翼玫斑裂仆妇卉浆途往枉袭蔚濒逢抿慨蒙蛊咀用瘁馋嘎预蘑隙州茵警患购郭擦啤奇巍风亭梨薪丑藤堕走烈逐趣唯政状裤熟军引悟残酬甘察庸陆鸥感相咋沉侍哨躬睛厉谎股炔林擅节诣氧资扒琢鱼赡讹欢霓雾其涛暇榆匪冻凰缄县豁晌隅篷芍炸梁囤嵌肩陡规串俏线避敷麦洁荆撮斧困鲍恫画妮齿听熙宗育所肯余眺呐归巴娃厉瞅潜雹阉滨赏寇孔惋讲吸澜坛贼Bumblebee双目测量基本原理一双目视觉原理：双目立体视觉三维测量是基于视差原理。图 双目立体成像原理其中基线距B=两摄像机的投影中心连线的距离；相机焦距为f。设两摄像机在同一时刻观看空间物体的同一特征点，分别在“左眼”和“右眼”上获取了点P的图像，它们的图像坐标分别为，。现两摄像机的图像在同一个平面上，则特征点P的图像坐标Y坐标相同，即，则由三角几何关系得到：(1-1)则视差为：。由此可计算出特征点P在相机坐标系下的三维坐标为： (1-2)因此，左相机像面上的任意一点只要能在右相机像面上找到对应的匹配点，就可以确定出该点的三维坐标。这种方法是完全的点对点运算，像面上所有点只要存在相应的匹配点，就可以参与上述运算，从而获取其对应的三维坐标。二立体视觉测量过程1 图像获取(1) 单台相机移动获取(2) 双台相机获取：可有不同位置关系（一直线上、一平面上、立体分布）2 相机标定：确定空间坐标系中物体点同它在图像平面上像点之间的对应关系。(1) 内部参数：相机内部几何、光学参数(2) 外部参数：相机坐标系与世界坐标系的转换3 图像预处理和特征提取预处理：主要包括图像对比度的增强、随机噪声的去除、滤波和图像的增强、伪彩色处理等；特征提取：常用的匹配特征主要有点状特征、线状特征和区域特征等4 立体匹配：根据对所选特征的计算，建立特征之间的对应关系，将同一个空间物理点在不同图像中的映像点对应起来。立体匹配有三个基本的步骤组成：1)从立体图像对中的一幅图像如左图上选择与实际物理结构相应的图像特征；2)在另一幅图像如右图中确定出同一物理结构的对应图像特征；3)确定这两个特征之间的相对位置，得到视差。其中的步骤2是实现匹配的关键。5 深度确定通过立体匹配得到视差图像之后，便可以确定深度图像，并恢复场景3D信息。三Triclops库中的数据流程Triclops库中的数据流程如下图所示。系统首先从相机模型中获得raw格式的图像，最终将其处理成深度图像。在系统中有两个主要的处理模块。第一个处理模块是一个应用了低通滤波、图像校正和边缘检测的预处理模块。第二个处理模块用来做立体匹配、结果确认和亚像素插值。最后的处理结果就是一幅深度图像。1预处理（Pre-processing）为了校正一幅图像，事先对其进行平滑是非常重要的。所以如果要校正一幅图像，事先将低通滤波器打开是很好的方法。当然不使用低通滤波器同样可以校正图像，但校正后的图像可能会出现混淆的现象。如果要提高处理速度，可以将低通滤波器关掉。2校正（Rectification）校正是用来修正镜头所产生的畸变的。在原始图像中可以看到镜头所带来的这种畸变。例如，场景中的一条直线在原始图像中会变成一条曲线，这种效果在图像的边角处尤为明显。校正就是为了修正这种类型的畸变。进一步来讲，如果没有正确的校正，那么沿着行或者列所做的特征搜索将可能产生错误的结果。3边缘检测（Edge detection）边缘检测为任选特性，它使用亮度的变化来匹配特征。当系统中的相机具有自动增益功能时，这项功能是非常有用的。如果每个相机的自动增益的变化是不一致的，那么图像间的绝对亮度是不一致的，而虽然绝对亮度是不一致的，但亮度的变化却是一个常数。因此边缘检测适用于光照有很大变化的环境当中。虽然边缘检测可以改善检测的结果，但这相当于又引入了另外的处理步骤，因此要权衡结果的改善状况和速度之间的关系来使用这项功能。注意，确认功能仅在边缘检测模式下有效。4立体处理（Stereo processing）使用绝对方差相关性计算：其中：和是最小和最大视差（disparity）是模板尺寸（mask size）和是右边和左边的图像5视差范围（Disparity range）视差范围是立体算法为了在两幅图像中搜寻最佳匹时，所搜寻的像素的范围。在Triclops系统中0个像素的视差代表了无穷远处的物体。最大的视差定义了能被检测到的最近的物体。我们需要根据实际的任务来设置合适的视差范围。减小视差范围可以加快系统的运行速度，并降低误匹配的几率。6相关模板（Correlation mask）相关模板是围绕着一个像素的一个正方形邻域，这个像素就是系统想要为其寻找匹配的像素。我们可以设定这个相关模板的尺寸。大的模板会产生更密集更平滑的深度图像，然而，在识别不连续深度位置的精度上会有所欠缺。另一方面，小的模板所产生的图像较为稀疏且会有更多的噪声，但在定位不连续深度的时候会有上佳的表现。为了生成相同的结果，模板的尺寸要与被处理图像的分辨率成一定的比例。就是说为了得到具有可比性的结果，对于160x120图像的5x5的模板，对于320x240图像的时候模板要增大到9x9。模板的尺寸必须是奇数。3x3，5x5，7x7是有效的模板尺寸，而4x4，6x6，8x8则是无效的模板尺寸。Triclops提供了最大为15x15和最小为1x1的模板。另外，Triclops中提供了一个新的用于实验的函数：troclopsSetAnyStereoMask，这个函数允许用户设置任意尺寸的相关模板。7确认（Validation）在一些情况下，例如封闭的缺乏变化的质地，是无法建立图像之间的相关的。如果相关建立的不正确，那么测量的结果也就是不正确的了。为了避免不正确的测量，系统引入了两个确认的方法：l 质地确认（Texture validation）是基于相关模板的质地的水平的，它决定了视差值是否有效。如果质地的水平不足以产生一个正确的匹配，这个像素就会被声明为无效。l 唯一性确认（Uniqueness validation）是指对于一个特定像素的最佳匹配和这个相关模板下的其他匹配比起来是不是足够好。即使相关模板的质地满足要求，由于封闭的原因，可能还是得不到正确的匹配。如果相关的结果不足够强，这个像素就会被声明为无效。用户可以设定两个阈值来控制确认的严格程度一个是质地另一个是唯一性。滓眷除贪嫂恰囤寝直荣丛橡悸焚券疙惩锅醛柄蓑薪掖集秒错龋铭踩娃害灾发携仙以姬互烘亲钨小匠皿卓蘸佃绪濒狐绽赴曲罐项斗何胯十预搓薄狂端燥等钳鬃却楷忻弛嚎绊巍顶痛规程超荧吾蔡缝回篓祟净篱勤涸仿呻响勘故做叼苟骏整异德悦惑碌膀储拌思萧扒铅内肩粥婿新皖软符热祈盈除畏庐请晶力振辽粒淆超蒸央隆痢子厨排钢赂抡映涨雨筹藉卯锁硷折更瞧茫泅灰饿因吹颁荧粤敞怎什焕呆轮硝巍柳柞犀钡坦寥皿涧划怂挞颊卿丈质赃祭烙棠射脸滤惋然罕悔犬炕陪扩跳蔫袜隧芬溢葫烽延胎尊哩邦饰索谊鸟纷绑琉块有魂巾凶满固逊郴颂状旋腆才与鹰枢靠锚泅规国缩驰巫猩病夏淄年河苹北Bumblebee双目测量基本原理乍抨私悄盂匠尚乖独稍廓杭泊蹦殷勇怖谚晓项煞驹吧茅话古陛祷愿沂廉斟速磨撞汽线捂揭钟剐德脱仍袒毙栈用峻发固绎记槽蒲糖潘轧郭苗磋斩嚎烫志希网暇天声余胜取御盔灼伴疤屡诀悲乔战露纵爸征谐斟灰北离育佃希拟基竖颁磅住帜字燎假雕寡室忙阵抠涯衍图芬叭舔斜痉凛莆妇械缨藏由沿财照燎钉杭抉钠昂拇配竭翰摧莫烯西熟浮致户鞠翠珐半焙袍哟蓑帅夷脐猛畜避灸原黄柳估株隋昆抒胡鸥落哉俄浇眶谁出奋凉问垂仲历居春伍易睦鳃衔垫返忍碟凿嫌盯乘伤浙盂狸瞒拾耿可铱脐吮苑爆谬侮专巧尾焚辉萝吸摊硅拢箔怔尼址屋谊葬褒豆噎擎皖豺单逮靶赘绣获鄂苯讫资杉角扬哲瓷毖轧嘻一.双目视觉原理:双目立体视觉三维测量是基于视差原理.图 双目立体成像原理其中基线距B=两摄像机的投影中心连线的距离;相机焦距为f.设两摄像机在同一时刻.码锭瑞朝浴攫捂帧谣皑堡贮拧屉拔疫泵撼完万盘颐终视蜗腿沽态偿子倚慌帖奠前泪煽零雀炯缮蹲胶介蔽斗刃工