基于SIFT特征点的双目视觉定位.pdf

第3 0 卷第6 期 2 0 0 9 年6 月 哈尔滨工程大学学报 J o u r n a lo fH a r b i nE n g i n e e r i n gU n i v e r s i t y V 0 1 3 0 6 J u n 2 0 0 9 d o i 1 0 3 6 9 j i s s n 1 0 0 6 7 0 4 3 2 0 0 9 0 6 0 11 基于S I F T 特征点的双目视觉定位 孟浩 程康 哈尔滨工程大学自动化学院 黑龙江哈尔滨1 5 0 0 0 1 摘要 提出了一种结合了s I F r 特征点的双目立体视觉定位方法 介绍了对尺度 旋转 视角等变化具有良好鲁棒性的 S I N 特征向量 利用S 1 F Y 特征向量匹配算法在双目视觉系统采集的左 右图片中分别检测目标 获取匹配的目标s i v r 特征点 经过空间匹配点选择 标定点坐标计算等步骤获取左 右图片中具有空间位置一致性的目标标定点 并在摄像机 坐标系中恢复目标标定点三维信息 实验结果表明 利用该方法进行目标定位具有较强的适应性 有一定的实用价值 关键词 S I F T 特征点 双目视觉 目标定位 特征匹配 中图分类号 T P 2 9文献标识码 A 文章编号 1 0 0 6 7 0 4 3 2 0 0 9 0 6 0 6 4 9 0 5 o b i e c tl o c a t i o nt e c h n i q u ef o rb i n o c u l a rs t e r e ov i s i o nb a s e do n s c a l ei n v a r i a n tf e a t u r et r a n s f o r mf e a t u r ep o i n t s M E N GH a o C H E N GK a n g C o l l e g eo fA u t o m a t i o n H a r b i nE n s i n e e f i n gU n i v e r s i t y H a r b i n1 5 0 0 0 1 C h i n a A b s t r a c t A no b j e c tl o c a t i o nm e t h o dw a sd e v e l o p e db a s e do ns c a l ei n v a r i a n tf e a t u r et r a n s f o r m S I F T f e a t u r ep o i n t s t h a ti su s e f u lf o rd i g i t a li m a g eb a s e db i n o c u l a rs t e r e ov i s i o n F i r s t t h eS I F Tf e a t u r ev e c t o rW a si n t r o d u c e d a si th a s g o o dr o b u s t n e s st oc h a n g e ss u c ha ss c a l i n g r o t a t i o na n dv i s u a la n g l e s B yt h eu s eo fS I F Tf e a t u r ev e c t o rm a t c h i n g o b j e c t sw h i c hh a db e e nc o l l e c t e db yab i n o c u l a rs t e r e ov i s i o ns y s t e mw e r ed e t e c t e di nb o t hl e f ta n dr i g h ti m a g e s a n dt h u ss u i t a b l eS I F I f e a t u r ep o i n t sw e r ef o u n d T h e n b yc h o o s i n gm a t c h i n gp o i n t s c o m p u t i n gt h ec a l i b r a t e d p o i n t gc o o r d i n a t e s a n dS Oo n t h ec a l i b r a t i o np o i n t so ft h eo b j e c tc o u l db ed e t e r m i n e d T h e s ec a l i b r a t i o np o i n t sd e s c r i b et h es a m es p a t i a ll o c a t i o n so fo b j e c t si nt h el e f ta n dr i g h ti m a g e s F i n a l l y t h et h r e e d i m e n s i o n a lc o o r d i n a t e s o ft h ec a l i b r a t i o np o i n t sw e r er e b u i l ti nt h ec a m e r a sc o o r d i n a t es y s t e m T h er e s u l t ss h o wt h a tt h em e t h o dd i s c u s s e d h a sg o o dr o b u s t n e s sa n dp r a c t i c a b i l i t y K e y w o r d s s i v rf e a t u r ep o i n t s b i n o c u l a rs t e r e ov i s i o n o b j e c tl o c a t i o n f e a t u r em a t c h i n g 随着机器人自主化的不断深入 对机器人自主 能力最重要的机器人视觉技术的要求也不断提高 具有获取深度信息能力的双目立体视觉技术已经成 为了自主机器人技术的关键组成部分 引 如何在 背景环境中正确获取目标位置 如何在左 右摄像机 采集的图片中选取具有空间位置一致性的目标标定 点一直是双目立体视觉技术的难点和关键 通常的 方法依靠目标的形状 颜色等特征检测目标 并以物 体的形心等作为标定点 3 5J 该文将S I F I 特征匹配 算法用于目标检测 可以在较复杂环境下 从待测图 片中匹配出模板目标 并提出了一种基于s I V r 特征 点的目标标定点选择方法 用于双目立体视觉中左 收稿日期 2 0 0 8 3 4 3 3 作者简介 盂浩 1 9 6 6 男 教授 硕士生导师 E m a i l h e u a c m e n g h o t m a i l 咖 右图像中标定点的获取 1 基于S I 兀 特征向量的目标检测 如何在复杂环境中检测出目标物体是目标定位 的第一步 也是关键的一步 在宽基线条件下 利用 特征不变量技术进行匹配一直是研究的热点 s I F r 特征匹配是其中较为完善和稳定的技术 1 1 S I v r 特征匹配算法 S I F T s c a l ei n v a r i a n tf e a t u r et r a n s f o I T n 即尺度不 变特征变换算法 是D a v i dG L o w e 在研究并总结 了现有的基于不变量技术特征检测方法的基础上 提出的一种特征匹配算法 6 1 该方法建立于图像尺 度空间的基础上 在尺度空间寻找极值点 提取位 置 尺度和旋转不变量 s I F r 特征匹配算法分为生 成S I F T 特征向量和特征向量匹配2 个过程 万方数据 6 5 0 哈尔滨工程大学学报第3 0 卷 1 1 1 S I F r 特征向量的生成 S I l T r 特征向量的生成 包括检测尺度空间极值 点 精确定位极值点 指定特征点方向参数和生成特 征向量等步骤 S I l 7 r 特征匹配算法中尺度空间极值检测的主 要过程是 在尺度空间内 利用唯一的线性 核 别 高斯核建立高斯金字塔 构建D O G 金字 塔 在D O G 金字塔内进行极值检测 最后可以初步 确定特征点的位置及所在尺度 精确定位极值点的作用是消除低对比度极值点 和不稳定的边缘响应点 获得图像局部特征点 对于选定的图像局部特征点 利用特征点邻域 像素的梯度方向分布特性为每个特征点指定其方向 参数 使得S I F T 算子具有旋转不变性 以特征点为中心取8 8 的窗口 在每4 4 的 小块上计算8 个方向的梯度方向直方图 绘制每个 梯度方向的累加值 即可形成一个种子点 每个种子 点有8 个方向向量信息 L o w e 建议对每个特征点使 用4x 4 共1 6 个种子点来描述 这样对于一个特征 点就可以产生1 2 8 个数据 即最终形成1 2 8 维的 S I F T 特征向量 1 1 2S I F T 特征向量匹配 s I F r 特征向量的匹配主要就是对2 幅待匹配 图像的S I F t 特征向量进行相似性度量 计算第1 幅 图像的每个局部特征点在待匹配图像的特征点集中 的最邻近匹配 这里使用欧氏距离作为特征点的相 似性度量 特征点a b 间的欧氏距离叱表示如下 乏 口 一b i 2 i 1 2 n 1 式中 n 为特征向量的维数 为了排除因为图像遮挡和背景混乱而产生的无 匹配关系的特征点 L o w e 提出了通过比较最邻近距 离和次邻近距离来消除错配 昔 尺 尺 2 式中 i 为最邻近距离 为次邻近距离 当他们 的比值小于距离比例阈值R 时判定为正确匹配 否 则为错误匹配 1 2 目标检测 可以利用S I l T 特征匹配算法在待测图片中检 测出目标物体的前提是 拥有目标物体的模板图片 该模板要求目标具有明显的特征 并且模板图片中 背景的特征尽可能少 即在模板图片中尽量去除目 标以外的特征 使用S I l T 特征提取算法获得模板图片和待测 图片的S I I i T 特征向量 模板图片中的s I F r 特征向 量几乎全为目标的特征向量 待测图片生成的S I F r 特征向量包括目标与背景 这些特征向量具有很好 的位置 尺度 旋转不变性 将模板图片与待测图片 的S I F T 特征向量进行匹配 可以匹配出待测图片中 目标物体的S I f F 特征向量 这些S I F T 特征向量的 位置点称为S I l T 特征点 当匹配出的特征点达到一 定数量 表明在图片中检测出了目标物体 2 目标标定点选取 对于移动机器人目标定位 如要获取目标物体 的三维信息 需采集2 幅不同位置的目标图像 利用 视差原理对2 幅图像中目标物体上的同一点进行三 维信息的恢复 这里将该点称为目标物体的标定点 2 幅图像中标定点位置的相匹配程度决定了目标定 位的精确度 利用s w r 特征匹配算法可以在2 幅图 像中获取一些S I F r r 特征点 由于2 幅图像拍摄环境 的差异 2 幅图像中获得的S i l l 特征点在空间位置 上不具有一致性 即这些特征点不全对应于目标上 相同位置上的点 需要进行选取才能获得具有空间 一致性的标定点 这里提出了一种完整的标定点获 取方法 该方法分为空间匹配点选取 标定点计算两 步 2 1 空间匹配点选择 为了获取2 幅图像中的相同匹配点 这里结合 匹配点反向搜索及图像S I F r 特征匹配进行匹配点 选择 设采集到左 右2 幅图像 空间点匹配过程分 为如下 1 利用S I 壬 T 特征匹配算法 分别将左右2 幅图像 与插座模板图像匹配 获得特征点对集合S 和S 搜 索2 个特征点对集合 提取具有相同模板图像特征点 坐标的元素 即寻找左 右2 幅图像当中在模板图像中 有相同匹配点的特征点 将左右图像中的匹配点生成 新的特征点对集合S 2 对特征点对集合S 进行验证 将左右两幅图 像利用S I F r 特征匹配算法匹配 生成特征点对集合 s 伍R 将集合S 中的元素在集合sL 中进行搜索 如果搜索到相同元素则表示该特征点对在左 右图 片间也符合匹配 称之为空间匹配点 将其保留 最 后生成了空间匹配点对的集合S 由上述方法获得的空间匹配点对的集合S 中 的特征点 可以很好的保证对应于目标实物中的相 同位置 具有良好的空间位置匹配性 2 2 标定点坐标计算 设空间匹配点集中元素总数为n 名i Y i 为点 万方数据 第6 期 盂浩 等 基于S I F T 特征点的双目视觉定位 6 5 l 集中的坐标 则该点集中心坐标为 1 n 孑 铂 3 i l n 一 YY Y 1 4 2i 上 4 J l 将中心坐标取整后作为标定点图像坐标 3 双目视觉标定点计算 双目立体视觉 叫1 1 是对人双眼的模拟 人的双 眼从稍有不同的2 个角度去观察三维世界的景物 由于几何光学的投影 像点在左右两眼视网膜处在 不同的位置上 这种两眼视网膜上的位置差就称为 双目视差 简称视差 它反映了客观景物的深度 双目立体视觉正是基于视差理论 用2 个摄像机在 不同位置对同一物体成像 获取同一点的视差 再利 用视差测距原理计算深度信息 双目视觉系统中最为简便常用的是和人眼构造 一致的平行等高双目视觉系统 该双目视觉系统两 个相同的摄像机平行摆放 摄像机前端平齐且高度 一致 摄像机在坐标系中横坐标重合 坐标原点相距 b 将距离b 称为基线 如图1 所示 乞l l 矿丐 q I 一 t r t 1 0 c 1o d i d 一 d 算 门 算 Y 分别为空间点P 在2 个摄像 机成像面上的物理坐标 可以由在图像中的像素坐 标通过已知的摄像机内部参数计算而得 依据上述 公式 可以通过获取目标点在2 幅图像中的位置 在 摄像机坐标系中标定目标点的三维坐标 4 目标定位实验 实验中采用D F 2 0 2 T Z 针孔摄像机 组成平行双目 视觉系统 基线长度为1 0 0m m 焦距为3 8 8n l m 1 3 英 寸C C D C C D 的面积为3 2m i l l 2 4h i m 采集图片的 尺寸为7 6 8x 5 7 6 像素 实验以墙壁插座为目标 首先获取插座模板图片及左右两侧摄像机采集 的图片