（机械电子工程专业论文）基于双目视觉的运动目标定位研究.pdf

一_ a b s t r a c t m o t i n g t a r g e tl o c a t i o nb a s e do nb i n o c u l a rv i s i o nh a sc l e a ra d v a n t a g eo v e ro t h e r m e t h o d s ，w h i c hm a k e s i to n eo ft h ei m p o r t a n tr e s e a r c hp a r t so fc o m p u t e rv i s i o n h o w e v e r ， i ti sac o m p l e xi n v e r s ep r o c e s st od e d u c et a r g e tp o s i t i o nf r o map a i ro f2 - di m a g e st h a t a r es y n c h r o n o u s l yg r a b b e df r o mt h et a r g e ta td i f f e r e n tv i s u a la n g l e i nt h i st h e s i s ，t h ek e y t e c h n o l o g i e ss u c ha sc a m e r ac a l i b r a t i o n ，f e a t u r ee x t r a c t i o na n ds t e r e om a t c h i n gi n v o l v e d i nb i n o c u l a rv i s i o nw e r es t u d i e d b a s e do na n a l y z i n gf o rt h ee x i s t i n gm e t h o d so fc a m e r ac a l i b r a t i o n ，a l li m p r o v e d p l a n ec a l i b r a t i o nm e t h o dw a sp r e s e n t e db yc o m b i n i n gc o n v e n t i o n a lc a l i b r a t i o nm e t h o d a n ds e l f - c a l i b r a t i o nm e t h o d t h em e t h o du s e dl i n e a rc a m e r am o d e lf o rc a l c u l a t i n gi n i t i a l i n t e r i o ra n de x t e r i o rp a r a m e t e r s f i r s t l y , t h e n t h er a d i a la n dt a n g e n td i s t o r t i o nw e 陀 i n t r o d u c e d ，a n df i n a l l y , t h en o n l i n e a ro p t i m i z i n gm e t h o dw a su s e dt os o l v ed i s t o r t i o n c o e f f i c i e n t s t h em e t h o dn o to n l yo v e r c o m et h ec o n v e n t i o n a lm e t h o d sf a u l t ss u c ha s h i g hr e q u i r e m e n tf o rf a c i l i t ya n dc o m p l e xo p e r a t i o n ，b u ta l s oa t t a i n e dh i g h e rp r e c i s i o n t h a ns e l f - c a l i b r a t i o nm e t h o d b e i n ga i m e da tt h ef a u l t s t h a th a r r i sc o m e rd e t e c t i o nm e t h o dn e e d sm a n u a l t h r e s h o l d s e t ，w h i c hi sp r o n et oc a u s et h ec o l l i e rp o i n t s d i s t r i b u t i o nn o n u n i f o r mo rc o m e r p o i n tc l u s t e r , a n dc o u l do n l ya t t a i np i x e ld i m e n s i o np r e c i s i o n ，t h et h e s i sp r e s e n t sa n i m p r o v e dh a r r i sc o m e rd e t e c t i o nm e t h o d i ta d o p t st h em e a s u r eo fi m a g ep a r t i t i o na n d e l i m i n a t i n ga d j a c e n tc o m e rp o i n t t oa c h i e v ea u t o m a t i ct h r e s h o l d s e t , w h i c he n s u r e s c o m e rp o i n t s u n i f o r md i s t r i b u t i o n ；t h e nt h ef o r s t n e rd e t e c t i o nm e t h o dw a su s e dt or a i s e t h ep r e c i s i o nt os u b - p i x e ld i m e n s i o n s t e r e om a t c h i n gi st h em o s td i f f i c u l tl i n kw i t h i nab i n o c u l a rv i s i o ns y s t e m a st h e e p i p o l a r l i n eo fap r a c t i c a ls y s t e mi sc u r v e d ，w h i c hm a k e st h a tt h es e a r c h i n g c o r r e s p o n d i n gp o i n t sa l o n ge p i p o l a rl i n en o to n l yi st i m e - c o n s u m i n g , b u ta l s oi ss e r i o u s l y e f f e c t e db yn o i s e t oo v e r c o m et h e s ep r o b l e m s ，t h et h e s i sp r e s e n t sa m a t c h i n ga l g o r i t h m b a s e do ni m a g er e c t i f i c a t i o na n dg r a yc o r r e l a t i o n t h ec u r v e de p i p o l a rl i n ew a sc o n v e r t e d i n t op a r a l l e ls t r a i g h tl i n e s ，w h i c hs i m p l i f i e dt h es o l v i n gp r o c e s so fe p i p o l a rl i n e ，a n dt h e n t h ea l g o r i t h mb a s e do ng r a yc o r r e l a t i o nw a su s e dt om a t c hc o r r e s p o n d i n gp o i n t s b y d o i n gs o ，t h ea c c u r a c ya n ds t a b i l i t yo fs t e r e om a t c h i n gh a db e e ne f f e c t i v e l yi m p r o v e d b e i n gd i r e c t e da tt h ei m a g ed i s t o r t i o nr e s u l t i n gf r o mt h ea b e r r a t i o n so fa c t u a lo p t i c a l s y s t e m ，ap r e p r o c e s s i n gm e t h o dt oc o m p e n s a t ei m a g ed i s t o r t i o ne f f e c t i v e l yi sp r e s e n t e d a c c o r d i n g t ot h ec o n j u g a t er e l a t i o nb e t w e e nt h eo b j e c ta n di t si m a g e ，t h eo b j e c tp l a n ew a s d i v i d e di n t om a n ym i c r oo b j e c te l e m e n t st h a th a v eo n e - t o o n ec o r r e s p o n d e n c ew i t ht h e p i x e l so fi m a g es e n s o r ；m o n t ec a r l om e t h o dh a sb e e nu s e dt os i m u l a t et h el i g h t d i s t r i b u t i o no ni m a g ep l a n em a d eb yt h el i g h tf r o me a c ho b j e c te l e m e n t ，n a m e l yp o i n t s p r e a df u n c t i o n ap o i n ts p r e a da r r a yw a sc o n s t r u c t e df r o ma l lp o i n ts p r e a df u n c t i o n so f a l le l e m e n t s ；e a c hr o wo ft h ea r r a yc o r r e s p o n d st ot h ep o i n ts p r e a do fa no b j e c te l e m e n t a 3 66川33 7，iiiiy l i n e a rs y s t e mo fe q u a t i o n st od e s c r i b et h er e l a t i o nb e t w e e na l lo b j c c te l e m e n t sa n da l l i m a g ep i x e l sw a sb u i l to nt h eb a s i so ft h ep o i n ts p r e a da r r a y , a n da l i f e l i k ei m a g ew a s o b t a i n c db ys o l v i n gt h el i n e a rs y s t e mo fe q u a t i o n s n em e t h o di sp a r t i c u l a r l yu s e f u lf o r t h ei m a g i n gs y s t e mi nw h i c ht h ec o n j u g a t ed i s t a n c eo fo b j e c ta n di m a g ei sf i x e d h n a l l y , 也ep r o g r a mf o rb i n o c u l a rv i s i o nt a r g e tl o c a t i o nw a sd e v e l o p e db yu s eo f v i s u a lc + + t a r g e tl o c a t i o ne x p e r i m e n t sw e r ec a r d e do n as e l f - b u i l te x p e r i m e n t a ls y s t e m t h er e s u l t sv e r i f i e dt h ef e a s i b i l i t ya n dt h ev a l i d i t yo ft h et h e o r e t i ca p p r o a c hp r e s e n t e di n t h i st h e s i s k e y w o r d s ：b i n o c u l a rv i s i o n ；i m a g ep r e p r o c e s s i n g ；c a m e r ac a l i b r a t i o n ；f e a t u r e e x t r a c t i o n ；s t e r e om a t c h i n g 目录 第一章绪论1 1 1 选题的目的和意义1 1 2 双目视觉系统及国内外研究现状1 1 2 1 计算机视觉。1 1 2 2 国外研究现状3 1 2 3 国内研究现状4 1 3 双目视觉系统的关键技术5 1 4 本文研究内容7 第二章图像采集与预处理9 2 1 图像采集9 2 2 图像预处理9 2 2 1 图像预处理方法1 0 2 2 2 基于蒙特卡罗模拟的图像预处理方法1 2 2 3 本章小结1 8 第三章摄像机标定。1 9 3 1 摄像机成像模型。1 9 3 1 1 线性模型1 9 3 1 2 非线性模型2 0 3 2 摄像机标定方法2 l 3 2 1 传统标定方法2 l 3 2 2 自标定方法2 1 3 2 3 基于神经网络的标定方法。2 2 3 3 改进的平面标定法2 2 3 3 1 求解单应矩阵2 2 3 3 2 由单应矩阵求解摄像机部分参数初值2 4 3 3 3 优化摄像机内外参数2 4 3 4 双目视觉系统标定2 5 3 4 1 双目视觉系统标定过程2 5 3 4 2 实验结果分析2 6 3 5 本章小结2 8 第四章特征提取与立体匹配2 9 4 1 特征提取方法。2 9 4 1 1 角点检测算法2 9 4 1 2h a r r i s 角点检测算法3 0 4 1 3 改进的h a r r i s 角点检测算法3 0 4 1 4 角点检测结果分析3 2 4 2 立体匹配方法3 3 4 2 1 立体匹配方法分类3 3 4 2 2 匹配约束条件3 4 4 2 3 基于图像校正与灰度相关性的立体匹配3 6 4 2 4 实验结果分析3 8 4 3 运动目标定位3 8 4 4 本章小结。4 0 第五章双目视觉定位系统设计与实现4 1 5 1 实验系统组成：4 1 5 1 1 实验系统硬件结构4 1 5 1 2 实验系统程序设计4 1 5 2 实验结果分析4 2 5 2 1 摄像机标定4 2 5 2 2 运动目标定位4 3 5 3 本章小结4 6 第六章总结与展望4 7 6 1 全文总结4 7 6 2 存在的不足与后续研究的展望4 7 参考文献4 9 攻读硕士期间研究成果5 3 i 改谢! ；z i 学位论文独创性声明5 5 学位论文知识产权权属声明5 5 青岛大学硕士学位论文 第一章绪论 1 1 选题的目的和意义 运动目标的位置确定是计算机视觉领域的重要研究内容，也是非常具有挑战性 的研究课题，在机器人视觉导航、公共场景监控、智能交通等领域有十分广泛的工 程应用背景i 。 基于计算机视觉的目标定位有单目视觉和双目视觉两种方式。目前对运动目标 定位的研究多是基于单目视觉。单目视觉使用一台摄像机获取目标图像。由于图像 投影过程中丢失了场景的三维信息，因此得到的目标位置信息是相对的。要获得目 标的绝对位置必须增加深度( 目标距离) 测量( 如激光测距、超声波测距) ，或者 已知目标的模型，不仅定位精度较低，而且在许多应用场合难以实现【2 1 。双目视觉 模拟人类双眼机制，采用两台摄像机从两个视点去拍摄同一目标，获得不同视角下 的一组图像，通过不同图像中同一目标的视差，推断出场景中目标的三维空间信息。 双目视觉在获取目标空间三维信息方面具有不可替代的优势。 基于双目视觉的运动目标定位是一个复杂的逆问题，即由同一目标在不同视角 下的一组图像反推出目标的三维空间信息。它涉及到摄像机标定、图像处理、特征 提取和立体匹配等关键技术问题【3 】。尽管对基于双目视觉的目标定位研究已取得许 多理论和应用成果，但这方面的研究还只是开始。进一步完善理论和改进算法，以 实现快速、高精度的目标定位是研究的目标。本文的研究工作是为配合车辆工程系 的自动导引运输车( a u t o m a t e dg u i d e dv e h i c l e ，a g v ) 研究而开展的。其研究成果 在机器人视觉导航、工业检测、公共场景监控等领域有工程实用意义。 1 2 双目视觉系统及国内外研究现状 1 2 1 计算机视觉 视觉是人类感知外界信息的重要方式，人类获取的信息8 3 来自视觉。视觉不仅 包括对光信号的感受，还包括对视觉信息的获取、处理、传输、存储、理解的全过 程。自从信号处理理论与计算机出现以后，人们就试图用数字信号表示摄像机获取 的坏境图像，并用计算机处理视觉信号，这就是计算机视觉的概念【4 j 。 计算机视觉是通过对摄像机拍摄的二维图像的分析处理，提取出三维景物世界 的物理结构。计算机视觉要达到的基本目的【5 】：根据一幅或多幅二维投影图像计 算观察点到目标物体的距离；根据一幅或多幅二维投影图像计算目标物体的运动 参数；根据一幅或多幅二维投影图像计算目标物体的表面特征。 为了达到计算机视觉的基本目的，有两种技术途径可以考虑【6 l ：一是仿生学方 法，即从分析人类视觉的过程入手，参照人类视觉系统的结构，建立相应的处理模 1 第一章绪论 块完成视觉的功能。二是工程方法，即从分析人类视觉过程的功能入手，不刻意模 仿人类视觉系统内部结构，而仅考虑系统的输入和输出。利用一切可行的技术手段 来实现计算机视觉功能。 计算机视觉始于2 0 世纪6 0 年代。首先是r o b e r t s l 7 通过计算机程序从数字图像中提 取出立方体、楔形体、棱柱等多面体的三维结构，并可描述物体的形状和它们的空 间关系。r o b e r t s 的研究开创了以理解三维场景为目的的计算机视觉研究。2 0 世纪7 0 年代中期，国际上很多知名学者参与了麻省理工学院人工智能实验室1 8 j 组织的关于 计算机视觉的理论、算法、系统设计的研究。m a t t 最初的开发工作是应用计算机实 现人的立体视觉功能，并在此基础上形成了他的视觉计算理论的整体框架。 m a r r 的视觉计算理论【9 】是以计算机技术为基础，系统概括了人工智能、模式识 别、神经生理学、图像处理等学科领域的重要成果。现在看来虽有一些不足，但仍 是视觉研究领域迄今为止最为系统的理论。m a r t 的视觉计算理论把视觉过程看作一 个信息处理过程，并把这一过程分为三个层次：计算理论、算法与数据结构、硬件 试验。这一理论强调了当时并不被重视的计算理论层次，在这一层次上，把视觉过 程规定为定量地恢复出图像所反映的场景中的三维物体的形状和空间位置，并将这 一恢复过程分成三个阶段：第一，要素图，包含图像边缘灰度变化率，边缘的几何 特征等；第二，2 5 维图，要素图和三维图像模型之间的中间表示层次，包含物体表 面的局部内在特征；第三，三维图，以物体为中心的三维描述，由要素图和2 5 维图 得到。 m a r t 的理论比较系统地揭示了用二维图像恢复三维物体形态的可行性和基本方 法，为计算机视觉成为一门科学奠定了理论基础。2 0 世纪8 0 年代至今，学者们根据 m a r t 所提出的基本理论进行了大量研究，提出了许多方法。但总的来讲，这些方法 都存在这样或者那样的问题，或抗噪声能力低，或缺乏通用性，或存在多解性。其 原因可归纳为两方面i l o l 。 ( 1 ) 计算机视觉问题是一个逆问题，输入的是二维灰度图，它是三维物体几何 特征、光照强度、物体颜色、物体材料表面性质、摄像机参数等许多因素的函数， 由灰度反推以上各种参数是个逆问题。视觉过程作为成像过程的逆过程，其目的是 从带有噪声和畸变的二维图像中恢复出三维场景信息。但是在图像投影过程中，不 可避免地会丢失一部分信息，正是这种丢失信息的恢复形成了计算机视觉研究的核 心问题从场景图像或序列图像中求出目标精确的三维几何描述，并定量地确定 场景中目标的空间性质，而这个问题通常是非线性的，病态的，问题的解不具有唯 一性，而且对噪声引起的误差极其敏感。对于这类问题，通常的处理方法是通过引 入约束构成正则化问题，转化为优化问题或利用g i b b s 分布将问题转化为对分布或参 数的估计。 2 青岛大学硕士学位论文 ( 2 ) m a n 的视觉系统框架是一个自下而上的结构，具有单向性、模块化、数据 驱动等特点。神经生理学的研究表明，这种结构与人类的视觉系统还有很大差别， 虽然对这种差别目前还缺乏深入的理解，但显然人类的视觉系统的各层次之间、各 功能模块之间存在更为复杂的相互作用。更重要的是，人类视觉系统的认知过程是 一种复杂的与外界交互作用的主动性过程。g i b s o n 1 1 】曾指出，感知是一种行动而不 仅仅是一种被动式的反应。近年来提出的主动式视觉或者基于模型的视觉都在这方 面突破了m a r r 视觉理论框架。 1 2 2 国外研究现状 在双目视觉系统研究领域，日本和美国居于国际领先水平。 日本大阪大学机械系研制了一种自适应双目视觉伺服系统【1 2 j ，利用双目视觉原 理，以每幅图像中相对静止的三个标志作为参考，实时计算目标图像的雅可比矩阵， 从而预测目标下一步的运动方向，实现了对运动方式未知的目标的自适应跟踪。该 系统仅要求两幅图像中都有静止的参考标志，不需要摄像机内外参数。而传统的视 觉伺服系统需要预先知道摄像机的运动、光学参数和目标的运动方式。 日本奈良科技大学信息学院提出了一种基于双目视觉的增强现实系统( a r ) 注 册方法1 1 3 】，通过动态修正特征点位置提高注册精度。该系统将单摄像机注册( m r ) 与立体视觉注册( s r ) 相结合，利用m r 和三个标志点算出特征点在每个图像上的 二维坐标和误差，利用s r 和图像对计算出特征点的三维位置总误差，反复修正特 征点的二维坐标，直至三维总误差小于某个阈值。该方法与仅使用m r 或s r 方法 相比，大大提高了a r 系统的注册深度和精度。 日本东京大学将实时双目视觉系统和机器人整体姿态信息集成【1 4 l ，开发了仿真 机器人动态行走导航系统。该系统的实现分两步：首先利用平面分割算法分离图像 对中的地面与障碍物；再结合机器人的整体姿态信息，将图像从摄像机的二维平面 坐标系转换到描述躯体姿态的世界坐标系，建立机器人周围区域的地图；然后根据 实时建立的地图进行障碍物检测，从而确定机器人的行走方向。 日本冈山大学采用立体显微镜、两个c c d 摄像头、微操作器等研制了利用立体 显微镜控制微操作器的视觉反馈系统【1 5 】，用于对细胞进行操作和微装配等。 美国麻省理工学院计算机系提出了一种用于智能交通系统的传感器融合方法 【1 6 j ，由雷达系统提供目标深度的大致范围，利用双目视觉系统提供目标的粗略深度 信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行 分割，而传统的目标分割算法难以在高速实时的环境下得到令人满意的结果。 华盛顿大学与微软公司合作为火星卫星“探测者 号研制了宽基线立体视觉系 统1 1 7 l ，使“探测者号能在火星上对其即将跨越的几千米内的地形进行精确的定位 3 第一章绪论 导航。该导航系统使用同一个摄像机在“探测者的不同位置上拍摄图像对，拍摄 间距越大，基线越宽，能观测到越远的地貌。系统采用非线性优化得到两次拍摄图 像时摄像机的相对准确的位置，利用最大似然概率法结合高效的立体搜索进行图像 匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标。与传 统的立体视觉系统相比，能够更精确地绘制周围的地貌，并且能以更高的精度观测 更远的地形。 ， 1 2 3 国内研究现状 国内对双目视觉系统的研究起步较晚，主要集中于大学和中科院的研究所i l 引。 浙江大学机械系利用透视成像原理，采用双目视觉方法实现了对多自由度机械 装置的位姿检测【1 9 】，只需从两幅对应图像中抽取必要的特征点的三维坐标，处理速 度快，可适于动态情况。与手眼系统相比，被测物体的运动对摄像机影响较小，且 不需要知道被测物体运动的先验知识和限制条件，有利于提高检测精度。 东南大学电子工程系基于双目视觉，提出了一种灰度相关多峰值视差绝对值极 小化立体匹配新方法【2 0 1 。通过对最大灰度相关匹配算法的分析，指出最大灰度相关系 数所对应的点并不一定是正确匹配点，由此提出了灰度相关匹配多峰值方法，以获得 初始匹配集。结合视差梯度约束，对所得初始匹配集进行部分优化，采用视差绝对值 极小化确定唯一匹配点。这一方法可满足三维不规则物体( 如偏转线圈) 三维空间坐 标的非接触精密测量要求。 哈尔滨工业大学采用异构双目视觉系统实现了全自主足球机器人导航【2 。将一 个固定摄像机和一个可以水平旋转的摄像机分别安装在机器人的顶部和中下部，可 以同时监视不同方位视点，体现出比人类视觉优越的一面。通过合理的资源分配机 制，使机器人在视野范围、测量和跟踪精度及处理速度方面达到最佳匹配。双目协 调技术可使机器人同时捕捉多个目标，通过数据融合，也可提高测量精度。在实际 比赛中如果其他传感器失效，仅仅依靠双目视觉导航系统仍然可以实现机器人的导 航。 中科院自动化所、西安交通大学、武汉大学、南京大学、上海交通大学等科研 机构在该领域也进行了较深入的研究，并在三维运动目标的定位与跟踪i 捌、机器人 立体视觉【2 3 1 、立体显示俐、场景深度恢复和三维重建i 矧等实际应用中取得了一定成 果。 虽然国内对双目视觉的研究也取得一些重要的研究成果，但总体水平较国外还 有较大差距。主要体现在测量精度比国外低，研究工作多处于实验室阶段，投入实 际应用的成果少。 4 青岛大学硕士学位论文 1 3 双目视觉系统的关键技术 双目视觉系统的结构如图1 1 所示。p 点是目标上的一个特征点，足是p 点在左 摄像机图像上的投影点，是p 点在右摄像机图像上的投影点，q 是左摄像机的光 心，d ，是右摄像机的光心。p 点既位于直线q 曰上，又位于直线d ，上，因此p 点 是d ，毋和d ，两条直线的交点。运用双目视觉原理进行运动目标定位的目的就是得 到目标上特征点的位置。首先通过摄像机标定得到摄像机光心口和q 的坐标，然后 通过特征提取和立体匹配得到毋和e 的坐标，利用两个空间直线的交点就可以得到 p 点的三维坐标。 y 、 ， 图1 1 双目视觉系统结构示意图 双目视觉系统的关键技术包括：图像采集与预处理、摄像机标定、特征提取与 立体匹配、三维信息恢复。 ( 1 ) 图像采集与预处理 一 立体图像对的采集是双目视觉系统的基础。常用的图像采集方法有两种：一是 使用两台性能相同、位置固定的摄像机从不同角度对同一目标进行拍摄；二是使用 同一台摄像机从不同的角度两次拍摄同一目标。图像采集不但要满足应用要求，还 要考虑光照条件、摄像机性能以及目标特点等因素的影响。 由光学成像系统生成的二维图像，包含了各种各样的随机噪声和畸变，因此需 要对原始图像进行预处理。图像预处理的目的主要有两个 2 6 1 ：一是改善图像的视觉 效果，提高图像清晰度；二是使图像变得更有利于计算机处理，便于各种特征分析。 常用的图像预处理方法有图像平滑、图像增强和图像锐化。图像平滑可以抑制 或消除图像噪声、改善图像质量。常用的图像平滑方法有邻域均值法和中值滤波法。 其中中值滤波法既能有效衰减噪声，又能保持边缘细节，应用最为广泛。图像增强 的方法主要有两种：一是基于图像灰度直方图的处理，二是基于图像灰度值进行处 理。图像锐化可以使模糊的图像变得清晰，突出图像的边缘特征，常用的图像锐化 方法有微分法和高通滤波法。 ( 2 ) 摄像机标定 5 第一章绪论 摄像机标定就是通过实验和计算得到摄像机参数，包括摄像机的内部参数和外 部参数【2 7 1 。同时建立成像模型，以确定空间坐标系中物体点与它在图像平面上像点 之间的对应关系。 双目视觉系统是从摄像机获取的图像信息出发，计算三维环境中目标的位置、 形状等几何信息，并由此识别环境中的目标。图像上每一点的亮度反映了空问目标 表面某点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位 置有关。这些位置的相互关系，由摄像机成像几何模型所决定，该几何模型的参数 称为摄像机参数，必须由实验与计算来确定，实验与计算的过程称为摄像机标定。 摄像机模型是光学系统成像几何关系的简化，最简单的模型为线性模型，或称为针 孔模型。而当计算精度要求较高，或者在近距、广角的情形时，这种线性模型不能 准确地描述摄像机的成像几何关系，必须引入非线性畸变补偿，即采用非线性模型。 摄像机标定方法有传统的标定方法和自标定方法i 删。对于一般的工业应用，传 统的标定方法由于求解简单，概念清楚，易于理解而被广泛使用。摄像机的自标定 技术不需要标定参照物，直接利用图像序列的约束关系来计算摄像机模型的参数， 使实时在线标定摄像机参数成为可能。传统的摄像机标定方法的研究重点：寻求更 准确、更符合人类视觉特点的摄像机模型，建立通用的摄像机标定方法，力求实用、 快速、简单；如何有效合理地确定非线性畸变校j 下模型中的标定参数。摄像机自标 定方法的研究重点：如何解决自标定技术中对噪声敏感的问题，如何使自标定算法 更加简单实用，尽量避免复杂的非线性搜索问题。 ( 3 ) 特征提取与立体匹配 特征提取是为了得到立体匹配所需要的图像特征，常用的目标特征主要有点状 特征、线状特征和区域特征。立体匹配是双目视觉中最重要也是最困难的问题。立 体匹配是寻找同一空间目标在不同视点下投影图像中像素间的一一对应关系p l 。与 普通的图像模板匹配不同，立体匹配是在两幅或多幅存在视点差异、几何和灰度畸 变以及噪声干扰的图像对之间进行的，不存在任何标准模板。当空间三维场景被投 影为二维图像时，受光照条件、目标几何形状和物理特性、噪声干扰及摄像机特性 等诸多因素的影响，同一目标在不同视点下的图像会有很大的不同，要准确地对包 含如此多不利因素的图像进行无歧义匹配是比较困难的。 任何一种立体匹配方法必须解决以下三个问剧3 0 l ： 1 ) 基元选择：选择合适的图像特征作为匹配基元，如点、直线、区域、相位等。 由于立体成像的视点差异以及噪声干扰等因素的影响，要对图像中的所有像素都进 行无歧义匹配是很困难的、也不实用。为此，应该选择能表征目标属性的特征作为 匹配基元。 2 ) 匹配准则：将物理世界的某些固有特征作为匹配所必需遵循的若干规则，使 6 青岛大学硕士学位论文 匹配结果能真实反映目标的本来面目。m a r t 提出的唯一性约束、相容性约束和连续 性约束被认为是匹配控制中最一般、最基本的物理约束。在这三个基本约束的基础 上，针对处理目标的特点和应用要求，通过附加某些先验知识能够引申出一些特定 的匹配准则。常用的匹配准则有：唯一性约束，连续性约束、相容性约束、极线约 束、顺序一致性约束。 3 ) 算法结构：利用适当的数学方法设计能正确匹配所选基元的稳定算法。实现 匹配的算法结构与匹配基元的选择以及匹配准则是紧密相关的，一般应该兼顾有效 性和计算量。立体匹配实质上是在匹配准则约束下的最佳搜索问题，许多数学中的 最优化方法都可应用于立体匹配，如动态规划方法、松弛法以及遗传算法等。 ( 4 ) 三维信息恢复。根据摄像机标定过程获得的摄像机参数和立体匹配过程获 得的图像投影点视差关系，可以求出空间点的三维坐标和深度信息。进而进行目标 运动参数的估计。 1 4 本文研究内容 本文对基于双目视觉的运动目标定位技术进行研究。重点研究双目视觉定位系 统的图像处理、摄像机标定、特征提取和立体匹配等关键技术；通过对现有理沦和 方法的分析、综合与改进，以提高基于双目视觉的运动目标定位系统的性能。主要 研究内容如下： ( 1 ) 图像采集与预处理 由于环境光照条件、摄像机自身性能和目标自身特点等因素的影响，所采集的 图像不可避免地包含了各种各样的随机噪声和畸变，故必须对原始图像进行预处理， 以改善图像的视觉效果，提高图像清晰度，便于计算机分析、处理。 ( 2 ) 摄像机标定方法 视觉过程作为成像过程的逆过程，其目的是从带有噪声、畸变的二维图像中恢 复三维场景信息。要实现这一逆过程，必须首先确定空间坐标系中物体点与它在二 维图像上像点之间的对应关系，即摄像机标定。在现有的标定方法中，传统标定方 法随标定精度较高，但需要制作精密标定块，难以用于实时系统。自标定方法无需 精密标定块，标定更加灵活，但标定精度低。为此，需要研究精度高、易于实现的 标定方法。 ( 3 ) 特征提取与立体匹配 特征提取是为了得到立体匹配所需要的图像特征，立体匹配是寻找同一空问目 标在不同视点下投影图像中像素间的一一对应关系。立体匹配是双目视觉中最关键 也是最困难的问题。角点作为图像的一个重要的点特征，角点提取在图像的刚名点 匹配、目标识别、运动估计以及目标定位等研究中非常重要。然而，最常用的h a r r i s 角点检测算法需要手动设定阈值，精度只能达到像素精度。而且，目d 订的立体匹配 7 第一章绪论 方法通用性差，误匹配机率高。为此，本文研究解决上述问题的方法。 ( 4 ) 在理论研究的基础上，构建双目视觉定位系统实验平台，进行反复实验， 验证理论方法的可行性，并通过改进算法，提高系统的定位精度和速度。 8 青岛大学硕士学位论文 第二章图像采集与预处理 2 1 图像采集 立体图像对的采集是双目视觉系统的基础【3 。图像采集系统由计算机与数码摄 像机组成，影响图像采集质量的主要因素就是图像传感器。目前，数码摄像机中采 用的图像传感器有两类：电荷耦合器件( c h a r g ec o u p l e dd e v i c e ，c c d ) 和互补金 属氧化物半导体( c o m p l e m e n t a r ym e t a lo x i d es e m i c o n d u c t o r ，c m o s ) 图像传感器1 3 2 l 。 两者各有优势，对比如下： ( 1 ) 灵敏度：c m o s 传感器的每个像素由四个晶体管与一个感光二极管构成( 含 放大器与a d 转换电路) ，使得每个像素的感光区域远小于像素本身的表面积，因 此在像素尺寸相同的情况下，c m o s 传感器的灵敏度要低于c c d 传感器。 ( 2 ) 分辨率：c m o s 传感器的每个像素都比c c d 传感器复杂，其像素尺寸很 难达到c c d 传感器的水平，因此，当比较相同尺寸的c c d 与c m o s 传感器时，c c d 传感器的分辨率通常会优于c m o s 传感器的水平1 3 3 j 。 ( 3 ) 噪声：由于c m o s 传感器的每个感光二极管都需搭配一个放大器，而放大 器属于模拟电路，很难让每个放大器所得到的结果保持一致，因此与只有一个放大 器放在芯片边缘的c c d 相比，c m o s 传感器的噪声比较大，影响图像品质。 ( 4 ) 功耗：c m o s 传感器的图像采集方式为主动式，感光二极管所产生的电荷 直接由晶体管放大输出；但c c d 为被动式采集，需外加电压让每个像素中的电荷顺 序移位输出，外加电压通常为1 2 。1 8 v ：因此，c c d 除了在外围电路设计上比较复 杂外，所需的高驱动电压使其功耗远高于c m o s 传感器m j 。 ( 5 ) 成本：由于c m o s 传感器采用一般半导体电路常用的c m o s 工艺，可以 轻易地将周边电路集成到传感器芯片中，因此可以节省外围芯片的成本；除此之外， 由于c c d 采用电荷传递的方式传送数据，只要其中有一个像素不能运行，就会导致 一整排的数据不能传送，因此控制c c d 传感器的成品率比c m o s 传感器困难许多， 故c c d 成本会高于c m o s 传感器1 3 引。 综上所述，c c d 在灵敏度、分辨率、噪声控制等方面优于c m o s 传感器，而 c m o s 传感器则具有低成本、低功耗以及高整合度的优点。不过，随着c c d 与c m o s 传感器技术的进步，两者的差异有逐渐缩小的趋势。c c d 传感器一直在功耗上作改 进，c m o s 传感器则侧重于改善分辨率与灵敏度。 2 2 图像预处理 由摄像机采集的图像含有各种噪声和畸变，必须通过图像预处理来改善图像质 量，为后续的摄像机标定与特征提取做准备。 9 第二章图像采集与预处理 2 2 1 图像预处理方法 常用的图像预处理方法有图像平滑、图像增强和图像锐化。 ( 1 ) 图像平滑 图像在生成和传输过程中难免受到各种噪声源的干扰，影响了图像质量。抑制 或消除图像噪声、改善图像质量的工作称为图像平滑。图像平滑的目的：一是改善 图像质量，二是抽取图像特征。由于噪声种类很多，所以图像平滑的方法也有多种。 常用的方法有邻域均值法、中值滤波法等。 邻域均值法【3 6 i 采用数学公式描述时，可以把平均化处理看成一个作用于图像 f ( u ， ，) 的空间低通滤波器，该滤波器的脉冲响应为h ( r ，s ) ，则滤波器的输出或新的 数字图像厂0 ，v ) 可用离散卷积表示为 7 ， ，) - 罗罗厂 吒v s ) h ( r ，s ) ( 2 1 ) r - 葛- k 暑i 七，z 根据所选邻域大小来决定。一般情况下，考虑到运算量，选择k ft 1 ( 即3 x 3 的小邻域) 。邻域取的过大，会使灰度突变而丢失一些有用信息，如物体边缘等变得 模糊。公式中h ( r ，s ) 一般称为模板( t e m p l a t e ) 。常用的模板有 r 111 1r 121 1 h 。! 1 11 1i 、日土i242i ( 2 2 ) 9 i l 1 1i 1 6 l1 21l 前者称为均值模板，后者为高斯模板。 中值滤波法【3 7 】是一种既能有效衰减