（应用数学专业论文）双目汇聚摄像系统若干问题研究.pdf

河南大学研究生硕士学位论文第1 ”页 摘要 双目视觉研究是计算机视觉研究中最为活跃的研究课题之一，主要包括摄像 机定标、图像采集、特征提取、立体匹配、深度计算及深度信息内插六部分内容。 其中深度计算模型和系统结构参数设定是核心部分。因此本文将这两部分作为重 点研究内容，主要包括： 首先，基于双c c d 摄像机，重点讨论了世界坐标系、摄像机坐标系、物理坐 标系、像素坐标系及各坐标系之间的转换关系，给出了双摄像机成像模型。 其次，为解决双目平行摄像系统中的盲区问题，基于双目汇聚摄像系统的基 本思想，提出了解决这一问题的数学模型，然后基于这一数学模型，采用角点检 测方法和外极线约束条件进行对应点提取和匹配，推导出物体深度计算公式，并 通过计算机仿真，验证了模型和公式的有效性。 最后，基于双目汇聚摄像系统模型，在理论上对系统测量精度与结构参数之 间的关系作出了系统详尽的分析，重点研究了系统基线和光轴夹角对测量误差的 影响，并通过实验对结论进行了验证。 关键词：双目视觉；汇聚模式；深度信息；对应点提取与匹配；结 构参数；精度分析 第1 i 页河南大学硕士研究生学位论文 a b s t r a c t b i n o c u l a rv i s i o nr e s e a r c hi so n eo ft h em o s ta c t i v eb r a l l c h e so fc o m p u t e rv i s i o n t e c l l l l o l o g y ， i n c l u d i n gm a n yr e s e a r c h2 l s p e c t s s u c ha sc 锄e r ac a l i b r a t i o n ， i m a g e a c q u i s i t i o n ， f e a t u r e e x t r a c t i o n ， s t e r e o m a t c l l i n g ，d 印t h m e a s u r e m e n ta n d d e p m i n f o m l a t i o ni n t e 印o l a t i o n a m o n gt h e s er e s e a r c ha s p e c t sa r et h ed e p mm e a l s u r e m e n t a 1 1 dt h ec o n s t n j c t i o no fs y s t e ms t m c t u r ep a r a m e t e r sw h i c ha r et h ec o r ep a r t so ft h e b i n o c u l a rv i s i o nr e s e a r c h t h e r e f o r e ，t h i st h e s i sh a st a l ( e nt h e s et 、v oa s p e c t sa st h ek e y r e s e a r c hc o n t e n t s ，m a i l l l yc o n t a j n i n g ： f i r s t l y ，b a s e do nt h ed u a lc c dc a m e r a ，t h ee m p h a s i si ss t r e s s e do nt h ed i s c u s s i o no f s e v e r a lc o o r d i n a t es y s t e m si nc o m m o nu s ea n dt h et m s i t i o nr e l a t i o n s 锄o n gt h e mi i l t h i st h e s i s s e c o n d l y ，i no r d e rt o s o l v et h ep r o b l e mo fb l i n da r e ar e s u l t i n gf l r o mab i n o c u l a r p a r a l l e lc 锄e r as y s t e m ，am a ：t l l e m a t i c a lm o d e lo f b i n o c u l a rc o n v e 玛e n tc 锄e r as y s t e mi s p r o p o s e di nt 1 1 i sp a p e rn r s t l y a n dt h e n ，b yu s eo ft h ec o m e rd e t e c t i o nm e t l l o da 1 1 d c o n s t r a i no fe p i p 0 1 a rl i n et oe x t r a c ta n dm a t c hc o r r e s p o n d i n gp o 血s ，af o m u l ao f c o m p u t i n gt h eo b j e c td e p t hf o rc o n v e r g e n tb i n o c u l a rc 锄e r as y s t e mi sd e d u c e db a s e d o nt h i sm a t h e m a t i c a lm o d e l f i n a l l y ，c o m p u t e r s i m u l a t i o n sa r e p e r f b n n e d t o d e m o n s t r a t et h ev a n d i 够o ft h em o d e la 1 1 dt h ef o n n u l a t h i r d l y ，b a s e do nb i n o c u l a rc o n v e r g e n tc a m e r as y s t e mp a t t e m ，t h er e l a t i o n s l l i p b e 铆e e nm e a s u r e m e n ta c c u r a c ya n dc o n s t n l c t i o np 猢e t e r si sa 1 1 a l y z e ds y s t e m a t i c a l l y i nt h e o r yi nt h i sp a p e r f 0 c u si ss t r e s s e do nt h ee 髓c to fm e a s u r e m e n te r r o rb e t w e e nt h e s y s t e mb a s e l i n ea n dt h ea i l g l eo fm eo p t i c a la x i s e x p e r i m e n ti sd o n e t od e m o n s t r a t et h e a n a l y s i sc o n c l u s i o n s k e yw o r d ：b i n o c u l a rv i s i o n ；c o n v e 曜e n tp a t t e m ；d e p t l li n f o m a t i o n ； c o r r e s p o n d i n gp o i n ta b s t r a c t i o na n dm a t c m n g ； s t m c t l 】r ep a r a m e t e r s ；a c c u r a c ya i l a l y s i s 关于学位论文独立完成和内容创新的声明 本人向河南大学提出硕士学位申请。本人郑重声明：所呈交的学位论文是 本人在导师的指导下独立完成的，对所研究的课题有新的见解。据我所知，除 文中特别加麒说明、标注和致谢的地方外，论文中不包括其他人已经发表或撰 写过的研究成果，也不包括其他人为获得任何教育、科研机构的学住或证书而 使用过的材料。与我一同工作的风事砷泰研窥所做的任何贡献均已在论文中作 了明确的说明并表示了韵| 意o ，：j 。+ 。矗囊 ， 鼻 ? 。筝； ， “；： j ， i j ? | ? i i ? 、j j 够j 学磅：祗7 ，t 学位撼雾彩0 蕉，釜羞受： 7 ，；r 。，磊么7 爱：i ：7 4 j “。7 7 戈，? 7 ：j ， 。黾 。， 爆t 墨t ? j ：t |j 二j ：f 。i ? ，。誓缈管一琴甏j0 獭。餐牟。b ：阳日 ：， 7 + 、；7 ，- i 。f f l l 萨7 1 ln ，纠j fjp i j ， 、 ，? ? ，- 呷v f 、二一 、v ，7 r， o，f，if ，t ? j ：墨，。黪貔) 麓妻鬟魏“。：= ：；： ：0 4 “。 ，：。砖，；。：l 臻7 夕? ， ，_ ，二 t ? i “；? j tj l 。，。，咄荽l。j 弹誓：j y ? f 。 瓣；麓参：。，7 蔓荔餮一。i 溪 ? 矗：? ：i j | j，“、r ，it i j ，j ， 一? 。，j ，：i 囊一i y j 鼍| 菱：，i 誊警警碡羚婷作帮蝴书、j 雾 暴。，：，j 毫零“，：囊，鬈。7 。| 。t| 1 i 、”十j 。，i 。0 7 t1 0 ，j 。 1 j 本人经河南大学审核批准援等磺士缮往。作为学位论文的作者，本人完全 了解并同意河南大学有关保留、猿潮喾馋琵囊酌要求，即河南大学有权向国家 图书馆、科研信息机构、数据收集机构和本校图书馆等撬供学位论文( 纸质文 本和电子文本) 麒供公窳捡索、奎阉j 本，人擐枳河赢灾学出于宣扬、展览学校 学术发展和进行学拳交流等骨的：。甄弘采取影帮、缩印、扫描和拷贝等复制手 段保存、汇编学住论文( 纸质文本和电子文本) 。 ( 涉及保密内容的学位论文在解密后适用本授权书) 学住获得者( 学位论文作者) 签名：盔盔丕虽 2 0o 睁6 月，d 日 学位论文指导教师签名： 跏8 。6 ，d 河南大学研究生硕士学位论文第1 页 1 1 引言 第1 章绪论 周围环境中的物体在可见光的照射下，在人眼的视网膜上形成图像，由感光 细胞转换成脉冲信号，再经神经纤维传入大脑皮层进行处理与理解，这就是所谓 的视觉。视觉是人类获取信息强有力而又有效的手段，人类感知外界信息，8 0 以 上是通过视觉得到的n3 ，可见对视觉研究具有非常重要的意义。 让计算机或机器人具有视觉，是人类多年以来的梦想。信号处理科学与机器 人技术出现以后，人们试图用摄像机获取景物图像并转换成数字信号，用机器人 的大脑计算机实现对视觉信息处理，从而逐渐形成了一门新兴的学科，即计 算机视觉口3 ，它包括视觉信息的获取、传输、处理、存储与理解。 现实世界中的物体都是三维的，人眼所获得的景物图像却是二维的，但是人 类的视觉系统能够很容易地从二维图像中感知三维世界，从而获得三维世界的信 息。计算机视觉的研究目标就是使计算机具有通过一幅图像认知周围环境信息的 能力。这种能力不仅使机器能感知环境中物体的几何信息，如其形状、位置、姿 态、运动等，而且能对它们进行描述、存储、识别与理解。因此，可进行非接触、 自动、在线的检测，使得它在机器人视觉、车辆自主驾驶、多自由度机械装置控 制等领域均极具应用价值硷1 。 1 2 双目视觉 在计算机视觉中，立体视觉是一个重要分支，特别是双目立体视觉( 或简 称双目视觉) 是人们研究的热点。立体视觉就是由多幅图像( 一般是两幅) 获取 物体三维几何信息。人们早就注意到，几乎所有具有视觉的生物都有两个眼睛， 用两个眼睛同时观察物体时，会有深度或近远的感觉。立体电影之所以有逼真的 深度感，也是仿照了立体视觉原理。在立体电影拍摄中，用两个摄像机( 模仿人 第2 页河南大学研究生硕士学位论文 的双眼) 同时拍摄，而在放映时，将两个摄像机拍摄的图像同时投影到屏幕上， 并利用偏震光的原理，使人的双眼分别看到左右摄像机拍摄的图像，从而具有真 实三维景物的立体感。生物功能的模拟是现代机器人视觉的最大挑战：。在计算机 视觉系统中，双目视觉是用两台性能相同，相对位置固定的c c d 摄像机，获取同 一景物的两幅图像，计算空间点在两幅图像中的“视差( d i s p a r i t y ) ”，以此确定 场景的深度信息，进而由计算机重建( r e c o n s t r u c t i o n ) 周围景物的三维形状和 位置。 1 2 1 双目视觉的研究内容 双目视觉算法可分为六个主要部分：摄像机定标、图像采集、特征提取、立 体匹配、深度计算及深度信息内插心一引。 1摄像机定标摄像机定标也称摄像机校准，其目的是建立有效的成像模 型，并确定摄像机内外部属性参数，以便确定空间坐标系中物体与它在图像平面 上像点之间的对应关系。 2 图像采集立体图像的采集是双目立体视觉的物质基础，图像采集的方 式很多，主要取决与应用场合和目的。为了采集双目视觉需要的图像对，可以用 两台性能相同、位置固定的摄像机从不同角度对同一景物进行拍摄，或者可以用 一台摄像机从不同的角度两次拍摄同一景物。在获取立体图像时不但要满足应用 要求，而且要考虑视点差异、光照条件、摄像机性能以及景物特点等因素的影响， 以便于立体视觉计算。 3 特征提取特征提取是为了得到匹配所需要的图像特征，由于目前尚没有 一种普遍使用的理论可指导图像特征的提取，从而导致了立体视觉研究中匹配特 征的多样性。目前，常用的匹配特征主要有点状特征、线状特征和区域特征。根 据多视点的视察确定三维( 3 d ) 信息，其关键的一步是确定场景中同一物点在不 在图像中的对应关系，解决该问题的方法之一是选择合适的图形特征并进行匹配。 综合考虑，本文将图像中目标几何形状的角点，作为一种有效特征点进行提取， 河南大学研究生硕士学位论文第3 页 并把角点作为对应点进行匹配，计算其视差，为深度信息的计算做准备。 4 立体匹配立体匹配是立体视觉中最重要也是最困难的问题。当空间三维 场景被投影为二维图像时，同一场景在不同视点下的图像会有很大不同。而且场 景中的诸多因素，如光轴条件、景物几何形状和物理特征、噪音干扰和畸变以及 摄像机特性等，都被综合成单一的图像中的灰度值。归一化积相关算法是一种典 型的基于灰度相关的算法，因为有不受比例因子误差的影响和抗自噪音干扰能力 强等优点而被广泛采用，本文也采用这一方法对图像进行匹配。 5 深度计算从二维灰度图像中获得三维深度信息是立体视觉的目的之一，也 是机器人视觉中发展最迅速的领域。对于目标图像，将特征提取得到的角点作为 对应点，结合对应点的外极线约束条件进行对应点匹配。利用对应点的视差，就 可以计算出基于双c c d 成像的目标的深度信息。 6 深度信息内插立体视觉的最终日的是为了恢复景物可视表面的完整信 息。目前，无论是哪种匹配方法都不可能恢复出所有图像点的视差。对于一个完 整的立体系统来讲，都必须进行最终的表面内插重建。在内插过程中，最重要的 问题就是如何有效地保护场景面的不连续信息佑3 。 在一个典型的双目视觉系统中，两摄像机沿基线放置，空间点的像分别在左 右两个像平面上的投影位置的间距称为视差。由视差计算深度是非常容易的，但 视差本身的计算是立体视觉中最困难的部分，它涉及到模型分析、摄像机定标、 图像预处理、特征选取及特征匹配。机器人双目立体视觉系统结构如图卜1 所示。 在机器人双目视觉系统的硬件结构中，目前通常采用两个c c d 摄像机作为视 频信号的采集设备，通过专用图像采集卡与计算机连接，把摄像机采集到的模拟 信号经过采样、滤波、量化，最终将图像数据提供给计算机。当置于移动机器人 上的摄像机沿基线放置，其光轴相互平行时，构成双目平行立体视觉系统，这是 最简单最典型的一种情况，通过对它各个部分的几何关系的分析，我们可以获取 目标场景的深度信息；当光轴互成一定角度时，构成双目汇聚立体视觉系统，由 于双目汇聚立体视觉系统能决绝双目平行立体视觉系统中常遇到的盲区问题，在 第4 页河南大学研究生硕士学位论文 现实中更常用一些，双目汇聚立体视觉系统是本文研究的重点之一。 机 器 人 双 目 业 体 视 觉 系 统 硬件 视觉传感器 视频数字化设备 计算机及其外设 机器人 计算机软件 软件氏- 叫视频处理算法 机器人控制软件 图1 1 机器人双目立体视觉系统的组成 机器人双目立体视觉系统的软件结构包括计算机操作系统及其应用软件、视 觉处理算法、机器人控制处理，其中视觉处理算法的范围十分广阔，根据应用目 的的不同，可包括图像输入处理、摄机定标法、图像预处理( 滤波，边缘提取等) 、 特征选取、图像匹配，深度识别、深度图生成等。 1 2 ：2 国外研究现状 国外在基于双目立体视觉的计算机三维重建方面，主要是分立体匹配和三维 重建两个部分进行研究。立体匹配部分主要是研究特征点的提取和匹配算法；三 维重建部分主要是研究如何从得到的匹配点中计算出摄像机的投影矩阵以及如何 计算出匹配点的三维坐标。在立体匹配方面，国外的学者们研究了一些新的方法 和理论。 英国的m p i l u 口3 提出了一种直接的基于奇异值分解的立体匹配方法。 河南大学研究生硕士学位论文第5 页 日本大阪大学研制了一种自适应双目视觉伺服系统睛1 ；奈良科技大学信息科学 学院提出了一种基于双目立体视觉的增强显示系统( a r ) 注册方法阳1 ，通过动态修 正特征点的位置提高注册精度；东京大学将实时双目立体视觉和机器人整体姿态 信息集成，开发了仿真机器人动态行走导航系统n 们；冈山大学使用立体显微镜、 两个c c d 摄像头、微操作器等研制了使用立体显微镜控制微操作器的视觉反馈系 统，用于对细胞进行操作，对种子进行基因注射和微装配等u 。 美国麻省理工学院提出了一种新的用语智能交通工具的传感器融合方法n 纠， 由雷达系统提供目标深度的大致范围，利用双目立体视觉提供粗糙的目标深度信 息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行 分割，取得了令人满意的效果。华盛顿大学与微软公司合作为火星卫星“探测者 号研制了宽基线立体视觉系统n 引，使“探测者”号能够在火星上对其即将跨越的 几千米内的地形进行精确的定位和导航。 1 2 3 国内研究现状 目前国内在计算机双目立体视觉方面，无论是对摄像机的标定技术还是对立 体图像匹配算法都进行了大量的研究，提出很多比较完善的理论。而在算法的具 体实现方面，中科院自动化研究所机器人视觉研究组已经取得了很大的成就。机 器人视觉研究组实现了c v s u i t e 软件，该软件主完成了特征点的提取、特征点的 匹配、像机的自标定、模型的三维显示等功能。 机器人视觉研究组利用一种称为半稠密匹配的方法进行立体图像对的匹配， 更好的实现了模型的三维显示h 引。 利用透视成像原理，采用双目体视方法实现了对多自由度机械装置的动态、 精确位置检测，该方法仅需要从两幅对应图像中抽取必要的特征点的三维坐标， 信息量少、处理速度快、尤其适于动态情况n 5 ：。 基于双目立体视觉提出了一种灰度相关多峰值视差绝对值极小化立体匹配新 方法，可满足三维不规则物体( 偏转线圈) 在三维空间中非接触精密测量的要求n 6 | 。 第6 页河南大学研究生硕士学位论文 采用异构双目活动视觉系统实现了自主足球机器人导航n7 【。将一个固定摄像 机和一个可以水平旋转的摄像机，分别安装在机器人的项部和中下部，可以同时 监视不同方位视点，体现出比人类视觉优越的一面。在实际比赛中其他传感器失 效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航。 火星8 6 3 计划课题“人体三维尺寸的非接触测量”，采用“双视点投影光栅三 维测量”原理，由双摄像机获取图像对，通过计算机进行图像数据处理，不仅可 以获取服装设计所需的特征尺寸，还可根据需要获取人体图像上任意一点的三维 坐标。 1 3 研究意义 我国的机器人双目立体视觉发展目前正处于方兴未艾的阶段，无论是工业、 农业还是军事领域都显示出广阔的发展前景。在视觉理论研究上我们已取得了许 多研究成果n 乩捧棚1 。尽管大部分成果在应用领域还没有转化为生产力，但是己拥 有了开展视觉研究的研究人才和技术条件，如清华大学智能技术与系统国家重点 实验室、安徽大学人工智能研究所、武汉汽车工业大学数字图像处理研究所等在 机器人立体视觉研究领域处于领先地位陀h ；同时各大院校也在加大机器人立体视 觉研究的力度，其中由清华大学率先研究开发的拟人机器人t b i p r 一1 ，采用的是 最为典型的双目平行立体视觉体统口2 l 。双目视觉这一有着广阔应用前景的学科， 随着光学、电子学以及计算机技术的发展，将不断进步、逐渐实用化，不仅将成 为工业检测、生物医学、虚拟现实等领域的关键技术，还可以应用于航天遥测、 军事侦察等领域。目前在国外，双目视觉技术己广泛应用于生产、生活中，而我 国正处于初始阶段，尚需广大科技工作者共同努力，为其发展做出贡献。可以预 计，我国飞速发展的经济实力将为机器人双目立体视觉技术的发展提供更加广阔 的应用需求，同时机器人双目立体视觉技术的发展将更加有助于我国工业经济的 发展和人民生活水平的提高。 河南大学研究生硕士学位论文第7 页 1 4 研究背景 本文以河南省自然科学基金攻关项目“双目视觉监控系统研制”、河南省高校 杰出科研人才创新工程项目“基于p g f 和模糊技术的分布式图像分割”和河南大 学校内基金( 一般) 项目“基于d s p 的双目视觉信号处理系统研究”为研究背景， 以双目视觉为重点研究方向，对图像中几何形状的角点进行检测，将角点作为对 应点进行匹配并计算其视差，根据对应点视差确定物体深度信息，并进一步研究 了系统测量精度与结构参数之间的关系。 1 5 本文主要研究内容 本文将双目视觉中的基础部分双目汇聚立体视觉模型和模型结构参数设 置作为重点内容对双目视觉中的相关问题进行了研究，主要包括： 首先，基于双c c d 摄像机，重点讨论了世界坐标系、摄像机坐标系、物理坐 标系、像素坐标系及各坐标系之间的转换关系，给出了双摄像机成像模型。 其次，为解决双目平行摄像系统中的盲区问题，基于双目汇聚摄像系统的基 本思想，提出了解决这一问题的数学模型，然后基于这一数学模型，采用角点检 测方法和外极线约束条件进行对应点提取和匹配，推导出物体深度计算公式，并 通过计算机仿真，验证了模型和公式的有效性。 最后，基于双目汇聚摄像系统模型，在理论上对系统测量精度与结构参数之 间的关系作出了详细的分析，重点研究了系统基线和光轴夹角对测量误差的影响， 通过实验用详尽的数据分析了双目汇聚摄像系统结构参数与测量误差之间的关系 特征，得出在双目汇聚系统中，基线选取3 5 0 l i 埘4 5 0 m m ，两c c d 光轴夹角b 选在 4 5 度到7 0 度时为宜。进一步研究发现，在既定的摄像系统中当物点处于两光轴的 交点附近时，投影点处于像平面的中央位置，成像效果好、匹配速度块、测量精 度高。研究内容对实际设计双目视觉系统有指导性作用。 第8 页河南大学研究生硕士学位论文 6 论文的组织结构 本文第二章至第四章是基于对应点的双目视觉研究的具体内容，具体组织结 构如下： 第二章是坐标系与成像模型。基于双c c d 摄像机，重点讨论了几种常用的坐 标系及其各个坐标系之间的转换关系，给出了光轴平行的双目视觉摄像机模型。 第三章是对双目汇聚摄像系统深度信息测量的研究。针对双目平行摄像系统 中的盲区问题，首先提出了双目汇聚摄像系统的数学模型。然后基于这一数学模 型，采用角点检测方法和外极线约束条件分别进行对应点提取和匹配，推导出双 目汇聚摄像系统的物体深度计算公式。最后通过对双目汇聚模型的计算机仿真， 验证算法的有效性。 第四章是对双目汇聚摄像系统结构参数的研究。基于双目汇聚摄像系统模型， 在理论上对系统测量精度与结构参数之间的关系作出了系统详尽的分析，重点研 究了系统基线和光轴夹角对测量误差的影响，并通过实验对结论进行了验证。 最后是结束语，归纳总结全文的主要工作和贡献，以及该研究方向未来的发 展趋势。 1 7 小结 本章首先对双目视觉作了概述；其次介绍双目礼堂的国内外研究现状；然后 结合研究背景提出了本文的研究内容；最后给出了本文的组织结构。 河南大学研究生硕士学位论文第9 页 2 ，1 引言 第2 章坐标系与成像模型 摄像机是最常用的图像采集、输入装置，具有输入速度快、灵敏度高、使用 方便等特点。摄像机通常由摄像镜头、摄像器件、同步信号发生电路、偏转电路、 放大电路、电源等部分组成。按照摄像器件的组成，可将摄像机分为三种，电荷 耦合器件摄像机、电荷注入器件摄像机和光敏二极管阵列摄像机。目前计算机视 觉系统中常用的摄像机是电荷耦合器件( c h a r g ec o u p l ed e v i c e ) 摄像机，即前 面提到的c c d 摄像机。 现代摄像机工艺己达到相当高的水平，高分辨率、低非线性失真的摄像机成 本相对较低。借助于c c d 摄像机，飞速发展的计算机视觉正日益广泛应用于科学 技术、国防建设、医药卫生和国民经济的各个领域。在计算机视觉、工业检测中， 往往需要对景物进行定量分析、对空间三维视觉进行测量或对物体完成精确定位。 机器人视觉系统从摄像机获取的图像信息出发，计算三维环境物体的位置、形状 等几何信息，并由此识别环境中的物体。图像上每一点的亮度反映了物体表面某 点反射光的强度，而该点在图像上的位置则与空间物体表面相应点的几何位置有 关，这些位置的相互关系，由摄像机成像几何模型所决定。本章基于双c c d 摄像 机，重点讨论了几种常用的坐标系及其各个坐标系之间的转换关系，为以后双目 视觉摄像机模型的建立奠定了基础。 2 2 坐标系 为了研究问题的方便，我们先讨论文献 1 描述的三个坐标系：图像坐标系、 摄像机坐标系和世界坐标系。其中摄像机坐标系是联系世界坐标系和图像坐标系 的桥梁业3 1 。 图像坐标系摄像机获得的连续图像经过采样、量化和编码后，转化成数字图 像，以二维数组( 行，列) 的形式输入到计算机里。数组中的每一个元素称为 第10 页河南大学研究生硕士学位论文 图像的一个像素，共有m n 个像素。数组元素值，即像素值表示图像点的亮度或 灰度值( 仅对灰度图像而言) 。在图像上定义直角坐标系o m u v ，0 。定义为屏幕的左 上角。在这一坐标系下，每一像素的坐标( u ，v ) ( 1 u n ，1 v m ) 分别代表该 像素在数组中的列值和行值。因此，称0 。u v 为以像素为单位的图像坐标系。 图2 1 图像坐标系 由于( u ，v ) 只表示像素位于数组中的列值和行值，并未用物理单位表示出该 像素在图像中的实际位置，因而，需要建立以物理单位表示的图像坐标系0 ，x y ， 坐标原点0 ，定义在摄像机光轴与像平面的交点，一般位于图像中心处，但由于摄 像机制作的原因，也会有些偏离。x 轴和y 轴分别平行于u 轴和v 轴，如图2 1 所 示，称0 ，x y 为用物理单位表示的图像坐标系，( x ，y ) 为图像中某一像素点的物理 坐标。 假设0 ，点在像素体系下的坐标为( u 。，v 。) ，每一像素在x 轴和y 轴方向上的物 理单位为d x 和d y ，则图像中任意一个像素在两个体系下的坐标有如下关系： x 优= = + 砧o ( 2 1 ) d x 、 河南大学研究生硕士学位论文第1 1 页 忙葛栅。 v 用齐次坐标和矩阵形式可描述为： 逆关系可写成： 丢 o “。 出 。 o 士v 。 方 ” o0l 出o 一铭。出 o 咖一v o 砂 oo x y l ( 2 2 ) ( 2 3 ) ( 2 4 ) 摄像机坐标系为研究摄像机成像几何原理，我们需要建立另外一个坐标系。 取摄像机的光心为坐标原点o c ，x c 轴和y c 轴分别平行于u 轴和v 轴。z c 轴为摄像 机的光轴，称这样的坐标系o c x c y c z c 为摄像机坐标系。 世界坐标系在环境中选择一个基准坐标系来描述摄像机所处的位置，称这样 的坐标系o x y z 为世界坐标系，其中，0 为坐标原点。 摄像机坐标系可看作是世界坐标系经旋转矩阵r ( 般为正交单位阵) 和平移 向量亡变换而来。设空间某一点p 在摄像机坐标系和世界坐标系下的坐标分别为 p c ( x c ，y c ，z c ) 和p ( x ，y ，z ) ，则二者的齐次坐标系可用下式来描述。 第1 2 页河南大学研究生硕士学位论文 x c y c z c 1 厂rf = l lo 丁1 l x y z l 式中。= 。 。 。 丁记 。 = m 。，则式c 2 5 ，可改写为： x c y c z c 1 2 ，3 成像模型 厂rf i = i lo r 1 l x y z 1 = m l x y z 1 ( 2 5 ) ( 2 6 ) 摄像机成像原理属于透镜光学原理。设透镜的焦距为f ，物距为f u ，像距为， 则物体上任意一点通过透镜以公式 111 = + j 。 。 ( 2 7 ) 投影到像平面上。在一般情况 故可取f v f 泓3 ，这就是小孔成像原理，即物 体上任意一点都通过透镜的光心在像平面上投影。则空间某一点p 的小孔成像如 图2 2 所示 河南大学研究生硕士学位论文第1 3 页 v y r o 盯l 厂一一一一一一一一一一一一一一一u ， t 图2 2 小孔成像原理 由图2 2 可以看出o 。o ，= f 。在摄像机坐标系下，若不考虑负号，利用三角形 相似变换可得： 毒= 瓤= 譬阻8 ， 3 z c z c ”。 毒= 当勘= 譬 ( 2 - 9 ) 3 z c zc 在摄像机坐标系下，若考虑负号，为保证式( 2 8 ) 和式( 2 9 ) 的正确性， 我们作如下处理：在图2 2 所示的小孔成像原理图中，将图像坐标系o m u v 或o ，x ，y ， 沿光轴方向平移f ，将摄像机坐标系0 。x c y 。z 。沿光轴负方向平移f ，假想像平面总是 们于摄像机的前方，而这并未改变摄像机的成像几何特性，变换后的小孔成像原 理如图2 3 所示： 第1 4 页河南大学研究生硕士学位论文 2 3 变换后的小孔成像原理图 1 v 将式( 2 8 ) 和式( 2 9 ) 合并，可获得以齐次坐标描述的投影矩阵形式： 阿 乞 ， 心 q oo oo oo 1o 将式( 2 4 ) 代入式( 2 1 0 ) 可得： ( 2 1 0 ) k儿乙1 河南大学研究生硕士学位论文第1 5 页 一 _ 一 - c改(i 一“o 出 睡 心 ： ( ： x y z ( z c ()1砂 一v o 砂 矿q 1o 一 l = ( () 1 【 oo 一 一 - 即： 1 一 。一 _- x c y c z c ( 2 一n ) - _ 二o 钍。 一 。 “ 出 “ ) oo 1 ? y=o 0 f q c 砂 1 _ - o01 0o1 一 将式( 2 一6) 千e a式( 2 1 1 ) i导： 1 去o “。 f ( _-_ x oo f y 甜 1 _ r 1 z 0 v=o 二vd oo ( 2 一1 2 ) 1 咖 0o1o l -_ oo l 一 -_ 记 一 _- l n 出 u 甜o ，q oq qo 乱o 0 1 m 、=u vq f qqo 口， 0 巩 oo 1ooo1o o01 厂 1 7 x = l x 少 2 - j 则，式( 2 1 2 ) 可：写成： 第1 6 页河南大学研究生硕士学位论文 ( 2 1 3 ) 式中a ：、a ，、u o 和v o 确定了矩阵m 。，即摄像机的内参数；r 和t 确定了矩阵 m 。，即摄像机的外参数；m = m 。m 。，称为投影矩阵。 摄像机各个坐标之间的转换关系如图2 4 所示： 萋篡像旷篡_ f 篓 1 n 五 o “o l o 五 1 。 o0l 融匿 0 00 厂 o o o1o j 图2 4 坐标系之间的转换关系 t y c z c l x f y c z c 1 最终得到世界坐标系与像素坐标系之间的转换关系如图2 5 所示： = 参 世界 坐标系 门一 河南大学研究生硕士学位论文第l7 页 z c 像素图像坐标系世界坐标系 1 _ u “o 反x 1 o 方 oo1 f q q oo 图2 5 像素图像坐标系与世界坐标系的转换关系 2 4 双摄像机成像模型 季1 双目成像可获得同一场景的两幅不同图像，图2 6 所示为用双摄像机观测同 一物体时的情形。对于空间任意一点w ，如果用摄像机c i 观察，看到它在c f 摄 像机的图像成像点位于w i 。w ，是由通过从w 点发出的光线，经过透镜中心c 1 与图像平面相交形成的。这时我们无法由w 1 得知w 的三维位置，因为事实上在 c l w 连线上的任意点w 、在摄像机c l 的图像中成像点都是w 1 ，所以我们由w l 点的位置，只能知道空间点w 位于c 1 w l 连线上的某一位置，而无法知道w 点的 深度。但是，如果我们用c 】和c 2 两个摄像机同时观察w 点，并且能够确定在c l 摄像机图像上的点w 1 与在c 2 摄像机图像上的点w 2 ，是空间同一物体点w 在它 们各自图像中的成像点( 也称为对应点) ，那么我们可以知道，空间点w 既位于 c 1 w l 上，也位于c 2 w 2 上，因此w 点即为此两条射线的交点。 r 旷 。l 1，j 0 o o o o 1 第18 页河南大学研究生硕士学位论文 w 图2 6双目成像示意图 图2 6 给出了双目立体成像的示意图。图中两个镜头中心间的连线c 1 c 2 称 为系统的基线b ，利用双目系统可以确定具有像平面坐标点( x l ，y 1 ) 和( x 2 ，y 2 ) 的世 界点w 到基线b 的距离，也就是我们所要求的深度信息。 2 5 小结 本章基于双c c d 摄像机，重点讨论了几种常用的坐标系及其各个坐标系之间 的转换关系，给出了光轴平行的双目视觉摄像机模型。根据光轴平行的双目视觉 摄像机模型可以确定物体到双摄像机基线的距离，也就是我们所要求的深度信息。 为第3 章双目汇聚摄像系统深度信息测量研究奠定了基础。 河南大学研究生硕士学位论文第1 9 页 3 1 引言 第3 章双目汇聚摄像系统深度信息测量研究 仿照人类利用双眼感知物体距离的方法，运用两台摄像机对同一景物从不同 位置或角度拍摄成像，并根据成像视差来确定物体的深度信息，以实现对物体三 维信息的感知，这就是双目视觉【2 5 】。双目视觉的主要研究内容包括特征提取、特 征匹配、深度计算、深度信息内插等。其中，深度计算，即深度计算模型，是研 究的热点问题之一。 般情况下，不同的深度计算模型对应不同的摄像系统。双c c d 摄像系统有 立体平行摄像模式和立体汇聚摄像模式。两个c c d 摄像机，如果按光轴平行安装， 则构成了立体平行摄像系统；两个c c d 摄像机，如果按两光轴成定角度进行安 装，使两光轴同时汇聚于目标物体上，则构成了立体汇聚摄像系统。立体平行摄 像系统便于标定且计算简单，但是对于视角较小的摄像机，当基线一定且目标离 基线较近时，摄像机无法摄取目标而造成盲区( 2 6 j ，如图3 1 ( a ) 所示。对于视角较 大的摄像机，在一定程度上可以减小盲区，如图3 1 ( b ) 所示，但宽视角摄像机， 其摄取的图像失真度较大，因此很难获得高精度的三维图像【2 6 】。对于立体汇聚摄 像系统，可以调整两光轴之间的夹角，使两摄像机同时汇聚于目标上，消除盲区， 进而进行有效测量1 2 6 1 ，如图3 2 所示。因此，双c c d 摄像系统大都采用立体汇聚 摄像模式。尽管立体汇聚摄像系统为仿照人类利用双眼感知物体距离提供了硬件 环境，但如何获得准确的深度信息，很大程度上还取决于深度计算模型，这也正 是本文的中心研究问题。 第2 0 页河南大学研究生硕士学位论文 一 ( a ) ( b ) 图3 - 1 双目平行摄像系统图3 2 双目汇聚摄像系统 除了深度计算模型，图像匹配也是获得准确深度信息的主要因素。匹配可分 为区域匹配、特征匹配和相位匹配【1 l 】。由于特征匹配不直接依赖灰度、具有较强 的抗干扰性、计算量小、速度快【1 1 】，另外图像匹配不是本文研究的中心，所以直 接采用基于角点的匹配算法【2 刀解决图像匹配问题，以达到确定物体深度信息的目 的。 本章的结构安排如下：首先给出两光轴成一定角度的双目视觉模型和物体深 度距离计算公式，然后给出对应点提取和匹配方法，最后针对所提出的模型进行 了计算机仿真。 3 2 目标深度信息 假设两摄像机的焦距均为厂，c 1 、c 2 分别为两摄像机的光心，c l 、c 2 之间的 距离为b ，即基线长为b 。为了简化设计和方便计算，在直角坐标系o z 眩中， 将基线的中点定义在坐标系的原点o ，且使得两个摄像机关于y - z 平面绝对对称， 图3 3 所示为立体汇聚摄像机模型的x z 截面图。图中，o j 、0 2 分别为两摄像 机像平面的中心，0 1 c l 和0 2 c 2 为两摄像机的光轴，两光轴与z 轴的夹角均为9 ， 则在坐标系x o z 中c 1 和c 2 的坐标分别为c 1 ( 一纠2 ，o ) 和c 2 ( 纠2 ，o ) 。分别以d 1 和 0 2 为坐标原点，为两个摄像机分别建立图像坐标系c 1 q x l 和c 2 d 2 x 2 ，如图3 3 所示。 在坐标系x o z 中，假设空间任意一点p ( x ，z ) 在两个摄像机中的像点么l 和彳2 的坐标分别为( x l ，z 1 ) 和( x 2 ，z 2 ) ，在c l q x l 和c 2 q x 2 坐标系中，像点4 和彳2 的 河南大学研究生硕士学位论文第2 1 页 坐标分别为( 确，o ) 和( x 2 ，o ) ，对应的物距分别为厂群l 和厂口2 ，像距分别为厂v l 和厂，2 ， 则根据图3 3 所示的几何和三角关系可得像点彳l 和彳2 的坐标分别为： x l 图3 3 双a 模型叉z 截面图 托= 一纠2 一 ls i n 9 十x lc o s 9 ( 3 1 ) 叉r 2 = 彰2 手 2s i n p 手x 2c o 始 ( 3 2 ) z 1 = 一 1c o s a x 1s i n 毋 ( 3 3 ) z 2 = 一兀2c o s a 十x 2s i n 9 ( 3 4 ) 由小孔成像原理可知3 ，兀1 厂和 2 厂，般情况下取工l 厂和丘2 厂， 式( 3 1 ) 一式( 3 4 ) 可改写为： 义l = 一剧2 一s i n p1 l x lc o s p ( 3 5 ) 义r 2 = 剧2 十厂s i n 9 手工2c o s 9 ( 3 6 ) z l = 一厂c o s 9 一z ls i n p ( 3 7 ) 第2 2 页河南大学研究生硕士学位论文 z 2 = 厂c o s 9 手x 2s i n p 根据点4 和c l 的坐标可求得直线彳l c l 的方程为： z 一 墨旦2 一c o sp x ls i np 一一厂s i n 臼+ x 1c o s9 同理可得直线彳2 c 2 的方程为： ( 3 8 ) ( 3 9 ) z 一 墨= 垦2 一厂c o sp + x 2s i np 厂s i n9 + x 2c o sp ( 3 1 0 ) 由于4 1 和么2 为空间同一点卢在两个像平面上的像点，所以直线4 1 c 1 和直线 4 2 c 2 一定相交，且交点就是卢点。联立( 9 ) 、( 1 0 ) 两式解得： 7 一生【：! 竺! 兰旦( 兰! 二兰221 垫兰皇兰! 兰21 竺! 三旦二兰! 兰21 “ 2 【( 厂2 + x l x 2 ) s i n2 日一厂( x 1 一x 2 ) c o s2 p ( 3 一1 1 ) 3 3 对应点提取与匹配 对应点就是空间同一物点在两个摄像机中的成像点，对应点匹配就是给定一副图像中的 一点，寻找另一副图像中的对应点，使这两点为空间同一物体点的投影。本文采用改进的基 于角点的检测方法【2 8 】来提取对应点。对于二值化后的图像，在目标边界上任选一点( 比如f 点) ， 以f 点为中心，建立一个边长为九个像素的正方形区域。如果f 点处的面积比与f 点相邻的其 他区域内任一点的面积比相比有局部极值，则f 点就是角点，否则没有角点。角点提取之后， 利用外极线约束条件，进行角点匹配搜索，最终确定对应角点，即对应点。 3 4 实验研究 3 4 1 实验环境 实验中所用的是s o n yd s c s 7 5 型数码相机，分辨率是2 0 4 8 1 5 3 6 ，成像平面 是7 1 踟珑5 3 加册1 ，则每个像素的物理单位长度出= 7 1 8 2 0 4 8 = 0 0 0 3 5 聊聊。立 体汇聚摄像系统模型中以像平面的中心作为像平面坐标系的原点，根据摄像机的 基本参数，原点的物理坐标应为( 3 5 9 ，2 6 6 ) ，则 河南大学研究生硕士学位论文第2 3 页 x l = m 1 出一3 5 9 ( 3 1 2 ) x 2 = 聊2 d r 一3 5 9 ( 3 1 3 ) 式中聊l 和朋2 是目标点在两个图像坐标系中的像素横坐标。 实验过程中，将墙上一图片作为拍摄对象，固定焦距不变，选择不同的9 和基 线进行拍摄。当选定某一9 和基线时，分别从对称的角度对图片进行两次拍摄。图 3 4 ( a ) 所示是9 = 5 5 和b = 1 0 0 删聊时所拍摄的两幅图像。 豳 图3 4 ( a ) 摄像机从不同角度拍摄的两幅图像 3 4 2 实验结果 在m a t l a b 7 0 1 实