（物理电子学专业论文）提高三维图像重建精度的算法研究.pdf

5k 6-,) -s / / 学 位 论 文 独 创 性 声 明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。 尽我所知， 除了文中特别加以 标注和致谢的 地方外， 论文中不包含 其他人已经发表或撰写过的研究成果， 也不包含为获得东南大学或其它教育机构 的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均 己在论文中作了明确的说明并表示了谢意。 签 名 : 4 率日 期: ,v 3 . . j 关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位 论文的复印件和电子文档， 可以 采用影印、 缩印或其他复制手段保存论文。 本人 电子文档的内容和纸质论文的内容相一致。 除在保密期内的保密论文外， 允许论 文被查阅和借阅， 可以公布( 包括刊登) 论文的全部或部分内 容. 论文的公布( 包 括刊登)授权东南大学研究生院办理。 签导 师 签 名 : m l, e - - 。 期: 夕 户 味、 3 、 加 东南大李硕士抢文提高三堆阅 像f建精度的算法研究 摘要 工业生产中经常需要对产品进行三维表面外形和几何尺寸的测量， 一般的成 像系统得到丢失了距离信息的二维图像。 三维重建是指从二维图像信息中恢复出 图像所反映的场景中三维物体的形状和空间位置， 通过三维的重建可以恢复出立 体信息， 得到被测物体表面几何形状和尺寸。 三维重建是计算机视觉研究的一个 重要方向， 它是研究物体形态， 特别是物体表面形态的基础， 近年来在数字图像 处理和图像测量领域的研究十分活跃。基于图像的三维重建是一种图像测量技 术，把图像当作检测和传递信息的手段或载体加以利用，从中提取有用的信号， 得到被测物体三维的表面信息。 基于图像的三维重建具有其非接触、 高精度、 易 于自 动控制等优点，领域应用非常广泛。 由二维图像恢复物体的三维形态是重建的一个主要任务。 三维重建的方法有 很多，以ma r r 的计算视觉理论为基础的双目 立体视觉方法是三维重建的一个重 要方法。 双目 视觉依据双眼成像的原理， 利用一对立体图像， 通过匹配两幅图像 中的 对应点， 得到图 像中 各点的视差， 根据视差值由 透射投影模型计算得到被测 物体的空间坐标位置。 图像的采集和处理过程中会引进误差， 对重建质量产生影响。 三维重建系统 的精度不仅取决于图像处理算法的精度， 还与光学成像系统、 背景照明、 摄像机 的安装精度等因 素有关。 在已 初步形成的图 像重建系统的 基础上， 通过分析测量 系统的结构和图像特征的检测及匹配对重建质量的影响， 提出了一些消除或减小 误差的方法来改善重建质量， 并对计算机生成的理想物体和实际的拍摄物体进行 了表面重建以验证重建系统的测量精度， 均取得了较好的三维结构图， 达到了较 为满意的重建效果。 关键词: 三维重建、图像测量、 立体视觉、图像采集、边缘检测、图像匹配、深度计 算、亚像素 第 3页 东南大学硕士论文 提离三堆困像1攻抢度的算法研究 ab s t r a c t t h re e d im e n s i o n ( 3 - d ) m e a s u r e m e n t i s o f g r e a t i m p o r ta n c e i n c o m p u t e r v i s i o n s s u c h a s r o b o t g u i d a n c e o b j e c t r e c o g n i t i o n a n d v i s u a l i n s p e c t io n . a t w o d im e n s i o n ( 2 - d ) i m a g e i s t h e p e r s p e c t i v e p r o j e c t i o n o f a 3 - d s c e n e , t h e r e f o r e t h e d e p t h i n f o r m a t i o n i s l o s t in t h e p r o c e s s . b y 3 - d re c o n s t r u c t io n th e c o n f i g u r a t i o n a n d s iz e o f o b j e c t c a n b e o b t a i n e d a m o n g t h e e x i s t in g 3 - d in f o r m a t i o n e x t r a c t i o n , a s o n e o f t h e b a s i c t e c h n i q u e s t e r e o v i s i o n h a s b e e n w i d e l y i n v e s t i g a t e d f o r u s e i n m a n y a r e a s . t h i s i s m a i n l y b e c a u s e i t i s b a s e d o n u s in g a p a i r o f c a m e r a s d i s p l a c e d i n s u c h a w a y t h a t t h e y h a v e a c o m m o n v ie w o f a s c e n e . t h e 3 - d in f o r m a t i o n i s th e n re c o v e r e d fr o m t h e i m a g e s o f t w o c a m e r a s . i n g e n e r a l a s t e r e o s y s t e m i n v o l v e s t h re e m a i n p r o c e d u r e s . t h e f a s t i s s e t t i n g 叩t h e c a m e r a t o u n d e r s t a n d t h e r e l a t i o n s h i p b e t w e e n t h e t w o i m a g e p l a n e s a n d t h e i r 3 - d e n v i r o n m e n t .t h e s e c o n d i s a c a m e r a c a li b r a t i o n p r o c e s s t o d e t e r m i n e t h e p a r a m e t e r s o f t h e c a m e r a a n d th e t h i r d i s t h e e s t a b l i s h i n g c o r r e s p o n d e n c e b e t w e e n p o i n t s i n tw o im a g e s . 玩t h i s p a p e r t h e p r e c i s i o n f a c t o r s i n 3 - d m e a s u r e m e n t h a v e b e e n a n a ly z e d a n d s o m e n e w w a y s t o r a i s e t h e p r e c i s i o n h a v e b e e n p r o p o s e d . s u b p i x e l im a g e p r o c e s s i n g a l g o r i t h m s a r e i n t r o d u c e d a n d u s e d i n e d g e d e t e c t i o n a n d i m a g e m a t c h i n g t o b r e a k t h r o u g h t h e p r e c i s i o n l i m i t o f o n e p i x e l . t h e e ff e c t o f t h e m e a s u r in g s t r u c t u r e , o p ti c a l s y s t e m a n d d a ta a c q u i s i t i o n t o t h e s y s t e m p r e c i s io n a r e a n a l y z e d e m p h a t i c a l l y , b a s e d o n w h i c h s o m e p r o p o s a l s a re o ff e re d . t h i s p a p e r d e s c r i b e s a s t e re o v i s i o n s y s t e m f o r 3 - d m e a s u r e m e n t . t h e m e a s u r i n g m e t h o d a n d e x a m p l e s o f m e a s u r i n g a n i d e a l 3 - d s u r f a c e a n d a p r a c t i c a l s u r f a c e a r e g i v e n r e s p e c ti v e l y . t h e r e s u l t s s h o w t h e 3 - d s y s t e m h a s a s a t i s f ie d p r e c i s i o n k e y w o r d s 3 - d r e c o n s t r u c ti o n , i m a g i n g m e a s u r e m e n t , s t e r e o v i s i o n , e d g e d e t e c t i o n , i m a g e m a t c h i n g , s u b p i x e l 第 4页 东南大争硕士资文 获离三堆田惊y建精皮的算法研九 第一章 绪论 1 . 1基于图像的 三维重建 现实世界是三维的世界， 但经过摄像机成像系统后，只能得到丢失了距离信 息的二维图 像。 三维重建是指从二维图像信息中恢复出图像所反映的场景中的三 维物体的形状和空间位置川。 通过三维的重建可以恢复丢失的三维信息， 得到被 测物体表面几何形状的精确描述，构成完整的c a d模型。 三维重建是计算机视 觉研究的一个重要方向，近年来在数字图像处理和图像测量领域的研究十分活 跃。 基于图像的三维重建是一种图像测量技术， 把图像当作检测和传递信息的手 段或载体加以利用， 从中提取有用的信号， 恢复被测物体表面的三维信息。 三维 重建以现代光学为基础， 融合了计算机图像学、 信息处理、 计算机视觉、 光电子 学等科学技术， 具有其非接触、 高精度、 易于自 动控制等优点，日 益受到人们的 重视。 图像的三维重建是近年来在测量领域中形成的一种新的测量技术。 随着激光 技术、 精密计量光栅制造技术、 计算机技术以及图像处理等高新技术的发展， 图 像的三维重建也在技术迅速发展， 并在人体测量及医学诊断、 生产过程监测及质 量控制、 交通监视及航空管理、 运动分析、 三维物体测量及三维重构、以及复合 材料变形研究等方面得到了广泛的应用。 三维图像重建方法有很多， 主要有两大类: 接触式测量和非接触式测量z 1 其中非接触式测量又大致可分为光学图样法和光电 法。 光学图样法有结构光方法 3 1 、 干涉法、 莫尔法4 ,5 1 ， 相位法6 .7 1 ， 傅立叶变换轮廓法1 8 1 等; 光电 法基于图像 传感器，如单目 视觉法9 1 、 双目 立体视觉法 i o 等。对各种非接触式三维重建方 法进行简单介绍， 基本原理和特点如下: 1 .双目 立体视觉 测量系统用两个像机从不同角度获取同一场景的两幅图像， 如同人的双 眼一样。 计算机通过对同一物点在两幅图像上两个像点的检测和匹配， 得到 物点的深度值。 双目 视觉成像的原理简单， 但需要左右图像中匹配出对应的 第 5页 东南大学硕士论丈 捉高三雄国 像f建精文的算法研究 点， 实际的计算过程很复杂， 而且立体匹配问 题始终是双目 视觉测量的一个 主要难点。对双目 立体视觉详细的分析参见第二章。 2 . 单目 视觉方法 尽管二维图像是三维景物的透视， 无法表示出相对应的立体信息， 但二 维图像也包含着很强的三维的暗示。 单目 视觉方法只采用一个摄像机，与双 目 视觉方法相比， 结构简单， 摄像机的标定也较为简单，可以 对不同深度的 多个目 标测距，同时避免了边缘检测和匹配的困 难。 单目 视觉方法又可以 分 为聚焦法和离焦法。 聚焦法通过调节摄像机的像距， 使摄像机相对于被测点 处于聚焦位置， 并把摄像机的像距和焦距视作己知， 通过透镜成像公式求得 物距。 离焦法不要求摄像机相对于被测点处于聚焦位置， 而是根据标定出的 离焦模型计算被测点相对于摄像机的距离。 这就避免了由于寻求精确的聚焦 位置而降低测量效率的问题，但离焦模型的准确标定是该方法的主要难点。 3 .相位测量法 投影在物体上的 光栅， 随着物体的高度变化而发生变形， 变形后的光栅 图像形成了二维的条纹图，它包含了 物体的三维信息。 相位测量法采用多帧 图 像， 测量精度很高。 另外由于该法只需计算三个强度值和反正切函数， 所 以处理简单。缺点是不能消除条纹图中由高频噪声引起的误差。 4 结构光方法 对于没有特征点的工件表面， 可以 用特定的光源形成特征点。 特别是对 于平坦的、无明显灰度、 纹理和形状变化的表面区域， 用结构光可形成明显 的光条纹， 便于作图像分析和处理。 结构光的 基本思想就是利用照明中的几 何信息帮助提取景物中的几何信息。结构光方法计算简单、测量精度较高， 因而在实际视觉测量系统中被广泛使用。 结构光方法的测量过程主要包括两 个步骤: 先由激光投射器根据测量需要向物体表面投射可控制的光束以形成 特征点，并由c c d摄像机拍摄图像;然后按物体表面投射光图案的几何形 态特征解释投影模式，利用三角法测量原理可求得特征点与 c c d摄像机镜 头主点之间的距离， 获得特征点的深度信息，即可求得特征点在世界坐标系 中的三维坐标。根据投影光束形态的不同，结构光方法又可分为光点式、 光 条式和光面式结构光方法等。 第 6页 东南大拳戒士裕文 提高三堆田惊全建赌度的算法研x 5 莫尔条纹法 莫尔条纹法依据粗光栅阴影效应测定物体等高线的技术， 把被测物体的 深度值包含在被测物体表面产生的条纹中， 然后再分析出被测物体表面的形 状。 莫尔条纹法有莫尔轮廓法以及在此基础上形成的影像莫尔法、 投影莫尔 法、扫描莫尔法等。 影像莫尔法的特点是原理简单， 精度高，但由于制造面 积较大的光栅很困难， 故该方法只适用于小物体的测量。 投影莫尔法适合于 测量较大的物体。 扫描莫尔法优点是利用现代电子技术， 可以很方便地改变 扫描光栅栅距、相位等， 生成不同相位的莫尔等高线条纹图像，便于实现计 算机自 动处理。其缺点是需要扫描机构，数据获取速度低、 稳定性较差、对 噪声敏感。 6 .千涉测量法 它利用光波的千涉原理对物体形状进行测量。 特别是激光问世以来，干 涉测量法得到迅速发展， 涌现出了双光束干涉、多光束干涉、外差干涉、全 息等多种方法。 干涉测量法的特点是测量精度高， 达到 ri m级， 但测量尺寸 小，对环境要求很苛刻。 7 .傅立叶变换轮廓法 该方法将光栅产生的结构光场投影到待测的物体表面上， 然后对光栅图 像在空间频域和空间信号域内进行傅立叶变换和分析处理， 提取三维面形信 息。 傅立叶变换轮廓法具有比 传统莫尔法更高的灵敏度， 并全自 动区分物体 表面的起伏变化， 对条纹阶次和内 插数的设置没有要求， 没有由光栅图形的 高次谐波成分产生的假莫尔条纹所引起的误差。 傅立叶变换轮廓法的不足之 处在于， 当测量斜率大的物体时需要高分辨率的图像设备和运算能力大的计 算机。 8 .人工神经网络法i ii 利用人工神经网 络进行几何轮廓的测量是一种新的三维测量方法。 把神 经网 络作为一种映射网 络， 可以 确定输入与输出 之间复杂的映射关系。 采用 一个反向 传播神经网 络( b p n ) 模拟三维视觉系统。 通过对该网络进行训练， 可建立实际空间平面和摄像机像平面之间的映射关系。 利用人工神经网络可 模拟三维视觉测量系统。首先通过对教师信号的训练，建立实际空间平面与 第 7页 东南大学咬士婚文 提名三堆国像f建精度的算法研究 c c d摄像机像平面之间的映射关系， 然后即可对零件的三维轮廓进行实时测 量。 这种方法不需要精确调整系统及预先精确测定系统参数，因而降低了 对 测量系统的精度要求。 轮廓测量数据还可用于c a d / c a m。该方法的缺点是 对于尺寸超出神经网络训练面积的测量对象，测量精度将有所降低。 各种三维重建方法都有优缺点， 且有一定的适用范围， 在运用时应该充分考 虑被测物体的特点以 及对测量精度和计算速度的要求，来选择具体的测量方法， 有时还需要作一些改进才能满足特殊要求的测量。 目 前三维图 像重建技术正朝着 高精度、 高测量速度和在线测量方向发展， 另一个非常有前途的发展方向是将模 式识别、 人工智能和神经网络等技术引入图像测量系统， 使该系统具有测量、 识 别、 分析等多种功能。 相比之下， 光电法具有环境适应性好、 柔性好、 测量范围 宽、 图像信息易于管理等特点。 在生产中经常需要对工业成品进行三维几何尺寸 的测量， 一般要求具有一定的测量精度和较快的测量速度， 光电 法是一种良 好的 测量方法，而且还可以消除传统的接触式测量中可能产生的工件表面损伤。 由二维图像恢复物体的三维形态是重建的一个主要任务， 以 计算视觉理论为 基础的双目 立体视觉方法是三维重建的一个重要方法，这也是本课题采用的方 法。 利用双目 立体视觉方法进行三维重建的时候， 测量系统采用两个像机从不同 角度获取同一场景的两幅图像， 如同人的两个眼睛一样， 计算机通过对同一物点 在左右视图上像点的检测和匹配， 得到物点的深度值。 一套完整的立体视觉算法 可以分为 5个主要部分:( 1 ) 摄像机模型 ;( 2 )特征的提取;( 3 )特征的匹 配;( 4 )视差和深度计算:( 5 )深度信息内 插。 运用双目 立体视觉理论， 己经初步形成了一套三维数字图像重建系统。 整个 系统主要由精密导轨平台、高精度 c c d 摄像机 ( 或数码相机) 、 均匀照明系统、 图像采集卡、 计算机及三维数字图像处理系统 ( 软件) 组成。 测量时， 物体固定 在测量平台上， 并尽可能位于均匀照明的背景下， 摄像机放置在导轨上， 由人或 计算机控制平台控制作平移，c c d摄像机将拍摄的图像经过数字化后送入计算 机， 由计算机依据成像模型计算出被测物体的几何参数， 最后由计算机进行三维 重建输出。 三维图像重建有两个主要任务: 数据采集及图像处理。 数据采集包括原始图 像的采集以 及初始值的采集。 图像处理是利用图像的测量原理和图像处理的各种 第 8页 东南大李硕士 论文提高三堆图像重咬精度的算法研究 技术， 计算出三维物体的几何参数坐标， 并以一定的形式输出显示。 在图像的采 集和处理过程中都存在误差影响， 而且这些误差互相影响， 关系比较复杂。 如果 不对这些误差源进行分析和处理，图像重建系统将会给出不准确或错误的结果。 文献【 1 2 , 1 3 分析了数据采集过程中的 误差源对三维重建质量的影响， 同时给出了 消除或减小误差的一些方法。三维数字图像重建的精度不仅与光学成像系统、 c c d图 像采集设备、背景照明以 及被测物体的表面特性有关， 还主要取决于图 像处理算法的精度。 利用软件技术来$ j 、 补硬件设备的不足， 具有简单高效的优点， 因此图像的软件算法越来越受到人们的重视。 ; 1 . 2课题的主要任务 本课题的主要目 的是依据已 经初步形成的三维图像重建系统， 通过对图像数 据采集和处理过程中误差因素的分析，消除或减小误差源对三维重建精度的影 响， 优化和改进图像处理的算法， 有效提高图像测量系统的重建精度。 为此在完 成课题的过程中， 分析了 测量系统的结构和图像特征的检测和匹配对重建质量的 影响，在此基础上提出了改善重建质量的一些方法: ( i ) 从测量系统的结构出发，分析了结构参数对深度分辨率的影响，得到 了平行双目 立体视觉的最佳结构参数;从系统的成像模型出发，通过 分析发现两摄像机光轴会聚的双目 立体视觉的测量精度要优于摄像机 光轴平行的测量模型。 ( 2 ) 在对图 像进行边 缘检测的 过程中， 利用l o g 算子 和c a n n y 算子 对图 像 边缘进行定位， 研究了边缘检测算子的性能以 及边缘检测算子的参数 对边缘定位精度的影响。 ( 3 ) 在进行图像匹配的过程中，综合运用了基于特征的点匹配方法和基于 灰度的区域匹配方法。首先应用基于特征点的双门限匹配法进行像素 级的匹配。在此基础上，通过在像素级边缘点邻域内的插值重采样， 依据灰度相关的匹配方法，得到亚像素级的匹配定位。 ( 4 )由于数字图像测量系统的测量精度主要取决于c c d摄像机的分辨率， 整个像素是不可分割的最小操作单元，为了突破重建精度最高为像素 间距的限制，引进了亚像素图像处理技术。并将其运用在图像的边缘 检测和特征点的匹配中，使重建的精度在理论上有了极大的提高。 第 9页 东南大攀硕士抢文 提高三堆田像玄建精度的算法研究 基于以上的分析， 对测量系统改进和优化， 并对计算机生成的理想物体和实 际拍摄的复杂物体线圈进行了三维表面重建， 均取得了良 好的三维结构图， 较好 的实现了课题设计的目 标。 第 1 0页 东南大学硕士抢文 捉高三雌田像t建粉皮的葬法研究 第二章 双目 立体视觉原理 由 二维图像恢复物体的三维形态是重建的一个主要任务，以d. ma r r 的计 算视觉理论to 为基础的双目 立体视觉方法是进行三维重建的 一个重要方法。 双目 立体视觉方法主要利用一对立体图像， 通过匹配两幅图像中的对应点， 得到图像 中各点的视差，根据视差值由 透射投影模型计算得到被测物体的空间坐标位置。 双目 立体视觉方法又称为立体匹配方法。 人眼观察物体的时候， 总有立体的感觉， 既能感觉到物体之间的距离， 也能 感觉到物体与我们之间的距离。 人对空间场景的深度感知主要依靠双眼视觉实现 t 14 1 。在双眼视觉中，在同一时刻从两个不同角度产生的图像分别进入左右眼， 大脑通过分析合成这两幅图像的内容得到关于物体的距离和深度的感受。 双目 立 体视觉是根据人类双眼视觉的工作机理， 利用双摄像机来模拟人的双眼， 从而依 据相同的原理来获得物体的深度信息。 夸 2 . 1双目 立体视觉的基本原理 图2 - 1 给出 双目 立 体 视 觉的 模型 示 意图 。 o , . o z 为 左 右 摄 像 机的 光 心， 两 光心的 连 线b 称为 系 统的 基 线。 两 摄像机的 焦距 均为f ， 1 1 、 几 分别 为 左 右 摄像 机的 像 平 面。 月 、 凡为 空间 一 点p 在 两 像平面 上的 成 像点。 空间 点p 与 像点只、 几的 对应关系是 一个三维到 两维的 变换。 从图2 - 1 可以 看到， 来自 物点尸 的 散射 光通过光心，落在像平面上，这是一种从物点到像点的透视变换。图2 - 1 中尸、 o ， 和月三个共线点 之间的 关系为: x , = yl = 二 x z 二 y z ( 2 - 1) ( 2 - 2 ) 从式2 - 1 , 2 - 2 可看出，从物点到像点的映射关系是非线性的。 由式2 - 1 , 2 - 2可以得到: 第 n 页 东击大学硕士伦丈 提离三堆目像x建瀚度的其法研究 ( 2 - 3 ) ( 2 - 4 ) 从式2 - 3 , 2 - 4 可看出，当需要从像点坐标求物点坐标时，反透视变换只能确定 投 影 线 方程， 不 能 唯一 地 确 定 物点。 由 图2 - 1 可以 看出 ， 物点p 在像点只 与 光 心 o , 的 连线l, 上， 但 具 体 在 哪 一 点 还 无 法 确定。 同 理， 点p 也 在 像点p 2 与 光 心仇 的 连 线l z 上。 可 以 推 知， 如 果 知 道了p 点 在 两 像 平 面 上 投 影 点君 、 p 2 的 位置， 那么l , 和l2的 交 点 就 唯 一 确 定了尸 点的 空间 位 置。 在 标定了 摄 像 机在世界 坐 标 系中的空间方向、 位置参数后， 利用双目 立体视觉系统就可以确定具有像平面坐 标 点( x y 1 ) 和( x 2 , y 2 ) 的p 点 的 空 间 坐 标( x , y , z ) 。 图2 - 1 双目 成像示意图 图2 - 2 平 行 双目 立 体 视 觉 测 鳖 原 理 图 下面具体分析双目 立体视觉的测量原理，首先讨论摄像机光轴平行的情况。 两摄像机光轴平行时的测量原理如图2 - 2 所示。 当目 标距离远远大于焦距时， 可 假 定 透镜中 心 与 像 平 面的 距 离 等 于 摄 像 机的 焦 距f 。 定 义空 间 坐 标系: 摄 像机 坐 标为o x y z , 图像 平面x o ) ， 与 摄 像机坐标系的x y 平 面平行， : 轴通过光心且与光 轴 平 行。 o , , 0 2 分 别为 左 右 摄 像 机的 光 心， o , 、 0 2 沿 基 线 相 距b 。 假设 三 维空 间 点p ( x ,y ,z ) 的 像 在 左、 右 两 个 像 平 面 上的 投 影 分 别 是p i ( x l , y i ) 和p 2 ( x 2 1 y 2 ) 。 由 小 孔成像原理可知， p , p , 、0 ， 三点 共线。 所以: 第 1 2页 东南大李硕士抢文提离三雄图像t建精度的葬法研究 一jlesesesj res.1万esl k1 将上式展开可得: x , =一 x f ( 2 - 5 ) z一厂 y l =一 y f ( 2 - 6 ) 2一 f 同 理， p , p 2 , 0 2 三点 共线，由 : ，lesesesesesesesj 、，产 b 一 x 2 一 0 k 2 j y 2 一 0 0 一 f rleseseseseseeeewel 一一 可得: x 2=一( x一 b ) f ( 2 - 7 ) 2一 了 y ,=一 y f ( 2 - 8 ) 2一厂 由式2 - 5 、式2 - 6 、式2 - 7 和式2 - 8 可得: v_ 2 一 f_ 曰 飞一一 人 ， j 2一r r=一 一 . 代 二 一 y i j 二 ，b f 乙 = 1 一 x , 一x 2 ( 2 - 9 ) ( 2 - 1 0 ) ( 2 - 1 1 ) 定 义视差d = x , 一 x 2 ， 则可以 得到p 点的 深 度 值: 7 _， b f 一 1 一一丁 a ( 2 门 2 ) 2 . 2立体视觉的结构模型对深度测量的影响 利用式2 - 1 2 计算深度值的时候，存在着深度分辨率与探测范围的矛盾0 5 1 . 第 日 页 东南大学硕士伦文 提高三难国 俘t走精皮的算法研兄 探测范围较大时， 难以得到较高的深度分辨率。 下面从基本原理出发， 分析测量 系统的深度分辨率与双目 立体视觉结构参数之间的关系。 图2 - 3 为光轴平行的双目 立体视觉结构参数示意图。两个摄像机型号相同， 成 像 面 位 于同 一 平 面内 ， 光 轴 互 相 平行。 口 ， 、 o z 分 别为 两 摄 像机的 光 心， i i , 1 2 为成像平面。光轴之间相隔的距离为2 l ， 两成像镜头的焦距均为f， 成像面的 尺寸为2 t，最大探测范围为2 w。物体上某一点s ( x , y , z ) 在两成像平面上的对 应 像点 分 别为p , ( - l + x y0 ) 和p 2 ( - l 十 x 2 , y 2 10 ) p , 和p 2 到 各自 光 轴的 位 移在 x 方向 上 分 别为x ， 和x 2 ( 假 定 和x 坐 标同 方向 为 正， 反 之为负 ) 、 在y 方向 上 分 别 为y 、 和y 2( 假定 和y 坐标同 方向 为正， 反之为负 ) 。 r 一f曰 f l ，;了 t . 12 cc d 2c1 t l . i 口 根据成像关系很容易得到下列等式: x + l z 一f f ( 2 - 1 3 ) x一l z 一 f ( 2 - 1 4 ) 上 二 yi z 一 f ( 2 - 1 5 ) 牙十 l z 一 了 ( 2 - 1 6 ) 第 1 4页 东南大学硕士抢文提离三雄图像i建精度的葬砖 研究 由式 2 - 1 3 , 2 - 1 4 , 2 - 1 5 推导可得 二 二 一 ( x i + x 2 ) l ( 2 - 1 7) 工 2 一工 1 y=一 2 l y , x 2 一x , ( 2 - 1 8 ) : 二 (丝- x i - x 2 ) f x 2 一x , 君 的 位 移 量x ， 和y : 在i ; 上 可 探 测 得 到 ，几的 位 移 量x 2 和y 2 则对应物点s 的三维坐标即可由式2 - 1 7 , 2 - 1 8 , 2 - 1 9 求得。 最大探测范围为: ( 2 - 1 9 ) 可 在1 2 上探测得到， 化简式2 - 1 6 可求得 2 w = 2 里 ( z - f ) 一 2 l f ( 2 - 2 0 ) 由式 2 - 2 0 可知:探测范围的大小与探测距离存在着正的线性关系，与两摄像系 统的间距存在着负的线性关系。式2 - 1 3 可写成: : 二 一 x 兰 - x ,， f ( 2 - 2 1 ) 对于入 ， 有: 山, a t为 c c d :，= 一 三 厂 大小， az，一 - x + l - (x , + a t ) f .- x , + al x 上- x , f ( 2 - 2 2 ) 像素大小，利用式2 - 1 3 进一步推导可得: ( z 一 f ) 2 f ( x + l ) ( 2 - 2 3 ) 对于i z ， 有: t 酝, 一 f ) 2 z 一l ) ( 2 - 2 4) 两个c c d中有一个能分辨出距离的某一变化量，整个系统就能分辨出该变 ， 故4 z 应 取4 z , , o z , 中 的 较小 者。 由 式2 - 2 3 . 2 - 2 4 可以 看出 ， 当 确 定了 其 中理量 其同化 它参数，x 二0 时系统的深度分辨率取值最大，即深度分辨率最低。考虑到最坏 第 1 5页 东南大李硕士论文 获高三雄旧稼!建精度的算法研究 的情况，可令系统的深度分辨率为: e z = ( z - f ) 立 a t 声 ( 2 - 2 5 ) 由式2 - 2 5 可知:深度分辨率的高低与探测距离的平方成反比，与两摄像系统的 间 距 成 正 比 令 ， 一 娇， 由 式 2 - 1 6 , 2 - 2 5 可 得 : ( 平+ l ) 2 . _那 ( r + 1 ) 2 _ 凸2=一 ， 二 ; 二 ， -八i =凸t t l t r ( 2 - 2 6 ) 由式2 - 2 6 可得，当r = l 时， 深度分辨率取最小值，即当l = w时，得到最佳深 度分辨率，此时立体视差法的结构参数为最佳。 从以上分析看出，立体视差法中深度分辨率的高低与探测距离的平方成反 比， 与两摄像系统的间距成正比; 而探测范围的大小与探测距离存在着正的线性 关系，与两摄像系统的间 距存在着负的线性关系;当l = w时，得到最佳深度分 辨率，此时立体视差法的结构参数为最佳。由 式 2 - 2 3 , 2 - 2 4 看出:对于视场内 不同 位置的视点， 其检测精度是不一样的。 因此， 在三维重建设计和应用时必须 考虑被测物体在有效视场内的摆放姿态及其与摄像机之间的相互位置关系。 不.功:1 图2 - 4光轴会聚的立体视觉原理图 接下来分析两摄像机光轴会聚时双目 立体视觉的测量原理。 测量示意图如图 2 - 4 所示， 它是将两个单目 系统绕各自中心相向旋转得到的。 两镜头连线所在的 平面为x z 平面， 两光心间的 基线距离为b。两光轴在x z 平面交于( 0 ,0 , z ) 点， 交角 为2 ,9 。 如 果已 知 像 平 面 坐 标点( x i , y i ) 和( x 2 . y 2 ) ， 可以 求取世界点p 的 坐 标( x , y , z ) 。由世界坐标轴和摄像机坐标轴围成的三角形可知: 第 拓 页 东南大争硕士婚文 提高三堆图像f走精皮的葬法研究 z= v cosa 2s i no ( 2 - 2 7 ) 从p 点分别向两摄像机坐标轴作垂线， 因为这两垂线与x 轴的夹角都是b ， 所以 根据相似三角形的关系可得: x , x c o s o f r 一 xs m9 ( 2 - 2 8 ) x c o s b r+x s i n9 ( 2 - 2 9 ) 丘f 其中r 为从光心到两系统会聚点的距离，且有 ( 2 - 3 0 ) 由式 2 - 2 7 , 2 - 2 8 , ; 一 b 一 f 2 s i n b 2 - 2 9 可得: b 乙 =xx i “ j d ( 2 - 3 1 ) 式2 - 3 1 与式2 - 1 2 一样，也把物体和像平面的距离z与视差d直接联系了起来 但式2 - 1 2的求解只需要知道视差d，求解式2 - 3 1 则还需要知道x ， 和x 2 本身。 一旦确定了z，由式 2 - 1 3 可确定b，这样由式 2 - 2 8 或2 - 2 9 可将x表示为: 二x 1 f c o s o 十 x , s i n b (一 里 一 一 门 = 2s i n0 一一x 2 一 一 一 (一 旦 一 f c o s b 一 x , s i n b . 2 s i n b 一 f ) ( 2 - 3 2 ) 由式 2 - 3 1 , 2 - 3 2 可以知道，当像点坐标检测精度一定时，可以得到: ( 1 ) 测量误差与摄像机有 效焦距f的 大小 成反比， 有效 焦距f越大， 测 量误 差越小。 ( 2 ) 偏角p 对测量精度的 影响比 较复杂 距离的测量误差最小，在测量范围内 越远，误差越大，且越不均匀。 当h a s a 。 时， 两光 轴相互垂 直时， ， 误差基本均匀分布。必 偏离 4 5 0 ( 3 ) 测量工作距离和测量范围由b , p 决定。 从式 2 - 1 2 , 2 - 3 1 可以 看出，由视差计算物点的深度值非常容易，而且双目 视觉成像的原理简单， 但视差本身的计算是立体视觉中最困难的部分。 关键的问 题是怎样在两幅图像中找到同一物点所对应的成像点， 换句话说是要解决一个匹 第 价 页 东南大学葫士论文 提高三维图像t走精度的弃法研究 配问题。 分析系统中使用了两台摄像机， 在实际测量时， 可以 利用三台或更多的摄像 机，以便测量到超出两个摄像机采集范围以 外的一些区域， 增大测量的范围， 同 时也获得更多的图像信息， 可以提高图像重建的精度。 也可以只使用一个可以移 动的摄像机， 从不同的角度对同一物体的成像， 如果知道了摄像机移动的方向 和 距离， 就相当于使用两台摄像机同时拍摄一个场景。 测量的时候通常假定多个摄 像机的 参数一致， 而且每个摄像机都被假设为一个理想的 小孔摄像机， 也就是采 用透视投影成像模型。 双目立体视觉是一种被动三角测量方法，它用两台性能相同、位置固定的 c c d摄像机，从不同角度获取同一景物的两幅图像，通过计算同一空间点在两 幅图 像中的视差， 得到物体的 深度信息。 一套完整的立体视觉算法主要包括以下 5 个步骤:( 1 )确定摄像机成像模型 ; ( 2 ) 在图 像上提取所需的特征;( 3 ) 建 立两幅或多幅图像之间的对应关系; ( 4 ) 计算视差和深度值; ( 5 ) 深度信息插值。 利用双目 立体视觉模型， 可以二维图像信息中恢 复被测物体的三维空间信息， 即 完成物体的三维重建。 第 1 8页 东南大李硕士裕丈提高三堆困像f建精度的算法研究 第三章 摄像机定标和图像采集 三维重建的基本任务是从摄像机获取的二维图像信息出发计算三维空间中 物体的几何信息。 空间物体表面某点的几何位置与其在图像中对应点之间的关系 由摄像机的成像模型决定，成像模型反映三维图像变换到二维平面上物理过程。 采用良 好的成像模型可以提高三维重建的精度。 通过对成像几何模型的分析， 可 以提取蕴含在图像中的三维信息， 校正图像中的几何畸变。 成像几何模型与图像 的灰度信息无关， 与空间点的位置、 摄像机的焦距以 及物体或摄像机的相对运动 等参数有关，这些参数就是摄像机参数。 成像系统将三维场景投影到摄像机的像平面上，这个投影可用成像变换描 述。 最常用的成像变换是几何透视变换， 它的特点是， 随着三维场景与摄像机之 间距离的变化， 像平面上的投影也发生了变化。 在有些场合， 如场景与摄像机的 距离很大时， 也可用正交投影变换近似透视变换。 在正交投影中， 景物在像平面 上的投影并不随三维场景与 摄像机之间距离的变化而变化叫。 成像变换涉及到不同 坐标系统之间的变换， 图 像采集最终结果是要得到计算 机里的数字图像， 因此在对三维景物成像时涉及到的坐标系统主要有: ( 1 ) 世界 坐标系统;( 2 ) 摄像机坐标系统; ( 3 ) 像平面坐标系统; ( 4 ) 计算机图像坐标系 统n 7 1 。根据以上几个坐标系统的位置关系，可以得到不同的成像几何模型。在 本课题中，使用世界坐标系与摄像机坐标系相一致的成像几何模型。 3 . 1透视投影变换 透视投影模型反映了三维物体点成像到二维图像平面点上的投影变换。 下面 利用小孔成像模型来推导透视投影模型。图3 - 1 为小孔摄像机的两种投影模型。 图 3 - 1 ( a ) 中图像平面位于投影中心的后方， 这种成像模型为后投影模型;图 3 - 1 ( 的中， 成像平面位于 投影中 心的 前方， 此模型为前 投影 模型。 小孔摄像机模 型不考虑透镜的畸变，在大多数应用场合，这种模型可以满足精度要求。 第 1 9页 东南大牵硕士论文提志三雄田像t建精度的葬法研r 透视中心 ( a ) 后 投 影 模 型( b ) 前 投 影 模 型 图3 - 1 小孔摄像机模型 以 下的 讨论只涉及图3 - 1 ( a ) 所示的后投影模型。 假设物体点 和图 像点的 坐标 系是一致的， 而且两个坐标系原点在都在图像平面上。 图3 - 1 中的成像模型约束 了 位于 含 有x r , x 和x 的 空 间 线 段 上 任 意 一 物 体 点 所 对 应 的 成 像 点。 利 用小 孔 成 像原理，这三个点具有共线关系: k ( x , 一 x ) = ( x 。 一 x ) ( 3 - 1 ) 展开可得: 、111111|、1了 k = 竺 兰= zf 一 = 一 李 一 f 二 x - x 一z ( 3 - 2 ) = f 子 j一z 在许多场合， 满足: ) ) f， 这种情况称为无穷 远视场 ( f a r - f i l e d ) 或大伸缩比 假设，可以 将式3 - 2 近似表示为: 干leseseseses，jwelesesesesse xl ， x 二一j一 =z- l -1 ) z z ( 3 - 3 ) 一 1-2一f y 必 一f y =y = - f - 式 中 三被 称 为 伸 缩比 t 通常 三) ) t o 1 于是式 3 - 3 表明，在透视投影情况下，对物 第 2 0页 东南大学硕士伦文 提高三雌困 像t建抢度的 葬法 研丸 体点坐标除以 伸缩比并乘上 一1 ) ，就将该三维坐标点变换为图像点。 3 . 2摄像机的标定 需要对物体的尺寸进行定量分析或对物体进行精确定位时， 不仅要了解成像 的模型， 还要知道模型中 各种参数的值， 确定这些参数的过程就是摄像机的标定。 c c d摄像机是进行三维重建的一种基本测量工具，摄像机标定是测量过程中基 本而又关键的一步。 利用 c c d摄像机可以获取一个三维物体的二维图像， 这就是实际空间坐标 系和摄像机像平面 坐标系之间的 透 视变换。 设 物空间 坐标系为x y z , c c d像面的 像 平 面 坐 标系 为x iy , ， 设 物 空间 坐 标为p ( x , y , z ) 在 像 平 面的 坐标p i ( x i , y ) ， 利用齐次坐标可将表示投影变换矩阵表示成: w , x , w f a w; a i , a , 2 a , 3 a , 4 a 2 , a 2 2 a 2 3 a 2 4 a 3 , a 3 2 a 3 3 a 3 4 ( 3 - 4 ) 1一一，lesesj x夕21 r.!jl rjjl -一 leeweeseses.esj 其 中 ， w , 为 非 零 的 任 意 常 数 。 在 摄 像 机 的 标 定 过 程 中 可 以 根 据 式3 - 4 估 计 出 内参 数，采用图像平面中一物体点的坐标表示，式3 - 4 具有下列形式: x ; = h (x , a ) 此 处a 是 含 有a , 参 数 的 矢 量， 由 一 组 物 体 和 图 像 的 对 应 点 可以 导 出 a参 数 的 估 计的方程。 将式3 - 4 展开有: x