（通信与信息系统专业论文）基于计算机视觉的车架号提取.pdf

西南科技大学硕士研究生学位论文第l 页 摘要 在车辆管理过程中，往往需要验证车粱号的真实性，即将当前车架号的 内容和尺寸与出厂车架号进行比对。目前，车架号的采集主要通过手工拓印 实现，该方法操作不便、速度慢。随着我国汽车拥有量的高速增长，车辆管 理的高效率办公显得尤为重要，而传统的手工拓印方法不能适应高效率的办 公要求。为解决这一闯题，本文提出利用计算机视觉技术，以图像的方式提 取车架号。 本文从计算机视觉的成像原理出发，借助与车架号位于同一平面的已知 靶标，从单幅图像中求解出图像平面与空阉车架号平面的映射关系，从而定 量的确定空间中车架号的真实样貌，最终实现车架号的“无纸拓印”。具体 实现过程为：首先使用改进的基于二维平面靶标的摄像枫标定方法计算出摄 像机的内参数，然后经过一系列的图像处理技术实现图像中靶标( 车架号) 的定位，接着采用l e v e n b e r g m a r q u a r d t 圆检测和h a r r i s 角点检测提取靶 标的特征点，最后根据本文建立的图像霪建原理完成车架号图像的重建。 通过实验测试，本文提出的方法是可行的。与传统手工拓印方法相比， 人的参与减少了，图像处理和分析完全盘计算机实现，提取速度快，支持批 处理，效率明显提高，且得到的车架号为数字图像，方便实现车架号的电子 化管理和网络传输。 关键词：计算机视觉车架号图像处理图像重建 西南科技大学硕士研究生学位论文第1 i 页 a b s t r a c t i nt h ep r o c e s s i n go fv e h i c l em a n a g e m e n t ，i ti sn e c e s s a r yt ov e r i f yv e h i c l e i d e n t i f i c a t i o nn u m b e r ( s h o r t e da sv i n ) ，t h a ti s ，t oc o m p a r et h ev i n w i t ht h e e x f a c t o r yr e c o r d so nc o n t e n ta n ds i z e a tp r e s e n t ，v r ni su s u “l yg a i n e db y m a n u a l1 1 l b b i n g s ，w h i c hi si n c o n v e n i e n ta n di n e f j f i c i e n t w i t ht h er a p i dg r o w t h o fa u t o m o b i l ep o s s e s s i o n ，t h en l b b i n g sc 锄n o tm e e tt h en e e d so fh i g ho m c e e f 五c i e n c y i no r d e rt or e s o l v et h ep r o b l e m ，v i ne x t r a c t i o nf r o mi m a g eb a s e d o n c o m p u t e rv i s i o ni sp r e s e n t e di nt h i st h e s i s o nt h eb a s eo fi m a g ep r i n c i p l eo fc o m p u t e rv i s i o na n dw i t ht h ea i do ft a r g e t p l a c e di nt h es a m ep l a n ew i t hv i n ，t h em a p p i n gr e l a t i o n sb e t w e e ni m a g ep l a n e a n ds p a c ep l a n eo fv i ni s o b t a i n e d仃o m s i n 9 1 ei m a g e t 1 1 l e n ， t h er e a l m o r p h o l o g yo fv i nc a nb e d e t e m l i n e d q u a n t i t a t i v e l y ， r e a c h i n gt h ev i n n o n p a p e rr u b b i n g t h ec o n c r e t ep r o c e s si s a sf - 0 1 l o w s ： f i r s t l y ；a c c o r d i n g t o 2 d t a r g e tc a l i b r a t i o nm e t h o df o rv i d e o - c a m e r a ， t h ei n t r i n s i cp a r a m e t e r so f v i d e o - c a m e r aa r eg a i n e d s e c o n d l y ；t h et a r g e ti nt h ei m a g ei sl o c a t e db yas e r i e s o fi m a g ep r o c e s s i n g t h i r d l y ；f e a t u r ep o i n t so ft h et a r g e t i nt h ei m a g ea r e d e t e c t e db yl e v e n b e r g m a r q u a r d tc i r c l ed e t e c t i o nt e c h n o l o g ya n dh a 耐sc o m e r d e t e c t i o nt e c h n 0 1 0 9 y f i n a l l y ，m er e c o n s t r u c t i o no fv r ni sc o m p l e t e db yt h e i m a g ec o n s t 九】c t i o nm e t h o dp r o v i d e di nt h i st h e s i s t h ee x p e r i m e n t a lr e s u l t sp r o v et h ef e a s i b i l i t yo ft h em e t h o dp r o p o s e di n t h i st h e s i s c o m p a r e dw i t ht h et r a d i t i o n a l1 1 l b b i n gm e t h o d ，t h i sm e t h o dm a k e s i m a g ep r o c e s s i n ga n da n a l y s i sa c h i e v e db yc o m p u t e r ，r e d u c i n gt h ew o r k l o a df 0 r w o r k e r s 舳dg r e a t l yi m p r o v i n gt h ee f j e i c i e n c y m e a n w h i l e ，i ts u p p o r t sb a t c h p r o c e s s i n ga n de x t r a c t sv i ni nd i g i t a li m a g ef o m ，b e n e 6 t i n gv i n e l e c t r o n i c m a n a g e m e n ta n dn e t w o r kt r a n s m i s s i o n k e y w o rds ： c o m p u t e rv i s i o n ；v i n ；i m a g ep r o c e s s i n g ；i m a g er e c o n s t r u c t i o n 独创性声明 ， 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名： 殳黝 日期： a o 口骘牛| 告 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布 该论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：互薪成导师签名：蚕丽辂日期： 谳年。| 毛 西南科技大学硕士研究生学位论文第1 贾 1 绪论 1 。1 计算机视觉简介 视觉是人类观察世界和认知世界的重要手段。据统计，人类从外界获取 的信息约有7 5 甏来自视觉系统，它不仅是指对光信号的感受，丽是包括对视 觉信息的获取、传输、处理、存储与理解的全过程。计算机视觉是用摄像机 和计算机模拟人眼的视觉功能，从图像或图像序列中提取信息，黠客观世界 的三维景物和物体进行形态和运动识别，。 计算机视觉是计算机科学研究领域的重要分支，其研究的核心问题是从 景物图像或序列图像求粥景物精确的三维几何描述，并定量的确定景物中物 体的空间性质，其过程是成像过程的逆过程幢- 。计算机视觉的研究目的：提 供人类视觉的计算模型；设计与发展某种适度的视觉系统，并提供其有良好 性能价格比的专用系统。 目前，计算机视觉主要研究范畴包括图像特征检测、轮廓表达、基于特 征的分割、形状模型及表达、由单幅图像信息重建三维形状、立体视觉、运 动分析、物体检测、物体识别及定位等。 计算机视觉系统一般采用摄像机( 照相视) 摄取图像并转化为数字信号， 再采用先进的计算机硬件与软件技术对图像数字信号进行处理，从而得到所 需要的备种目标图像特征值，并融此实现模式识别，坐标计算，灰度分布图 等多种功能。然后再根据其结果显示图象，输出数据，发出指令，配合执行 机构完成位置调整，好坏筛选，数据统计等自动化流程。 与计算机视觉相关的主要学科有：数学、数字图像处理、计算机图形学、 模式识别、人工智能、人工神经网络等。 1 2计算机视觉的发展概述 计算机视觉研究开始于2 0 世纪5 0 年代，当时计算机视觉和它的姐妹学 科图像处理、模式识别一起通称为计算机图像处理，泛指一切研究如何用计 算祝处理图豫信息的技术。随着研究不断避深入，三类学科各自分别自成体 系向纵深发展：图像处理侧重于改善图像质量；模式识别偏重于对图形、文 字、指纹、染色体等进行分类；愿计算机视觉则是根据图像所反映的情况对 物体和物体所在场景进行描述，在一定场合拓宽和辅助入的视觉功能疆，。 西南科技大学硕士研究生学位论文第2 页 计算机视觉作为门新的学科，发展十分迅速，这门学科主要起源于两 个方面：一方面来自于摄影测量学，对摄影图像进行测量分析时引进计算机 技术，通过对拍摄图像进行数字化处理，然后将相应的算法编制成程序，完 成对场景结构的定量分析和计算：另一方面是统计模式识别，最初的工作是 在对二维图像的分析和识别上。 2 0 世纪7 0 年代中期以m a r r 、b a r r o w 、t e n e n b a u m 等人为代表的一些研 究者提出了一整套视觉计算的理论来描述视觉过程，其核心是从图像恢复物 体的三维形状。在视觉研究的理论上，以m a 仃的理论影响最为深远，并成 为这一领域的主导思想。马尔教授认为：视觉可分为三个阶段，一是初级视 觉，初级视觉是对输入的原始图像进行处理，抽取图像中诸如点、边缘、纹 理、线条和边界等基本几何元素或特征，这些特征的集合称为基元图 ( p r i m a r ys k e t c h ) 或要素图；二是中级视觉，中级视觉是指在以观测者为 中心的坐标系中，由输入图像和基元图恢复场景可见部分的深度、法线方向、 轮廓等，这些信息包含了部分深度信息，但不是真正物体的三维表示，称为 二维半图；三是高级视觉，高级视觉是在以物体为中心的坐标系中，由输入 图像、基元图和二维半图来恢复、表示和识别三维物体的过程，这就是m a r r 的视觉计算理论哺1 ，如图卜1 所示。 要素图2 5 维图 述 图1 1啊a rr 框架的视觉处理的三个阶段 f i g 1 1 t h et h r e es t a g e so fv is u a ip r o c e s s i n go f m a r rf r a m e w o r k 经过近三十年的发展，在马尔理论框架下，计算机视觉取得了一大批成 果。但随着计算机视觉研究的不断深入，人们发现了马尔视觉理论的局限性， 即从景物图像或系列图像求出景物精确的三维几何描述并定量的确定景物 中物体的性质时遇到了困难，。进入8 0 年代中后期，随着移动式机器人等的 研究，视觉研究与之密切结合，因而大量运用空间几何的方法以及物理知识 来研究视觉，这一时期引入主动视觉的研究方法，并采用了距离传感器以及 引入融合技术等。此外在视觉的研究中重视了对定性视觉、有目的的视觉等 的研究。 西南科技大学硕士研究生学位论文第3 页 冒前，计算规视觉仍然是一个菲常灞跃的研究领域。随着计算机科学、 人工智能、信号处理以及其它相关领域学科的发展，计算机视觉理论的研究 会得到更深入的发展。 我瞬的计算机视觉发展目前正处于方兴未艾的阶段，无论是工业、农业 还是军事领域都显示出广阔的发展前景。在应用领域大部分成果没有转化为 生产力，但己具备了开展视觉研究的研究人才和技术条件，例如清华大学的 智能技术与系统国家重点实验室，在计算机视觉研究领域处于领先地位。同 时各大院校如上海交通大学等也正加大计算机视觉研究的力度。可以预计， 我国飞速发展的经济实力将为计算机视觉的发展提供更加广阔的应用需求， 同时计算机视觉技术的发展将爱加有利于我国经济的发展和人民生活水平 的提高。 综上所述，计算机视觉是一个相当新且发展十分迅速的研究领域，并成 为计算机科学的重要研究领域之一。计算机视觉技术正广泛地应用于各个领 域，从医学图像到遥感图像，从毫微米技术到多媒体数据库，不而足。可 以说，需要人类视觉的场合几乎都需要计算机视觉。同时，许多人类视觉无 法感知的场合，如精确定量感知、危险场景感知、不可见物体感知等，计算 机视觉照凸显其优越性。 1 3课题的研究目的及意义一， 车架号即汽车识别码，英文为v e h i c l ei d e n t i ! f i c a t i o nn u m b e r ，简称v i n 码，是识别世界各国汽车公司生产的汽车的编码，由一组字母和阿拉伯数字 组成，共1 7 位。逶过v 弧码可以识别粥车辆的生产国别、制造公司、车的 类型、晶牌名称、车型系列、车身形式、发动机型号、车型年款等等，我国 自1 9 9 9 年1 月薹日开始所有生产的车辆都必须使用车辆识别码。 车架号相当于汽车的身份证号码，在车辆的管理过程中，如上车牌、办 理行驶证、保险、养路费，每年一次的年检等都需要验证车架号的真实性。 车架号真实性的判定不仅指车絮号内容是否一致，还包括车架号的尺寸大小 是否一致，为了同时得到车架号的内容和尺寸，目前的方法主要是用白纸拓 印。 根据国家统计局发布的权威数字，截至2 0 0 5 年底，我国民用汽车保有 量为3 1 6 0 万辆。且2 0 0 6 年以来每年以超过7 0 0 万辆的速度增长，到目前为 止已经超过5 0 0 0 万辆，然而我国人均汽车保有量还只有世界入均汽车保有 西南科技大学硕士研究生学位论文第4 页 量的1 3 左右，因此专业人士认为在未来2 0 年中国的汽车数量会保持高速 增长。随着中国汽车保有量的高速增长，汽车管理部门的工作量也在高速增 加，目前，我国有大小车管所近3 0 0 0 家，每个车管所平均每年要管理的汽 车数量( 包括过户、转入转出、年检等) 在1 万辆以上，因地区差异汽车保 有量较大的城市管理的汽车数量比平均值要大得多，例如成都目前汽车保有 量在6 0 万辆以上，每年还在以超过3 万辆的速度增长。 从以上数据可以看出，目前车管所的工作量十分繁重，随着汽车数量的 高速增长，这一问题会更加突出，行之有效的解决方法是改善车辆管理的各 个环节，不断提高车辆管理的办公效率。作为车辆管理的重要环节，车架号 验证速度的提高对整个车辆管理效率的提高有着十分重要的意义。目前，在 车架号验证过程中，车架号的提取普遍采用纸张拓印，这种方法在操作时要 求纸张和车架号之间不能有移动，否则会大大影响拓印的准确性，拓印不成 功还需要重新进行，由于车架号的位置不固定，受周围环境空间的限制，人 员操作不方便，拓印需要花费较长时间，使得车架号的验证速度慢，影响了 车辆管理的办公效率，在车辆较多时经常出现排长队等候的现象。因此如果 能够改善车架号的获取方法，缩短获取车架号的时间，这必然能够提高车管 所的办公效率，减轻车辆管理日益繁重的工作量。 另一方面，由于传统车架号采集方式为纸质采集方式，在车辆转入转出 的过程中，对车档案的真实性判别也无法实现网络化，需要支付比较高的车 辆检索费用，加重了车辆的维护费用。如果能够使用图像方式来获取和保留 车架号，那么实现车架号检索的电子化和网络化也就相当容易了，且方便办 理车辆的各种手续，同时使处于外地的车辆得到及时的管理成为可能。 可以看出车架号的提取是一个重复性的工作，由于存在一定的空间限制 人员操作起来也不方便。对于这样一个应用场合，计算机视觉有着巨大的优 势，它用计算机实现信息的自动获取和处理，极大的减少了人的参与，避免 了人员重复性操作引起的低效率问题，受空间限制也大大减小，处理速度快， 精度高。 由此，本文提出了基于计算机视觉的车架号提取方法，从单幅图像中求 解出图像平面与空间车架号平面的映射关系，从而定量的确定空间中车架号 的真实样貌，其过程是成像过程的逆过程。该方法通过摄像机( 照相机) 获 取含有车架号的图像，然后采用图像处理技术和模式识别技术提取车架号的 特征信息，最后根据本文建立的图像重建原理恢复车架号的真实样貌。 西南科技大学硕士研究生学位论文第5 页 1 4课题来源 论文的研究工作来源于四川省杰出青年科技基金项目高精度便携式三 维全局坐标测量系统，项目编号为：2 7 q 1 4 一0 1 5 。项目主要开展了计算机 视觉测量技术的研究。本课题结合车架号的应用背景，对单目视觉测量技术 进行研究，其研究成果煎接应用到对车架号提取方法的改进中，课题的开展 有着重要的理论意义和实用价值。 1 5课题研究的关键技术 本文采用计算祝视觉按本实现车架号的提取，研究的关键技术主要雹括 摄像机标定、图像处理、特征提取和图像重建。 ( 王) 摄像机标定 摄像机通过成像透镜将三维场景投影到摄像机的二维像平面上，这个投 影由成像变换撼述，即摄像机成像模型。摄像机成像模型可以用摄像机内外 参数来表示，确定摄像机内外参数的过程称为摄像机标定。摄像机成像模型 定性描述了空间点与像平面点的映射关系，摄像机标定则将这种映射关系定 量播述滋来。标定过程可以篱单概括为羧据建立的摄像机模型，离已知特征 点的图像坐标和世界坐标求解摄像机的模型参数。 ( 2 ) 图像处理 一 一一1 图像处理是图像分析和图像理解的基础，是计算机视觉的重要技术。本 文图像处理的目的主要有两个：是通过处理使有用信息容易检测；二是定 位西标的有用信息。这纂有用售息指既是物体的边缘信息，医环境的于扰， 整幅图像中包含了不定数量的其他物体，相应的在众多边缘中也包含了其他 物体的边缘，如何使图像中边缘信息得到突出，如何将这些边缘各自以数据 的形式得到是图像处理需要解决的问题。 ( 3 ) 特征信息提取 特征信怠的提取需要一定的先验知识，如提取对象的形状、位置、大小、 数量等等，且是针对某一特征或某些特征进行提取，主要根据图像理解的目 的焉定。本文特征提取主要针对靶标，靶标的形状为圆形和四边形，大小、 数量和位置关系已知，如何准确识别和精确定位这些特征是需簧解决的问 题。 西南科技大学硕士研究生学位论文第6 页 ( 4 ) 图像重建 图像重建是图像成像的逆过程，即由已知图像恢复出空间中物体的几何 形貌。图像重建建立在摄像机模型的基础上，由已知特征点的图像坐标和世 界坐标求解出空间点与图像平面点的逆投影关系。 1 6课题的研究内容 本文研究的范围包括计算机视觉以及与之相关的图像处理和模式识别， 研究的主要内容有：摄像机模型、摄像机标定、图像处理、特征信息提取、 图像重建。具体从以下几个方面展开研究： ( 1 ) 研究摄像机的成像模型，包括线性模型和非线性模型，针对摄像 机的线性模型，理解世界坐标系、图像坐标系、像素坐标系和摄像机坐标系， 推导从世界坐标系到像素坐标系的坐标转换关系；总结目前常用的摄像机标 定方法，制定出本文的摄像机标定方案。 ( 2 ) 分析图像的特点，结合本文图像分析和理解的目的，深入研究课 题中相关的图像处理技术，主要包括边缘检测、阈值分割、边缘细化、轮廓 跟踪等，总结目前的常用算法，对各种算法进行理论分析和实验测试，比较 各种算法的优缺点和适用场合，结合课题的需要选择某种算法或设计实现新 的算法。这部分的研究主要采取实验和研究相结合的研究思路， ( 3 ) 根据本文设计的靶标特征，研究相应的特征提取技术。课题中设 计的靶标特征主要为圆形和四边形，特征提取的研究主要从圆检测和角点检 测两方面展开，提出了l e v e n b e r g m a r q u a r d t 圆检测和改进的基于h 秭s 的 亚像素角点检测方法。 ( 4 ) 研究本文车架号图像的重建原理。在深入研究摄像机成像模型的 基础上，建立空间车架号平面与图像平面的映射关系，利用已知靶标的特征 点，进行特征匹配，通过最小二乘法解超定方程组计算出空间点与像平面点 的映射矩阵。 1 7本文的组织结构 全文共分五章，章节安排和主要内容如下： 第一章绪论。本章主要介绍了计算机视觉理论，国内外在计算机视觉方 面的研究现状以及本文研究的研究目的、关键技术、研究内容。 西南科技大学硕士研究生学位论文第7 页 第二章摄像机标定。本章内容分兔摄像规模型和摄像枫标定方法两部 分，在摄像机模型部分详细介绍了摄像机透视成像模型以及考虑了一阶径向 畸变的非线性模型，建立四种坐标系来描述成像过程；摄像机标定方法部分 首先概括了三类摄像机标定方法各自的特点，然后详细介绍了本文使用的标 定方法。 第三章图像处理。本章介绍了相关图像处理技术，包括边缘捡测、阈值 分割、边缘细化和轮廓跟踪。首先详细介绍了一阶、二阶微分边缘检测算子 和c a n n y 边缘检测算子，对比了各个算予的算法性能；然后介绍了三种阙值 分割算法；。最后分析了边缘细化和轮廓跟踪的基本思想。 第四章特征提取与图像重建。本章首先介绍了图像的特征提取，包括圆 特征提取和角点特征提取。分析了霍夫变换圆检测和最小二乘圆检测方法， 介绍了h a r r i s 角点检测原理及改进方法；最后介绍了本文图像重建的原理。 第五章系统实现与测试。本章详细贪绍了整个系统的实现过程。将整个 系统划分为摄像机标定和单幅车架号的图像重建两部分，分别介绍了这两部 分的实现。然后介绍了整个系统的软件测试情况。 最藤是结论部分，总结本论文的主要研究工作和成果，以及对今后工作 的展望。 西南科技大学硕士研究生学位论文第8 页 2 摄像机标定 摄像机标定是进行视觉测量和图像重建的前提，本文为获得摄像机的内 参数需要首先对摄像机进行标定。摄像机标定是指建立摄像机图像像素位置 与场景点位置之间的关系，其途径是根据摄像机模型，由已知特征点的图像 坐标和世界坐标求解摄像机模型参数。本章首先介绍了摄像机成像模型，包 括线性模型和非线性模型；然后介绍了本文所使用的摄像机标定方法。 2 1摄像机模型 摄像机成像模型n ”，描述的是三维场景经成像透镜投影到二维像平面上 的投影变换关系。摄像机成像模型包括线性模型和非线性模型。 2 1 1线性摄像机模型 线性摄像机模型又称为针孔成像模型。空间任何一点p 在图像上的成像 位置可以用针孔模型近似表示，即任何点p 在图像上的投影位置p ，为光心 o 与p 点的连线o p 与图像平面的交点，如图2 1 。这种关系也称为中心射 影或透视投影。 y w 图2 1摄像机坐标系和世界坐标系 f i g 2 1 c a m e r ac o o r d jn a t e sa n dw o ri dc o o r d i n a t e s 摄像机成像的每幅数字图像是由m n 个点阵组成的，m 行n 列的图 西南科技大学硕士研究生学位论文第9 页 像中的每一个元素称为像素( p i x e l ) ，每个像素点值的大小就形成了图像点 的灰度或亮度。在针孔摄像机中，三维空间中一个点的图像是从这点发出的 并经过针孔的光线与摄像机后平面的交点。这样就在后平丽的底片上产生了 图像。对理想针孔来说，从点发出的光线是理想的直线。针孔模型对大多数 通用镜头来说也相当适合。摄像机成像实际上是将三维空间的景象映射成= 维像素矩阵中的灰度值，这个二维像素矩阵灰度值是对应着c c d 平面上 m n 个离散元件上的电荷量。为了描述摄像机的成像过程通常要建立以下 四个坐标系，分别为： ( 1 ) 世界坐标系：根据自然环境所选定的基准坐标系来描述摄像机的 位置，并用它描述环境中任何物体的位置。坐标用o ，y 。，z ，) 来表示。 ( 2 ) 像机坐标系：如图2 一羔所示，以相枧的光心d 为坐标原点，i 轴、 以轴分别平行予c c d 平面的两条垂直边，z 。轴与相机的光轴重合，坐标用 ( x 。，兑，z 。) 来表示，为摄像机焦距。 ( 3 ) 像素坐标系：为图像定义的直角坐标系，坐标原点在d 0 ，c c d 图 像平面的左上角，其坐标轴u 轴、v 轴分别平行于图像坐标系的x 轴、y 轴，坐标用，v ) 来表示，该坐标值为离散的整数值，只表示该像素在数组中 的行数与列数，并没有用物理单位表示出该像素在图像中位置。如图2 2 所 示。 一o 一 乏 q 。，毪) 1r 矿 1 ry 圈2 2图像坐标系和像素坐标系 f ；g 。2 2l m a g ec o o r d l n a t e sa n dp l x e lc o o r d l n a t e s ( 4 ) 图像坐标系；坐标原点是光轴与c c d 图像平面的交点，逶常敬 c c d 图像平面的中心，x 轴、y 轴分别为平行于c c d 平面的两条垂直边， 坐标用( x ，y ) 表示，缸，y ) 通常表示以毫米为单位的图像坐标系的坐标。如图 2 2 所示。 西南科技大学硕士研究生学位论文第1o 页 三维空间中物体上任一点p 投影到二维像平面上，要经过下列坐标变 换： ( 1 ) 世界坐标系到摄像机坐标系下的变换 p 点在世界坐标系下的齐次坐标为o 。，y 。，z 。，1 ) r ，在摄像机坐标系下的 齐次坐标为( x 。，y 。，z 。，1 ) r ，世界坐标系和摄像机坐标系则存在如下的变换关 系： t 儿 z c l = 陋 x w y ， z w l = m l x ” 。 z w 1 ( 2 1 ) 其中，r 是两坐标系之间的3 3 正交旋转单位矩阵，f 是两坐标系之间的 3 1 平移向量，0 = ( o ，o ，o ) r ，m 1 为4 4 矩阵。 ( 2 ) 摄像机坐标系到图像坐标系的坐标变换 在针孔摄像机模型中，三维空间中物体上任一点p 在图像坐标系中的投 影p 可以用光心0 与p 点的连线与图像坐标系平面的交点来表示，这种关 系也称为中心射影或透视投影。数学表达如下： o 。 x ：丝，1 ，丛( 2 2 ) z r z 口 铜= 0 ( 2 3 ) 厂为光心d 到像平面的距离，称为等效焦距，( x ，y ，1 ) r 为p 的像点在图像坐标 系下的齐次坐标。 ( 3 ) 图像坐标系到像素坐标系之间的坐标变换 由图2 2 所示，图像中任意一个像素在两坐标下的坐标如下： “= 圭+ “o ，= 圭+ ( 2 4 ) “2 + “o ，。- = + k z q ， 戤 缈 用齐次坐标和矩阵形式表示为： r = d 西南科技火学硕士研究生学位论文第”页 孵删司 5 ，) 式中0 ，k 1 ) f 为p 点成像在像素坐标系下的齐次坐标，国o ，吒) 为摄像机主点q 由上瑟的变换关系我们很容易得到空间点p 的( h ，z 静) 坐标和其投影 卜1p 出 乙：删驴 l 砂”厂0 0 恬 loi | ool 0ir = f 耄丢辜三 善 = | o 岛o | | 二； l0 ololr h 儿 z w 1 k 夕。 z w l = 掰l 掰2 x 暂= 燃， ( 2 6 ) 其中，程。= 斑，伐y = 方为摄像枧在x 轴、y 轴方向的尺度因子；m 为 3 4 矩阵，称为投影矩阵；m 1 由摄像机的a ，a y ，“o ，h 决定，而 伐善，毡y ，豁。，毪只与摄像机的内部结构有关，被称为摄像视的内部参数；m 2 完全由摄像机相对于世界坐标系的方位决定，称为摄像机的外部参数。确定 某一摄像机的内外参数，称为摄像机定标。 2 1 2 非线性摄像机模型 实际上，由于实际的镜头并不是理想的透视成像，丽是带有不同程度的 畸变，使得空间点所成的像并不在线性模型所描述的位置只( z ，y ) ，而是在受 到镜头失真影响面偏移的实际像平面坐标只( 南，欺) ，如图2 3 所示。 慝：耋： 7 ， 其中，6 。和6 ，是非线性畸变值，它与图像点在图像中的位置有关。理论上 镜头会同时存在径向畸变和切向畸变，如图2 4 。 僵般来讲切向畸变毙较小，径向畸变的修芷量由距图像中心的径向距 r = 1 = 1 西南科技大学硕士研究生学位论文 第12 页 离的偶次幂多项式模型来表示 其中，( ，。) 是位置坐标的精确值，而 ，2 = ( x d 一“o ) 2 + ( y d 一，o ) 2 x 。 图2 3摄像机的非线性模型 f i g 2 3 t h en o n ii n e a rm o d e io fc a m e r a ，y d ) ( 2 8 ) ( 2 9 ) 式( 2 9 ) 表明，x 方向和y 方向的畸变相对值( 6 x ，6 y y ) 与径向半径的平 方成正比，即在图像边缘处的畸变较大。 y 。 赢；厂 l | | 西： 西： 图2 4摄像机的畸变 f ig 2 4 畸变 、 、 + + 4 4 r 厂 2 2 七七 + + 2 2 r ，七七 x o 0 “ v 一 一 h 儿，l，- = = ， y 6 6 ，j、【 西南科技大学硕士研究生学位论文 第13 页 对一般诗算机视觉，阶径向畸变已足够描述非线性畸变嘲，这时式( 2 8 ) 可写成 ( 2 一l o ) 线性模型参数& ，伐y ，掰。，猕与菲线性畸变参数墨和一趁构成了摄像 机非线性模型的内部参数。 2 2 摄像机标定方法 2 2 1摄像杌标定方法简介 摄像机标定- o 1z ，需要确定与摄像机自身的几何和光学特性有关的参 数( 称为摄像机内参数) ，以及它相对于某一世界坐标系的三维彼置和方向 ( 称为摄像机外参数) 。摄像机标定一般可分为三种：传统标定方法、基于 主动视觉翡标定方法和囱标定方法潮。 传统标定方法需要使用经精加工的标定块，通过建立标定块上已知三维 坐标点与其图像点闻的对应关系，来计算摄像机内外参数。传统标定方法的 优点在于可以获得较高的精度，但标定过程复杂，不适用于在线标定和不可 能使用标定块的场合。t s a i 的经典两步标定法剀、w e n g 的摄像机标定法” 等都是典型的传统标定方法。 基于主动视觉的标定方法，该类方法需要控制摄像机做某些特殊运动， 剩用这种运动的特殊性可以计算出走参数。该类方法的优点是算法简单，往 往能获得线性解，缺点是不能适用于摄像机运动来知或无法控制的场合。如 h 积l e y 算法，和马颂德提出的主动视觉系统自标定方法等。 自标定方法，不需要参照物，它使得在场景未知和摄像机运动任意的一 般情形下摄像机标定成为可能，在实际应用中对于人无法去的标定环境提供 了很大的方便，从本质土说，所有鲁标定方法都只是利用了摄像机内参数自 身存在的约束，与场景和摄像机运动无关。 近年来人们在传统标定方法的基础上研究一类用各种模板图标平面进 行摄像机标定的方法，如张正友提出的平面模板摄像机标定法“”，h e 诹k i l a 研究用圆形标志作控制点的摄像机标定引等，这些方法相对传统标定方法简 单、容易实现，同时精度也较高，得到广泛的应用。本文采用的就是基于张 2 2 r r老后 、，、j 妇怕 一 一 儿，l 然 徽 芏 y 6 6 ，【 西南科技大学硕士研究生学位论文第14 页 正友的改进平面模板摄像机标定方法川，。 2 2 2 本文的标定方法 课题中摄像机的标定采用的是基于2 d 平面靶标的摄像机标定。介绍如 下。 一般来讲，立体靶标的制作成本较高，且加工精度受到一定的限制，张 正友等人基于平面靶标提出了摄像机标定方法。在该方法中，要求摄像机在 两个以上不同方位拍摄一个平面靶标，摄像机和靶标都可以自由地移动，不 需要知道运动参数。在标定过程中，假定摄像机内部参数始终不变，即不论 摄像机从任何角度拍摄靶标，摄像机内部参数都为常数，只有外部参数发生 变化。 ( 1 ) 靶标平面与其图像平面之间的映射矩阵 靶标平面上的三维点记为m = 【工，y ，z 】7 ，其图像平面上的二维点记为 小= “，川r ，相应的齐次坐标为m 。= 【石，y ，z ，1 】r 与历= 陋，l 】r 。摄像机基于针 孔成像模型，空间点与图像点之间的射影关系为 s 脚= 彳陬幻m ( 2 1 1 ) 上式体现了靶标平面与图像的单应性，其中，j 为一任意的非零尺度因子， 旋转矩阵尺与平移向量f 称为摄像机外部参数矩阵，彳称为摄像机内部参数 矩阵，定义为 一一 a ， 1 ， “o 彳= i o a ， v 0 i ( 2 一1 2 ) 【o o1j 其中， 。，) 为主点坐标，0 【，p 分别是“轴和 ，轴的尺度因子，丫是甜轴和v 轴 不垂直因子。不失一般性，可以假设靶标平面位于世界坐标系的砂平面上， 即z = 0 ，记旋转矩阵尺的第f 列为一，由式( 2 1 1 ) 有 s ； = 彳t 吃巧 砘刊圈 这里，仍采用m 来表示靶标平面上的点，不过此时肘= 【x ，y 】r ， m = 工，y ，l 】r ，这样，靶标平面上的点m 与对应的图像点m 之间存在一个变 换矩阵h ， 西南科技大学硕士研究生学位论文第15 页 嬲= 起籽1 ( 2 一l 碡) 其中，= 柚k吃f 】为3 3 的矩阵，九为一常数因子。记日= 阮 ： 3 】， 有 阪彪：】。m k 吃f 】 ( 2 一1 5 ) 其中，平移向量f 为从世界坐标系的原点到光心的矢量， ，如为图像平面两 个坐标轴在世界坐标系中的方向矢量，显然f 不会位于，圪构成的平面上， 由于吒与，2 正交，因此d c t ( 哦吃f ) o 。又由于d e t 【么】o ，所以拙【日】0 。 ( 2 ) 内参数约束条件 由尺的正交性( r 吒一o ，吒r 巧= 乞r ，2 ) ，可以得到下面两个基本内参数约束 方程 搿2 嚣 ： ? 【6 ， l 厅f 么一r 彳- 1 鬼= 矗；_ 一r 彳卅 2 、。? ( 3 ) 标定过程 计算映射矩阵日 因为扶墨像提取的特征点，无论怎么精确也存在误差，所以露的计算是 使实际图像坐标脚，与根据式( 2 1 1 ) 计算出来的图像坐标m ；之间残差最小 的过程，目标函数为： 蛐慨一m ：1 1 2 一 ( 2 一1 7 ) 由式( 2 _ 1 4 荆去s 可酬= 壶瞄 ，这里表示矩阵的第z 个行 囱量。 j l j 吨h 黝= 。 所以 设x ：k r 墨r o r m ： 砖r 】r 表示9 l 列囱量，从而有 两r 醚 麓r ( 2 一1 8 ) = o( 2 1 9 ) o o = = r r 磁墨 r r m 掰 蚝毪 一 一 r r l t 2 如t 鼯 r r m 掰 ，c，t 1 j 及 r一，一 r m 膨 嘶砖 一 一 西南科技大学硕士研究生学位论文第16 页 嚣二绸刎 2 。， 当给定n 对点时，我们就能得到上述的n 组方程组，并可以将其写成矩 阵方程血= o 的形式，其中a 是一个2 n 9 的矩阵，由于= l ，这是个线 性方程组，且x 具有8 个未知数，所以只需要4 对点，就可解出x 。若n 4 ， 形成的是一个超定方程组，则是一个最优解问题。 求解日是一个非线性最小二乘问题，可以用梯度法，高斯一牛顿法或 l e v e n b e r g m a r q u a r d t 法等多种非线性优化来解决。 本文在计算x 时首先利用奇异值分解( s v d ) 来求解，由于每幅图像控 制点数n 4 ，所以将s v d 分解得到的解作为初值，再用l e v e n b e r g m a r q u a r d t 法来优化求精。 s v d 算法的数学基础为，对于任何行数m 大于或等于列数n 的m n 矩阵a ，均可分解为m n 的列正交矩阵u 、元素大于或等于零的n n 的 对角矩阵w 和n n 正交矩阵v 的转置的乘积，形式表示为 彳= u w l o 0 y r = 【僻y r ( 2 2 1 ) 设u = l l“2“ ，】，y = 【v lv 2v ，】，“f o = 1 ，) ，m o = 1 ，) 分 别称为a 的左奇异向量和右奇异向量，w 的非零对角元素o = l ，2 ，) 是a 的特征值的正平方根，称为矩阵a 的奇异值，为非零对角元素的个数。 直接对a 作s v d 分解，可能会产生大矩阵u ，所以在s v d 分解前要对 a 进行调整。调整方法是对图像像素坐标和世界坐标分别进行等方性归一化 处理，对二维系统，等方性归一化处理是两坐标轴方向上数据的缩放比例相 等，经过变换后各坐标对原点的距离平均值为2 ，下面介绍处理过程： a 求”，v 两轴上各坐标的平均值：m 。= 册阳刀( “f ) ，胁，= 历叩疗( 坼) ，即质 心坐标 b 将质心坐标取代原来的原点( 即求各点相对于质心坐标的相对量) ， “f = “，一朋，u2 坼一所v c 求变换后各坐标( 各点相对于质心坐标的相对量) 到原点距离的平均 值：m 阳，l 如f = m 阳以( s 卵( f ) 2 + ( 觚) 2 ) ) 西南科技大学硕士研究生学位论文第17 页 po 一册。1 耻k 一刊 酣； 同理，可求得归一化的世界坐标肘，+ ，设变换矩阵为正。 求得归一化坐标后，构造 么= 一w m t j 0 r 铭m ：r v 彬r 一豁掰_ o r ( 2 2 2 ) ( 2 2 3 ) ( 2 2 4 ) 此时，a 是个3 稳9 的矩阵，对a 奇异值分解：s 物么) = 讲弦f ，取 出矩阵v 的最右列即为方程的解，并将其各元素重新写成3 3 的矩阵形 式甄，鄂归一化坐标后图像平面与空阗平蘧的单应性矩阵，要求实际图像 平面与空间平面的单应性矩阵，需考虑两变换矩阵互和以，所以将求得的 日，反向规格化得到日= ，五偶。 力得到高精度的单应性矩阵，使其有利于后面对一些摄像机模型参数的 初始值计算，并为全局最优化提供较好的参数初始值，这里以h 为初值，采 用l e v e 藏b e 礓一m 嘲毽8 斑l 非线性方法进行优化。嚣标丞数为越诬| b 一珑髫， 其中小，由初值h 计算出来的图像坐标，聊，是实际图像坐标。 求解摄像机参数矩阵 式( 2 一1 6 ) 关于摄像机内参数的两个基本约束，因为一个转换矩阵有8 个自由度，而外参数有6 个( 3 个旋转，3 个平移) ，因此从一个转换矩阵只 能获得关于摄像枫内参数的两个约束。 空间上的二次曲面可表示为x7 擞= o ，其中x 拦0 ，) ，z ，1 ) r ，b 是个4 4 对称矩阵。显然，b 乘以任何一个不为零的标量仍描述同二次曲面。蔼平 面上的二次曲线可表示为x r 戤= o ，其中x = k y ，1 ) r ，b 是一个3 3 对称矩 r j r 歹舭o 瑰。州矿篇 西南科技大学硕士研究生学位论文第18 页 i 马。 最： 局，i b = 彳一r 彳1 = ib 2 lb 2 2 曰2 3l l 岛b ：马，j l 1 伍。 ， 一f 一 0 l ja y 张一倪，“o 2 q za y 一广 0 l ，伍， ，21 i 了+ 了 ，( 一0 l y “o ) a j 2 伍v 2 a y 2a j 伍y a y 塑二! ：竺! q 工仅y ，( 一0 【) “o ) a j 2 q y 2 a y 2a jq y a y 堕掣+ 乓+ l 22 2 注意到b 是对称阵，可以表示为下面的六维向量： ( 2 2 5 ) 6 = 陋。召。2 曰2 2b ，岛，岛，】r ( 2 2 6 ) 设h 的第i 列向量为以= 陆n ，j j l j i l ，r ，因此有 以r 曰哆= 峋r 6 ( 2 2 7 ) 其中屹= k 订 月，j i l 订 ，2 + f 2 矗一，i i ，2 j i l ，2 ， f 3 j l ，i + 订j j l ，3 ，j i l ，3 ，2 + f 2 | j l 3 ，| j l f 3j j l ，3 】r 这样，式( 2 一1 6 ) 可以写成两个关于b 为未知数的齐次方程 ( v 1 1 蔓) r 6 = 。 ( 2 2 8 ) 如果对靶标平面拍摄m 幅图像，将m 个这样的方程组叠起来，可得 场= o ( 2 2 9 ) 其中v 为2 m 6 的矩阵，如果m =