（检测技术与自动化装置专业论文）基于机器视觉的驾驶员桩考系统研究.pdf

基于机器视觉的驾驶员桩考系统研究 摘要 机器视觉是多学科的交叉与结合，既是一门科学学科又是一门工程学科， 运用机器视觉和数字图像处理技术，探讨机器视觉技术在驾驶员桩考系统中的 实现方法，这对机器视觉技术方法研究和实际应用具有一定的价值。 本文以驾驶员桩考系统为研究对象，采用图像处理技术和机器视觉理论方 法，研究如何在熟悉或不熟悉环境条件下检测和识别出运动目标，自动跟踪和 测量所监控运动的车辆目标。 1 、提出了一种序列图像帧差分和二次帧差分的改进h i s 差分模型，采用 自适应运动目标区域检测、阴影部分分割和噪声消除算法，在无背景图像条件 下自动提取运动目标区域。 2 、依据先验知识，定义运动目标的特征，计算分析和特征匹配识别所需跟 踪目标，并提取跟踪目标区域重心点的三维坐标值。 3 、对运动目标状态采用k a l m a n 预报器进行一步预测估计和两步增量式跟 踪算法，快速平滑的实现移动机器人对运动目标的跟踪驱动控制。 4 、采用h o u g h 变换获得场景中的考场区域直线段与汽车边框的相对位置信 息，从而对驾驶员桩考过程做出评判。 在w i n d o w s 环境下设计了系统整体功能框架和软件算法，实验证明，该方 法对移动目标的提取识别与跟踪具备不易受干扰和快速的特性，效果良好。可 有效地提高驾驶员桩考的公正性和准确性。 关键词：目标检测与识别，改进的h i s 差分模型，k a l m a n 滤波器，增量式跟踪 控制策略，摄像机标定 r e s e a r c ho na u t o m a t i cs t a k et e s ts y s t e mb a s e do n m a c h i n ev i s i o n a b s t r a c t m a c h i n ev i s i o ni sc o m p o s e do fm a n ys u b j e c t s i ti sn o to n l yas c i e n t i f i c s u b j e c tb u ta ne n g i n e e r i n gd i s c i p l i n e i m a g ep r o c e s s i n gt e c h n i q u ea n dm a c h i n e v i s i o nt e c h n i q u ea r ea d o p t e dt od i s c u s st h em e t h o dh o wt oa p p l yt h em a c h i n e t e c h n i q u et h e o r yt oa u t o m a t i cs t a k et e s ts y s t e m ，w h i c hi sv a l u a b l et ot h er e s e a r c h a n da p p l i c a t i o no fc o m p u t ev i s i o nt e c h n i q u e i nt h i sp a p e r , t h eo b j e c to fr e s e a r c hi st h ea u t o m a t i cs t a k et e s ts y s t e m h o w t oe x t r a c ta n dr e c o g n i z et h em o v i n go b j e c tt h r o u g hi m a g ep r o c e s s i n gt e c h n i q u ea n d m a c h i n et e c h n i q u ei na n yb a c k g r o u n dt oc o m p u t et h ed i s t a n c eo ft h eo b j e c ta n d t r a c ka u t o m a t i c a l l ya r et h ee m p h a s e so fr e s e a r c hi nt h i sp a p e r 1 ai m p r o v e dh i si m a g ed i f f e r e n c em o d e lb a s e do ns e q u e n c e si m a g e d i f f e r e n c ea n ds e c o n di m a g ed i f f e r e n c ei sp r e s e n t e d am e t h o do fs e l f - a d a p t i v e d i v i s i o na n de l i m i n a t i o no f t h eo b j e c ts h a d o wt oe x t r a c tt h em o v i n go b j e c t sw i t h o u t b a c k g r o u n dk n o w l e d g ei sa d o p t e d 2 t h ef e a t u r ea n a l y s i sa n dc o m p u t eo fm o v i n go b j e c t sa r ed e f i n e dt of e a t u r e m a t c ha n dr e c o g n i z et h ea r e ao fo b j e c t s ，m e a n w h i l et h ed i s t a n c eo ft h eo b j e c t b a r y c e n t e ri sc o m p u t e d 3 t h em o v i n go b j e c t ss t a t ef o r e c a s ta n dt w os t e p si n c r e m e n tt r a c k i n g a l g o r i t h mb a s e do nk a l m a nf i l t e rc a n d r i v et h em o b i l er o b o tt ot r a c kt h em o v i n g o b j e c t sq u i c k l ya n ds m o o t h l y 4 h o u g ht r a n s f o r mi sa d o p t e dt oo b t a i nt h ei n f o r m a t i o no f t h el i n ei nt h ea r e a o ft e s t t h er e s u l to ft e s tc a nb eg o t t e nt h r o u g hc o m p a r i n gt h ep o s i t i o no fl i n ea n d t h ef l a m e o fc a r aw h o l ef r a m eo f s y s t e m i s d e s i g n e d i nw i n d o w se n v i r o n m e n t e x p e r i m e n t a lr e s u l t ss h o wt h a tt h em o v i n go b j e c t sc a n b ee x t r a c t e da n dr e c o g n i z e d t h r o u g ht h ea r i t h m e t i c ，a n di ti s m o r es t a b l ea nq u i c k l yt ot r a c kt h eo b j e c t t h e i u s t i c ea n dn i c e t yo ft h et e s tw i l lb ei m p r o v e d k e yw o r d s ：o b j c o td e t e c t i o na n dr e c o g n i t i o n ，h s ii m a g ed i f f e r e n c em o d e l ， k a l m a nf i l e r , i n c r e m e n tc o n t r o lt r a c k i n gs t r a t e g y , c a m e r a c a l i b r a t i o n 插图清单 图1 1 机器视觉与相关学科的关系l 图1 2 机器视觉理论框架3 图1 3 基于知识的视觉理论框架。3 图1 4 主动视觉理论框架：4 图2 1 桩考场地要求图1 0 图2 2 自动桩考示意图1 0 图2 3 智能机器人硬件系统结构1 3 图3 1 小孔成像示意图1 4 图3 2 透镜成像原理图1 5 图3 3 小孔成像原理的测距示意图1 6 图3 4 摄像机成像几何关系的线性模型1 7 图3 5 图像坐标1 7 图3 6 标定实验结果示意图2 1 图4 1 三帧差检测方法图示2 8 图4 2 腐蚀和膨胀形态学运算的示意图。2 9 图4 3 运动检测实验效果图3 l 图5 1k a l m a n 预测坐标系3 7 图5 2 运动目标的识别实验图4 1 图5 3 运动目标上部1 4 区域提取4 1 图6 1h o u g h 变换原图4 3 图6 2h o u g h 变换效果4 3 图6 4 提取所得汽车图像4 3 图6 5 边缘检测后汽车图像4 4 图6 6 加上边框的汽车图像4 4 图6 7 桩考系统流程图设计4 6 图6 8 线程功能示意图4 7 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果， 也不包含为获得 佥b 王业盘堂 或其他教育机构的学位或证书而使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名：剂诌签字日期：肿弱“日 学位论文版权使用授权书 本学位论文作者完全了解金自b 王些盔堂有关保留、使用学位论文的规定，有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权佥起王些盔堂可 以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：刘 签字日期：冲岁月“日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名 蝴肌冲，月穹日 电话： 邮编： 致谢 本文的主要工作是在我的导师王建平教授的悉心指导下完成的。学习上， 王建平老师以渊博的知识、严谨的治学态度、敏锐的思维和非凡的敬业精神给 予了我专业的指导；生活上，王老师给予我无微不至的关怀，使我受益良多。 王老师为人处事的态度将是我终生学习的榜样! 在此向王老师表示最诚挚的谢 意! 感谢徐晓冰、钱自拓、秦剑和赵丽欣老师，谢谢你们在学习和生活上对我 的帮助，祝你们工作顺利! 感谢电气学院的全体老师，你们的教诲为本文的研究提供了理论基础，并 创造了许多必要条件和学习机会。 感谢同窗好友戴莹、管理、廖建敏、谢芝东同学，和你们一起度过的时光 将是我人生的美好回忆；在实验室期间，得到了王熹徽、孙伟、李帷幅、穆举 胜、马宾、杨金付和朱克忠同学在学习和生活上热情关心和帮助，在此向他们 表示衷心感谢；感谢同实验室的程羽、张涛、沈周晖、张茂林、徐其林、张凯、 潘乐、张丽萍、王晓雪，陈郑伟等同学的关心和帮助，祝你们学业有成! 感谢我的父母及家人，你们的舐犊之情给了我学习和生活的巨大动力，感 爱之心，无以言表，你们的永远健康侠乐是我最大的心愿! 感谢所有关心和帮助过我的同学和朋友! 作者：刘伟 2 0 0 7 4 第一章绪论 1 i 机器视觉概述 视觉是人类最重要的感觉功能之一。据统计，在人类获取的信息中，视觉 信息约占6 0 ( 有的资料认为可高达9 5 。) ，听觉信息约占2 4 ，其他的如味 觉信息、触觉信息等加起来约占2 0 【l 】。由此可见视觉信息对人类的重要性。 视觉不仅指对光信号的感受，还包括对视觉信息的获取、传输、存储与理解的 全过程。让机器具有视觉是人类多年以来的梦想。神经生理学、认知心理学、 计算机技术、信号处理、计算机图形学、模式识别、人工智能、计算机辅助设 计等学科的发展，为人们实现这一梦想提供了可能，并逐渐发展出一门新学科一 机器视觉。 机器视觉就是用各种成像系统代替视觉感官作为视觉信息输入手段，由计 算机代替大脑完成处理和解释。机器视觉的最终目的是用计算机来实现对自然 景物的理解，即实现人的视觉系统的某些功能。机器视觉不仅使机器能感知环 境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对他们进 行描述、存储、识别和理解。 机器视觉是多学科的交叉与结合，既是一门科学学科又是一门工程学科， 主要涉及的相关学科如下图所示： 机器视觉 计算机信号处理 数学物理学生物学心理学 概率，统计 随机过程 高等数学 线性系统 高等几何ij 最优化理论i 图1 i机器视觉与相关学科的关系 人工智能、图像处理和模式识别是机器视觉技术的重要组成部分，也是完 成本课题所必须涉及到内容。 1 人工智能 人工智能主要应用于图像的理解过程。 模仿和执行人脑的某些智力功能，如判断、 人工智能研究目的是为了使机器能 推理、证明、识别、感知、理解、 设计、思考、规划、学习和问题求解。这与机器视觉模拟人的视觉功能具有相 同的意义，而且视觉感知也是智能行为中的一个重要组成部分。在一段时间内， 机器视觉曾作为人工智能的一个分支得到发展。但随着时间推移，人工智能越 来越偏向人的知识结构、表达和操作方向发展。而机器视觉结合图像处理、模 式识别理论逐渐发展成独立的学科。机器视觉的最终目的是要具有实现人的视 觉功能的高度灵巧性和高度智能性，智能是视觉的一部分，人工智能中的许 多技术正不断的被机器视觉所吸收发展。在本文所应用的桩考系统中，对汽车 的识别、跟踪、判断均是模仿和执行人脑的某些智力功能。 2 图像处理 图像处理是本课题涉及最多的内容，也是机器视觉的一个主要研究方向。 所谓“图就是物体投射或者反射光的分布：“像”是人的视觉系统接收图的 信息而在大脑中形成的印象或认识。前者是客观存在的，而后者是人的感觉， 图像应该是两者的结合。因此在图像处理中不能仅仅把图像看成是二维平面上 或者三维立体空间中具有明暗或色彩变化的分布。图像处理就是对图像信息进 行加工以满足人的视觉心理或应用需求的行为。 图像处理中的运算包括点运算，几何处理，图像增强，图像复原，图像形 态学处理，图像编码，模式识别等。本文主要涉及到的图像处理运算包括点运 算，图像形态学，模式识别等。 3 模式识别 模式识别是的一个新兴的研究方向，当今的模式识别方法通常有三种：统计 识别法、句法结构模式识别法和模糊识别法。模式识别是把一种研究对象，根 据其某些特征进行识别和分类。识别是人类的一个基本属性，模式识别被认为 是机器智能领域中最重要的工具之一。模式识别可以用多种方法实现，在数字 图像处理中，模式识别过程由三个主要阶段组成。第一阶段为图像分割或物体 分离阶段，在该阶段中检测出各个物体，并把它们的图像和其余景物分离；第 二阶段为特征提取，这一阶段对物体的某种特征进行度量；第三阶段是分类， 确定每个物体应该归属的类别。 l - 2 机器视觉的发展 机器视觉的研究开始于2 0 世纪5 0 年代中期，当时的研究主要集中在二维 景物图像的分析。 利用二维图像解释三维目标和景物的研究开始于1 9 6 5 年r o b e r t s 对多面体 识别中提出的“积木世界”。在这之后，随着研究的深入，相继提出了机器视觉 的三个主要理论框架【1 4 j 。 1 计算视觉理论框架 2 0 世纪7 0 年代中期到8 0 年代初期，h a r t 教授通过在美国麻省理工学院进 2 行的视觉理论方面的研究，提出了第一个机器视觉领域的理论框架一计算视 觉理论。这一理论把视觉过程看作一个信息处理的过程，并提出对信息处理的 研究应分为三个不同的层次，即计算理论的层次、表示( 数据结构) 与算法的层 欢、硬件实现的层次。这一理论强调计算理论层次，并根据w a m n g t o n 临床神 经学的研究结果，阐明视觉的目的是从图像中建立物体形状和位置的描述。在 这一层次上，计算视觉理论把视觉过程主要规定为：从二维图像信息中定量地 恢复出图像所反映的场景中的三维物体的形状和空间位置，即三维重建。在计 算理论这一层次上，m a i r 将三维重建这一过程分成三个阶段，如图1 2 所示。 三维图像 i 要素圈ij2 5 维图f 三维描述 叫早期视觉处理卜叫中期视觉处理卜叫后期视觉处理卜 图i 一2 机器视觉理论框架 早期视觉处理阶段是由输入的二维图像获得三维要素图。要素图指的是图 像中灰度变化剧烈处的位置及其几何分布和组织结构。中期视觉处理阶段是由 二维要素图获得2 5 维图。2 5 维图指的是在以观察者为中心的坐标中，可见表 面的法向、大致的深度以及它们的不连续轮廓等。由于2 5 维图中包含了深度 的信息，因而信息量比二维图要多，但还不是真正的三维表示。这一阶段是由 多个相对独立的视觉模块组成，又称为“s h a p e f r o m x ”( 这里的x 指的是不同的 线索) 模型。这些模型包括立体视觉、运动视觉等。后期处理阶段是从2 5 维图 获得场景中物体的三维描述，识别出场景中存在的物体以及确定这些物体的位 置和姿态。三维描述指的是以物体为中心的坐标中，用含有体积基元和面积基 元的模块化的分层次表示，同时要给出各物体之间的空间关系描述 2 基于知识的视觉理论框架 基于知识的视觉理论框架是围绕感知特征群集的研究而展开的。1 9 8 7 年， l o w e 提出用人类感知的经验来描述目标，其理论框架如图l - 3 所示 目标模型 图i 3 基于知识的视觉理论框架 l o w e 认为基于知识的视觉理论框架不需要通过视觉输入自底向上进行三 维重建。他根据b i e d e r m a n ，h o c h b e r g 等在心理学方面的研究结果，认为人类视 觉对三维目标的识别可以在知识引导下通过二维图像直接完成。他将相对于观 察方向保持不变的二维特征称为非偶然性聚类，并认为在人类视觉识别中起重 要作用的是一种称为感知组织的过程，这一过程可以有效地检测出非偶然性聚 3 类，完成对目标的识别。l o w e 将由二维图像推测三维目标的过程分为三个阶段。 第一阶段利用感知组织的处理过程，从图像特征中提取那些相对于观察方向保 持不变的分组和结构。第二阶段在模型匹配过程中利用概率排队的方法减小搜 索空间。第三阶段通过求解未知的观察点和模型参数寻找空间对应关系使得三 维模型的投影直接与图像特征匹配。整个过程无需二维且标表面的测量，利用 感知原理也能推算出有关表面的信息。 3 主动视觉理论框架 主动视觉理论框架是根据人类视觉的主动性提出来的。人类视觉不是被动 的，人会根据视觉需要移动身体或头部，以改变视角，帮助识别。同时，人类 视觉也不是对场景中所有部分一视同仁，而是根据需要有选择地对其中一部分 加以特别的注意，对其余部分只是一般的观察甚至视而不见。因此，人类视觉 的过程是与环境交互的“感知一动作”的过程。主动视觉框架如图1 - 4 所示1 2 1 图1 4 主动视觉理论框架 在主动视觉框架中，视觉系统的基本组成部分体现了视觉行为及其所支持 动作的紧密结合。这些视觉行为并不需要三维物体的精确信息。主动视觉系统 根据已有的分析结果和视觉的当前要求，通过主动控制摄像机参数的机制来控 制摄像机的运动并协调所需要的处理任务和外界信号的关系。这些参数包括摄 像机的位置、取向、焦距、光圈等。另外，主动视觉还融入了“注意”能力， 通过改变摄像机参数或通过摄像后数据的处理，控制“注意点”，以达到对空间、 时间、分辨率等有选择的感知。 1 3 机器视觉研究的现状 机器视觉技术正在广泛的应用于各个方面，从医学图像到遥感图像，从工 业检测到文件处理，从毫微米技术到多媒体数据库。可以说，只要需要人类视 觉的地方几乎都需要机器视觉，在许多人类无法认知的领域，如精确定量感知、 危险场景感知、不可见物体感知等，机器视觉更显其优越性。涉及本课题的研 究情况如下： 4 1 机器视觉在目标检测方面 运动目标的检测是基于视觉的交通监控系统的一个重要方面，是视频图像 跟踪识别系统中的一个重要环节，目标检测的准确与否对后续步骤中的跟踪和 识别会产生重要的影响。目标检测就是实时地在被监控的交通场景中检测运动 目标，并将其提取出来。运动目标检测算法依照被监控场景与摄像机之间是否 存在相对运动分为静止背景下运动目标的检测和运动背景下运动目标的检测两 大类。 目前，针对背景图像静止不动的情况，所提出的检测运动目标的算法主要 有三类：第一类是基于帧间差分的算法，如相邻两帧差分法【5 “丌，双差分法【8 】， 区域差分法【9 】等；第二类基于背景估计图像与当前图像差分的算法【1 0 】，第三类 是基于背景统计模型的算法，该算法在处理场景中存在不断晃动的物体时具有 一定优势，如单高斯背景模型【】，三高斯背景模型【1 2 】和基于柯西分布背景模型 0 3 等。目前虽然存在着各种各样的算法，但每种算法多是针对某一特定的场合 提出的，并且许多算法仍有许多有待改进的地方，如有的算法在检测精确度、 轮廓提取及计算量方面有待改进。 2 机器视觉在目标识别方面 运动目标识别、分类是机器视觉最基本的研究内容之一，本文主要讨论运 动目标中行人与车辆的分类方法。区分行人和车辆为交通监控场景的描述提供 了最基本的数据源。目前，图像的分类方法很多，如统计模式分类方法、支持 向量机方法、结构法和神经网络方法等【1 4 1 ，这些方法由于针对分类对象、应用 场合及提取图像特征的不同，而采用不同的模式分类方法。一般而言，图像识 别技术主要涉及到两个方面的研究内容，一是特征提取方法，二是模式分类方 法。本文在运动目标特征提取方面，提出了几个用于区分人和车辆目标的特征， 及区分不同车辆目标的特征；目标识别方法中定义了一个专家系统进行识别。 3 机器视觉在目标跟踪方面 基于机器视觉的跟踪，有以下几种方法： 第一种跟踪方法是相关匹配法或称模板匹配法【l 卯。这种方法简单，是在当 前帧中寻找与上一帧中目标区域相关性最大的区域。相关匹配法在很多应用系 统中被采用，一方面是因为它的简单性，另一方面当图像中目标特征不明显时， 其它跟踪方法都失效，而这种方法还能继续运作，不过，由于它利用图像间的 灰度相关性作为区域相似性的判别依据，那么一旦连续帧间光照强度发生变化， 或者目标运动的姿态发生变化，或者噪声较大，对这种方法的影响都很大。 第二种跟踪方法是基于模型的跟踪。该方法利用点、线、区域为被跟踪的 目标拟合一个集合，模型运动目标的跟踪变成了目标识别问题。与其它跟踪方 法相比，基于模型的跟踪方法需要知道大量关于所要跟踪目标的先验知识。 第三种跟踪方法是基于特征的跟踪【1 6 l 。在这类跟踪中，首先在帧图像中 选取一些特征，然后在以后各帧中利用一些约束条件，例如平滑性约束来寻找 那些特征的匹配。 1 4 机器视觉的发展动态 目前，机器视觉应用主要局限于二维图像的处理和识别，三维视觉的应用 非常有限。随着视觉计算理论进一步完善及计算机性能价格比的高速增长，三 维机器视觉将会有极广阔的应用前景，例如在下面几个方面的应用正在引起人 们的高度重视i n1 8 ，19 】： 1 计算机人一机交互。 计算机如何与人交互通信，最常用的方法是通过键盘和鼠标，随着计算机 的发展和普及，语音识别与字符识别将成为重要的人一机交互方法。利用三维 机器视觉方法识别人的手势、哑语，使残疾人或在特殊工作环境工作的人能够 操作计算机，也是目前人们很重视的应用领域。 2 自动导航。 三维机器视觉获取外界环境的位置、形状与运动速度，可用于导弹的制导， 无人驾驶车辆或各种移动式机器人的导航。 3 生产自动化。 装配机器人、焊接机器人及各种其它作业的机器人，在配有视觉系统后能 具有更高的作业精度与对环境的适应能力。工业检测( 如质量检测) 也是当前机 器视觉的重要方向。 4 多媒体技术、数据库与图像通信。 随着通信技术与数据库技术的发展，数据中的信息及其传输不再仅是文字， 而更多的是语言与图像。从图像传输的角度来讲，传统的以正交变换为基础的 图像压缩比不会超过几十倍，而利用运动图像分析或更高层次的三维物体重建 与识别的技术，可以使图像的压缩比大大提高。从图像数据库的角度讲，随着 存储介质成本的大幅度降低，使大量数字图像存储成为可能，但指数增长的图 像数据如何管理，如何进行“基于内容的图像数据查询”己成为当前最热门的 研究与应用课题之一，解决该闯题的关键就是对图像中物体的识别与分类。与 之有关的应用研究课题还有“数字图书馆”，“基于内容的图像自动索引”等。 5 医学。 各种图像，如x 光照片，显微图片、b 超、c t 与核磁共振图片( m r i ) 各种 内窥镜图片等长期以来已成为医疗诊断的重要手段，三维机器视觉方法可应用 于分析这些图片中物体的三维信息与运动参数，一种新的技术称为计算机辅助 外科手术( c o m p u t e r a i d e ds u r g e r y ) j e 在兴起，其基本技术就是用c t 或m r i 图像 对体内物体( 如肿瘤) 进行三维定位并导引自动手术刀或辐射源实行手术或治 疗。 6 6 三维场景建模与显示( v i s u l i z a t i o n ) 。 动态三维场景的显示是虚拟现实( v i r t u a lr e a l i t y ) 、三维计算机动画、计算机 辅助训练( 如模拟飞行驾驶仪) 等关键技术，利用计算机图像技术显示三维场景、 首先需具有场景的三维模型或数据，目前的办法一般是用人一机交互及计算机 辅助设计的方法，如实体建模方法，这些方法需要很长的输入时间，而且一般 只适用于人造物体建模，对于自然场景，或复杂曲面组成的物体，现在可用立 体视觉或运动视觉方法直接从它们的图像得到它们的三维数据。 机器视觉的广泛应用目前还面临一些困难，进展比较缓慢，一方面，是由 于对人脑与人的视觉系统缺乏深入的理解，也由于目前的计算机体系结构与人 的神经网络的巨大差异，在构造机器视觉系统时不可避免的存在过分的简化： 另一方面，运动场景的信息量极其巨大，如此大的信息量远远超出目前一般计 算机的处理能力。因此，研究针对特定任务的简化的视觉系统是应用的关键。 随着认知科学、视觉计算理论等基础科学的发展，随着计算机的性能价格比的 不断提高，随着各种应用场合对机器视觉的需求不断增长，机器视觉将得到极 广泛的应用，成为2 l 世纪高科技产品中的重要组成部分。 1 5 课题研究的目标和意义 随着对机器视觉研究的深入机器视觉的应用已经推广到了各个领域，特别 是在智能交通领域的发展更为迅速，如车辆识别、车辆跟踪、停车场的监视、 车号识别等。由于汽车市场一直保持高速增长的态势，随之代来的是汽车交通 事故的增加。据统计。2 0 0 5 年全国共发生道路交通事故4 5 0 2 5 4 起，造成9 8 7 3 8 人死亡、4 6 9 9 1 1 人受伤，直接财产损失1 8 8 亿元。为了减少交通事故率，首 先得严格把关驾驶员驾考系统。根据公安部新交去配套法律法规精神，各地交 警系统增加驾考难度，抬高“准入门槛”，以便进一步提高学员的驾驶技能，减 少“马路杀手”。 桩考作为驾考程序中最重要的一个部分，受到很高重视，为进一步提高它 的公平性，降低桩考成本，本文对机器视觉在桩考中的运用进行了研究。 课题研究的目标是利用机器视觉技术、数字图像处理技术研究、探讨在无 背景知识下对运动目标的自动检测、运动状态预测、自动跟踪算法，并把此算 法应用于驾驶员桩考中，提高考试的公平性，减少桩考系统的成本。 课题研究的意义在于通过对以上算法的研究和探讨，为机器视觉技术在这 一领域的应用提供一定的理论依据，以期推进机器视觉技术在由基础性研究向 应用性研究迈进。 7 1 6 课题研究的主要内容 传统的运动目标的跟踪基本都是基于摄像机是静止的假设，即背景是不变 化的( 或变化很小) 。而本课题所要研究的是在摄像机运动的情况下跟踪运动目 标( 车辆) ，即背景随着摄像机的运动而发生变化。 本课题研究的主要内容包括： 1 运动车辆的自动检测与识别 通过分析各种传统目标检测技术的优缺点，以基于图像差的目标检测方法 为基础，研究提出序列图像帧差分和二次帧差分改进的图像h i s 差分模型，对 无背景图像条件下自动提取运动目标区域，结合在桩考中的实际场景定义了一 些运动目标的特征分析和计算，通过特征匹配识别所需跟踪目标的区域。 2 运动车辆的状态预测与自动跟踪 以卡尔曼滤波理论为基础，建立在自然道路背景上车辆运动状态预测的卡 尔曼滤波模型，以预测运动车辆的运动方向及运动位置。使目标车辆处于摄像 机光轴的中心，从而与当前位置比较产生驱动机器人运动的位移量。并通过图 像模板匹配检测出在当前帧图像中的目标车辆，从而更新模板，为下一步的跟 踪做好准备。 这一部分主要研究在动背景下，如何结合已有的目标跟踪方法，找到有效 的跟踪算法。 3 桩考过程的汽车边框的相对位置测量 采用h o u g h 变换获得场景中的考场区域直线段与汽车边框的相对位置信 息，从而对驾驶员桩考过程做出评判。 4 桩考系统的整体设计思想 在w i n d o w s 环境下，采用基于多线程处理方法，每个线程处理不同任务， 设计了系统整体功能框架和软件算法，实验证明，该方法对移动目标的提取识 别与跟踪具备不易受干扰和快速的特性，效果良好。可有效地提高驾驶员桩考 的公正性和准确性。 第二章机器视觉在桩考中应用技术分析 在我国，有关机动车( 汽车) 驾驶员考试的法规存在已久。9 6 公安部颁布的 中华人民共和国机动车驾驶员考试办法进一步明确规定了机动车驾驶员考 试的内容、方法和过程。按照机动车驾驶员考试法规的要求，考试共有三个科 目：交通法规和相关知识的考试( 科目一) ，桩考( 科目二，又称场地驾驶) ，道路 驾驶( 科目三) 。 2 0 0 4 年4 月3 0 日颁布，2 0 0 4 年5 月1 日实施的机动车驾驶证申领和使 用规定( 公安部令第7 l 号) 进一步增强了机动车驾驶员考试的针对性，保证了 考试质量。规定根据不同车型，规定了不同的考试标准，突出了重点车型的 考试难度。一是在驾驶技能考试方面，按照不同的准驾车型，统一规范了相应 的考试场地和设施设置，并针对不同准驾车型设定不同的道路考试项目和考试 评判标准。二是增加了实际道路驾驶考试内容，主要考核机动车驾驶入在实际 道路上驾驶的心理素质、判断能力及综合驾驶技能，并增加模拟恶劣气候及夜 间驾驶时各种灯光的使用知识的考试内容，对山路、涵洞、隧道较多的地区， 还要求增设相应考试内容，以此增强考试的实用性。三是增加考试用车的车身 长度，适应现代车辆大型化的发展。对不同车型的考试用车长度分别规定：大 型客车不小于9 米( 原为8 米) ，牵引车不小于1 2 米，中型客车不小于5 8 米， 大型货车不小于9 米( 原为6 米) ，小型货车、小型客车分别不小于5 米、4 米( 原 均为3 3 米) 。 2 1 桩考车型、场地要求及标准 根据机动车驾驶证申领和使用规定的相关内容及规定：驾驶员桩考是在 固定的t 型场地上实现的，该场地分为甲乙两个车库和一个车道如图2 - l 所示： 场地预先画出以实线表示的边界线，另外在a ，b ，c ，d ，e ，f 六处各设立l 根 测试杆，构成甲、乙两个仓库。 场地的尺寸要求是： ( 1 ) 桩长为两倍车长，前驱动车加5 0 厘米。 ( 2 ) 桩宽：大型车为车宽加7 0 厘米，小型车为车宽加6 0 厘米。 ( 3 ) 路宽是车长的一点五倍。 考试规则为： ( 1 ) 行车路线：汽车从图中的起点倒入乙库停止，再二进二退移位到甲库 停止。前进穿过乙库至路上，倒车通过甲库出库。 ( 2 ) 考试要求：要求汽车沿着上述指定的路径前进和倒车，完成入库、出 库操作。汽车在考试过程中不得压线、碰测试杆。达到上述要求者视为桩考通 9 过；否则称为违规，本次桩考不能通过 图2 1 桩考场地要求图 2 2 桩考现有的检侧方法 2 2 1 人工检侧法 人工检测法是传统的检测方法。桩考时，监测人员在考场边上目测考车的 位置并即时做出判断。然而由于监测人员所处的位置、角度的不同，经常产生 误判、漏判、错判，并且遗留了“人情分”过关，但给今后交通安全留下严重 隐患等诸多问题。 2 2 2 自动桩考法 自动桩考法是近年来发展起来的新技术，也就是电子桩考。以l k z 一1 自动 桩考系统为代表，原理如图2 2 所示： o s 3o s 2 os l 逝 墅墅 坠坠 测试杆激光发射装置o 激光接收装置 图2 2 自动桩考示意图 1 0 如图2 2 所示，桩考场地上安装由激光器收发装置组成的七条检测考车车 身压线的光路。桩考时通过激光的发射与接收判断汽车是否处于违规的置。测 试杆上安装振动传感器。通过振动传感器来检测汽车是否碰杆，通过检测发动 机转速来判断是否熄火。自动桩考系统的优点是可以有效地克服人工监测的主 观性，减少工作人员误判、错判现象的产生，但是该系统存在着下列缺陷： ( 1 ) 系统费用昂贵，每套达1 8 万元以上。 ( 2 ) 系统仅仅具有即时判断的功能，不能存储考试中全过程的信息，不便 于对驾驶员进行培训和指导。 2 3 仿人机器视觉对桩考评判的技术分析 为了克服现在桩考中所使用方法的局限性，本文提出了用智能机器人代替 人作为桩考考官对桩考过程做出评判。 在使用智能机器人作桩考考官时，根据前面所描述的考试规则，需要对桩 考全过程中的汽车进行跟踪，并且对汽车在机器人中的摄像头有严格的要求。 因为判断汽车车身出线是桩考中很重要的部分，也是机器视觉在桩考系统中需 要主要解决的问题，对于车身出线问题只能依靠图像处理的方法进行解决，这 就存在着判断精度问题，这个精度主要由摄像机的分辨率和摄像机与物体距离 决定。根据机动车驾驶证申领和使用规定科目二考试( 桩考) 图型尺寸要 求在判断汽车车身是否出线时，其精度误差要小于2 e r a 。因此就会出现以下几 个主要问题需要解决： 1 ，为了能在桩考全过程观察到目标车辆，需要对目标车辆进行跟踪。为了能跟 踪所选定的目标，首先就要能提取并识别出目标。而跟踪运动车辆算法的难点 是汽车本身的共有特征不明显，参考现有的跟踪算法很难找到适合的方法。为 了能更完善的提取出运动目标，本文就利用改进的二次差分法来实现对目标汽 车的运动检测与跟踪( 第四章中详细叙述) 。 2 在对目标的识别中本文根据实际场景中可能出现的运动物体( 包括人、动物、 车辆) 分别提取不同的特征进行分类( 第五章中详细叙述) 。 3 由于汽车是实时运动的，这样往往会造成机器人的运动滞后于汽车，随着时 间的推移造成机器人无法跟上汽车，为此本文采用了控制理论中的k a l m a n 滤 波对机器人的运动控制系统进行了一步预测，使机器人相对汽车运动有提前预 测。 4 为了保证对汽车与直线位置关系的正确判断，图像的精度必须要高，也就是 图像上每个像素所代表的实际距离不能太大。因此机器人与汽车的距离不能太 远要保持在一定的距离，且机器人应正对汽车车身所在的平面。 根据机动车驾驶证申领和使用规定桩考所用汽车最长车型为大客，长 度为9 m ，高2 5 m 。摄像机的帧频一般为2 5 帧s ，根据前面所述的对车辆与直 线关系的判断精度为2 0 m m ，在桩考中的车速比较均匀且很慢，以最快1 0 k m h 计算，若图像处理算法的误差精度控制在2 个像素以内，所以每个像素代表最 大只能表示的实际距离为1 0 m m 。摄像机的分辨率如果太小的话可能导致汽车 在运动过程中脱离摄像机的视野范围，为了使汽车始终处于摄像机的像平面中 间，所需摄像机的分辨率分析计算为： ( 1 ) 汽车图像分辨率分析计算 根据机动车驾驶证申领和使用规定科目二考试( 桩考) 图型尺寸要求 在判断汽车车身是否出线时，其精度误差要小于2 0 r a m ，即每个像素点间距离 需小于2 0 r a m ，以最长型的客车车身长宽高为9 0 0 0 * 3 5 0 0 * 2 5 0 0 计算，以每个像 素点间距离为1 0 m m 为计，汽车在图像上的最大像素为9 0 0 * 2 5 0 个像素的矩形。 ( 2 ) 汽车运动的像素位移分析计算 驾驶员桩考中，汽车运动速度不大于l o k m h ，以摄像机2 5 帧秒为计，两 帧图像之间的间隔大约o 0 4 s ，两帧之间汽车位移为l l l m m ，因此在汽车图像 在整副图像平面中移动距离不大于1 2 个像素。 ( 3 ) 摄像机的图像分辨率分析计算 为保持车辆居图像正中，且保证汽车运动2 帧时间后的汽车图像不超出摄 像机的图像范围，故摄像机的图像分辨率至少为9 0 0 + 1 2 4 = 9 4 8 像素。竖直距 离至少为2 5 0 + 2 3 * 4 = 2 9 8 个像素。所以选用分辨率大于等于9 5 0 * 3 0 0 像素的摄 像机可以实现对桩考中汽车的实时跟踪。 ( 4 ) 物体实际大小与其在像平面上大小关系可以表示为： l _ 望( 2 1 ) x d x 其中：x 是物体在成像面上的像素个数，x 是物体的实际大小。f d x 是摄像机 的一个内部参数，l 为摄像机与物体的水平距离。 ( 5 ) 移动机器人的运动控制要求分析 移动机器人需满足二维方向运动控制，且移动速度不小于l o k m h 。 通过上述的分析计算可知：要使桩考的精度满足国家标准，机器人与移动 汽车之间的距离始终要保持在l ，且机器人的摄像头像平面要与车侧面所在平 面平行，因此，根据上述要求做出相应的运动目标检测与跟踪算法。 2 4 智能机器人考官设计要求 为满足以上对桩考评判的要求，需要对桩考机器人在硬件和软件上都进行 设计。系统结构设计分为系统硬件结构和系统软件结构设计。对于智能移动机 器人考官而言，采用先进的硬软件结合的慎思反应混和系统结构模式。 智能机器人考官系统硬件系统结构如下图： 1 2 智能控制层 ( 慎思层) 决策单元 通i g - 单- 元 处理单元 1 - 一 肉 本能控制层 ( 反应层) 控制单元1 控制单元2 触觉 执行层 伺服电机l 伺服电机2 图2 3 智能机器人硬件系统结构 1 机器人的硬件结构应该满足： ( 1 ) 重量尽量轻，灵活方便。 ( 2 ) 作为视觉传感器的摄像头应该有足够的分辨率，提高图象处理的精度。 ( 3 ) 图象处理的速度应该尽可能的快，需要采用高速c p u 。 ( 4 ) 运动控制上需要能够快速准确的对电机的转动进行多种控制。 2 智能机器人的软件算法应该满足： ( 1 ) 对采集到的图像能实现快速处理数据检测到运动目标。 ( 2 ) 对检测到的运动目标进行分类匹配，找到需要监控的运动目标。 ( 3 ) 可以根据图象处理结果得到对机器人的运动控制策略，使移动机器人 与运动目标始终保持一定距离，即目标在图像上的成像大小保持一定，提高图 像处理精度。 ( 4 ) 可根据获得场景中的考场区域直线段与汽车边框的相对位置信息，从 而对驾驶员桩考过程做出评判。 第三章机器视觉的单目测距 在桩考系统中，为了保证图像处理的精度需要使机器人与目标之间保持一 定距离，这就需要得到物体的深度信息。现有的机器视觉理论对物体深度信息 的计算有了较为成熟的研究，视觉理论的基础是几何学和运动学。几何学包括 平面解析几何、立体解析几何、射影几何学，机器视觉主要研究射影几何学。 本文把摄像机的成像平面称为像平面，像平面实际上是一个平面投影空问，可 以利用射影几何学的原理描述和计算其上点与直线的关系，此外三维空间中的 点、直线与平面的几何关系也都可以通过投影变换在视平面上作统一解释。 3 1 景物的成像几何模型 机器视觉中，需要对空间景物进行定量分析或对物体完成精确定位的处理。 这涉及到机器视觉中的一个基本问题，即景物是如何形成到图像的象素点，这 种从景物到像平面的投影关系称为景物的成像几何模型。由于在驾驶员桩考中 将涉及到3 d 物体点到2 d 图像平面点的投影模型，下面我们深入地研究这种转 换的几何关系【2 0 j 。 理想的投影成像模型是光学中的小孔成像模型。图3 1 是小孔成像原理图， 图中平面s 为二维成像平面( 像平面) ，c 为小孔的位置( 光学中心) 。s 上的点 p ( x ，y ) 是三维空间中点p ( x ，y ，z ) 在视平面上的投影( 成像) ，f = d ( s ，c ) 称为光学 系统的焦距。坐标如图取c 为空间三维坐标的原点，光轴方向为z 方向，视平 面与光轴垂直且x ，y 轴分别平行子三维空间的x 轴和y 轴。 图3 i 小孔成像