（检测技术与自动化装置专业论文）基于机器视觉的汽车感观测量研究.pdf

基于机器视觉的汽车感观测量研究 摘要 随着计算机技术、现代传感技术和数字图像处理技术的发展，机器视觉技 术已广泛应用于工业、医学及机器人等领域，尤其是将机器视觉技术应用到运 动载体( 如汽车) 已经成为数字图像处理和运动载体的现代化生产、管理的热 门研究项目。利用图像理论和机器视觉技术，研究汽车感观测量实现采集车辆 的多种特征信息，如车辆牌照、车身颜色、外型尺寸等，具有较高的研究意义 和应用价值。 本文详细介绍了图像处理技术的基本知识，包括图像灰度化，二值化、图 像平滑，阀值分割和边缘检测等。初步设计了基于d s p 和f p g a 的图像采集硬 件平台，在计算机上对汽车感观方面进行了信息模拟采集。 采用改进的h s i 颜色模型和先验知识实现车牌定位，利用灰度值的差异判 别汽车新旧。提出了一种基于色差车身颜色识别算法，通过比较研究多个彩色 空间模型及其对应色差公式用于颜色识别的识别效果，实验找出了其中利于颜 色识别的彩色空间模型，提高系统识别精度和鲁棒性等。 在车身长宽比未知的情况下，提出了一种通过提取车身中轴线来获取汽车 长度和宽度值的方法，对图像进行边缘检测和角点检测，通过实验仿真和计算， 适合车型的分类，此方法得到验证。并对本文研究工作进行了总结和展望。 关键字：机器视觉图像处理h s i 模型颜色识别车型尺寸 r e s e a r c ho nm e s u r e m e n to fv e h i c l es e n s o r y b a s e do nm a c h i n ev i s i o n a b s t r a c t 、矾t l lt h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g y , m o d e ms e n s i n ga n dd i g i t a l i m a g ep r o c e s s i n gt e c h n o l o g y , t h em a c h i n ev i s i o nt e c h n o l o g yi sw i d e l ya p p l i e di nd o m a i n s s u c ha s p r o d u c tq u a l i t ye x a m i n a t i o n ，m a c h i n i n g ，p r e c i s i o nm e a s u r e m e n t ，v i b r a t i o n e x a m i n a t i o nr o b o ta n ds o o n a p p l y i n gm a c h i n ev i s i o nt e c h n o l o g yo nm o t i v ec a r t i e r ( a u t o m o i l e ) i sap o p u l a rr e s e a r c hp r o j e c tf o rd i g i t a li m a g ep r o c e s s i n ga n dm o d e r n i z e d p r o d u c t i o na n dm a n a g e m e n t i th a sh i 曲r e s e a r c hs i g n i f i c a n c ea n dp r o j e c ta p p l i c a t i o nv a l u e f o rs t u d ya n dr e a l i z ev e h i c l es e n s o r yw h i c hi n c l u d ev e h i c l el i c e n s ev e h i c l ec o l o r 3 一ds i z e p a r a m e t e rp a r a m e t e rb yn o n c o n t a c te x a m i n a t i o n t h ep a p e ri n t r o d u c e de l e m e n t a r yi m a g ep r o c e s s i n gk n o w l e d g ei nd e t a i l ，i n c l u d i n g i m a g eb i n a r y z a t i o n ，i m a g es m o o t h i n g ，e d g ed e t e c t i o n , t h r e s h o l ds e g m e n t a t i o na n ds oo n t h eh a r d w a r ep l a t f o r mf o rv e h i c l e3 - dv i d e om e a s u r i n gs y s t e mb e e nd i s i g n e d l i c e n s ep l a t el o c a t i o nb a s e do nm o d i f i e dh s ic o l o rm o d e la n d p r i o rk n o w l e d g e ，u s i n g 铲a yv a l u ed i f f e r e n c e sb e t w e e nt h eo l da n dn e wc a r sd i s c r i m i n a n t p r o p o s e db a s e do nc o l o r a n dc o l o rn o r m a l i z e db o d yc o l o rr e c o g n i t i o na l g o r i t h m ，t h r o u g hac o m p a r a t i v es t u d y m u l t i p l ec o l o rs p a c em o d e la n di t sc o r r e s p o n d i n gc o l o r - d i f f e r e n c ef o r m u l a , e x p e r i m e n tt o i d e n t i f yt h ec o l o rw h i c hh e l pi d e n t i f yt h ec o l o rs p a c em o d e la n dt h ec o r r e s p o n d i n g c o l o r - d i f f e r e n c e ，i m p r o v et h es y s t e mr e c o g n i t i o na c c u r a c ya n dr o b u s t n e s sa n ds oo n a f t e r3 一dm a t c h i n g ，o n ek i n do fm e t h o df o rc a l c u l a t i n gv e h i c l el e n g t ha n dw i d t h v a l u eb ye x t r a c t i n gam e d i a la x i sw a sp r o p o s e du n d e rt h ec o n d i t i o nt h a tt h er a d i oo fl e n g t h t ow i d t hi su n k n o w n t h i sm e t h o dw a sv e r i f i e db ys i m u l a t i o na n dc a l c u l a t i o no f e x p e r i m e n t t h es u m m a r ya n df o r e c a s to ft h es t u d yw e r eg i v e na tl a s t k e y w o r d s ： m a c h i n ev i s i o n ；i m a g ep r o c e s s i n g ；h s ic o l o rm o d e l ；c o l o rr e c o g n i t i o n ； s i z eo fv e h i c l e 插图清单 图2 1 采集到的原始图像5 图2 - 2 灰度化后的图像5 图2 3 图像二值化6 图2 4 中值滤波前后比较7 图2 5 双峰直方图8 图2 - 6 各种边缘算子比较1 1 图3 1 系统结构框图。1 2 图3 2s a a 7 l11 a h 接口原理图1 4 图3 3 复位电路1 5 图3 - 4 视频信号采集软件流程。1 7 图3 53 1 1 1 接口原理图1 8 图4 1 算法流程图2 1 图4 2h s i 模型转化为改进的h s i 模型2 3 图4 3 夹角示意图。2 3 图4 4 改进的h s i 模型和h s i 模型之间的二值化比较2 4 图4 5 车牌定位实验结果( 1 ) 2 5 图4 6 车牌定位实验结果( 2 ) 2 5 图4 7 相近颜色汽车及直方图对比( 1 ) 2 6 图4 8 相同颜色汽车及直方图对比( 2 ) 2 7 图5 1h s i 模型3 0 图5 2 车辆主体颜色算法流程3 2 图5 3 汽车主体颜色判断3 2 图5 4 车身颜色识别流程3 3 图5 5 实验识别结果3 3 图6 1h a r r i s 算子对尺寸的敏感性3 6 图6 2 车辆图像边缘简化图3 9 图6 3 汽车原始图像4 0 图6 - 4 二值化图像4 1 图6 5 背景分割后的边缘检测后得到的图像：4 1 表格清单 表6 - 1 实验结果( 1 ) 4 2 表6 - 2 实验结果( 2 ) 4 2 独创性声明 本人声明所晕交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所 知，除了文中特别加以标忠拳| 致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果。 也不包含为获得盒8 垦工业厶堂或其他教育机构的学位或证书而使用过的材料。与我一同1 ：作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签字渺弛签字醐训琊月谚日 学位论文版权使用授权书 本学位论文作者完全了解金a 巴：| 三些太堂有关保留、使刚学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人授权 金a 曼上些叁 堂一可以将学位论文的全部或部分论文内容编入有关数据库进行检索，可以采川影印、缩印或扫 描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适埘本授权二1 5 ) 学位论文作者签名哥飞 签字日期秽，护年午月露日 孥位论文作者毕业后去向： j l ：作单位： 通讯地址： 3 导师签名： 跞索铱 签字日期：l 夕年4 月哆日 电话： 邮编： 致谢 本论文的完成首先感谢我的指导老师陈荣保副教授。从选题、开题、资料 收集、课题研究无不是在陈老师的精心指导下完成。陈老师严谨的治学态度， 勤勉的工作作风和高度的责任心给我留下了深刻的印象，为我今后的工作和生 活树立了榜样，使我终身受益。在本人研究生阶段的学习过程中，陈老师为我 提供了良好的学习和实验条件，本人所取得的每项研究成果都和陈老师的淳淳 教导息息相关。在此，向辛勤培育我的导师致以由衷的感谢和崇高的敬意。 感谢实验室朝夕相处的同学们：李世兵、李旋宇、赵贺，大家在在学习和 生活上互相帮助，度过了令人难忘的美好时光；同时感谢室友任磊，郁抗在我 读研究生期间一起度过许多美好的时光。 感谢家人对我继续学业提供的经济支持和精神鼓励! 作者：程张凡 2 0 1 0 年3 月2 5 日 1 1 选题背景和意义 第一章绪论 常常会见到高速路口因为落后的人工收费而排起的车辆长龙；而在国家， 现在的过桥费，养路费等各种费用非常多，因此许多车辆为了逃避这些费用想 方设法去改变车辆的牌照，颜色等信息，例如：假牌照，一个牌照多辆车使用 等，是一种违法犯罪的行为，应当严厉制止。此外，还经常看见非法改装车辆， 超重行驶等，严重损害了国家和投资者的权益；在传统的交通管理下，交通肇 事逃逸，车辆的非法改装使用这些问题都不能得到很有效的解决和处理。加大 科学的交通管理，充分有效的利用道路资源，提高运营效率，加大对交通犯罪 的打击力度，是目前迫切需要解决的问题。智能交通系统应运而生【lj 它是一个 复杂的综合性的系统，包括7 个子系统：交通信息服务系统，交通管理系统， 公共交通系统，车辆控制系统，货运管理系统，电子收费系统，紧急救援系统。 这些系统主要是由信息采集系统，信息处理系统，信息分布系统组成，能大范 围，全方位的，准确，实时高效的综合运输和管理。通过人，交通，车辆的有 效控制和利用，缓解交通压力，减少交通事故，提高路网通过能力，在提高整 体上的交通经济性。 以上现象通过计算机视觉处理，通过对汽车感观的测量研究就可以解决。 在汽车经过收费站的时候，有摄像头采集汽车图片，通过图像处理提取汽车的 信息，例如；车牌，车辆颜色，车型分类等。而其可以将获得的汽车信息在交 通车辆信息数据库中查询，获得更详细的信息和判别当前车辆的信息与固定属 性之间的真伪，对汽车牌照非法改装、一车多牌、一牌多车的犯罪行为是一种 很有效的打击方式，不仅可以降低因车辆的启停造成的能源浪费和空气污染， 而且以车型为依据的不停车收费系统避免了排队交费的等待。外形大小，车牌， 车辆颜色等信息是车型的识别的主要技术指标，是智能交通的主要方面。 1 2 机器视觉概论 随着科学技术的发展，人类发明了许多机器来辅助或者代替自身来完成某 些任务，所谓的智能机器人就是最理想的形式，智能机器人如何模仿人类获得 视觉，听觉，嗅觉等功能，一直是人类研究的重要课题。人类感知外界信息， 8 0 以上是通过视觉得到的。所以计算机或机器人具有视觉功能是智能机器前 进中的重要一步。虽然，目前还不能让计算机也具有像生物那样高效、灵活的 视觉，但这种希望正在逐步实现，人类是通过眼睛与大脑来获取、处理与理解 视觉信息的，为了实现这个目的，形成了一门新的学科一一计算机视觉。计算 机视觉的迅速发展势必会大大推动智能系统的发展，同时也将拓宽计算机和各 种智能机器的研究和应用领域。 机器视觉是研究用计算机来模拟生物外显或宏观视觉功能的科学和技术， 它的首要目标是用二维图像来创建和恢复三维模型，然后认知现实世界。 1 2 1 计算机视觉的发展和分类 + 人类对数字图象的研究早在本世纪初的2 0 年代、从b a r t l a n e 建立电缆图 片传输系统，完成横跨大西洋的图片传输就开始了。但对计算机视觉的研究则 是在六十年代中期，1 9 6 5 年r o b e r t s 利用计算机程序提取了三维结构，从数字 图像中提取出了立方体，棱柱体等多面体理论，而且描述了该物体的外形和空 间之间的关系，开创了二维图像计算机视觉研究。从此，人们对r o b e r t s 的研 究取得了极大的创新，从二维推广到三维场景。7 0 年代计算机视觉应用系统有 了初步的发展，8 0 年都中期，计算机和图像识别技术的飞速发展带动了计算机 视觉得到了蓬勃发展，一些新理论，新方法不断创新，因此计算机视觉技术还 是一个新型的研究领域。 通常计算机视觉可被可分为低层视觉、中层视觉与高层视觉三个层次： 第一层低层视觉：这一层次就是对原始图像利用一些图像处理技术和算法 进行基本的处理，包括滤波，二值化，灰度化，边缘检测，图像分割等处理技 术。在单图像方面采用了滤波，边缘检测，纹理分析等，以便从图像中提取角 点、线条、边界以及色彩等图像的基本特征；对于多图像，这一过程还包含了 从几何，立体，透视结构等。 第二层中层视觉：这一层次主要任务是聚类分割、曲线和轮廓、拟合线条、 恢复场景的深度等信息。一般通过对图像的纹理特征分析、跟踪运动估计、明 暗特征等所谓的复原估计方法，一般在这个层次上进行系统标定，系统成像模 型等研究。 第三层高层视觉：这一层次利用二维图像信息去转化为三维信息模型，在 实际坐标系中，以物体坐在的位置为原点，以采集到的图像，利用图像基本特 征等恢复物体的三维信息模型，与物体进行信息匹配。高维数据的本质维数很 低，使得模型化成为可能。 1 2 2 计算机视觉的应用 目前，计算机视觉技术正在广泛的应用于社会的方方面面，如从医学图像 到工业图像，从机器人领域到交通领域等等。可以说，社会上只要需要人类视 觉的地方都存在这计算机视觉。而且在人类无法认知的领域，如精确测量感知， 危险场景等，计算机视觉更显得其优越性【4 j 。 在工业应用领域，计算机视觉已经在工业生产和运输上得到广泛的成功的 应用，此系统一般是有个摄像机和视觉信息处理系统组成，信息处理系统对产 品进行识别或定位，从而指导机器人手准确准时的对产品进行相应的操作；另 外一个方面的应用就是对产品进行质量检测，在产品的外形检测，表面缺陷等 方面上已经成功的应用。 2 在机器人应用领域，常见的机器人足球，宇航中探测机器人等，都是依靠 计算机视觉来得到现场的三维信息，并利用这些三维信息来识别物体，道路和 轨迹，实现其自主导航或跟踪。 在医学应用领域，像b 超，c t 等基于计算机视觉的医学图像已经广泛的应 用于医学诊断，目前主要在医学有两方面的主要应用：一是帮助医生诊断疾病， 对病人某疾病部位图像进行增强，染色等处理，帮助医生对疾病部位区域进行 比较和测量；二是运用专家知识系统对疾病部位图像进行自动分析和解释，给 出诊断结果。 在智能交通中的应用，随着图像处理技术和识别理论研究的进展，采用二 维图像的计算机视觉系统在最近几年得到了广泛的应用，如的车牌的精确快速 识别、车辆形状匹配、车辆颜色辨识等；又如指纹、虹膜和人脸等实物特征识 别的计算机视觉系统，已经在机场、考勤、车站、海关通关等场合使用。 计算机视觉在牵涉到国家军事方面也越来越重要，如导弹的制导和空中敌 我飞机识别，无人侦察机，卫星遥感等的开发研究，无不需要计算机视觉理论 知识的应用。总之，随着计算机视觉技术自身的成熟和发展，可以预计它将在 现代和未来中得到越来越广泛的应用。 1 3 本文研究内容和结构安排 计算机视觉处理的对象就是通过摄像头等对现实当中的三维物体采集为 二维图像，通过对摄像头采集的图像采用适当的处理方法后，对该视频图像进 行分析。目前，在交通领域中，计算机视觉已越来越重要了，通过图像处理， 判断车辆是否存在，测量汽车颜色，外形大小等工作有着十分重要的意义。 本文对汽车感观测量方面进行了一些研究，其主要结构安排如下： 第一章概述：介绍了计算机视觉的的概念，发展和分类，说明了计算机 视觉在工业，医学，交通等领域的广泛应用，并对本文研究内容和结构安排做 了个简要的说明。 第二章图像处理常用技术：介绍本文中所要用到的图像预处理技术例如 灰度化，二值化，图像平滑等，介绍了边缘检测的一些经典算子。 第三章基于机器视觉的汽车感观测量研究的系统硬件平台设计：对硬件 平台进行了总体设计并化为三个主要部分：视频采样模块、d s p 处理模块和逻 辑控制模块，设计了其部分电路。 第四章车牌定位算法及外观判别：提出采用改进的h s i 模型和车牌先验 知识算法实现车牌定位，利用灰度值的差异来判断相近颜色车辆的新旧。 第五章车辆颜色识别技术：提出了一种车辆主体颜色的判别，并对比讨 论了多个颜色空间和对应色差公式，利用色差公式识别车辆颜色。 第六章车型识别研究：介绍了角点检测和摄像机标定，并给出了一种新 的识别汽车尺寸的方法。 第七章总结全文，并对未来工作进行展望。 4 第二章图像处理常用技术 原始车辆图像应具有适当的亮度，较高的对比度和较清晰可辨的图像。通 常在采集图像的过程当中，由于摄像头角度的变化，天气，光照等条件的影响， 加之车辆的整洁度、自然光照条件、车辆行驶速度等因素的影响，图像可能出 现模糊、歪斜和缺损等严重缺陷。所以需要对原始图像进行识别前的图像预处 理，通过狄度拉伸、图像平滑、边缘检测等突出更多的图像信息，使得图像的 质量提高。本章对图像预处理的这些算法进行了研究和分析。 2 i 彩色图像灰度化 图像灰度化的过程就是把彩色图像转换为黑白色图像的过程，它也是为了 将图像的信息更加具体、简单的表现出来，但是，这样做也将会丢失图像信息。 因此，尽可能在转化的过程中用简单的方式表现图像复杂的信息。图像灰度化 就是使色彩的三种颜色分量r ，g ，b 值相同，由于颜色值的取值范围为0 - 2 5 5 ， 所以灰度级别只有2 5 6 种，即灰度图像仅能表现2 5 6 中灰度颜色，常用有3 中 处理方法： 最大值法：g r a y = m a x ( r ，g ，历，这种方法处理后灰度图像的亮度会偏高； 平均值法：g r a y ：【r + g + 丑蟛，这种方法处理灰度图像的亮度比较柔和 加权平均值法：g r a y = r + r + g + g + b + b ，其中r ，g ，b 分别对应为r ，g ，b 的权值，当权值不同时，能够形成不同灰度的灰度图像。由于人眼对绿色的敏 感度最高，红色次之，蓝色最低。所以当r = 02 2 9 ，g - 05 8 7 ，b - 0 1 1 4 时所产生 的灰度图像最符台人眼的视觉感受。即： g r a y = o2 2 9 r + o5 8 7 g + 0 1 1 4 b r 2 - 1 1 对于灰度化m a t l a b 仿真的结果1 如图2 - 1 和2 - 2 。 图2 - 1 采集到的原始图像图2 - 2 灰度化后的图像 2 2 图像二值化 二值图像可以通过适当地分割灰度图像得到。如果物体的灰度值落在某 区间内，并且背景的灰度值在这一区间之外，则可以通过阐值运算得到物体的 二值图像，即把区间内的点置成1 ，区间外的点置成0 。图像的二值化处理就 是将图像上的像素点的灰度值设置为0 或2 5 5 ，也就是讲整个图像呈现出明显 的黑白效果。因此通过闽值分割就可以得到物体的二值圈像。原理【6 1 即在一幅 灰度化图像4 i j 】中，目标物体的灰度分布在区间亿，) 内，经过闽值分割后得 到图像为二值图像b i j l 即 叫川= ；如果。篓。b 正( 2 _ 2 ) 如果目标敷度值分布在不同的区间时，可以将其闽值化： 聊，= 舻果筹“ 弘， 其中，z 是指目标灰度值的集合。 智髫 2 3 图像平滑 图2 - 3 图像二值化 一般图像平滑的作用就是为了消除噪声，噪声并不一定是人眼所能看见 的，当然人服所看见的失真和变性肯定需要平滑，而有些噪声只要在进行预处 理时才会发现。这些噪声是图像在采集或者传输时所受到的一些干扰信号。为 了减少和去除图像中这些的噪声，必须把这些干扰信号加以抑制和去除。图像 平滑的常用方法主要是邻域平均法和中值滤波。 23 1 邻域平均法 领域平均法 6 1 本身是种线性滤波技术，主要目的就是为了平滑噪声。假设 图像中的某一点像素( y ) ，取其邻域s ，计算在其领域s 中n 个像素点的灰度 值，平均其领域灰度值作为图像处理后的这个像素点的获度。用一像素邻域内 各象素灰度平均值来代替该像素原来的灰度，即是领域平均技术。 一般情况领域s 的大小和形状根据图像特征来确定。所取的形状为矩形、 正方形和十字形等，领域s 可以在处理过程中保持不变，也可以根据处理的信 思局部改变，像素点( m ，n ) 一般位于s 的中点。如s 为4 + 4 的领域，点( m ， ) 位 于s 的中心，则： ，( ”) 2 去蚤蚤，伸“，”+ ，) ( 2 。4 ) 经过领域平均处理后为 ，( m ，n ) = 击，( 1 川= 击鲋棚+ 击州，) ( 2 - 5 ) 由式( 2 5 ) 可知，经领域平均处理后，噪声的均值不变，但是方差2 击盯2 ， 即噪声方差变小，说明噪声减弱了。 232 中值滤波 中值滤波是一种局部平均平滑技术口i ，它是一种非线性滤波。在一定条件 下中值滤波可以使图像细节方面更加的清晰，尤其对脉冲干扰非常有效，同 时对一般的噪声也有很好的抑制作用。中值滤波基本步骤如下： ( 1 ) 实现图像中某个像素具体位置和采纳模板中心的吻合； ( 2 ) 计算该模板下具体像素的对应的灰度值； ( 3 ) 将这些取得的模板的像素的灰度值按照从大n 4 , 或者从小到大的顺序 排列，并找出这些排列好的灰度值的中间一个值，最后将此值给对应模板中一t l , 位置的像素。 领域图像的中阃值决定了中值滤波的输出像素，因而中值滤波对极限像素 值并不敏感，所以可以消除孤立的噪声点，还可以图像边缘信息更清楚。 下面两灰度图像就是利用中值滤波进行预处理，可以看出即保存了图像的 细节信息同时也对噪声进行了抑制。如图2 - 3 所示。 2 4 图像阀值分割 图2 - 3 中值滤波前后比较 图像分割就是把图像中具有目标和背景的不同区域分开，这些区域是互不 相交的，两区域都有满足特定区域的一致性。在图像理解过程中，分割是一个 非常重要的步骤。阀值分割就是一种如果物体的灰度值落在某一区间内，并且 背景的灰度值在这一区间之外，则可以通过阈值运算得到物体的二值图像，即 把区间内的点置成1 ，区间外的点置成0 。 阀值分割的原理描述如下： g ( x ，y ) ： z ：【x ，y ) l z ( 2 6 ) l z 6 o f i 2 e r $ 式中，z 为阀值，是图像f ( x ，y ) 灰度值范围内的任一个灰度级集合， z i z ，z ：j ，z 。，z ：为任意选出的目标和背景灰度级区域。可见想从复杂背景 中将目标完整的提取出来，阀值的选择是阀值分割技术最重要的一步。本文采 用最常见的阀值选择方法一一直方图阀值分割法1 。其中双峰法就是一种。即 如果灰度直方图呈现明显的双峰状，如图2 - 4 所示，则选取双峰之间的谷底所 对应的灰度级作为阀值，该方法简单明了，但对于波峰不明显或波谷平坦的图 像，则不能使用该方法。 2 5 边缘检测 获烧值 图2 4 双峰直方图 通俗的讲边缘检测就是采用某些检测算子或者某些算法对图像中感兴趣 的或者是有意义的线条更加突出。边缘检测就是利用边缘邻近细节的一阶或二 阶方向导数变化的一定规律来检测边缘信息，也就是考虑图像的每个像素在某 个领域内灰度的变化。常用的边缘检测算子有r o b e r t s 算子、s o b e l 算子、拉普 拉斯高斯算子和c a n n y 等【6 】。 ( 1 ) r o b e r t s 算子 r o b e r t s 交叉算子为梯度幅值计算提供了一种方法： g 【f ，】= f f i ，卜f i + 1 ，+ 1 1 1 + l 厂 z + 1 ，卜以f ，+ 1 】| ( 2 - 7 ) 用卷积模板表示方法，式( 2 7 ) 变成： g i ，刀= l q f + i g j ，f ( 2 - 8 ) 8 式( 2 8 ) 中的g ，和g y 主要有利用下面的两个模板来计算： 噼田睁田 此两模板同2x2 梯度算子一样，都是在内插点 i + i 2 ，+ 1 2 】处进行差分值 s 曲e l 算子模板一般有2 个，一个是检测水平边缘的 ? 孑? ，另一 个是检测垂直边缘的 二 它对于像素位置的影响做了加权。s o b e l 算 子的另一种形式是各向同性s o b e l 算子，它也有2 个，检测水平边缘的 一乒一0 揪雌边缘的瞄。0 o l 和检测垂直边缘的j 一2 压l i【_ 一1 o ( 3 ) g a u s s - l a p l a c e 算子 g a u s s - l a p l a c e 算子就是把g a u s s 平滑滤波器和l a p l a c e 锐化滤波器结合了 起来，可以对噪声进行抑制，然后才图像进行边缘检测。 常用的是5 x 5 的模板 一2 4 4 408 482 4 4o8 2 4 4 42 o一4 82 4 o一4 42 ( 4 ) c a n n y 算子 c a n n y 边缘检测算子就是指当一种投影算子g - ，与一个二值图像厂( “) 进行 卷积的时候，甜= 0 。，“：) r 2 ，结果函数的g - ) 过零点就是图像的边缘。 投影算子g 是由两个条件推导出来的。第一个条件是应用算子后得到最小的信 噪比；第二个条件是算子的局部最大化。 高斯零均值分布和仃标准偏差通过g ( x ，y ) ：e x p ( - 掣) 给出，因此c a n n y 边 盯。 缘检测算子为： 9 g _ ：坐：n v g ( 2 9 ) 式( 2 - 9 ) 中，以是与垂直边缘曲线的一个分量。但是并不知道是否边缘， 所以必须使用一个估计值来代替，经过查阅相关资料，估计值云专等磊是 常见的一个。所以可以认为式( 2 1 0 ) 的解 塑掣：o ( 2 - 1 0 ) a 刀 就是边缘点。但是可以用式( 2 1 0 ) 中的表达式来替换g i 得到 掣：o( 2 1 1 ) 锄 也就是说边缘点可以被认为是被高斯函数“平滑”的弯曲点。 图2 1 进行边缘检测，采用不同的边缘检测算子通过m a t l a b 1 0 1 对仿真实验 结果如图2 5 ，可知： ( 1 ) r o b e r t s 算子检测比较准确，但不包括平滑，对噪声比较敏感，往往细节 模糊。 ( 2 ) s o b e l 算子是一阶微分算子，由于加权平均滤波，对噪声有较强的抑制 能力，但是不能够完全排除结果中有伪边缘出现。 ( 3 ) l a p l a c e 算子属于二阶微分算子，对图像的边缘突出定位非常准确，但是 也容易丢失一部分边缘平滑的信息，结果一般会出现一些不连续的边缘，没有 滤波算子所以抗噪声能力比较差。 ( 4 ) c a n n y 算子采用高斯函数对车辆作平滑处理，因此具有较强的抗噪声能 力，但同样存在会平滑掉一些边缘信息，同而其它所采用的是一阶微分算子， 具有很好的边缘检测性能，所以c a n n y 算子能在边缘检测和噪声抑止之间取较 好的平衡。 从图2 5 检测结果可以看出，几个边缘检测算子都可以较好的提取所需的 车辆信息，希望突出车辆图像的边缘的同时，其他边缘能够很好的得到抑制， 经过大量的实验表明，采用c a n n y 算子，选择合适的阀值，可以较好的突出车 辆图像边缘信息。 l o r o b e r t s 算子s o b e i 算子 g a u s s - l a p l a c e 算子c a n n y 算予 圈2 - 5 各种边缘算子比较 第三章基于机器视觉的汽车感观测量研究系统的 硬件平台设计 3 1 系统总体说明 本设计采用d s p 控制视频采集器【l l 】，采集外接的c c d 摄像头输出的模拟 视频信号，得到所需要分析处理的视频信号，而且通过对d s p 对该视频信号的 处理，即对信号中的图像信号进行分析，提取和整理，而其依靠d s p 强大的数 据处理能力和软件实现后续的图像处理，从而实现对c c d 传感器进行采集， 提取，分析和处理等。因此可以看出：d s p 主要功能为三种：图像采集，同步 信号提取，图像的分析和处理。将在本章对整个系统的硬件实现做简约的描述。 图像采集系统的结构框图如图3 1 所示。整个系统由c c d 摄像头、视频采 集器( a d 转换器) 、可编程时序逻辑电路、d s p 、存储器和r s 2 3 2 以及外围电路 组成。 l 逻辑和时序控 制( f p g a ) _ _ - 视频采集器 善 t n f o d s p 处理器 c c d 摄像头 f l a s h s r a m l 一 - fp c 机 图3 1 系统结构框图 在可编程时序逻辑电路( f p g a ) 的时序控制下，由d s p 启动a d 转换器， 按照一定的采样速率，连续采样c c d 摄像头输出的模拟视频信号，经过数字 化后存入f i f o 中，一帧图像采集完成后。完成以上的处理后，再由d s p 进行 后续的图像分析和处理，而且通过设计中集成的r s 2 3 2 串口，实现与p c 机的 数据交换，从而实现设计中所达到的功能。 3 2c c d 摄像头的主要参数和选择 c c d 摄像头是一种应用极其广泛半导体成像器件，具有寿命长、抗强光、 抗震动、灵敏度高、体积小等优点。市场上的器件型号非常多，因此需要根据 以下的参数来选择所需要的型号。在选择摄像头时要参考以下方面【1 2 】： 1 2 ( 1 ) 分辨率 一般用电视线来表示摄像头的分辨率，某图像细节越好说明图形图像的分 辨率就越高。通常黑白摄像头的分辨率在3 8 0 4 8 0 线之间。通常规律是1 m h z 的频带宽度相当于清晰度为8 0 线。频带越宽，图像越清晰，线数值相对越大。 ( 2 ) 像素 通常需要考虑摄像头的像素，因为它是一个主要性能指标，决定了显示图 像的清晰程度，像素越高，图像细节就越好越清晰。一般情况下，像素是指摄 像头的电子影像传感器的面阵感光元素。市场上现在大多是10 万3 8 万像素摄 像头。 ( 3 ) 信噪比 一般摄像头的信噪比典型值为4 6 分贝，如果能达到5 0 分贝，会有少量的 噪声，但是图像非常清楚；如能达到6 0 分贝，就没有噪声，图像质量非常好。 ( 4 ) 最低照度 一般也称灵敏度，是摄像头正常成像时所需要的最暗光线度，也可以认为 是摄像头对光线的一种敏感程度。照度的单位是勒克斯( l o x ) ，数值越小，灵 敏度越高，表示成像需要的光线越少。黑白摄像机的灵敏度大约是o 0 2 0 5 勒 克斯。 ( 5 ) 电源 一般交流有2 2 0 v 、1 1 0 v 或者2 4 v ，直流为1 2 v 或9 v 根据本设计的应用要求，拟采用台湾敏通公司的黑白摄像头m t v - 1 1 3 0 c ， 其主要技术指标如下： 分辨率：4 2 0 线 像素：5 4 2 ( 水平) 幸5 8 2 ( 垂直) 成像区：4 8 m m * 3 6 m m 行频：1 5 6 2 5 k h z 场频：5 0 h z 信噪比：优于4 8 d b 最低照度：0 0 5 l u x y 校正：o 4 5 电源电压：1 2 vd c 士1 0 功耗：1 2 w 尺寸：1 1 0 5m m ( 长) * 5 5 0 。5 m m ( 宽) 书5 0 5r a m ( 高) 重量：4 1 0 9 ( 不含境头) 工作温度：2 0 一5 5 工作湿度：小于8 5 ( 相对湿度) 同步系统：内同步 3 3 视颇a ，d 采样模块 系统设计中视频采集器( 视颇a d 采样模块) 的作用就是将模拟信号转 换成数字信号，同时分离出同步信号和产生数据存储的时钟片选信号。 3 3 1a d 芯片选择 本系统设计中采用飞利浦公司的视频a d 芯片s a a 7 1 1 1 a h 1 3 j ，它具有两 个模拟预处理通道、六路视频输入，芯片内集成了自动钳位、抗混滤波和增益 控制等功能，为系统设计带来很大的方便。采用2 4 15 17 m h z 的晶振作为 s a a 7 1 1 l a h 的输入时钟。 该芯片设计的主要功能是将从c c d 摄像头输入的模拟视频信号转换为数 字信号输出。一般c c d 摄像头的输出的都是日本的n t s c 制式的复合全电视 信号c v b s ，通过此芯片包含的t v 解码功能将模拟视频信号解码，转换为符 合i t u rb t 6 0 1 1 4 】标准的数字信号，并且通过f p g a 的控制将数据存储到f i f o 中，等待d s p 处理如图3 2 。 图3 - 2s a a 7 1 1 1 a h 接口原理图 3 3 2 同步信号选取 c c d 摄像头采集到的模拟视频信号主要有三个方面的信号：同步信号，色 度信号和亮度信号。这三个信号的唯一区别就是信号的幅值是不同的，因此区 分同步信号就必须要将视频信号通过s a a 7 1 11 a h 反馈到同步模块中去，这样 通过低通滤波器后带宽就减小到1 m h z 。同时这些信号被侧分送到相检测器， 同标准的时钟进行比对，计算出的相位差输出给环滤波器，产生行同步信号和 场同步信号。 1 4 3 3 3 数字化输出 查看s a a 7 1 1 1 a h 芯片资料【1 3 】可知，s a a 7 1 1 1 a h 数据输出总线有1 6 位， 其中低8 位用于输出亮度数字信号，而高8 位正好用于输出色度数字信号。由 于本系统设计采用的是台湾敏通公司的黑白摄像头m t v 1 1 3 0 c ，所以输出的只 有亮度信号，这就要求只需要处理亮度信号，因此采用y u v 格式输出。 3 4d s p 处理电路设计 d s p ( d g i t a ls i g n a lp r o c e s s o r 数字信号处理器) 是实时数字信号处理技术的 核心和标志【l5 1 。自第一个微处理器问世以来，处理器技术水平得到了迅速的提 高，而快速傅立叶变换算法的提出促进了专门实现数字信号处理的一类微处理 器的分化和发展。数字信号处理有别于普通的科学计算与分析，它强调运算的 实时性，因此d s p 除了具备普通微处理器所强调的高速运算、控制功能外，还 针对实时数字信号处理的要求，在处理器机构、指令系统、指令流程上做了很 大改动。 考虑本系统的功能要求，考虑c 5 0 0 0 的主要特点是速度快、低功耗，主要 应用在通信、语音、图像处理等领域。由于c 5 0 0 0 系列d s p 内部没有f l a s h 存储器，必须在外部扩展f l a s h 存储器来固化程序代码。此外，该系列芯片 是专门为通信等低功耗系统设计的，工作电压为3 3 v + 1 8 2 5 v 工作电压。所 以系统采用t m $ 3 2 0 v c 5 4 0 2 为核心处理器。 d s p 处理部分的设计是该设计的核心，其中除了必要的电源控制、j t a g 端口、复位控制、时钟系统之外，还应有和图像采集芯片接口的f i f o 、存储图 像数据的存储器以及存储源程序的f l a s h 。 对于一个系统来说，可靠性在设计时是必须考虑的一个重要环节，本设计 中d s p 的时钟频率较高，在运行时，可能程序会跑飞，发生干扰等现象时，需 要及时的保护。通常在软件做一些保护以外，还需要在硬件上加自动复位电路， 在本设计中选用m a x 6 0 7 自动复位芯片。电路图如图3 3 。 畔岬 定c w d iv c c 一8 1 值瓜w d c 幽，- 王嘭 n ”d a _ 敦8 t l- d n di p f c 3 5 逻辑和控制电路模块 图3 3 复位电路 在实时图像处理系统的工作中，经常会遇到了逻辑转换和f i f o 读写等逻 辑时序运算的问题，f i f o 的h f 信号作为启动d m a 中断的标志信号，由 s a a 7 1 1 1 a h 的c r e f , h s ，v s 译码产生控制输入数据缓冲f i f o 器件的写时序， 以及由d s p 的c e x 信号译码产生的控制输入数据缓冲f i f o 器件的读写时序等。 为解决以上逻辑转换和时序产生的问题【1 6 】，系统设采用可编程逻辑控制器件 f p g a ，芯片采用的是a l t e r a 公司的e p 2 c 5 ，主要完成视频d 与f i f o ，f i f o 与d s p 之间的时序控制。 具体功能为： 根据s a a 7 111 a h 输出的v p o 总线同步信号，控制将输出的数字视频信 号写入到f i f o 中：检查到s a a 7 1 1 i a h 输出的场同步信号后( 表明f i f o 中已 经存满一场图像数据) ，向d s p 发出i n t 信号，通知其开始读取f i f o 中的图 像数据。 根据s a a 7 1 1 1 a h 的两个输出信号i g p i 和r t s l 【l3 1 ，判定当前视频a d 输出的视频数据是奇数场还是偶数场，同时发出不同的i n t 中断通知d s p ； 控制d s p 读取f i f o 中图像数据的读时序。当读完一场数据后，将f i f o 的读指针复位到地址0 x 0 0 0 0 处； 控制f i f o 的写时钟与读时钟并且使得写时钟与s a a 7 1 1 1 a h 的输出时 钟保持同步，使得读时钟与d s p 的外部分频后的时钟保持同步。 3 6 存储区电路设计 外部存储器模块主要作用：首先f l a s