基于DSP的嵌入式机器视觉系统研究.pdf

哈尔滨工程大学硕士学位论文基于宏克申请学位级别：硕士专业：系统工程指导教师：彭秀艳20090301哈尔滨I：稗人学硕十学位论文摘 要机器视觉技术主要用于机器人轨迹跟踪，自治车辆的导航和自动焊接设备上对焊缝的跟踪。把机器视觉引入切割机的控制过程，可以提高切割机的智能和产品的高技术含量。此外在国防和航天等领域，机器视觉也具有相当重要的应用意义，如运动目标的自动跟踪与识别、自主战车导航、登月舱的自动着陆以及空间机器人的视觉控制等。针对视觉引导的工业机器人问题，提出了一种基于传统的“图像采集卡一式的机器视觉系统相比，具有体积小、成本低、功耗低、实时性强、设计灵活等优点。介绍了本系统所选用的核心对机器视觉系统的硬件结构做了详细的说明，这其中主要包括像数据缓存、出了图像采集与处理系统的软件调试过程。对系统需要进行的有关图像处理算法进行分析介绍，并给出相应的处理结果。优化了系统的软件，主要方法包括采用用软件流水技术、关键代码采用汇编改写等。提高了有关的图像分析处理速度，解决了系统实时性不能满足要求的难题。最后介绍了机器视觉系统的数据通讯手段一基于括键词：机器视觉；嵌入式；件优化；图像处理；of t is in it is of a in of he at of on SP of of 3 a SP he of al of PU by of AN of AN of ey AN 论文的所有工作，是在导师的指导下，由作者本人独立完成的。有关观点、方法、数据和文献的引用已在文中指出，并与参考文献相对应。除文中已注明引用的内容外，本论文不包含任何其他个人或集体已经公开发表的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。 作者(签字)：钟爱亿日期： 川年岁月产日哈尔滨工程大学学位论文授权使用声明本人完全了解学校保护知识产权的有关规定，即研究生在校攻读学位期间论文工作的知识产权属于哈尔滨工程大学。哈尔滨工程大学有权保留并向国家有关部门或机构送交论文的复印件。本人允许哈尔滨工程大学将论文的部分或全部内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存和汇编本学位论文，可以公布论文的全部内容。同时本人保证毕业后结合学位论文研究课题再撰写的论文一律注明作者第一署名单位为哈尔滨工程大本论文解密后)由待解密后适用本声明。即可 耐在授予学位12个月后 口交有关部门进行保存、汇编等。作者(签字)：韩疰也日期：F日导师(签字)：钐参移炒-确,r=E人学硕1f：学何论文第1章 绪论11本课题提出的背景及其意义随着现代工业的发展，在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉。机器视觉是指通过机器视觉产品(如摄像机等)把图像抓取到，然后将该图像传送至处理单元，通过数字化处理，根据像素分布和亮度、颜色等信息，来进行尺寸、形状、颜色等的判别，进而根据判别的结果来控制现场的设备动作。机器视觉的最大优点是与被观测的对象无接触，因此对观测与被观测者都不会产生任何损伤，十分安全可靠，这是其他感觉方式无法比拟的。另外，视觉方式所能检测的对象十分广泛，可以说对对象是不加选择的。理论上，人眼观察不到的范围计算机视觉也可以观察。例如红外线、微波、超声波等人类就观察不到，而计算机视觉则可以利用这方面的敏感器件形成红外线、微波、超声波等图像。因此可以说计算机视觉扩展了人类的视觉范围。另外人无法长时间观察对象，计算机视觉则不知疲劳，始终如一地观测，所以机器视觉可以广泛地用于长时间恶劣的工作环境。机器视觉伴随数字信号处理技术，图像处理技术、微电子技术、计算机技术、现场总线技术的发展，技术同臻成熟，已是现代加工制造业不可或缺的技术手段。下面列举一些已取得的应用成果：1、工业上的应用：生产线上部件安装，自动焊接，切割加工。2、军事、航天方面的应用：自动监视军事目标，自动发现、跟踪运动目标，自动巡航，美国的火星车。3、各类检测、监视中的应用：如检查路及不合格的连接部分，检查铸件的杂质和断口，对产品样品进行常规检查，检查标签文字标记、玻璃产品的裂缝和气泡等。4、医学方面的应用：对染色体切片、癌细胞切片、声波图像的自动检查，进行自动诊断等。5、商业上的应用：自动巡视商店或其他重要场所门廊，自动跟踪可疑的人并及时报警。哈尔滨一1机器人视觉系统概述1机器人视觉系统的发展概括机器视觉是随着60年代术计算机与电子技术的快速发展而出现的。把视觉信息用于机械手定位的研究可以追溯到70年代。当时出现了一些实用性的视觉系统，如应用于集成电路生产、精密电子产品装配、饮料罐装场合的检查等。80年代后期，出现了专门的图像处理硬件，人们开始系统地研究机器人视觉控制系统。到了90年代，随着计算机能力的增强和价格下降，以及图像处理硬件和器视觉系统吸引了众多研究人员的注意。在过去的几年里，机器人视觉控制无论是在理论上还是在应用方面都有很大进步。最早基于视觉的机器人系统，采用的是静态先由视觉系统采集图像并进行相应处理，然后通过计算估计目标的位置来控制机器人运动。这种操作精度直接与视觉传感器、机械手及控制器的性能有关，这使得机器人很难跟踪运动物体。到80年代，计算机及图像处理硬件得到发展，使得视觉信息可用于连续反馈，于是人们提出了基于视觉的伺服(式。这种方式可以克服模型(包括机器人、视觉系统、环境)中存在的不确定性，提高视觉定位或跟踪精度。 2机器视觉伺服控制系统及其分类对机器人视觉伺服系统的研究是机器人领域中的重要内容之一，其研究成果可直接用于机器人手眼系统、移动机器人的自动避障及对周围环境的自适应、轨线跟踪等问题中。通常所说的机器视觉是指：自动获取并分析图像，以得到一组可对景物描述的数据或控制某种动作的数据。而视觉伺服则不同于机器视觉，它利用机器视觉的原理对图像进行自动获取与分析，以实现对机器人的某项控制为目的。正是由于系统以实现某种控制为目的，所以视觉伺服系统中的图像处理过程必须快速准确。视觉伺服系统采用视觉反馈环形成闭环，在视觉反馈坏中抽取某种图像特征。图像特征可以是点、曲线、图像上的某一区域等，比如，它可以是点在图像平面的坐标位置，或投影面的形心及其惯量的高次幂。可以从不同的角度，如反馈信息类型、控制结构和图像处理时间等方面对to 反馈信息类型的角度，机器2哈尔滨视觉控制和基于图像(视觉控制。前者的反馈偏差在3D 者的反馈偏差在2控制结构的角度，可分为开环控制系统和闭环控制系统。开环控制的视觉信息只用来确定运动前的目标位姿，系统不要求昂贵的实时硬件，但要求事先对摄像机一机器人进行精确标定。闭环控制的视觉信息用作反馈，这种情况下能抵抗摄像机与机器人的标定误差，但要求快速视觉处理硬件。根据视觉处理的时间可将系统分为静态和动态两类。下面重点介绍基于位置的视觉伺服系统和基于图像的视觉伺服系统：11基于位置的视觉伺服系统基于位置的方法，视觉伺服误差定义在三维觉或特征信息用来估计机械手末端与目标的相对位姿，参见图11(11。视觉控制器机器人控制器关节传感器机器人动力学机器人环境要雾篓嚣奔卜一雾墨釜最卜恒端化姿f计1 特征提取堡!图11 外它把视觉重构问题从机器人控制中分离出来，这样可以分别对二者进行研究。但这种方法一般需要对视觉系统和机器人进行标定。另外由于要对图像进行解释，因而增加了计算量。2)基于图像的视觉伺服系统伺服误差直接定义在图像特征空间。即摄像机观察到的特征信息直接用于反馈，不需要对三维姿态进行估计。该方案的结构框图如图12所示。哈尔滨学位论文图12 生相应的控制信号，不需要三维重建，但需要计算图像雅可比矩阵基于图像视觉伺服的突出优点是对标定误差和空间模型误差不敏感，缺点是设计控制器困难，伺服过程中容易进入图像雅可比矩阵的奇异点，一般需要估计目标的深度信息，而且只在目标位置附近的邻域范围内收敛【21。13嵌入式系统概述在数字信息技术和网络技术高速发展的后PC(c)时代，嵌入式系统已经广泛地渗透到科学研究、工程设计、军事技术、各类产业和商业文化艺术以及人们的着国内外各种嵌入式产品的进一步开发和推广，嵌入式技术越来越和人们的生活紧密结合。嵌入式系统几乎包括了生活中的所有电器设备，如掌上动计算设备、电视机顶盒、手机上网、数字电视、多媒体、汽车、微波炉、数字相机、家庭自动化系统、电梯、空调、安全系统、自动售货机、蜂窝式电话、消费电子设备、工业自动化仪表与医疗仪器等吲。嵌入式系统一般指非计算机功能但又不称之为计算机的设备或器材。它是以应用为中心，软硬件可裁减的，适应应用系统对功能、可靠性、成本、体积、功耗等综合性严格要求的专用计算机系统。简单地说，嵌入式系统集系统的应用软件与硬件于一体，具有软件代码小、高度自动化、响应速度快等特点，特别适合于要求实时和多任务的体系。嵌入式系统主要4哈尔滨关支撑硬件、嵌入式操作系统及应用软件系统等组成，它是可独立工作的“器件”。1嵌入式处理器嵌入式处理器是嵌入式系统的核心部件。嵌入式处理器与通用处理器的最大不同点在于嵌入式通常把通用而有利于嵌入式系统设计趋于小型化，并且具有高效率、高可靠性等特征。嵌入式微处理器一般具备4个特点：(1)对实时和多任务有很强的支持能力，能完成多任务并且有较短的中断响应时间，从而使内部的代码和实时操作系统的执行时间减少到最低限度；(2)具有功能很强的存储区保护功能，这是由于嵌入式系统的软件结构已模块化，而为了避免在软件模块之间出现错误的交叉作用，需要设计强大的存储区保护功能，同时也有利于软件诊断；(3)可扩展的处理器结构，以能迅速地扩展出满足应用的高性能的嵌入式微处理器；(4)嵌入式微处理器的功耗必须很低，尤其是用于便携式的无线及移动的计算和通信设备中靠电池供电的嵌入式系统更是如此，功耗只能为级。嵌入式系统处理器可分为以下几类：(1)嵌入式微控制器(入式微处理器组成的系统具有体积小、重量轻、成本低、可靠性高的优点。嵌入式处理器目前主要有688、38668000、2)嵌入式微处理器(入式微控制器又称单片机，它将整个计算机系统集成到一块芯片中。常用的嵌入式微处理器有805 1、5 1、6196296等。 、(3)嵌入式其适应数字信号处理的各种复杂算法，适合于实时地进行数字信号处理。在数字滤波、 分析、数字图像处理等方面得到了广泛的应用。动通信的及性哈尔滨f：稃人硕十学位论文能更高的4)嵌入式片上系统(n 随着及半导体工艺的迅速发展，可以在一块硅片上实现一个更为复杂的系统，这就产生了用及某些用A。2嵌入式系统的特点(1)嵌入式系统通常是面向特定应用的嵌入式通常都具有低功耗、体积小、集成度高等特点，能够把通用而有利于嵌入式系统设计趋于小型化，移动能力大大增强，跟网络的耦合也越来越紧密。(2)嵌入式系统是将先进的计算机技术、半导体技术和电子技术与各个行业的具体应用相结合后的产物。这一点就决定了它必然是一个技术密集、资金密集、高度分散、不断创新的知识集成系统。(3)嵌入式系统的硬件和软件都必须高效率地设计，量体裁衣、去除冗余，力争在同样的硅片面积上实现更高的性能，这样才能在具体应用中对处理器的选择更具有竞争力。 一(4)嵌入式系统和具体应用有机地结合在一起，它的升级换代也是和具体产品同步进行，因此嵌入式系统产品一旦进入市场，具有较长的生命周期。(5)为了提高执行速度和系统可靠性，嵌入式系统中的软件一般都固化在存储器芯片或单片机本身中，而不是存贮于磁盘等载体中。(6)嵌入式系统本身不具备自举开发能力，即使设计完成以后用户通常也是不能对其中的程序功能进行修改的，必须有一套丌发工具和环境才能进行开发。6哈尔滨稃人学硕十学何论文14以于于特定用途集成电路上3种机器视觉系统的特点如下：1基于频采集卡和通用频采集卡插在通用像机通过视频电缆线和视频采集卡相连，通用到原始的视频图像数据后，转化成我们所需要的图像格式，最后利用通用件资源和高速的处理能力对视频图像进行处理。通用是高功耗也是该系统一大弊病，另外系统体积过于庞大，这两方面就造成这种系统不太适合工业现场和航空航天应用，多用于视频采集和视频处理的算法研究和仿真阶段。2基于特定用途集成电路量大和功耗大的问题，具有一定的优势，但是且周期相对较长，同时缺乏运行各种算法的灵活性，使得基于基于一种具有特殊结构的微处理器，有专门的硬件乘法器，广泛采用流水线操作，提供特殊的数字信号处理指令，可以快速地实现各种数字信号处理算法。时耗低、成本低、开发方便、灵活性强等优点使之非常适合做嵌入式机器视觉系统的核心处理器。因此本论文采用理器，经过验证很好的满足了系统的各种性能要求。7哈尔滨本论文的主要工作(1)在实验室自制的通过2)对分发挥获取的二维线条的数字图像进行中值滤波去噪、图像的二值化、图像细化等一系列相关的图像处理，并对耗时的有关图像处理程序进行优化，使得处理时间得到大大的缩短，满足了系统实时性的要求，解决了机器视觉系统中图像处理实时性差的难题。(3)调试图像采集板与系统其它模块问能够进行命令传输、控制量发送等必要的数据交换。8堕笙i蚕!章洋细介绍以1 1997年，美国括定点图21 中定点系列为点系列为者互相兼容。最早推出的数字信号处理器处理能力上创造了新的单程碑。下简称6713是：稃人。孚：硕十学何论文推出的基于先进的甚长指令字(构的高性能浮点225最高执行速度可以达有高速的信号处理速度和强大的对外接口能力，可以作为比较理想的多媒体信号处理平台。考虑到机器视觉中相关图像的处理需要用到大量的浮点运算，因此选用所示【3】：者由二级缓存结构的可配置存储单元相连接【4】。211 的构程序总线与数据总线分开，取指令与执行指令可以并行运行。程序总线宽度为256一次取指操作都是取8条指令，称为一个取指包。执行时，每条指令占用1个功能单元，取指、指令分配和指令译码单元都具备每周期读取并传递8条32位指令的能力。结构如图22所示m，共包含下述物理资源：2个通用寄存器组(个通用寄存器组包括16个32位寄存器，其作用是：存放数据，作为指令的源操作数和目的操作数。作为间接寻址的地址指针，寄存器7和2、1和8个功能单元(2)组数据通路功能单元的功能基本相同。是主要的算术逻辑运算单元(2个数据读取通路(2个数据存储通路(0哈尔滨个寄存器组交叉通路(个功能单元可以直接与所处数据通路的寄存器组进行读写操作，也可以通过12个数据寻址通路(22 据通道哈尔滨何论文寻址通路与两侧数据通道都相连，这使一个寄存器组产生的数据地址能够支持任意一侧寄存器组对数据存储器的读写操作。控制寄存器组 用户可以通过对控制寄存器组编程来选用程时应注意，仅功能单元其进行读写操作。寻址模式寄存器制状态寄存器序计数器断控制寄存器2 且在片内集成了许多外围设备，支持多种工业标准的接口协议，能够提供高带宽的数据I些特点使高集成度也给系统设计人员带来了很多方便。由图1所示，个个12个通用输入输出模块个32位通用定时器、1个主机接口个外部存储器接口个多通道缓冲串口。2121 仅具有很高的数据吞吐率，而且几乎可以与目前所有类型的存储器直接接口，这些存储器包括：同步动态异步器件，包括部共享存储空间的设备12哈尔滨I：秤人7：硕十学何论文据总线宽度32位，访问支持的字长为86果与最大寻址空间可达512常适用于多媒体处理等需要大容量存储器的应用场合。应用中，于不需要进行后台刷新，系统中允许同时具有这3种类型的存储器122 671)(结构与传统的提供了16个通道通道间的优先级可设置支持不同结构数据传输的链接事件和中断处理寄存器事件编码器参数址产生硬件其中，事件寄存器负责对个事件相当于一个同步信号，由它触发个果有多个事件同时发生，则由事件编码器对它们进行分辨。些参数会被送入地址发生器硬件，进而产生读写操作所需要的地址。2123 以方便地与其它设备连接，不仅能够简化系统结构，而且大大提高了开发的自由度。具有的接口有：通道缓冲串口口、多通道音频串口掣人学硕十学位论文22视频图像采集与处理系统的硬件构成出频解码器(收模拟视频信号，并将其转换为标准格式的数字视频数据流，通过高速缓存暂存视频数据，存入系统的集到的视频数据经过相应的图像数据经过关的控制信息通过统的硬件框图如图23所示。摄像机模拟视频信号 视频解码器(字视一纠襄霉叫二。一习獬，H。燮篓雨I 数字视频 !竺兰塑f 二：爿刑搽67动控制量图23视频图像采集与处理系统硬件结构框图221视频解码器及其外围电路视频解码器负责把由转换变为特定格式的数字图像信号。本系统的视频解码芯片采用性能视频解码芯片l 1所示Ir,l。 13】：14哈尔滨工程大学硕士学位论文(1)具有四路模拟输入和内部模拟信号源选择，如4路2路Y路Y2) 50500 tW；30821， 19(10j 秭34：039：r 3 C涨。 N ：52) ，2 27基964 介；s 删Y 3641036 龇0837 们4缬蛰5一。 ，63)6Y粤1毒 俘执7j l 一 I。)鲐12瓤 “ 13垌摧2。，29r 劭32凹41332俘j i 豫26窜) 30) 证n 97 伪，I(2嚣) 8a) 5： 1彩l，24j铭52“3427 i 6，郧4328 41 38 26 钧l 3 3 24 25 l 33f l 毒 工 l 毒 毒 l $1)具有两路模拟预处理通道：(3)内含两个8位的A4)内含片内时钟发生器；(5)所有不同的制式标准只需同一频率的晶振(24576(6)可进行场同步信号的检测；(7)自动进行5060动进行标准8)数据输出格式多样，具体格式如下：(a)4：1：1515人学硕+学何论文(b)4：2：2的 6位)；(e)4：2：2的8位)；(d)5：6：5的6位)；(e)8：8：8的4位)；(9)具有符合工491标准扫描逻辑的边界扫描测试电路；(10)可通过5】。 1是 1系统的由转换后由l 1所示。经过 1中出的720个出的25行，高电平为有效图像信号，单场为288行，输出的出的为奇数场，为偶数场。222高速缓存(：硕学何论文过重，本系统采用具有双口输入输出、采集传送速度快和先进先出的特点，能满足高速数据传输的要求。位的可以实现先进先出的异步读写操作的双端口存储器，提供“空”(“满”(“半满(态标志。允许多片字宽和容量深度两方面进行扩展116l。读写操作会自动访问存储器中的连续的存储单元，从址的顺序在内部已经预先定义好。对芯片的读写操作只由读写信号控制，不需要额外的地址信息，这就使得所示。视频数据 视频数据； 20步信号 W 一 1起23图像数据存储器芯片及其接口电路在图像采集与处理系统中通常需要把采集到的数据暂时存储起来以便后17哈尔滨1：科人学硕十学位论文续的处理，然而图像数据量往往又非常大，以本系统采集的512512大小的图像为例，一副图像需要256然不能满足存储的要求，因此需要外扩大容量的图像数据存储芯片来保存采集到的图像数据。由于速度和低价格的优势，使用时考虑到此本系统采用根据具体的存储容量、价格、接口电路等来综合考虑，由于以选用的统选用的是容量是2n，所示。S 。卜旦口芝U 窝E。茎 苫 ：01 ：01笺2：21 1 5：01 5：01图27 4程序固化存储器(片及其接口电路n进行电擦写，掉电后信息不会丢失的存储器。它具有低功耗、大容量、擦写速度快、可整片或分扇区在系统编程(烧写)、擦除等特点，并且可由内部嵌入算法完成对芯片的操作，因而在各种嵌入式系统中得到了广泛的应用。作为一种非易失性存储器，系统的性能、低电哈尔滨于主要特点如F：组织方式为512写次数高达100000次；可以按扇区擦除(2K 也可以按块擦除(32写结束具有两种检测方法，所示。S卜E。 里口葛 0：2】 8：0】 苫卜窆 5：0】 5：0】图28 视频图像采集与处理系统的软件调试231 称编辑、编译、链接、软件仿真、硬件调试及实时跟踪等功能为一体，极大地方便了前。,和等版本，各个版本的。本次开发中使用的为版本，其调试环境如图29所示。在使用该软件开发时，结合了北京闻听公司的 仿真器进行的。一个完整的91：(1)以来分配别用伪指令2)统库文件包括了编译器提供的所有19：0；*f“e *l一-rz x I|t201。f 11o =-t(14￥mr20lf】800H。2一 12If 1-】0一：LLt 001f L】P00 00113n+P ii丽“i；x“慧!=唑=。；1h图29 开发环境界面功能：初始化13地址为c ，设置堆栈，提供标准的中还可以添加其他的库文件f1(3)有且必须有一个含有函数的c)。系统库初始化完毕后，就把控制权交给4)矢量跳转表文件，通常是汇编文件(式。此文件通常为中断服务程序提供中断向量表。为了增强程序的可读性与可移植性及标准化软件开发发流程，称所谓段就是占用连续空问的一组数据或是代码。一个目标文件的每一个段都是彼此分离、互相区别的。必考虑硬件。当程序的一些模块的代码被修改，或者硬件设计发生变动时，不需要对程序的地址进行修改。一个完整的程序通常要将若干模块链接起来。使用命令文件(链接器(对输入的模块进行正确的组织，确定目标系统的内存空间，以及各个模块的段(内存中的分配。在以分为初始化段和非初始化段，