（机械电子工程专业论文）挖掘机控制系统及作业对象物的识别.pdf

挖掘机控制系统及作业对象物的识别 摘要 挖掘机代替了大量的人力劳动，大大提高了工作效率。但在有毒气、 高温、易崩塌等恶劣环境中，操作人员的安全和健康受到严重威胁，无法 驾驶挖掘机进入其中作业，使挖掘机的应用受到了很大的限制。为实现在 无人操作情况下，实施挖掘作业，设计挖掘机的无人化控制系统。本课题 研究了适合挖掘作业对象物特征的双目视觉识别系统，计算对象物体积、 相对位置。根据计算结果自行规划作业，由单片机驱动执行机构，并检测 运动状况。该系统由视觉识别、行走驱动、运动检测三部分组成，可以协 调工作，完成作业计划。 通常，操作人员观察对象物的位置和大小，拉动左、右操纵杆控制挖 掘机履带接近对象物，到达对象物位置后，控制铲斗挖起并倒入自卸车。 在挖掘机智能化系统的设计中，操作人员的判断、控制全由智能化的软硬 件代替。系统的硬件由一台p c ( 上位机) 、双目视觉系统和单片机系统( 下 位机1 组成。 挖掘机作业的对象物，一般为矿石或岩石，相对于制造加工业的对象 物，其外形具有随机性强的特点，针对此特点设计了相应计算方法。传感 器选用c c d 摄像机，通过视频采集卡a d 转换将图像数据输入计算机进 行处理。利用人类双眼立体成像的原理，挖掘机机身两侧安装的两个c c d 摄像机同时拍摄得到两个图像，经过边缘检测，提取特殊点，选取一般点， 计算二维坐标，分割锥体这几个步骤对图像进行识别处理，然后将同一点 在两图像中所成像匹配，根据两摄像机投影面中的坐标，计算在空间中该 点相对于挖掘机的三维坐标。根据最高点的三维坐标可得到对象物的相对 距离及方位角，把对象物整体分割，计算各分割部分体积、相加可得到整 体近似的体积。 对象物的识别完成后，计算结果通过串行异步通讯被输送给单片机。 用单片机驱动履带轮的行走，并由霍尔传感器与磁钢组成的位移传感器检 测行走状态。霍尔开关元件所发脉冲输入到单片机计数器引脚，计数挖掘 机前进及转向的步数。最后针对此种位移传感器的固有误差设计补偿误差 的计算方法。论文还进行了挖掘时计算各关节角度的运动学和解析逆运动 学解析。 本研究的特点及意义如下所述： 针对传统控制系统规模庞大，使“挖掘机器人”自由的移动受到严重 限制的问题，应用u a r t 数据传输技术，将p c 数据处理能力强大与单片 机小型轻量的优点结合，互补短长，提出一套全新的控制方案，令移动机 器人可以自由行走并实时处理大量数据。 本研究的主要特色是将双目视觉系统及图像识别算法应用于挖掘机特 有的，形状无规则的对象物，针对它提出有效的图像识别及计算三维坐标 的方法。 为在完全无人控制的情况下进入未知的复杂环境中实施挖掘作业，研 究出了整套的软硬件系统和控制算法。不论是对于工程机械研究领域还是 对于机器人学来说本研究都有着非常重要的创新意义。 关键词：挖掘机，无人化，双目视觉识别，单片机 r o b o t i ce x c a v a t o rs y s t e m & 0 b j e c t d e t e c t i n gw i t h s t e r e ov i s i o ns y s t e m e x c a v a t o ri s w o r k i n gi n s t e a do fap l e n t y o fw o r k f o t e e b u ti n m a n y e n v i r o n m e n t sw i t hp o i s o n g a s ，h i g ht e m p e r a t u r e o r c o l l a p s e de a s i l y , t h e o p e r a t o r sc a nn o td r i v et h ee x c a v a t o ri n s ot h ea p p l i c a t i o no fe x c a v a t o rh a s b e e nr e s t r i c t e d t o o p e r a t ee x c a v a t o ru n m a n n e da n dd oe x c a v a t i n gw o r k a u t o m a t i c a l l y , d e s i g nar o b o t i ce x c a v a t o rs y s t e m n es y s t e mi sc o n s i s t e do f v i s i o ns e n s o r , w h e e ld r i v e r , a n dm o v e m e n ts e n s o r t h i sp a p e ri n t r o d u c e st h e t h e o r yo ft h es t e r e ov i s i o ns y s t e mw h i c hi st or e c o g n i z et h eo b j e c ta n dt h e a l g o r i t h mt oc a l c u l a t ep o s i t i o na n dv o l u m e a c c o r d i n gt h er e s u l t ，d r i v i n gt h e w h e e lw i t hs c m ，a n ds u r v e yt h em o v e m e n t t h ee x c a v a t o r sb e f o r ea l w a y sw o r k e dl i k et h i s ：t h eo p e r a t o ro b s e r v e st h e p o s i t i o na n dv o l u m e ，a n d 叩e r a t o rt h ej o ys t i c kt oc o n t r o lt h ee x c a v a t o r a p p r o a c ht ot h eo b j e c t w h e ng e tt ot h eo b j e c t sp o s i t i o no p e r a t et h ea r md i g t h er o b o t i ce x c a v a t o rs y s t e mw i l l j u d g ea n dc o n t r o la u t o m a t i c a l l yw i t ht h e s o f t w a r ea n dh a r d w a r e t h eh a r d w a r ei sc o n s i s t e do fap c ，s t e r e ov i s i o ns y s t e m a n d s c m g e n e r a l l y , t h eo b j e c t sa r eo r eo rr o c k t h e ya r em o r es h a p e l e s st h a nt h e o t h e ro b j e c t s s od e s i g na na l g o r i t h mt od e a lw i t ht h es p e c i a lo b j e c t c o n v e r tt h e s 蟾n a lf r o mt h ec c dc a m e r at od i g i t a ld a t aa n di n p u tt op cb yp i cc a r d b y p r i n c i p l eo fh u m a ne y e s ，f i t t i n g2c a m e r ao nt h ee x c a v a t o ra n ds h o t2g r a p h so f o b j e c ta tt h es a m et i m e ，a f t e re d g ed e t e c t i n g ，s p e c i a lp o i n t sp i c k - u p ，n o r m a l p o i n ts e l e c t i n g ，2 dc o o r d i n a t ec a l c u l a t i n g ，d i v i d i n gu p ，m a t c ht h e2g r a p h st o c a l c u l a t et h e3 de o o r d i n a t e a c c o r d i n g3 dc o o r d i n a t eo ft h eh i g h e s tp o i n tt o c a l c u l a t et h ed i s t a n c e ，a n dd i v i d eu pt h ew h o l eo b j e c tt ol i t t l ep i e c e s ，c a l c u l a t e t h ev o l u m eo fp i e c e sa n ds u mt oc a l c u l a t et h ew h o l ev o l u m e a f t e rr e c o g n i z i n go fo b j e c t ，t h er e s u l tw i l lb et r a n s m i t t e dt os c m n e e x c a v a t o rw i l lt u r na n dg of o r w a r da n das e n s o rw i l lu s e df o rd e t e c t i n gt h e p r o c e s s f i xa l n i c o sa n dh a l le l e m e n t so nt h ew h e e l s t h ep u l s e sf r o mh a l l i e l e m e n t sw i l lb ei n p u tt ot h ec o u n t e r so fs c mt od e t e c tf o rt h ee x c a v a t o rh a sg o t t ot h eo b j e c t sp o s i t i o n t h i ss y s t e mu s et h eu a r tc o n n e c tt h ep cw h i c hc a ns a t i s f i e dt h eh u g e d a t ap r o c e s sa n ds c mw h i c hi sv e r ys m a l l f i g u r eo u tt h ep r o b l e mt h a tr o b o t s c a nn o tm o v e f r e e l y t h em o s tn o v e l t yp o i n to ft h er e s e a r c hi su s i n gt h es t e r e ov i s i o ns y s t e mf o r t h es p e c i a lo b j e c to fe x c a v a t o r d e s i g n e dar e c o g n i z et h e o r ys u i tf o rt h e s h a p e l e s so b j e c t g i v eaw h o l ec o n t r o lt h e o r yf o ro b j e c tr e c o g n i z i n g ，m o v i n g ，a n d e x c a v a t i n g t h i sr e s e a r c hi ss i g n i f i c a t i v ef o re x c a v a t i o nr e s e a r c h ，a l s of o rt h e r o b o t i c s k e y w o r d s ：e x c a v a t o r ，r o b o t i c s ，s t e r e ov i s i o ns y s t e m ，s c m 陕西科技大学硕士学位论文 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立 进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含 任何其他个人或集体已经发表或撰写过的科研成果。对本文的研究做出 重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律责任由本人承担。 论文作者签名：塑受 日 期：2 q q 盈笸旦! i 关于学位论文使用授权的声明 本人完全了解陕西科技大学有关保留、使用学位论文的规定，同意 学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论 文被查阅和借阅；本人授权陕西科技大学可以将本学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或其他复制手段 保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名：二刍立导师签名：避日期：至q q 盈笸旦 挖掘机控制系统及作业对象物的识别 1 绪论 1 1 课题研究的意义和前景 本课题研究的挖掘机自动控制系统实际上是对现有挖掘机进行智能化改造，使其变 为一个在无人操纵情况下可以自动完成作业的机器人。对于“挖掘机器人”和其它机器 人一样，是集机械、自动化控制、计算机、物理、数学等各个学科的高新科技的结晶。 如今机器人虽然未在人类生活中得到普及应用，但各国已经积极投入到机器人相关的各 种研究中。 二十一世纪以来，各国正在投入研究的新型机器人系统主要可以分为两种： 一种是感觉主导型物体操作系统。这一类系统主要指机械手。一般常见机械手有3 撕 个自由度，完成复杂作业的机械手可有更多自由度。机械手可完成在空间抓、放、搬运 物体，动作灵活多样，适用于可变换生产品种的中、小批量自动化生产，广泛应用于柔 性自动线。机械手一般由耐高温，抗腐蚀的材料制成，以适应现场恶劣的环境，大大降 低了工人的劳动强度，提高了工作效率。 另一种是视觉主导型移动系统。随着科技的进步，从最初的轮式机器人已经发展到 多足机器人，双足机器人。计算机和传感器技术的飞速发展，可以说为高级移动机器人 发展扫清了障碍。很多移动机器人即将进入我们的生活。日本本田公司的a s i m o 和s o n y 公司的o r i o 无疑是此中最具代表性的。在家用市场得到充分发展的同时，工业用自动引 导移动机器人( a g v ) 也得到了飞速发展，在拥有了视觉和激光扫描传感器之后，a g v 已经被提高到了一个新的高度了，将来的工业用a g v 将不再只能延着固定路线走了。 毫无疑问，移动机器人发展的一个转折期就要来临了。 图1 - 1 挖掘机 f i g l 一1e x c a v a t o r 其实，很多机械都具有了机器人的“躯干”， 只要我们发挥创造力，对其加以适当改造，设计适 合的控制单元和控制算法，原来必须由人操作的死 气沉沉的机械，就会成为一个个活生生的机器人。 挖掘机主要用于公路修建、建筑施工和采矿施 工。如图1 - 1 ，只要我们仔细观察，就能够发现挖掘 机同时具备了机械手和移动机器人的双重属性。挖 掘机的工作装置共有三个自由度，可以看成是一个 典型的平面三自由度机械手，当需要挖掘或抓取一 个目标物时，只需按照机械手的坐标变换矩阵进行 计算就可以算出每个关节所需的姿势以及运动轨迹。而挖掘机拥有一对履带轮( 履带式 陕西科技大学硕士学位论文 挖掘机) 或四个车轮( 轮式挖掘机) ，自然就具有了移动机器人的硬件。 目前在采矿业中，挖掘机代替了大量的人力劳动，大大提高了工作效率，起着不可 替代的作用。但还存在一些问题： 1 ) 操作人员的工作状态受环境、情绪、身体等状况影响，在开始时状态最好，效率 最高，随着工作时间推移效率逐渐下降，不能连续长时间进行工作，降低了生产效率。 2 ) 操作人员正在操作机器、专心于自己的工作时，容易忽视挖掘区域中其他的人员 或设备，有可能造成意外事故。 3 ) 在有毒气、高温、易崩塌等恶劣环境中，操作人员的安全和健康受到严重威胁， 无法驾驶挖掘机进入其中作业。 以上这些问题使挖掘机的应用受到了很大的限制，需要设计正铲挖掘机的智能化系 统。在无人操作的情况下，以更高的效率完成预期的作业，保证人员安全和顺利施工。 1 2 双目立体视觉系统 本研究的创新点之一就是利用了现代最新的视觉传感器双目立体视觉系统。 人类两眼在观察世界的时候，其中成像到双眼的图像是不同的，也就是左右眼会有 一个视差，而大脑便会根据这个视差来感觉到立体影象。 举一个简单的例子：在你的面前举起一根手指，用双眼来观察它。当把它看清，也 就是双眼对焦到这根手指上时，你会发现手指后面的物体会产生重影。当你把后面的物 体看清，比如后面有一个灯泡，你对焦双眼到灯泡上时，你会发现在你眼前的那根手指 变成了二根。这便是左右眼对这根手指所成的两个图像，正是因为这种视觉差异才让人 类感觉到这是一个立体影象。 双目立体视觉是计算机视觉的一个重要分支，利用仿生学原理，由不同位置的两台 或者一台摄像机( c c d ) 经过移动或旋转拍摄同一幅场景，然后通过计算空间点在两幅图 像中的视差，获取第三维深度信息。为了对不同环境场景进行监控，提出了一种新的基 于双目计算机视觉的识别算法。 上世纪8 0 年代美国麻省理工学院人工智能实验室的m a r r 提出了一种视觉计算理论 并应用在双睛匹配上，使两张有视差的平面图产生在深度的立体图形，奠定了双目立体 视觉发展理论基础。相比其他类的体视方法，如透镜板三维成像、投影式三维显示、全 息照相术等，双目立体视觉直接模拟人类双眼处理景物的方式，可靠简便，在许多领域 均极具应用价值，如微操作系统的位姿检测与控制、机器人导航与航测、三维测量学及 虚拟现实等。 日本大阪大学自适应机械系统研究院研制了一种自适应双目视觉伺服系统，利用双 目立体视的原理，如每幅图像中相对静止的三个标志为参考，实时计算目标图像的雅可 2 挖掘机控制系统及作业对象物的识别 比矩阵，从而预测出目标下一步运动方向，实现了对运动的未知目标的自适应跟踪。该 系统仅要求两幅图像中都有静止的参考标志，无需摄像机参数。而传统的视觉跟踪伺服 系统需事先知道摄像机的运动、光学等参数和目标的运动方式。 华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统， 使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位导航。系 统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越大，基线越宽， 能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位 置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精 度的视差，并根据此视差计算图像对中各点的三维坐标。相比传统的体视系统，能够更 精确地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形。 上海交大在理论上对会摄式双目体视系统的测量精度与系统结构参数之间的关系作 了详尽分析，并通过试验指出，对某一特定点进行三角测量。该点测量误差与两c c d 光 轴夹角是一复杂的函数关系；若两摄像头光轴夹角一定，则被测坐标与摄像头坐标系之 间距离越大，测量得到点距离的误差就越大。在满足测量范围的前提下，应选择两c c d 之间夹角在5 0 8 0 之间。 1 3 工程机械自动化的发展现状 m e c h a t r o n i c s 最初是由日本提出的，根据m e c h a n i c s 和e l e c t r o n i c s 所造的合成词，中 文译为“机械电子工程”。机械电子工程是将电子技术与机械工程结合，取长补短，实 现机械的自动化控制代替手工作业的交叉学科，其典型的产物有工业机器人和数控机床。 将机械工程技术应用于土木工程，以机械代替大量人力劳动，高效完成挖掘、运输等作 业则产生了工程机械。其代表为挖掘机、装载机。将机械电子工程与工程机械结合产生 了新的机械工程学研究领域g e o m e c h a t r o n i c s 。从这个合成词可以看得出，g e o 在英语中 是个前缀，为“土地、地球”之意，g e o m e c h a t r o n i c 则指对土地开发、建设有关的机械 实现自动化改造的研究学科。 作为发达国家的日本，在经济发展和建设阶段，由于资源不合理使用和工业污染， 造成泥石流、土地污染等情况，现在该国已经投入大量的财力、人力研究环境重建和土 地改良的方法，但由于人口稀少以及少子化、高龄化现象的出现，大量缺乏劳动力，所 以研究者们都将目光集中到设计可以代替人力劳动的无人控制自动机械中。本来在建设、 开发阶段所使用的工程机械，现在又重新发挥它高效、快速的优势，参与到环境的重建 中。 日本东北大学环境研究科高桥研究室，进行着各种关于g e o m e c h a t r o n i c s 的研究， 例如用于土质改良的自走行土质改良机以及自动装载机。下面要介绍的是该研究室在 陕西科技大学硕士学位论文 2 0 0 4 年所研究的无人化控制的装载机大容量自动装载机( 以下简称为u ) 。 装载机广泛应用于地下采矿以及隧道建设，研究者们都致力于设计一套适合于装载 机的自动控制系统。装载机所要完成的任务是将岩石等散装物料挖取、搬运和倾倒，在 此之前的研究主要是将c c d 视觉系统搭载于挖掘机之上，自动检测并进行控制，这种 方法在实际应用中得到了很好的效果。 在a l v 的研究中，主要是在挖掘机后部增加一个容器，以扩大每次搬运的容量。 如图1 2 ，给出了m 的概念，此装载机与传统转载机最大的不同是，后部有一个容器， 铲斗挖起一铲物料后，举起并自行装入后边的大型容器中，这样在挖掘点与倾倒点之间 往返一次，所输送的物料将是以前的三倍以上。 容器三自由度 铲斗 了彳 以s 萄一 ，、 打开即可倾倒抬起堡堕 图卜2 大容量自动装载机“ f i g l 一2a l v 如图1 3 ，是高桥研究室所制作的装载机模型在模仿实际作业中挖掘、装载和倾倒 的情况。 挖掘 装载 倾倒 图1 3a l v 模型 f i g l 一3a l vm o d e l 如图1 - 4 ，给出了该新型自动工程机械在完全无人控制的情况下，往返于装载点和 倾倒点的工作过程： 4 挖掘机控制系统及作业对象物的识别 矗矧目 盈 6 崩 图卜4 装载机工作流程 f i 9 1 4f l o wo fa l vt a s k 1 ) 驶向挖掘点； 2 1 到达挖掘点后，铲斗落下插入物料下部； 3 ) 挖起一铲物料； 钔举过a l v 上部，将铲斗内物料装入后边的容器中，连续 装载数次直到容器装满； 5 1 驶向倾倒点； 6 1 将容器倾斜，并打开后盖，一次即将所有物料倾倒出。 我们仔细观察会发现，a l v 在往返于挖掘点与倾倒点之 问时，车头始终朝着一个方向。而传统装载机在挖掘完后， 车身需要转1 8 0 。，头部要朝向倾倒点，才能够完成倾倒动 作，这在很多狭长的地方就不能够顺利完成。而a l v 由于 是尾部的容器倾倒所以不需掉头，来回的行走曲线非常简 单。 以上是新型无人化控制的装载机及其行走路线的设计， 下来我们来看看国外在挖掘机自动化改造方面的成果。 如图1 5 是由小松所制作的一个挖掘机器人的成品，正在自动进行挖掘作业，我们 可以看到它的头部有一个很大的控制单元。此挖掘机器人的硬件由液压控制、伺服控制 及能源供给系统构成，还包括编码器、压力传感器等作为感觉系统，使用工业级p c 作 为机器人的大脑。软件上同时采用机器语言和高级语言( c + + ) 进行程序编制。 图卜5 小松挖掘机器人 f i g l 一5t h ek o m a ts ur o b o t ice x c a v a t o r 国外大部分的研究都是集中于挖掘机工作装置即铲斗挖掘控制，主要研究的挖掘曲 线与力的控制，如图1 6 a ，根据人类操作铲斗的经验设计出最优化的自动挖掘方案。如 图1 6 b 为某实验室为研究土地对铲斗抵抗力所搭建的实验平台。只有少数研究集中于挖 耋 动 入 协 撕 纰 陕西科技大学硕士学位论文 掘机的行走控制，主要采取机身搭载一对激光传感器，检测周边环境的地势从而并驱动 行走。 a )b ) 囤1 - 6 挖掘机抵抗力的研究”1 f i gl 一6 r e s e a r c ho fr e s is t i y ef o r c ea c t i n go nt h eb u c k e t 我国在此研究课题上，还未投入相关研究，几乎是一片空白。因此本研究希望借鉴 国外先进的控制理论，不仅研究铲斗的控制，并且主要致力于挖掘机自动行走的控制， 以及对挖掘对象性质特点的检测。 1 4 研究的主要内容 1 ) 设计总体方案，分析研究确定各个功能模块，选用合适的传感测量元件，设计制 定出一套适合于本研究课题的最优化、最可靠、最完整的控制方法。 2 ) 依据图像数字的特点和基本识别原理，以及单摄像头拍摄后图像的处理过程，利 用边缘追踪的算法将对象的边缘抽取出来。使两摄像头的图像放在一起，进行对应点匹 配，求得三维坐标，并计算相对距离和角度的双目识别算法。 3 ) 在获得视觉传感器检测结果的基础上，给出挖掘机的行走控制算法，补错算法， 以及整套的硬件电路和通讯、驱动的原理、方法、程序。特别对行走控制中复杂的软硬 件调试按照每个模块分别进行实验研究。 4 ) 介绍挖掘机铲斗的结构及控制，利用机械手的运动学解析原理，对挖掘机工作装 置的动臂、斗杆和铲斗各关节进行运动学解析以及逆运动学解析，还提出了带领自卸车 进入环境的控制方法。 6 挖掘机控制系统及作业对象物的识别 2 总体设计方案 2 1 研究目标 传统的挖掘机，一般工作流程为： 1 ) 操作人员观察对象物的位置和大小。 2 ) 双手分别拉动左、右操纵杆控制挖掘机履带直行、左拐、右拐。 3 ) 到达对象物位置后，控制铲斗挖起一铲并倒入自卸车，将此动作重复数次直到对 象物大部分被挖走。 在挖掘机智能化系统的设计中。操作人员的判断、控制将全部由智能化的软硬件代 替。如图2 - 1 ，对于一般的机电系统设计，要求先由传感器对作业对象物进行识别，然 后由计算机处理，进行物理建模并制定作业计划，最后驱动执行机构开始作业。在作业 过程中由于不可避免的有固有误差和外来干扰，可再次通过传感器观察，经过物理模型， 对作业计划进行修正，并再次驱动执行机构准确的完成作业。 图2 - 1 一般机械智能化改造的结构“1 f i 9 2 1g e n e r a ls t r u c t u r eo fr o b o t i cm c h i n e 对于挖掘机的自动控制的研究，要求达到如下目标： 首先是第一步，如何完成观察对象物并确定其位置及大小。需要选用适合的传感器， 过去的移动机器人主要采取超声波或者激光传感器。激光传感器的基本原理是通过测量 激光往返目标所需时间来确定目标距离。但容易受到气象条件的限制，不适于在大范围内 搜索目标。超声波传感器是依据声速测量距离的，因此也存在一些固有的缺点，在许多复 杂的特殊环境下不能使用。随着微电子技术的发展电荷藕合器件图像传感器c c d ( c h a r g e c o u p l e dd e v i c e ) 应运而生。一般采取c c d 摄像机配合视频采集卡，通过视频 采集卡a d 转换即可将图像数据输入计算机进行处理。利用适当的算法，c c d 摄像机不 仅可以检测物体方位距离，还可以精确计算物体形状，甚至可以检测物体的表面参数， 7 陕西科技大学硕士学位论文 判断物体的材料、质地。 确定对象物的位置、大小后，操纵挖掘机履带轮动作。计算位置，需要具体给出方 位角和直线距离两个分量，将挖掘机与对象物之间的方位角和距离换算成履带轮需要转 动的圈数，控制执行机构动作，然后配以适当的位移传感器，可以精确的控制挖掘机到 达。 最后对挖掘机工作装置进行建模，计算“手爪”相对于挖掘机极坐标的变换矩阵、 对象物相对于挖掘机的坐标，进而计算最优化动作曲线完成挖掘、装载等动作。 露天采矿、修建公路需要快速移动大量的土、砂和岩石。用爆炸和机械技术破碎这 些材料，然后由挖掘机( 矿山专用正铲挖掘机) 以及装载机等设备将这些物料装入卡车 运走。在完全无人操作无人监控的情况下识别作业对象，自动完成挖掘作业。研究的试 验环境为一个封闭的、人无法进入，只有挖掘机可以进入的环境。开始时挖掘机对周围 环境非常陌生，凭借传感器检测是否有物体以及物体的距离和方位。根据这些数据规划 接近物体的路线以及分次挖掘的方案。 2 2 各控制模块的分析和比较 2 2 1 驱动控制的分析 迄今为止的大部分移动机器人都是采用机身搭载集成电路的控制方案，即将机器人 的“头脑”和“身体”安装在一起，这样就可以由机器人自身完成简单的控制动作，一 般适合于基于行为的机器人，对每个传感器接收到不同信息做出相应反应。但这样就受 到很多限制，如机器人体积小，就无法搭载大规模的集成电路。如果机器人进入到比较 危险或残酷的环境中，如排雷机器人，在中途由于电量不足、焊接点接触不良出现故障 时，就无法修理甚至无法回收，只能够废弃，设计者的心血和制造成本就付之一炬。另 外，小型的集成电路无法快速处理较大的计算量，也就无法完成图像处理的要求。 另一方面，如果直接采取p c 或工控机计算机来控制机器人，计算机与机器人之间 必然存在复杂的连线，限制了机器人无法自由活动。 综合以上情况，近几年来，无线远程控制机器人逐渐产生，并有长足发展。一般的， 在机器人上搭载简单的p l c 或单片机集成电路作为执行机构的驱动，与由人操作的远程 上位计算机，利用无线通讯接受任务并驱动执行机构完成作业，并将现场的环境数据通 过无线通讯反馈给上位机。 要进行远程控制，就需要对上位机和机器人所搭载的控制电路之间进行通信。通信 的基本方式可分为并行通信和串行通信：并行通信是数据并行传输，至少需要八条数据 线和一条公共线，有时还需要状态、应答等控制线，长距离传输时，价格较贵且不方便， 优点是传送速度快。串行通讯只需要- - n 两根数据线，长距离传送时，比较经济，但由 挖掘机控制系统及作业对象物的识别 于每次只能传送一位，传送速度较慢，随着通信信号频率的提高，传送速度较慢的矛盾 已经缓解。 在工业上串口的无线传输技术已经是成熟了，不但应用于控制领域还用于传感器信 号传输等等，相对来说是一种比较可靠的传输手段。大多数p c 都具有r s 2 3 2 c 接口， 尽管它的性能指标并非很好，但在广泛的市场支持下依然长盛不衰。就使用而言， r s 2 3 2 c 也确实有其优势，仅需3 根线便可以在两个设备之间全双工的传送数据。不过， r s 2 3 2 c 要比使用并行通信的打印机接口更难。r s 2 3 2 c 使用了更多的寄存器，这些寄 存器用来实现串行数据的传送及r s 2 3 2 c 设备之间的握手( 在传输数据前为检测双方设 备是否都已准备好所设计的预处理过程，握手这个词在众多专业资料中都己广泛使用) 与流量控制。在应用上看，通常是很多台无线同时工作，也可以达到预想的要求。就机 器人来说，比如工厂里的a g v ，基本都是通过无线控制的，其中很多也是由串口传输信 息的。 2 2 2 图像传感器的选择 传统的机器人所用于识别环境的传感器有激光传感器和红外线传感器等，这些传感 器都具有单一、不够精确、不够直观的缺点，举一个比较简单的例子，此类传感器与c c d 传感器相比，就像人类行走时用手摸索( 激光、红外传感器) 和用眼睛( c c d ) 观察环 境的区别一样。随着研究的深入，无疑c c d 传感器已是新型机器人系统不可缺少的一 部分。 因此，在传感器的选择上，我们选择c c d 摄像机配合图像采集卡。如果只使用一 个摄像机，由摄像机的成像原理，只可以检测到物体的方位，无法检测到距离，这样就 需要与距离传感器配合使用。另一种检测方法是利用人类双眼立体成像的原理，在挖掘 机机身两侧安装两个c c d 摄像头以拍摄物体图像，将同一点在两个图像中所成像匹配， 根据两摄像机投影面中的坐标计算在空间中该点相对于摄像机的三维坐标。 2 2 3 位移传感器的比较 位移传感器及角度传感器：检测到对象物的相对方位角后，就要驱动履带轮转动， 转到一个角度之后刚好正对这对象物，下一步就可以面对对象物直线行驶，为保证转动 角度精确，需要选择合适的角度传感器。同样，检测到相对距离后，就要驱动挖掘机前 进，在前进过程中，为保证挖掘机所走的路程符合原来所预想要走的距离，就需要再安 装位移传感器。 对于电动机的测速通常使用编码器。编码器输出表示位移增量的编码器脉冲信号， 并带有符号。根据检测原理，编码器可分为光学式、磁式、感应式和电容式。根据其刻 度方法及信号输出形式，分为增量式编码器和绝对式编码器。作为机器人位移传感器， 光电编码器应用最为广泛。 光电编码器的工作原理如图2 - 2 所示，在圆盘上有规则地刻有透光和不透光的线条， 在圆盘两侧，安放发光元件和光敏元件。当囫盘旋转时，光敏元件接收的光通量随透光 线条同步变化，光敏元件输出波形经过整形后变为脉冲，每转一圈输出一个脉冲。此外， 为判断旋转方向，码盘还可提供相位相差9 俨的两路脉冲信号。 由于挖掘机工作环境复杂，不适宜使用这种传感器。 llj 酸 几j 几nn 几几n 厂 8 几九几几几几n 。九广 zj1。一 图2 - 2 光电编码器工作原理图及输出波形” f i 9 2 2t h ep r i n c i p l eo fe o c o d e ra n dit so u t p u tp u r s e 对于自行车，汽车等测速普遍使用磁式编码器：在车轮上装上磁铁，在车轮旁边固 定干簧管式的磁通开关作为传感器，干簧管价格低廉，原理简单，但检测速度很低，最 多只能一秒1 0 几次，这个速度用在自行车的粗略检测上还可以，但是检测履带轮转动的 圈数比自行车快1 0 倍以上。并且在实验过程中发现，干簧管的抖动现象非常严重，导致 计数器的计数值不准确，对检测和计算结果的精确性非常不利，这种传感器显然不行。 考虑用了一个霍尔元件代替干簧管，霍尔元件是一种半导体的磁通开关元件，响应 速度起码可以上千赫兹。 霍尔器件是一种磁传感器。用它们可以检测磁场及其变化，可在各种与磁场有关的 场合中使用。霍尔器件以霍尔效应为其工作基础。 霍尔器件具有许多优点，它们的结构牢固，体积小，重量轻，寿命长，安装方便， 功耗小，频率高( 可达1 m h z ) ，耐震动，不怕灰尘、油污、水汽及盐雾等的污染或腐蚀。 霍尔线性器件的精度高、线性度好的霍尔开关器件无触点、无磨损、输出波形清晰、 无抖动、无回跳、位置重复精度高( 可达a m 级) 。具有各种补偿和保护措旌的霍尔器件 的工作温度范围宽，可达- - 5 5 1 5 0 。 按照霍尔器件的功能可将它们分为：霍尔线性器件和霍尔开关器件。前者输出模拟 挖掘机控制系统及作业对象物的识别 量，后者输出数字量。根据要求，霍尔开关器件比较符合我们的要求。 2 3 控制方案的确定 综上所述，我们给出如下的控制系统： 如图2 3 所示，系统的硬件由一台现场计算机( 远程控制平台) 、双目视觉系统和单片 机系统( 本地控制系统) 组成。由视觉识别系统搜索对象物，当发现对象物时，输入图像 数据到上位机，利用v c 开发的程序计算对象物的相对位置及体积。计算结果通过无线 传输至下位单片机，由单片机驱动履带轮转动，并检测运动状况，到达对象物的位置后 执行挖掘动作。另一方面还可以计算对象物的近似体积，根据每次的挖掘量计划挖掘的 次数。 图2 - 3 控制方案 f i 9 2 3c o n t r o l $ c h e m o 工作流程如图2 4 所示的流程图( 见下页) ： 1 1 竖亘型苎查兰竺主兰堡兰苎 图2 - 4 总流程图 f i 9 2 4g e n e r a lf l o w 1 2 挖掘机控制系统及作业对象物的识别 3 计算机图像识别原理 3 1 数字图像基本概念 图像是记录在介质上的客观景物的映像，如照片、电影、电视等。当用数字方法描 述一幅图像时，常常着重考虑它的点的性质，它可以被看成是各个坐标点上光强度的集 合，图像上的点称为像素( p i x e l ) 。图像的最普遍的数学表达式为 i = f ( x ，y ，z ，k t )( 3 1 ) 式中： x ，y ，z 一空间坐标； - 一波长； 卜- 时间； 卜惕素上的光强度。 采用不同的自变量和光强度范围可得到不同类型的图像。如表3 1 所示。 表3 - 1 不同类型的图形及其参数“1 t a b 3 1d i f f e r e n tk i n d s o ff i g u r e $ a n dp a t a m e t e r s 注：表不该类图像需要此参数带括号时表不此参数可有司无 最基本的图像是黑白灰阶图像，它可以看成光强度的两维函数，黑白图像像素的光 强度通常称为灰度，灰度可在最亮值和最暗值之间取值。立体图像可看成两幅灰阶图像 的合成，一幅为左视图，一幅为右视图，由同一点在左、右视图中的不同坐标可计算出 三维深度信息。在挖掘机的对象物识别中，我们主要处理的图像都是立体灰度图像。 图像记录了每个像素上的强度，对于黑白图像而言光强度称为灰度。通常在计算机 图像中灰度用一个字( w o r d ) 数来表示，取值o - 2 5 5 ，0 值对应黑色，2 5 5 对应白色，中间 值对应中间的灰度等级。 计算机只能处理离散的数据，图像数据若需要用计算机进行存储、显示或处理，首 先需要进行数字化，即转变为二进制数“1 。 陕西科技大学硕士学位论文 形象的说一幅数字图像就象纵横交错的棋盘，棋盘行和列的数目就表示图像的大小。 比如说指纹图像大小是6 4 0 x 6 4 0 ，实际上就表示图像有6 4 0 行和6 4 0 列。棋盘的格子就 是图像的基本元素像素。每个像素都取值0 - 2 5 5 的整数，代表了这个格子的亮度。 取值越大，则越亮，反之，则越暗。正是或明或暗、密密麻麻的格子形成了我们在计算 机上所看见的指纹图像、人像和其他各种黑白图像。 最重要的数字化为x ，y 方向的网格化和光强度i 的量化。光栅扫描己实现图像在垂 直方向上的离散化，图像像素数据的数字化是对一维的电信号再做等间隔采样。网格化 是二维空间的数字化，用于确定图像数据的采样点，就像在图像上覆盖一组等问隔的水 平线和垂直线，采样点就取在它们的交点上。量化则是将采样点处的光强度离散化，对 于黑白灰阶图像而言，通常每个分量分成2 5 6 个等级，即数字量8 位，用一个字节表示。 数字图像处理又称为计算机图像处理，它是指将图像信号转换成数字信号并利用计 算机对其进行处理的过程。 图像处理的主要内容有图像编码、图像的增强和复原、图像分析、图像重建。在本 研究中，我们主要用到的是图像分析和图像三维重建。 图像分析通常分为3 步进行，即分割、描述和分类。人能方便地从一幅图像中找出 感兴趣的物体或区域，而要计算机做到这一点却需要给它一客观测度，使之按灰度、颜 色或集合性质等把一些物体或区域加以分离，这称为分割。再用适当的数学语言( 如图 论、句法、形态学等) 来表示已分离区域或物体的结构与统计性质，或表示区域间的关 系得出一种简练的表达方式，这称为描述。图像经分割，描述后就较容易对之做进步 的分类与识别处理。三维重建是利用阴影、运动、体视等图像信息回复三维物体形状的 复杂的重建技术。 数字图像处理有许多优点： 1 ) 再现性好数字图像处理与模拟图像处理的根本不同在于，它不会因图像的存储、 传输或复制等一系列变换操作而导致图像质量的退化。 2 ) 处理精度高按目前的技术，几乎可将一幅模拟图像数字化为任意大小的二维数 组。这意味着图像的数字化精度可以达到满足任一应用需求。对计算机而言，不论数组 大小，也不论每个像素的位数多少，其处理程序几乎是样的。从原理上讲不论图像的 精度有多高，处理总是能实现的，只要在处理时改变程序中的数组参数就可以了。而图 像的模拟处理，为了要把处理精度提高一个数量级，就要大幅度地改进处理装置，这在 经济上是极不合算的。 3 ) 适用面宽图像可以来自多种信息源，它们可以是可见光圈像，也可以是不可见 的波谱图像。从图像反映的客观实体尺度看，可以小到电子显微镜图像，大到航空照片、 遥感图像甚至天文望远镜图像。这些来自不同信息源的图像只要被变换为数字编码形式 1 4 挖掘机控制系统及作业对象物的识别 后，均是用二维数组表示的灰度图像组合而成，因而均可用计算机来处理。图像的数字 处理方法适用于任何一种图像。 4 ) 灵活性高图像处理大体上可分为图像的像质改善、图像分析和图像重建三大部 分，每一部分均包含丰富的内容。由于图像的光学处理从原理上讲只能进行线性运算， 这极大地限制了光学图像处理能实现的目标。而数字图像处理不仅能完成线性运算，而 且能实现非线性处理，即凡是可以用数学公式或逻辑关系来表达的一切运算均可用数字 图像处理实现。 数字图像处理的应用前景广阔，图像是人类获取和交换信息的主要来源，因此，图 像处理的应用领域必然涉及到人类生活和工作的方方面面。随着人类活动范围的不断扩 大，图像处理的应用领域也将随之不断扩大。 3 2 图像处理与识别 挖掘机对象物的识别中，主要用到的图像处理方法为轮廓跟踪。轮廓跟踪，顾名思 义就是通过顺序找出边缘点来跟踪出边界。本节主要介绍这种识别方法的原理。 图像中一般包含许多对象区域。图像处理的主要任务是将它们寻找出来，并进行分 析、研究。因此描述区域的数据结构极为重要。区域有两种表示方法，即轮廓( 边界) 表示法和水平线段端点表示法。轮廓表示法基于区域边界上相邻像素的连通性，沿区域 边界走一圈回到起始点得到一段封闭曲线，使用与轮廓完整，但内部像素性质不一致的 区域的分割。通常，轮廓采用跟踪方法得到，线段则采用扫描标记方法得到。 在介绍轮廓跟踪之前有一个重要的概念要介绍，就是链码。链码是图像处理中出现 较早的概念，它