（机械设计及理论专业论文）基于计算机视觉技术的斗轮机自动控制系统的研究.pdf

华北电 力大学 ( 北京) 硕士学位论文 摘要 把计算机视觉的方法 ( 结构光条法) 运用到斗轮机的自动控制系统中。使斗轮 机的在启动和正常的作业过程中，可以实现自 动寻找煤堆，进行堆煤、取煤作业。 论文在对斗轮机控制系统的组成结构、原理进行了一定的研究的基础上;提出了一 套完整的基于计算机视觉方法的斗轮机自 动控制系统的解决方案。并对结构光条法 所采取的技术方案进行了实验验证，获得了令人满意的效果。 论文并对斗轮机与中央控制室间的通讯方案进行了研究，经过比较和筛选，选 用了电力载波的方法。从根本上解决了斗轮机未能纳入整个输煤系统的问题，使整 个输煤系统程序控制融为一体。与以往人工操作比较，提高了输煤系统的自 动化水 平和工作效率，减少了由于人为因素造成的资源浪费，有效地利用了现有资源。 关键字:斗轮堆取料机，自动控制，计算机视觉，激光线结构光，电力载波 华北电力大学 北京)硕士学位论文 ab s t r a c t i n t h i s p a p e r , t h e c o m p u t e r v i s i o n ( s t r u c t u r e d l i n g h t ) i s a p p l i e d t o t h e a u t o m a t i o n a n d c o n t r o l s y s t e m o f t h e b u c k e t w h e e l s t a c k e r a n d r e c l a i me r . wh e n t h e b u c k e t w h e e l s t a c k e r a n d r e c l a i m e r i s s t a r t i n g o r w o r k i n g , i t c a n f i n d t h e c o a l a n d s t a c k o r r e c l a i m a u t o ma t i c a l l y . t h i s p a p e r e m p h a s i z e s o n t h e r e s e a r c h o n t h e s t r u c t u r e a n d p r i n c i p l e o f t h e a u t o m a t i o n a n d c o n t r o l s y s t e m o f t h e b u c k e t w h e e l s t a c k e r a n d r e c l a i m e r . i h a v e a t e s t o f t h e s t r u c t u r e d l i g h t , t h e r e s u l t i s s a t i s f a c t i o n . t h e c o m m u n i c a t i o n w a y b e t w e e n t h e b u c k e t w h e e l s t a c k e r a n d r e c l a i m e r a n d t h e c e n t r a l c o n t r o l r o o m i s s t u d i e d . c o m p a r i n g m a n y w a y s , i u s e t h e p o w e r l i n e c a r r i e r c o m m u n i c a t i o n . s o l v i n g t h e h a r d n u t w h i c h t h e b u c k e t w h e e l s t a c k e r a n d r e c l a i m e r w o r k i n g h a v e n o t b r i n g i n t o t h e w h o l e a u t o m a t i c a l l y c o n t r o l l i n g s y s t e m o f t r a n s p o r t i n g c o a l f o r l o n g t i m e . c o m p a r i n g w i t h t h e f o r m e r a r t i f i c i a l o p e r a t i o n , i t i n c r e a s e s t h e w o r k e f f i c i e n c y a n d r e d u c e s i n e l u c t a b l e w a s t e o f r e s o u r c e s b e c a u s e o f t h e a r t i f i c i a l f a c t o r , a n d a v a i l a b l y ma k e s u s e o f t h e c u r r e n t r e s o u r c e s . c h e n z h i y o n g ( m e c h a n i c a l d e s i g n a n d t h e o r y ) d i r e c t e d b y p r o f . c h a n g l i a n s h e n g k e y wo r d s : b u c k e t w h e e l s t a c k e r a n d r e c l a i me r , a u t o ma t i c c o n t r o l , c o mp u t e r v i s i o n , l a s e r s t r i p e , p o w e r l i n e c a r r i e r c o mm u n i c a t i o n n 华北电力大学 ( 北京)硕士学位论文 第一章 绪论 本章主要介绍课题选题的背景和意义以及国内外的研究现状，提出了应用计算 机视觉的方法，采用以 pc( 工业控制计算机)为基础，控制斗轮机使其能够在启 动过程和正常的运行过程中实现自动运行。 1 . 1 选题的背景和意义 斗轮堆取料机是在斗轮挖掘机的基础上发展起来的，是一种新型高效率的连续 装卸设备。其结构与斗轮挖掘机基本相同，只是在挖掘能力上有所差异。斗轮堆取 料机主要用于专用的散料码头、钢铁企业、大型电站及矿山的散料装卸各种矿石、 煤、砂石、焦炭、耐火材料及化工原料等散粒物料。是一种大型高效率的连续作业 的装卸机械设备，在国内外得到广泛应用。 斗轮堆取料机也是火力发电厂输煤系统中取煤和堆煤的重要设备之一，它的安 全、有效运行对电厂的正常、持续运行起关键作用。正确深入地理解斗轮机的工作 过程以及 自动控制过程，对于提高电厂的自动化水平、合理利用有限的资源 ( 人力 煤、煤场) 是十分必要的。斗轮机的工作过程分为取煤和堆煤，堆煤的过程是: 煤沟皮带一斗轮机尾车的皮带斗轮机摇臂皮带、煤场煤堆;取煤的过程是:煤场 煤堆一轮斗一斗轮机摇臂皮带斗轮机尾车的皮带一输煤栈桥皮带一原煤仓。为了 适应现代大电厂高度自动化生产的要求，斗轮机的工作过程就必须自动化、智能 化。例如:斗轮机何时取煤何时堆煤，取煤时该取多少，相关的设备该如何动作; 堆煤时还须进行哪些相应的动作等等都让特定的系统自己来确定。控制室的操作人 员可以通过电脑显示屏的画面切换来了解斗轮机取煤量、悬臂角度、回转角度、大 车位置、各驱动装置、辅助系统等斗轮机各部件、各系统的运行情况;并随时与主 控室之间进行数据交换，在主控室可以设定各运行参数，并通过显示屏了解斗轮机 的运行状况和故障原因等，操作人员可以通过显示屏了解锅炉房煤仓的煤位状况。 加上计算机视觉系统，控制计算机可以通过对结构光图像的识别，实现自动的寻找 堆煤和取煤的位置，实现堆煤和取煤的全过程自动控制。 目前，斗轮机的运行方式有就地手动控制、半自动控制和自动控制三种。 1 、手动控制 就地手动控制指的是操作人员在斗轮机驾驶室内对单台设备进行现场操作，不 能实现系统复杂的联锁要求，斗轮机独立运行。输煤系统主控室内的工作人员不了 解现场设备的工作情况和设备的运行参数，控制室内也没有设备的报警信号及相关 数据。目前，我国的火力发电厂基本上全部采用就地手动控制方式。 2 、半 自动控制 华北电力大学 ( 北京)硕士学位论文 斗轮机的正常运作都是靠手动操作，但主控室上位机也有一定的控制权限，主 控室里的工作人员可以直接控制斗轮的启停、大车的运动等。这些操作不必经过斗 轮机控制室里的司机的许可就可以进行。相反，司机在操作控制斗轮机完成一些动 作时，必须前经主控室的授权，才能进行。但这种控制方式仅限于对斗轮机的简单 操作，输煤控制系统与斗轮机相互之间仍然没有信息交流。 3 、自动控制 自 动控制指的是斗轮机实现无人控制方式，工作人员可在远方控制室内对斗轮 机进行堆取料及各种控制。工作人员可在远方控制室内通过监控系统监视斗轮机的 工作情况，远方控制室内的监视屏幕上有反映斗轮机工作位置和工作情况的运行情 况图示，有自 动报警系统，也可以通过计算机了解斗轮机的各种运行参数并通过打 印机获得所需要的数据。斗轮机的控制可并入输煤系统整体控制之中。目前，我国 的火力发电厂只有极少数几个电厂的进口设备采用这种运行方式。 目前，国内对于斗轮机的控制研究很少，在很多电厂中对它都采用人工控制， 信息传递也采用人工方式，这很难适应现代大电厂自动生产的要求。因此，我们有 必要对斗轮机的自动控制过程进行研究。 7 . 2 国 内 外 研究 现 状 川 斗轮堆取料机 ( 以下简称斗轮机)作为一种连续高效的散料输送设备广泛应用 在电厂、港口、矿山钢铁厂和水泥厂等重要工业领域中。在国民经济发展中发挥了 重要作用。 6 0 年代我国自行设计制造的第一台斗轮机获得了国家科技进步二等奖和 国家重大技术装备一等奖，这标志着我国有了自己的大型散料输送设备的制造能 力、随着机械电子技术的发展，斗轮机的作业能力、作业效率以及工作可靠性和环 境适应性不断提高。国际上有代表性的斗轮机制造厂商主要有德国的k r u p p 公司、 英国的 s h公司、意大利的 i t公司、日本的石川岛播磨和三菱公司和美国的 m w 公司等。目 前，国际先进水平的斗轮机己实现了自 适应操作，使之始终处于较高的 作业能力，并尽可能少地受环境和操作人员水平的影响。 图 1 一1 华北电力大学 ( 北京)硕士学位论文 早期的斗轮机控制系统是以普通交流异步电动机驱动的继电控制系统，系统庞 大。造价高、可靠性差自动化程度低、操作性差，全部为单机手动控制。其控制系 统结构见图1 - 1 所示。 7 0 年代后， 随着电子技术的发展。 可编程控制器 ( 简称p l c ) . p l c 主从站技术、 终端显示器的应用，大幅度减少了中间继电器及控制用电缆，机器的运行状态监测 己到了实用化的程度。到 8 0年代后期，变频器、软启动器的应用，使斗轮机的工 作平稳性得到了很大提高，而且使系统配电合理，电耗降低。但这一代的斗轮机仍 为单机的手动或半自动控制。其控制系统结构见图 1 -2 所示。 图 1 一2 可编程控制技术毕竟是一种顺序控制，难以实现复杂的智能控制和大型管理， 为此到了 9 0年代产生了将机器人的智能控制技术和计算机管理技术引入到斗轮机 控制系统的想法。 |一 图 1 一3 华北电力大学 ( 北京)硕士学位论文 以工业控制计算机 i p c( 简称工控机)为核心的斗轮机控制系统不仅可提高系 统的监测和通讯功能，便于各种先进的控制和通讯技术的应用，更重要的是可提高 系统的智能控制能力和管理能力，使斗轮机工作更可靠，操作更简便。该系统的结 构示意图如图 1 -3 所示。 采用工业控制计算机为核心的控制系统，可使系统有很强的通讯功能，便于实 时监测各检测点的工况，并通过终端显示器实时显示，而且可采用触摸式显示器直 接实现人机对话和操作。采用这种控制系统便于应用工业组态软件建立系统的控制 和管理模式，可随时监视斗轮机的运行状况，自动或人工干预调整控制参数，记录 斗轮机的运行状况和故障管理信息。进而可实现斗轮机的地面站远方控制以及建立 和应用制造厂的远程服务系统。 随着自动化及模糊逻辑控制技术的应用。提高系统运行经济性的一条重要途径 是使斗轮机额定出力工况的比率增大，以提高平均出力。实际操作者不可能理想地 去操作机器，十分严格地按设计人员预定的过程操作也取决于其素质、经验和熟练 程度。实际上往往按预定的方式操纵未理想堆放的散状物料只能减少实际出力。斗 轮机技术的发展，柔性非常好的传动控制系统和 p l c ，传感器技术的发展为解决这 一问题提供了基础。一个称为 “ 机器人化的斗轮机”研究课题已经启动，它将利用 2 1 世纪的核心技术模糊逻辑控制技术及机器人技术， 通过模仿人大脑思维，每 时每刻监测着斗轮机的运行状态、环境，p l c以比人脑更快的速度不停地进行着判 断、计算和比较，通过一个又一个指令，精确而又灵敏，简单而又有效地控制斗轮 机的工作，进而提高运行可靠性，增加工作效率。 过去的 4 0年，发达国家斗轮机技术的发展，极大地促进了散料输送工业的发 展。近年来，自动化和信息技术又推动了该产业的发展。但是我国的斗轮机无论是 机械，还是控制水平都与先进国家相比有一定的差距，不仅在机械的可靠性上，大 型化上都需要进一步提高，而且在提高运行效率，自动化和信息技术的应用上还有 很多工作要做。 本课题正是为适应我国斗轮机技术发展和电厂输煤系统全面自动化要求而提 出的。本课题基于结构光三维测量与图像三维重建技术、图像处理技术、图像识别 技术、电力载波通讯技术、p l c等技术，以火力发电厂输煤系统 ( 斗轮机控制)为 研究对象，通过对储煤场煤堆用一字线形激光线进行扫描，由c c d 摄像机采集结构 光图像，由斗轮机上的工控机对结构光图像进行预处理、三维重建和识别，通过对 三维重建和识别结果的分析和优化处理，得到斗轮机的作业位置;工控机与 p l c 通 信，控制斗轮机使其可以自 动运行。对火力发电厂输煤系统 ( 斗轮机控制)的研究 改造，提高火力发电厂输煤系统的自 动化程度，进而促进整个火力发电厂的自动化 水平;提高工作的可靠性，减少操作和值守人员，减小一线工人的劳动强度。 2 1 世纪，我国的市场经济将更发达， 效益是电厂能否生存的唯一条件，作为燃 4 华北电力大学 ( 北京)硕士学位论文 煤电厂必不可少的燃料输送装备，其运行经济性、节能、维护量少、减人降耗，符 合现代化文明生产是赖以发展的基本要求。 1 . 3 课题的关键技术与实现方案 本课题需要解决的关键技术是:利用计算机视觉技术实现斗轮机在启动时和正 常运行过程中的自动寻找煤堆位置，并找到最佳的堆、取煤作业点。 本课题采用的技术方案是: 采用结构光条法 ( 光切法)对储煤场斗轮机所对应的煤堆上的工作面用一字线 形激光器进行扫描。 由于将激光发生器和c c d 摄像机都是架设在斗轮机上的固定位置，所以对整个 煤堆的扫描是通过斗轮机在轨道上运动， 使激光器和 c c d摄像机沿斗轮机的轨道方 向作平动实现的。因此要实现对斗轮机一侧的煤堆作业面的扫描，要使斗轮机在其 导轨上运动一次 ( 即从导轨的一端运动到另一端) 。这样才能采集到煤堆的完整的 结构光图像，从而通过图像处理、数据计算等步骤，得到煤堆的三维信息;并建立 斗轮机作业面方向的煤堆的三维信息数据库，存储煤堆的三维信息。 完成一次斗轮机作业面一侧煤堆的完整扫描后，通过对煤堆图像的处理，得到 煤场煤的堆放的信息，通过一些优化原则和堆、取煤的工艺，找到斗轮机堆煤或者 取煤的作业点。当斗轮机在煤场的一个局部作业时，也可以对这个作业处进行局部 的扫描，实时的更新这个作业点的信息，并可以把这个局部的信息存储到煤场的数 据库中。 1 . 4 本课题的主要工作 本课题主要解决斗轮机控制时斗轮机的自动寻煤问题，使斗轮机完全脱离人的 干预，实现完整的斗轮机自 动控制系统。本课题主要采用结构光条法 ( 光切法)对 储煤场的煤堆进行图像采集和识别。以数字图像处理技术、数字图像识别技术、三 维重建技术、电力载波通讯技术、p l c等技术，以火力发电厂输煤系统 ( 斗轮机控 制)为研究对象，通过对储煤场煤堆进行结构光扫描、图像采集、识别，控制斗轮 机使其可以自动运行，提高火力发电厂的输煤系统的自动化水平。 1 、利用数字图像采集技术，采集煤场煤堆的结构光条图像。 2 、通过数字图像处理技术，对数字图像数据进行图像增强、去噪声滤除、 二值化等预处理。 3 、对经过预处理的数字图像进行坐标变换和三维信息的计算、三维重建， 得到煤堆的三维轮廓和尺寸信息。并根据煤场斗轮机堆取煤的工艺确定 斗轮机的运动规律，并对运动规律进行优化。 华北电力大学 北京)硕士学位论文 通过对斗轮机堆、取料规则进行分析，建立斗轮机的自动堆、取料规则。 斗轮机上的工控机与中央主控室间以电力载波的方式进行通讯，中央主 控室可以控制斗轮机运行和得到斗轮机的运行数据。 、 月任5 华北电力大学 ( 北京)硕士学位论文 第二章 计算机视觉的相关理论 2 . 1 引言 视觉是人类获取信息的强有力且最有效的手段，人类是通过眼睛与大脑来获 取、处理和理解视觉信息的。周围环境中的物体在可见光的照射下，在人眼的视网 膜上形成图像，由感光细胞转换成神经脉冲信号。在经过神经纤维传入大脑皮层进 行处理与理解。视觉，不仅指对光信号的感受，它还包括视觉信息的获取、传输、 处理、存储与理解的全过程。信号处理科学与计算机技术出现以后，人们试图用摄 像机获取景物图像并转换成数字信号，用计算机实现对视觉信息的处理的全过程， 从而逐渐形成了一门新兴的学科，即计算机视觉。 现实世界中的物体都是三维的，人眼所获得的景物图像却是二维的，但是人类 的视觉系统能够很容易的从二维图像中感知三维世界，获得三维世界的信息。计算 机视觉的研究目标就是使计算机具有通过一幅或多幅图像认识周围环境信息的能 力。 这种能力不仅使计算机能感知环境中物体的几何信息，如其形状、 位置、 姿态、 运动等，而且能对它们进行描述、存储、识别和理解。计算机视觉系统的基本机构 如图 2 -1 所示。 图像 重建 图2 一1 计算机视觉的研究内容很广泛，包括图像特征检测、轮廓表达、基于特征的分 割、距离图像分析、形状模型及表达、由单幅图像信息重建三维形体、立体视觉、 运动分析、颜色视觉、主动视觉、几何不变量、自标定系统、物体检测、三维物体 识别及定位等。其应用领域也很广泛，己应用于遥感图像分析、文字识别、医学图 像处理、多媒体技术、图像数据库、工业检测与军事等方面。工业机器人的手眼系 统是计算机视觉应用最为成功的领域之一， 由于工业现场的诸多因素， 如光照条件、 成像方向均是可控的、使得问题大为简化，有利于构成实用的系统。目 前己有相当 数量的手眼系统。对移动机器人而言，主要关心的视觉问题是道路跟踪、避障、特 定目标识别等问题。典型的用于道路分析和避障的视觉系统，如卡耐基梅隆大学的 自 主 行 驶 汽车n a v l a b上的 视觉系 统。 在医 学 上， 与 计 算 机视觉 有关的 工 作 包括分 类、判断和快速三维结构的重建等方面。近年来与这一主题相关专集的出版和国际 华北电力大学 ( 北京)硕士学位论文 会议的举办促进了这一领域的快速发展。通用的物体三维形状分析和识别一直是计 算机视觉的重要目 标。在景物的特征提取、表示、知识的存储、检索以及匹配识别 等方面都取得了一定的进展，并且己构建了一些三维景物分析的系统，如麻省理工 大学 h a n s o n和 r i s e m a n的研究小组建立的 v i s i o n s ( v i s u a l i n t e g r a t i o n b y s e m a n t i c i n t e r p r e t a t i o n o f n a t u r a l s c e n e s )等。 计算机视觉是一个多学科交叉的新领域，涉及到计算机科学、人工智能、机器 人、信号处理、模式识别、控制理论、生物医学、心理学等多个学科领域，其发展 得益于神经生理学、心理学与认知科学对生物系统的研究，需要各学科的研究人员 联合起来对人脑的认知过程进行从宏观到微观的深入研究。虽然由于人脑的高度复 杂性，这种跨学科的研究还远远不够深入，但从事计算机视觉的研究者们已经发展 起来一套独立的计算理论和算法，从而能对视觉信息 ( 或者说，对图像)进行分析 和处理。随着跨学科基础研究的不断深入，随着计算机性能的快速提高，计算机视 觉会有更为广阔的应用前景。 2 . 2 计 算 机 视 觉 的 理 论 2 1 计算机视觉的研究开始于五十年代中期，当时的研究主要集中在二维景物图像 的分析。利用二维图像解释三维目标和景物的研究始于 1 9 6 5年 r o b e r t s对多面体 识别中提出的 “ 积木世界” 。在这之后，随着研究的深入，提出了有代表性的计算 机视觉的三个理论框架。 2 . 2 . 1 m a r r 的计算机视觉理论框架 八十年代初，马尔 ( m a r r )从神经生理学、心理物理学和临床神经病理学角度 对人类视觉进行了系统的理论研究，并以此为根据提出了视觉计算三表象理论，这 一理论第一次把神秘、复杂的视觉过程变成一个可计算的信息处理过程，是迄今为 止最为系统的视觉理论，对神经科学的发展和人工智能的研究产生了深远的影响。 m a r r 的计算视觉理论把视觉过程看作一个信息处理过程， 并把这一过程分为三 个层次:计算理论;算法与数据结构:硬件实现。这一理论强调计算理论层次，并 根据 w a r r i n g t o n临床神经学的研究结果，阐明视觉的目的是从图像中建立物体形 状和位置的描述。在这一层次把视觉过程主要规定为从二维图像信息中定量恢复图 像所反映的三维场景中物体的形状和空间位置，即三维重建。 在计算理论这一层次，m a r r将三维重建这一过程分为三个阶段，如图2 -2 所 不 。 华北电力大学 ( 北京)硕士学位论文 图 2 一2 前期视觉处理阶段是由输入的二维图像获得二维要素图，包括检测灰度变化， 表示和分析局部几何结构以及检测照明效应等处理。中期视觉处理阶段是对二维要 素图进行一系列运算得到能反映可见表面几何特征的表象， 即二维半 ( 2 . 5 维) 图。 这些运算包括由立体视觉运算提取深度信息; 根据灰度、 纹理等信息恢复表面方向; 由运动视觉运算获取表面形状和空间关系信息等。后期初觉处理阶段是从二维半图 获取场景物体的三维描述，识别出场景中这些物体的位置和姿态。 m a r r的视觉计算理论虽然是首次提出的关于视觉的系统理论， 并己对计算机视 觉的研究起了巨大的推动作用，但还远未解决人类视觉的理论问题，仍有在一些问 题。首先，视觉过程是成像过程的逆过程，但由于成像过程中存在投影、畸变与噪 声等原因，使得三维重建过程十分困难。而且由于真实世界十分复杂，要想通过高 度结构化的表示获得三维模型的客观描述是很困难的。 其次， m a r r 的计算视觉理论 认为输入是被动的，整个过程自 底向上没有反馈，这与生物视觉系统不相符。从八 十年代开始，人们开始探索新的视觉理论。 2 . 2 . 2基于知识的视觉理论框架 基于知识的视觉理论是围绕感知特征群的研究而展开的。1 9 8 7年，l o w e提出 用人类感知的经验去描述 目标，其理论框架如图 2 -3 所示。 目标模型 图 2 -3 l o w e 认为基于知识的视觉理论框架不需要视觉输入自底向上进行三维重建。 他 根据b i e d e r m a n , h o c h b e r g 等在心理学方面的研究结果，认为人类视觉对三维目标 华北电力大学 ( 北京)硕士学位论文 的识别可以在知识引导下通过二维图像直接完成。他将相对于观察方向保持不变的 二维特征称为非偶然性聚类，并认为在人类视觉识别中起重要作用的是一种称为感 知组织的过程，这一过程可以有效地检测出非偶然聚类，从而完成对目 标的识别。 l o w e 将由二维图像推知三维目标的过程分为三个阶段: 第一阶段利用感知组织的处 理过程，从图像特征中提取那些相对于观察方向大范围变化保持不变的分组和结 构;第二阶段在模型匹配过程中利用概率排队的方法减小搜索空间;第三阶段通过 求解未知的观察点和模型参数寻找空间对应关系，使得三维模型的投影直接与图像 特征匹配。整个过程无需三维目标表面的测量，直接利用感知原理推算有关表面的 信息。 基于知识的理论引入了反馈，强调高层知识对视觉的指导作用，但是否认计算 视觉理论，认为人类视觉只是一个识别过程，与重建无关。事实上，在一些判断物 体尺寸大小、估计物体距离的场合，仅有识别是不够的，必须进行三维重建。 2 . 2 . 3 主动视觉理论框架 主动视觉理论框架是根据人类视觉的主动性提出来的。人类视觉不是被动的， 人会根据视觉的需要移动身体或头部，以改变视角，帮助识别。同时，人类视觉也 不是对场景中所有部分一视同仁，而是根据需要有选择地对其中的一部分加以特别 的注意，对其余部分只是一般的观察甚至视而不见。因此，人类视觉的过程是与环 境交互的 “ 感知一一动作”的过程。主动视觉框架如图 2 -4 所示。 图 2 一4 在主动视觉框架中，视觉系统的基本组成部分体现了视觉行为及其所支持动作 的紧密结合，这些视觉行为并不需要三维物体的精确位置。主动视觉系统根据己有 的分析结果和视觉的当前要求，通过主动控制摄像机参数的机制来控制摄像机的运 华北电力大学 ( 北京)硕士学位论文 动，并协调所需要的处理任务与外界信号的关系。这些参数包括摄像机的位置、取 向、焦距和光圈等。另外，主动视觉还融入了 “ 注意”能力，通过改变摄像机参数 或通过摄像后数据的处理，控制 “ 注意”点，达到对空间、时间、分辨率等方面有 选择的感知。 主动视觉理论并不完全排除三维重建，但是主动视觉理论框架同样缺乏高层知 识的指导。 由以上分析可知，上述的视觉信息理论还都不能自成系统地、可靠地处理视觉 问题， 一些研究者提出了各种对上述理论进行修改的设想。 基于模型的视觉 ( m o d e l b a s e d v i s i o n )是其中有代表性的一种，它认为信息的概念是与从一组候选的对象 中做出选择相联系的。如果不知道一组可供选择的刺激或响应，人们就对刺激或响 应无从说起。此外，人们还必须知道定义这组候选对象以及能够对这组候选对象的 成员之间进行区别的特征，而且随着要解决任务的不同，这些特征也是不同的。在 感知中，选择是根据不变量 ( c o n s t a n c i e s )和参数 ( p a r a m e t e r s )做出的。如果 一个婴儿能听到声音，而他的感知不变量只包括 “ 安静”和 “ 噪声”的话，那么任 何音乐对他来说将包括一样多的信息，但是这些音乐对一个训练有素的音乐家来说 则包含丰富得多的信息。这种视觉理论利用特征检测器的概念把点状的图像数据与 宏观信息相联系。另一种有代表性的理论是基于连接机制的模型，它提供了一种并 行计算结构，其前提是认为单个神经元并不传递大量的符号信息，而是通过与许多 相似的神经元以适当的方式联结来完成计算处理的。 2 . 3 计算机立体视觉的研究现状 自然界的物体都是三维的，人类通过双眼获得物体的三维立体信息，但一般的 摄影系统只能将三维物体以二维的形式保存、记录下来，丢掉了大量的信息。计算 机立体视觉就是运用计算机技术和光学手段在获取的一幅或多幅图像中重建被摄 物体的立体形状，获得三维数据。 立体视觉的开创性工作是从六十年代中期开始的。美国m i t的 r o b e r t完成的 三维景物分析工作，把过去的二维图像分析推广到了三维景物，这标志着立体视觉 技术的诞生， 并在随后的二十年中迅速发展成为一门新的学科。 特别是七十年代末， m a r r 创立的视觉计算理论对立体视觉的发展产生了巨大影响， 现己形成从图像获取 到最终的景物可视表面重建的完整体系。经过二十多年的研究，立体视觉在机器人 视觉、航空测绘、军事应用、医学诊断及工业检测中的应用越来越广泛，研究方法 从早期的以统计相关理论为基础的相关匹配，发展到具有很强生理学背景的特征匹 配，从串行到并行，从直接依赖于输入信号的低层处理到依赖于特征、结构、关系 和知识的高层次处理，性能不断提高，其理论正处在不断发展与完善之中。 华北电力大学 北京)硕士学位论文 2 . 3 . 1 常用的三维感知方法 三维景物感知是计算机视觉的关键技术之一。目前，获取距离信息的方法和技 术很多，每种方法各有其适用范围和产生的背景，且各有优缺点。一般来讲，常用 的三维感知和测距技术方法分为主动 a c t i v e )和被动 ( p a s s i v e )两类。前者使 用专门的光源装置提供目标物体周围的照明，后者则由物体周围的光线提供。 1 、主动测距方法 主动测距方法的基本思想是利用特定的、人为控制的辐射源 ( 光源、声源等) 对景物目标进行照射，根据物体表面的反射特性及光学、声学特性来获取目标的三 维信息。其特点是具有较高的测距精度、抗千扰能力和实时性。具有代表性的方法 有:结构光法、莫尔阴影法、飞行时间法、三角测距法和散焦测距法。 ( 1 )结构光法 ( 光切法) 这是一种既利用图像又利用可控制辐射源的测距方法，其基本思想是利用照明 中的几何信息帮助提取景物中的几何信息。光条法是使用结构光的一种最简单的情 况。结构光条测距器主要由光条发生器和摄像机组成，由光条发生器发射的结构光 称为光平面，当光平面投射景物时，在景物上会出现一系列光条图案，所以摄像机 获取的景物图像是一系列的光条图像，在这些光条里包含了图像所对应景物的几何 信息。结构光的形式不只光点和条纹， 还有网格结构光法、圆形光条法、交叉线法、 彩色编码条纹法等。更精确的结构光测距方法有利用光千涉条纹性质的莫尔干涉条 纹法、全息激光千涉法以 及光衍射效应的测距方法。 结构光法的最大优点就是可减少计算复杂性，改善测量精度，对于平坦的、无 明显纹理和形状变化的表面区域都可进行精密的测量。其缺点是对设备和外界光线 要求较高，造价昂贵。 ( 2 )飞行时间法 ( t o f ) 光和声音在空气中的传播速度是一定的，由测距器主动发出脉冲，到达物体表 面后反射回来，计算脉冲在测距器与物体表面之间的飞行时间就能得到相应的距 离。根据发射源的不同，脉冲测距可分为超声测距和激光测距。因为光速比声速快 得多，而且激光具有相当高的定位精度，因此可以更快、更精确地测得距离。 飞行时间法直接利用光和声波的传播特性，不需要进行灰度图像的获取与分 析，因此距离的获取不受物体表面性质的影响，可快速准确地获取景物表面完整的 三维信息。但是，它需要较复杂的光电设备，造价昂贵，测量精度与设备的灵敏度 有很大关系。 三角测距法与飞行时间法一样，也是基于分析向物体表面发射能量的反馈。 2 、被动测距技术 被动测距技术是目 前研究最多、应用最广的一种距离感知技术。它不需要人为 华北电力大学 ( 北京)硕士学位论文 地设置辐射源，只利用场景在自 然光照下的二维图像来重建景物的三维信息，具有 适应性强、实现手段灵活、造价低的优点。但是，这种方法是由低维信号计算高维 信号，因而解决的困难很大。对它的研究涉及视觉心理和生理学、数学、物理学以 及计算机科学等学科的内容，是计算机视觉最为活跃的领域之一。主要有以下几种 方法: ( 1 ) s h a p e f r o m x 、立体视觉和光度立体视觉等。 s h a p e f r o m x x 指图像中包含的阴影、遮挡边界、轮廓以及纹理等，s h a p e f r o m x 是指利用 单幅图像从 x 恢复形状。 空间物体表面取向的逐步发展变化会引起图像的灰度变化，由明暗恢复形状的 方法就是如何在一定的约束条件下从平滑的灰度图重建表面取向的信息，从而得到 物体的相对距离信息。 h o r n 最早在其博士论文中讨论了从阴影恢复形状的问题， 并 在这方面进行了深入的研究。 纹理的尺寸、形状和密度等变化为表面形状和姿态估计提供了依据，从纹理恢 复形状正是利用了纹理的这些变化。g i b s o n 在 1 9 5 0 年首先提出由纹理或纹理梯度 来确定表面深度的变化。由纹理恢复三维信息的过程取决于表面梯度、视线与图像 平面之间的夹角以及观察点与表面间的距离等因素。 s h a p e f r o m x 方法一般常用来重建物体表面的表面方向等信息，如果要重建距 离信息，则需要增加更多的约束条件和先验知识。 ( 2 )立体a距技术 立体视觉是计算机被动测距方法中最重要的距离感知技术，它模拟人类的视觉 处理景物的方式，可以在多种条件下灵活地测量景物的立体信息，其作用是其他计 算机视觉方法所不能取代的，对它的研究，无论从视觉生理的角度还是在工程应用 中都具有十分重要的意义。 ( 3 )光度立体视觉 光度立体视觉是将立体视觉与从阴影恢复技术相结合。其基本思想为通过不同 光源产生不同的图像辐射方程来增加方程数目，以求解表面方向。对于朗伯表面， 通过三个非共面的不同视点就可唯一确定表面取向。 通过对上述计算机视觉理论和方法的分析和结合发电厂煤场的实际情况，本课 题选用结构光法作为煤场三维信息测量和三维重建的方法。 2 . 3 . 2 结 构 光 法 原 理 3 1 结构光三维视觉方法以其大量程、 大视场、 较高精度、 光条图像信息提取简单、 实时性强及主动受控等特点，近年来在工业中得到了越来越广泛的应用。 1 、结构光三维视觉原理 华北电力大学 ( 北京)硕士学位论文 结构光三维视觉是基于光学三角法原理。如图2 -5 所示，光学投射器将一定模 式的结构光( 图 2 -5中采用的是光栅) 投影于物体表面，在表面上形成由被测物体 表面形状所调制的光栅光条三维图像。该三维图像由处于另一位置的摄像机拍摄， 从而获得光栅光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间 的相对位置和物体表面形廓( 高度) 。直观上，沿光条显示出的位移( 或偏移) 与物体 表面深度成比例，扭结表示了平面的变化，不连续显示了表面的物理间隙。当光学 投射器与摄像机之间的相对位置一定时，由畸变的光条图像坐标便可以重建物体表 面形廓，即构成了三维视觉。 图 2 一5 2 、视觉模型 图2 -6为一种模式的结构光( 光平面) 投射在物体表面上。图中有 2 个右手坐标 0 ( 叭d . ) y , - d , ( d , ,0 , d ) 图 2 一6 华北电力大学 ( 北京)硕士学位论文 系，即表示物体坐标的模块坐标系 o , x , y 挤 : 和表示物体图像坐标的图像坐标系 o , x ; y ; z 。 设物体表面上任一点坐标为( x 8 , y g z g ) ，它是对模块坐标系而一言的。为了 实现在广义坐标系中摄像机的透视成像，需将该点模块坐标系的坐标转换为图像坐 标系的坐标，即将模块坐标系的原点平移到图像坐标系的原点， 然后绕自身的x : 轴 旋转 1 8 0 0，再绕y 。 轴旋转一 0 角。因此， 在广义坐标系中， 像点与物点的关系可用 下式表示: v ,. = hx v r 2 -1 h二 p x r y ( - ,6 ) x r . ( 1 8 0 0 ) x t , 2 - 2 式中:p 为透视变换;r , ( 一 0 ) 为绕y 。 轴旋转一 0 角;r ( 1 8 0 0) 为绕x ， 轴旋转1 8 0 0; t为坐标平移。由式 ( 2 -2 )有式 ( 2 -3 ) : h - 一 t ,- 1 x r x ( 1 8 0 0 ) 一 x r y ( - /3 ) 一 x p - nno，1 00月0 0-l00 11cu00 几。典1 0 0 1 0 1土n妇 oo 上尸 一一 ，.1.1.，lesj 00c目产rj 0 0 of-l f了nu 户犷0八曰八曰 -11胜.l ，.111.j 00nll 一 s i n 刀 0 c o s 刀 0 n曰nu c o s 产 0 s i n 卢 0 po户了 f c o s p 0 一 f s i n 8 0 一 f s i n /3 一 d,; 0 一 f 一 d g ; 一1 2 - 3 自曰n目 上尸 由式 ( 2 -1 )有式 ( 2 -4 ) : v e 一 h 一 x v , 2 - 4 华北电力大学 北京)硕士学位论文 又考虑到光平面方程为: z g 一 c o t o x , + d g p 2 - 5 联立式 ( 2 -3 )式 ( 2 -5 )可得被测物体表面上任一点坐标为: x , ( d g p c o s ,6 一 d g ; c o s p 一 f 一 d p ; s i n /3 ) 一 f ( d g p s in 6 一 d g , s i n ,6 + d , c o s / 3 ) x; ( c o s ,6 c o t b 一 s in ,6 ) 一 f ( s i n ,6 c o t 9 + cos,) y g = y ,. f (s in p c o t b + c o s /3 ) 一 d gp + d g; + d p; c o t 0 1 x ; ( c o s /j c o t 9 一 s i n fl ) 一 f ( s i n ) c o t o + c o s , 6 ) z : 一 c o t o x , + d gp 2 -6 式中:f为摄像机焦距，d g a ， d , d g e , 0 为模型参数。式 ( 2 -6 )即为结构光 三维视觉模型。从视觉模型可以看出，视觉系统在使用之前必须对其模型参数进行 精确标定，这些参数包括d , 氏， d g ; , b , 0 。由于结构光视觉模型是非线性的， 因此对其参数标定比较困难。对精度要求较高的系统，可以采用了基于非线性最小 二乘法的模型参数标定方法。该方法采用一标定靶，在靶上选取 2 0个已知点，将 这些点的物坐标和像坐标分别代入视觉模型，并采用非线性最小二乘法求解模型参 数。求解过程由牛顿一 高斯法实现。由于本课题讨论的系统对测量精度的要求不是 很高，所以采用现场实验的方法对摄像机内部参数及激光器和摄像机间的位置等外 部参数进行标定，方法将在后面的章节中进一步论述。 华北电力大学 ( 北京)硕士学位论文 第三章斗轮机作业环境的场景模型 $ 3 . 1 引言 给定一帧发电厂的储煤场的图像，人可以毫不费力地分辨出其中的煤堆、煤场 设备和道路，得出煤堆的位置和估计其大小，换言之，即人能轻易地描述场景的内 容和布局。这是典型的图像理解问题。所谓图像理解就是将来自 传感器的图像数据 和预先构造的场景内容模型、有关客观世界的知识以及成像过程的知识结合起来， 以获得一个关于周边环境及对象的描述或模型。图像理解从很多传统学科，如物理 学、数学、心理学和信号处理移植来了技巧和处理方法，它是一门交叉学科。迄今 为止， 用计算机实现的图像理解系统的有效应用往往仅限于简单场景， 即背景纯净、 对象简单而容易提取特征的事例。对于复杂的储煤场景物场景，由于特征不易提取 而使问题变得困难的得多。 3 . 2 储 煤 场 的 煤 场 布 置 与 斗 轮 机 的 取 料 工 艺 4 1 3 . 2 . 1 储煤场的煤场布置 工作在煤场的斗轮堆取料机与煤场的相互对应凡何尺寸是非常重要的参数。在 堆取料机的参数中，回转半径、斗轮直径、煤堆高度，包括轨面上高度和轨面下的 高度， 以及斗轮直径等都与煤堆的几何尺寸有关。 对煤堆而言， 其参数有煤堆宽度， 煤堆长度，煤堆高度，物料种类等。 煤场的煤堆高度、煤堆长度、煤堆宽度等几何参数对本课题的计算机视觉系统 视觉模型的建立和对结构光图像的处理计算有着重要的作用。知道煤场和斗轮机的 各个参数，可以提高图像处理的速度。通过这些已知的参数，可以使计算机对图像 的理解变得简单，图像处理和图像理解部分的设计变得容易，降低了整个系统的复 杂程度，同时提高测量系统的实时性。 1 、煤堆高度与斗轮堆取料机的关系 煤场的煤堆高度在斗轮堆取料机设计中分为走行轨道踏面以上部分的高度和 踏面以下部分的高度，其和为煤堆总高度。煤堆高度对煤堆自身而言由煤堆积的静 安息角和煤堆宽度决定。在煤堆宽度一定的条件下，煤堆的静安息角越大，煤堆总 高度越高。在煤的静安息角一定的条件下，煤堆越宽，煤堆的总高度就可以越高。 许多电厂总是希望自己的煤场尽可能地多储存煤，但在选定斗轮堆取料机时宽大的 煤堆会使料场设备的投资额增大。除上述煤堆自身的因素外，煤堆的具体大小还和 华北电力大学 ( 北京)硕士学位论文 所选定的设备有关。当煤堆的轨面上部分过高时需要斗轮堆取料机在堆料状态悬臂 梁前端的皮带机改向滚筒的位置要足够高。在斗轮堆取料机上仰时的堆料作业其仰 角不可过大，原因是悬臂皮带机在过大的仰角作业会发生物料下滑现象。在同样的 上仰角度的条件下，若需增大堆料时的煤堆高度，必须加长悬臂梁的长度。因此， 轨面以上部分的煤堆高度受悬臂梁的长度和悬臂梁的上仰角度的限制。通常上仰角 度不大于 1 5 度，特殊情况下可选择 1 6 度。对于堆取料机，其悬臂皮带机既堆料又 取料，所以，如果在某一煤堆高度的条件下解决了堆料时的仰角问题，同时会发生 下俯时的俯角问题。煤堆的轨下高度也是一个不可忽视的问题。为增大存储量，一 些用户希望用增大轨面下煤堆的高度来增大料场存料量。轨面下煤堆的高度与轨上 一样需要认真的考虑。一般情况下，轨面下的煤堆高度应在 0 . 5 -1米之间，在斗 轮直径较大时可取大值。当然也可以为0 米。过低的轨下煤堆高度会使斗轮堆取料 机在下俯状态最低位置取料时下俯的角度过大，悬臂皮带机上的物料也会下滑。煤 堆的轨面上的煤堆高度和轨面下部分的煤堆高度是相对于斗轮堆取料机的几何高 度，在具体设计和选用时应当同时满足具体的使用要求。 能够知道煤堆的最大允许堆料高度和最大的静安息角度，在监