（机械电子工程专业论文）220kv330kv高压带电清扫机器人视觉系统的研究.pdf

2 2 0 k v 3 3 0 k v 高压带电清扫机器人视觉系统的研究 摘要 本文对2 2 0 k v 3 3 0 k v 高压带电清扫机器人视觉系统中的若干问题进 行了研究。高压带电清扫机器人是用于2 2 0 k v 3 3 0 k v 高压变电站环境中， 对高压绝缘瓷瓶的污秽进行带电清扫的自动化设备。为了实现清扫操作 的自动化，这里采用机器人视觉系统解决绝缘瓷瓶的识别和定位问题。 主要研究工作如下： 给出了机器人视觉系统的两种解决方案通过对绝缘瓷瓶带电清扫 操作及其工作环境的分析，给出了两种机器人视觉系统解决方案：手眼 机器人视觉系统和远距离机器人视觉系统，详细介绍了两种方案的具体 实现方法。从以上方案中提取出若干问题作为本文的主要研究内容。这 些问题包括：1 绝缘瓷瓶的特征表示和特征不变性问题；2 绝缘瓷瓶的识 别和定位问题；3 人工标志物体的视觉跟踪问题。 提出一种基于s u s a n 原理的尺度不变性特征( 以下简称s e s i f 特 征) 绝缘瓷瓶是由光滑曲面组成的、釉质表面的弱纹理物体。绝缘瓷瓶 位于室外变电站环境中，其图像会受到环境光照变化、摄像机内参数变 化、视角变化、杂乱背景、噪音、部分遮挡、表面材质和纹理等因素的 影响。本文应用s u s a n 原理、尺度空问理论和特征描述子方法，提出 一种基于s u s a n 边缘的尺度不变性特征( s e s i f 特征) ，用于绝缘瓷瓶 的特征表示。文中给出了s e s i f 特征的探测算法，通过实验系统评估了 该特征的性能，与其它不变性特征作了对比实验。这些不变性包括：视 角不变性、尺度和旋转不变性、图像模糊不变性、噪音不变性、图像压 缩不变性、线性和非线性光照不变性。实验证明了该特征的有效性。 应用s e s i f 特征解决了绝缘瓷瓶的识别和定位问题本文首先研究 了基于s e s i f 特征的匹配和约束问题，包括：1 引入s n n 算法生成匹 配假设，通过实验证明：在合适的阈值的条件下，s n n 算法的计算效率 要优于传统的k d 树方法。2 提出一种峰值数约束，用于剔除错误匹配假 设。3 应用广义霍夫变换进一步剔除5 0 以上的错误匹配。其次，本文 给出一种物体识别和精确定位算法。内容包括：1 应用r a n s a c 方法进 行粗略定位。2 采用基于李群的跟踪算法实现物体的精确定位。最后， 给出了粗略定位和精确定位的实验结果。 应用s e s i f 特征解决人工标记物体的视觉跟踪问题本文将基于边 缘特征的李群跟踪算法扩展到基于s e s i f 特征的人工标志物体的运动跟 踪中。该算法的优点在于：1 克服了原算法的边缘丢失问题；2 由于s e s i f 特征具备一定的光照不变性，因此解决了部分光照不变性问题；3 采用 基于s e s i f 特征的物体识别和定位方法解决了原算法没有解决的初始位 置问题。提出一种基于两对匹配点的初始位置算法，该方法的运算效率 要优于六点算法；4 在基于s e s i f 特征的视觉跟踪算法中引入迭代跟踪 方法，该方法能够精确定位物体。该算法克服了基于边缘特征的算法中 的运算效率低的问题；5 在窄基线跟踪算法中，引入距离约束，该约柬 能够有效剔除大多数错误匹配，保证了鲁棒性跟踪算法的有效性。最后， 给出了相关的实验室结果，证明了算法的有效性。 总之，本文对2 2 0 k v 3 3 0 k v 高压带电清扫机器人视觉系统中的主要 问题进行了研究：给出了两种机器人视觉系统解决方案；提出了一种新 的s e s i f 特征，并且系统地评估了其特性；应用s e s i f 特征解决了绝缘 瓷瓶的识别和定位问题；解决了人工标志物体的运动跟踪问题。 关键词：机器人视觉，尺度不变性，s e s i f 特征，物体识别，视觉跟 踪 s t u d yo n r o b o tv i s l 0 ns y s t e m0 f2 2 0 k v 3 3 0 k v h i g l l v o l t a g el i v e l i n ec l e a n i n gr o b o t a b s t r a c t t h i sd i s s e r t a t i o np r e s e n t sar e s e a r c ho ns e v e r a li m p o r t a n tp r o b l e m so f r o b o tv i s i o ns y s t e mo fa2 2 0 k v 3 3 0 k vh i g h - - v o l t a g el i v e - - l i n ec l e a n i n gr o b o t ( h l c r ) h l c ri s as e m i a u t o m a t i cs y s t e mt oc l e a ni n s u l a t o r si no u t d o o r 2 2 0 k v 330 k vh i g h v o l t a g et r a n s f o r m e rs u b s t a t i o n i no r d e rt o i m p l e m e n t a u t o m a t i co p e r a t i o n ，ar o b o tv i s i o ns y s t e mw i l lb ea p p l i e dt oe s t i m a t et h e r e l a t e dp o s t u r eb e t w e e ni n s u l a t o ra n dr o b o t t h em a i nr e s e a r c hi sa sf o l l o w s ： p r e s e n t i n gt w os o l u t i o n so nr o b o tv i s i o ns y s t e mb a s e do na na n a l y s i s o fh l c r ，t w os o l u t i o n so fr o b o tv i s i o ns y s t e mw e r eg i v e n ：e y e s o n h a n d r o b o tv i s i o n s y s t e m a n dr e m o t er o b o tv i s i o n s y s t e m s e v e r a lp r o b l e m s c o m i n gf r o ma b o v es o l u t i o n sh a db e e ns t u d i e d ，w h i c hi n c l u d e d ：1 h o wt o r e p r e s e n ti n v a r i a n tf e a t u r e so fi n s u l a t o r s ? 2 h o wt or e c o g n i z ea n dl o c a l i z e i n s u l a t o r s ? 3 h o wt oe s t i m a t et h em o t i o no fa3dr i g i dm a r k e r ? p r e s e n t i n g as u s a ne d g e b a s e ds c a l ei n v a r i a n tf e a t u r e ( s e s i f ) i v b e i n gt h ew e a kt e x t u r e do b j e c tw i t hc u r v e ds m o o t hs u r f a c ea n dl o c a t i n gi n o u t d o o re n v i r o n m e n t ，ar e p r e s e n t a t i o no fi n s u l a t o rm u s tc o n s i d e rs o m e f a c t o r s ，f o re x a m p l e ：c h a n g e do ni l l u m i n a t i o n ，c a m e r ap a r a m e t e r s ，v i e w p o i n t ， c l u t t e r e db a c k g r o u n d ，m a t e r i a la n dt e x t u r eo fo b je c t i nt h i sd i s s e r t a t i o n ，w e p r e s e n t e das u s a ne d g e b a s e ds c a l ei n v a r i a n tf e a t u r e ( s e s i f ) t od e s c r i b e i n s u l a t o r s ，w h i c hw a sd e r i v e df r o ms u s a np r i n c i p l e ，d i s c r e t es c a l e s p a c e t h e o r ya n dl o c a lf e a t u r ed e s c r i p t o r t h ea l g o r i t h mo fs e s i fw a sg i v e na n da s e r i e so fi n v a r i a n te x p e r i m e n t so fi n v a r i a n ti n c l u d i n gc o m p a r i s o nw i t ho t h e r i n v a r i a n tf e a t u r e so nv i e w p o i n t ，s c a l ea n dr o t a t i o n ，i m a g eb l u r , n o i s e ，j p e g c o m p r e s s i o na n di l l u m i n a t i o nw a sd o n et o o r e c o g n i z i n ga n dl o c a l i z i n gw e a kt e x t u r e do b je c tu s i n gs e s i ff i r s t l y , m a t c h i n ga n dc o n s t r a i n t so ns e s i fw e r ea p p r o a c h e d ，a sf o l l o w s ：1 s n n a l g o r i t h mw a su s e dt of i n dm a t c h e s ，b u tk - dt r e e o u re x p e r i m e n t sp r o v e d t h a ts n ni sl e s se x p e n s et h a nk dt r e ew i t has u i t a b l eb o u n d a r yc o n d i t i o n ； 2 ap e a kn u m b e rc o n s t r a i n tw a sp r e s e n t e dt oe l i m i n a t ei n c o r r e c tm a t c h e s ； 3 g e n e r a l h o u g ht r a n s f o r mw a sa p p l i e dt o e l i m i n a t em o r et h a n5 0 i n c o r r e c tm a t c h e s s e c o n d l y , a r e c o g n i t i o na n da c c u r a t el o c a l i z a t i o nm e t h o d w a sd e s c r i b e d ，w h i c hi n c l u d eo f1 ac o a r s er e c o g n i t i o na n dl o c a l i z a t i o nw i t h r a n s a cm e t h o d ；2 aa c c u r a t el o c a l i z a t i o nw i t hal i eg r o u pb a s e dt r a c k e r o u re x p e r i m e n tp r o v e dt h a ta b o v ea l g o r i t h mw a se f f e c t i v e v t r a c k i n g3 dr i g i dm a r k e ro nr o b o tu s i n gs e s i fw eh a de x t e n d e d l i eg r o u pb a s e dt r a c k i n ga l g o r i t h mw i t he d g ef e a t u r e st ow i t hs e s i f n e w a l g o r i t h ms o l v e ds e v e r a lp r o b l e m so fo r i g i n a lo n e ：1 w i t ham a t c hs e tf o u n d b ys n n ，n oe d g el o s i n gh a p p e n e d ；2 b e i n gi n v a r i a n to ni l l u m i n a t i o nw i t h s e s i f ；3 t h e i n i t i a le s t i m a t i o nc a nb e e n g i v e nb yr e c o g n i t i o na n d l o c a l i z a t i o nu s i n gs e s i f ；4 a ni t e r a t i v ee s t i m a t i o ni su s e dt ol o c a l i z eo b j e c t a c c u r a t e l yw i t hl e s se x p e n s e ；5 ad i s t a n c ec o n s t r a i n tw a sa p p l i e dt oe l i m i n a t e t h em o s ti n c o r r e c tm a t c hf o rf r a m e sw i t hn a r r o wb a s e l i n e s e v e r a lr e l a t e d e x p e r i m e n t a lr e s u l t sw e r ep r e s e n t e d i nc o n c l u s i o n ，ar e s e a r c ho nr o b o tv i s i o ns y s t e mo fh l c rw a sg i v e n ：a n o v e ls e s i fw a sp r e s e n t e da n de v a l u a t e dt od e s c r i b e ，r e c o g n i z e ，l o c a l i z e i n s u l a t o r sa n da3 dr i g i dm a r k e r , a n dt w os o l u t i o n sw e r ei n t r o d u c e di n d e t a i l s k e y w o r d s ：r o b o tv i s i o n ，s c a l ei n v a r i a n t ，s e s i f , r e c o g n i t i o n ，v i s u a l t r a c k i n g v i 数学符号说明 为保证全文的一致性和方便阅读，本文采用统一的专用术语和数学符号，下面 给出基本的符号极其含义。本文所有的矩阵和向量采用黑体表示，例如：矩阵a 或 向量p 。标量及其它变旱= 采用斜体表示，例如：标量s 。 i i v i i 向量v 的2 范数( 州i2 谚) 9 向量v 的归一化向量( 9 = v v i ) j f j 【】表示的数量 fs e s i f 特征集合 i ( x ，y )图像的灰度值 k摄像机内参数矢巨阵( 3 x 3 矩阵) l ( x ，y ；s )尺度空间 m匹配假设集合 m 运动变换群 p齐次世界坐标点( 4 参数向晕) p齐次图像坐标点( 3 参数向量) r 旋转矩阵 s 尺度s = 仃2 u s a n 面积 平移向量 s u s a n 边缘的几何阈值 峰值约束中的特征向量阈值 峰值约束一 j 的峰值数闷值 距离约束的阈值 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：联连 日期：矗巾夕年3 月之d 日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密瓯 ( 请在以上方框内打“”) 学位论文作者签名：张1 建 日期：曩删夕年3 月r o 日 指导教师签名：栖阼l 青 日期沁_ 年3 月哆日 上海交通大学博十学位论文 第一章绪论 1 1 研究背景 第一章绪论 随着我国工农业的发展，广大用户对供电可靠性的要求越来越高；与此同时， l l k 污染和环境问题日益严重，导致绝缘瓷瓶的污闪事故越来越频繁心3 。这些事故 给囝民经济造成巨大损失，给人民生活带来诸多不便。实践证明，在各种防污闪对 策中，绝缘瓷瓶的清扫是最基本、最有效的方法儿州。人工清扫、带电干清扫和高压 水冲洗是国内常见的绝缘瓷瓶清扫方法。根据我国的实际情况，结合西北地区的环 境特点，我们提出采用带电清扫机器人进行绝缘瓷瓶清h 的解决方案。1 。 图i i 第一代2 2 0 k v 3 3 0 k v 高压带电清扫机器人工作示意图 f i g u r e1 1w o r k i n gs c e n eo ft h e2 2 0 k v 3 3 0 k vh i g h v o l t a g el i v e l i n ec l e a n i n gr o b o ti 1 1 1 第一代高压带电清扫机器人 同家8 6 3 项目2 2 0 k v 3 3 0 k v 高j 玉带电清扫机器人( 2 2 0 k v 3 3 0 k vh i g h v o l t a g e l i v e l i n ec l e a n i n gr o b o t ，简称h l c r ) ，目前已经完成第一代机器人样机的研制( 参 见图1 1 和图1 2 ) ，具有以下特点： 主要目标是解决满足高j 玉绝缘要求的机械结构设计和高压实验问题； 采川远距离遥控作业方式； 采用人：】= 定位方法，工作效率较低； 操作对象局限。j 二垂直位姿的绝缘瓷瓶； 上海交通大学博1 学位论立第一审绪葩 h l c r i 的本体尺寸较大，不能满足高压室外变电站的复杂环境的要求 围l2 第一代2 2 0 k w 3 3 0 k v 高压带电清扫机器人 f i g u r e l2 t n c 2 2 0 k v 3 3 0 k v h i g h - v o l t a g e l i v e - l i n ec l e a n i n gr o b o t l 第一代高压清扫机器人的本体包括三个部分，如图i 2 。包括：1 移动载体、2 绝缘升降平台、3 绝缘操作臂( 包括末端执行器) 。当机器人在现场工作时，1 和2 部分将位于高压区域。根据相关的高压安全标准“m 1 ，2 和3 部分必须达到国家规定 的绝缘要求。这不仅是对机器人本体设计的挑战，而且对机器人的传感器系统设计 提出了苛刻的要求： 首先，无法采用传统的机器人位置传感器系统。传统的机器人系统采用光电编 码器或者旋转电位器作为位置传感器，传感器信号通过有线电缆传输到控制器。根 据国家标准“m 1 中的安全绝缘的要求，高压清扫机器人本体的第2 和第3 部分中所包 括的金属导体的几何尺寸有严格的限制，并且电缆会成为安全臆患：其次，机器人 本体的机械结构为机器人的精确标定带来了困难。采用传统的机器人位置传感器需 要对各个关节的传感器进行标定。超高压机器人的本体的尺寸较大，难以实现各个 关节的精确标定；另一方面，超高压带电清扫机器人的结构为折叠升降结构，各个 关节会造成的机械误差累计；最后，国内外带电作业机器人的研究表明：采用非接 触式传感器实现机器人的全自动操作是带电作业机器人的主要发展方向。 l1 2 第二代高压带电清扫机器人 目前，第二代高压带电清扫机器人( h l c r - i i ) 的样机的研制正在筹备中，主要 r；j壹自 上海交通大学博十学位论文 第一章绪论 研究目标是：实现高压绝缘瓷瓶清扫的半自动化作业，计划实现以下功能： 实现半自动化的清扫作! 业方式。采用远距离遥控和自动清扫结合的操作模 式。应用机器人和绝缘瓷瓶的相对位置反馈系统，实现绝缘瓷瓶的自动定位， 提高工作效率； 通过缩小机器人本体的尺寸，来适应高压室外变电站的复杂环境； 主要清扫对象仍然是垂商位姿的绝缘瓷瓶，不考虑倾斜位姿的绝缘瓷瓶。 根据高压带电清扫机器人的特点，本文采用机器人视觉系统实现绝缘瓷瓶的识 别和定位。该方案具有以下优点： 采用基于机器人视觉的非接触式测量方法，消除了在高压电磁场中设置传感 器所带来的安全隐患。 采用机器人视觉系统来估计机器人和绝缘瓷瓶之间的相对位姿。只需标定机 器人的世界坐标与机器人视觉系统的图像坐标之间的关系，简化了机器人的 标定过程；避免了各个关节的机械误差积累。 机器人视觉系统为实现绝缘瓷瓶清扫的自动化，提供了机器人伺服的视觉反 馈系统。 机器人视觉系统为操作人员提供了远距离或远程监控的手段。 未来的第三代高压带电清机器人( h l c r i i i ) 最终要实现全自动的高压带电 清扫操作，包括以下功能： 全自动的作业方式，实现绝缘瓷瓶的自动定位和自动清扫； 能够清扫各种位姿的绝缘瓷瓶。 1 。2 第二代高压带电清扫机器人的视觉系统 1 2 1 机器人视觉系统方案 根据第一代高压带电清扫机器人的机械结构、清扫作业方式、工作环境，以及 对围内外带电作、i k 机器人的研究的分析，我们提出两种第二代高压带电清扫机器人 视觉系统的解决方案：手眼视觉系统和远距离视觉系统。 t ：海变通人学博 ：学位论文 第章绪论 方案一足典型的手一眼( e y e s o n h a n d ) 视觉系统，如图1 3 。摄像机位1 二操作 臂的下部，可以是单目或多目视觉系统，视频图像通过光纤或无线信号传输。该系 统的优点是直接估计出机器人与绝缘瓷瓶的相对位姿。缺点是：1 摄像机位于高压 区域，会成为高压安全隐患；2 由于摄像机与绝缘瓷瓶的距离较近，只能采集到绝 缘瓷瓶的局部区域的图像，对绝缘瓷瓶定位造成一定的困难。这种情况下，需要有 多台摄像机辅助工作，例如：日本的p h a s ei i 系列带电作业机器人舅3 ；3 无线视频 信号容易受到高压电磁场的干扰，并且光纤可能成为高j 玉安全隐患。 图1 3 视觉系统方案一 f i g u r e1 3s c h e m e1o fr o b o tv i s i o ns y s t e mf i g u r e1 4s c h e m e2o fr o b o tv i s i o ns y s t e m 方案二是远距离视觉系统，如图1 4 。该系统至少需要两组摄像机。摄像机安 装在操作台上，与带电清扫机器人和绝缘瓷瓶保持一定的绝缘安全距离。其中一组 摄像机对安装在带电清扫机器人的末端执行器上的人工标志物体进行跟踪。另一组 对绝缘瓷瓶进行识别和定位，然后计算两者的相对位姿。该方案的优点足：1 彻底 消除了摄像机带来的高压安全隐患；2 视频图像不需要长距离传输，避免了视频信 号干扰；3 能够捕捉到绝缘瓷瓶的全局图像。该方案缺点是：由于距离较远，摄像 机需要有变焦装置，增加了机器人视觉系统的复杂性。 1 2 2 机器人视觉系统的特点和问题 与一般的工、i k 机器人视觉系统不同，高压带电清扫机器人视觉系统在研究对象 和工作环境方面具有自己的特点，并由此衍生出一系列研究问题。 a 研究对象 根据高雎带电清扫机器人视觉系统的主要研究对象足绝缘瓷瓶和人：l ：标志物 卜海交通入学博士学位论文第章绪论 体，参见图1 3 和图i 4 。从机器人视觉的角度来讲，绝缘瓷瓶具有以下特点： 属于弱纹理物体根据物体图像的纹理特征，可以将物体分为纹理和弱纹理 两类。前者是指物体的图像具备由文字或图案组成的丰富的边缘、角或斑点 特征；后者则相反。绝缘瓷瓶的表面由单一颜色组成、没有图案、缺乏丰富 的边缘、角或斑点特征，属了二弱纹理物体。在视觉领域，绝大多数物体建模、 识别和跟踪算法都是针对纹理物体的，弱纹理物体的建模、识别和跟踪始终 是一个难题。 属于光滑曲面物体根据物体的表面组成情况，物体可以分为光滑曲面物体、 具有确定性边缘的物体、以及两者的混合。在具有确定性边缘的物体的图像 边缘或轮廓相对于物体上任意一点是确定的；而在光滑曲面物体的图像边缘 或者轮廓特征的位置相对于物体上任意一点足不确定的，随着摄像机的视角 变化而变化。光滑曲面物体的建模和投影图像的计算是视觉算法的瓶颈。 具有釉质表面根据物体表面对光线的反射情况，物体的表面可以分为镜面 反射和漫反射两类。绝缘瓷瓶的釉质表面具自镜而反射的特点，其图像对于 光照变化敏感。 人工标志物体由研究人员设定，其形状、尺寸、表面的纹理特征，以及安装位 最的选择需要根据带电作业机器人的具体尺寸确定。在目前实验室的研究中，我们 选择一个形状简单的k 方体盒子作为人工标志物体，盒子表面具备一定的纹理特征， 该盒子被假定安装在机器人的腕部，如图1 5 。 根据队 i 二分析，机器人的视觉系统要解决以下研究对象问题： 问题1 1 ( 绝缘瓷瓶的特征表示问题) 对于由光滑曲而组成的、釉质表而的弱 纹理绝缘瓷瓶，如何提取有效的图像特征表示f ，用于绝缘瓷瓶的识j g u , 乖i l 定位。 问题1 2 ( 人工标志物体的特征表示问题) 对于具有简单几何形状的、具有纹 理特征的人工标志物体，如何提取有效的图像特征表示f ，用于人工标志物体的识别、 定位和跟踪。 i 海交通太学博十学位论文 第一章绪论 邋 图i5 人工标志物体的安装位置 f i g u r e l5 t h e l o c a t i o n o f t h ea a i f i e i a lo b j e e t b 环境光照变化 光照变化问题是室外机器人视觉系统面临的普遍性问题。影响光照变化的因素 有自然因素，例如：云对太阳的遮挡；有环境因素，例如：建筑物对光照的遮挡或 反射：有机器人自身的因素，例如：机器人运动过程中，对视觉系统的光照影响。 上述因素的共同作用，使环境的光照无法预测。 i i 雷 0 ) b )( c )( d ) 图1 6 不同光照下的鲍缘瓷瓶图像( a ) 背光；( 吣和忙) 可视范围的光照，( d ) 强光 f i g u r e i6 i n s u l a t o r su n d e r v a r i a b l e i l l u m i n a t i o n s ：( a ) b e i n g i na p o o r l i g h t ；( b ) b e i n g i nav i s i b l e l i g h t ；扣 b e i n g i nas t r o n g l i g h t 根据绝缘瓷瓶的成像情况，环境光照按光谱的变化分为三类： 背光在背光的条件下，物体图像的对比度和灰度值很低，无法分辨物体的 图像特征，如图l6 ( a ) ； 可视范国内的光照在多数情况下，随着光照的变化，物体的可分辨的图像 特征数量在一定的范围内增加或者减少，物体的图像特征仍然是可分辨的， 如图l6 ( ”和( c ) ； 强光照在强光照的条件下物体图像的对比度较低，但灰度值很高，无法 分辨物体的图像特征，如图l6 ( d ) 。 警霉叁奏 上海交通大学博十学位论文第一章绪论 在室外光照变化的条件下，要有效地实现物体的识别、定位和跟踪，需要解决 以下问题： 问题1 3 ( 光照变化问题) 给定绝缘瓷瓶和人工标志物体，寻找一个图像特征 表示f ，以及基于f 的物体识别、定位和足艮踪算法，该算法对于环境光照变化具有一 定的鲁棒性。 c 杂乱的环境背景 高压变电站环境中包括各类不同形状的绝缘瓷瓶和建筑屋。变电站的设计、规 划，以及绝缘瓷瓶的形状和尺寸是有规律的。但是，对于某一个特定的观测对象， 例如绝缘瓷瓶或机器人的末端操作器，从任意一个视角观察到的图像中，观测对象 的前景或背景是无规律的，参见图1 2 。在杂乱的环境背景条件下，机器人视觉系统 需要解决以下问题： 问题1 4 ( 杂乱背景问题) 给定绝缘瓷瓶和人工标志物体，寻找一个图像特征 表示f ，以及基于f 的物体识别、定位和跟踪算法，该算法对于杂乱的环境背景具有 一定的鲁棒性。 d 多模f q 题 高压变电站环境的另一个重要特点是：场景图像中可能包括多个相似的绝缘瓷 瓶。当场景图像中包括多个相似的物体，图像的噪音模型将不满足高斯分布，该问 题被称为多模问题： 问题1 5 ( 多模问题) 给定一个包括多个相同绝缘瓷瓶的场景图像，寻找一个 图像特征表示f ，以及基于f 的物体识别和定位算法，该算法能够对场景图像中的每 一个绝缘瓷瓶进行识别和定位。 e 图像噪音和部分遮挡问题 在室外环境中，温度和湿度的变化、电磁场干扰，以及机械振动是图像噪音的 主要来源。在高压带电清扫机器人的操作过程中，绝缘瓷瓶会处于部分遮挡状念， 参见图1 2 。部分遮挡问题也可以看作图像噪音问题的特例。以卜问题可以表示为： 问题1 6 ( 图像噪音和部分遮挡问题) 给定绝缘瓷瓶和人工标志物体，寻找一 t 海交通人学博l j 学位论文第，章绪论 个图像特征表示f ，以及基于f 的物体识别、定位和足艮踪算法，该算法对于图像噪音 和部分遮挡具有一定的鲁棒性。 f 方案一：绝缘瓷瓶识别和定位问题 对于方案一中的手一眼视觉系统，通常采川基于图像的伺服方法。视觉系统的反 馈参数是绝缘瓷瓶的相对图像位置，该问题可表示为： 问题1 7 ( 绝缘瓷瓶的识别和定位问题)已知绝缘瓷瓶o 的一组不同视角的 模型图像集合i m 。给定一幅包括绝缘瓷瓶o 的场景图像，求解二维仿射变换 中：l uj ，1 m i m 。 g 方案二：绝缘瓷瓶和人工标志物体的识别、定位和跟踪问题 对于方案二中给出的远距离视觉系统，通常采用基于位置的伺服方法，视觉系 统的反馈参数是绝缘瓷瓶和人工标志物体的三维相对位置，需要解决以下问题： 问题1 8( 绝缘瓷瓶的识别和三维定位问题)已知绝缘瓷瓶o 的+ 一组不同视 角的模型图像集合i m 。给定一组包括绝缘瓷瓶o 的多视角场景图像i = 口，。) ， 求解三维仿射变换中：i m 一，f ，i m i 肼，i f i 。 问题1 9 ( 三维人工标志物体跟踪问题)已知人工标志物体o 的一组不同视 角的模型图像集合i m ，给定一个时变图像序列，( x ，y ，t ) ，求解物体的运动变换 甲0 ) ：i u i ( x ，y ，f ) ，m i m 。 问题1 1 0 ( 变焦距情况下的三维人工标志物体跟踪问题) 已知人工标志物体o 的一组不同视角的模犁图像集合i m ，给定一个变焦距情况下的时变图像序列 i ( x ，y ，t ) ，求解物体的运动变换甲( f ) ：i 肼一l ( x ，y ，f ) i m 。 上面分析了高压带电清扫机器人的特点以及由此引出的研究| 、u j 题，下面对相关 研究进行评述。 i ：海交通大学博上学位论文第。章绪论 1 3 相关研究评述 1 3 1 带电作业机器人的研究评述 随着社会经济的高度发展，社会各部门的电力要求越来越高。传统的断电维护 方式带来的经济损失已不容忽视，危险、繁重、低效和高度专业化的人工带电作业 引起供电部门的广泛关注。在此背景下，日本、美国和两班牙的电力公司首先开始 进行了带电作业机器人的研究。 a 带电作业机器人 世界上第一台带电作业机器人是美国于8 0 年代末研制的t o m c a t 。该系统包括： 一辆带有绝缘工作平台的卡车、一只固定在卡车后部的k r a f t 七自由度机械手，以 及用于操作员监控用的电视摄像系统，控制系统和电源。操作员的控制台在卡车绝 缘平台的后部，包括有一只用于主一从控制的主机械手9 3 。 日本自1 9 8 5 年起开始p h a s e 系列带电作业机器人的研制，并且相继推出了p h a s e i 和i i 系列，用于2 2 k v 输电线路的维护陋1 。p h a s ei i 在推出后取得了巨大的成功， 能够提高工作效率4 0 。p h a s e 系列机器人系统吸收了t o m c a t 的设计思想，采用了 人一机协作的方法，通过示教一再现方式实现自动操作。操作员对机械手的引导定位， 是通过摄像机和激光传感器共同组成的3 d 视觉来完成。随着p h a s ei i 的成功应用， 日本目前正在进行全自动高压带电作业机器人p h a s ei i i 的研制0 j 。p h a s ei i i 进一 步扩展了机器人视觉部分的功能，引入了视觉伺服技术。包括以下功能：3 d 操作对 象的自动识别和定位；基于主动视觉系统的视觉伺服；机械手的运动规划和阻抗控 制。 b 带电清扫机器人 绝缘瓷瓶的清扫是输电线路维护重要环节。在欧洲和日本，通常采用带电水冲 洗的方式。例如：采用直升飞机进行野外瓷瓶冲洗川。高压水冲洗的缺点是：高压 水会降低了瓷瓶的绝缘性。我凼通常采用干清扫方式，这是凶为：1 高压水冲洗方 式的成本较高，需要大量的纯净水，我用的高压线路沿线难以获得足够的水源； i ：海交通人学博l j 学位论文第一章绪沦 人工带电清扫的工作量大、危险性高。 我国西北电力试验研究所于1 9 9 4 年研制了“超高压带电自动清扫机”2 。该 设备由小车、电动升降台、绝缘升降梯、绝缘传动杆和毛刷等部分组成，用于绝缘 瓷瓶的带电干清扫。目前，该设备已经形成了叉车配套型高压带电自动清扫机系列。 该设备的缺点为：1 采用人工定位和清扫，工作效率低；2 只能清扫垂卣姿态的瓷 瓶；3 要求操作者有一定的操作经验；4 设备运输闲难。 武汉高压研究所于1 9 9 3 年研制了5 0 0 k v 直流绝缘瓷瓶清洁机器人。1 3 3 。该机具采 用白爬式机器人机构，结合了自动水洗、刷子清扫和气吹清扫三利，方式。该机可以 携带监测装置，实现清扫、监测一体化。 由于种种原凶，我国自行研制的带电清扫设备没有在电力行业得到广泛应用， 我同的高烁绝缘瓷瓶的清扫方式主要还足采用断电状态下的人工清扫。 1 3 2 图像特征不变- 性的研究评述 图像特征不变性的主要目标是：如何从图像中提取具备具有几何不变性、光照 不变性、杂乱背景不变性和噪音不变性的图像特征。目前常用的方法是：首先，获 取离散尺度空间中的尺度不变性特征；其次，在尺度不变性的基础上，通过不变性 描述子来实现其它的不变性。 a 几何不变性 几何不变性包括：尺度、旋转和平移不变性。尺度不变性主要来源于尺度窄间 理论。现代尺度窄间理论来源于i i j i m a 和j k o e n d e r i n k 各白独立的开创性研究， 包括g a u s s i a n 内核和线性扩散公式，这些研究奠定了连续多尺度空问理论的基础。川。 另一方面，l i n d e b e r g 建立了离散尺度空间理论的牲础，其中一项重要的研究是提出 了计算机视觉中的特征尺度选择问题。惦! 。特征尺度选择是实现尺度不变性的重要工 具。该项研究表明：在没有任何先验性假设的前提下，尺度空间的极值尺度可以作 为特征尺度。例如：文献 1 6 采用d o g 金字塔中的极值尺度进行特征尺度，而文献 1 7 和 1 8 则采刚拉普拉斯算子选择特征尺度。此外，特征尺度选择方法还被用于 指纹增强1 引、手势谚! 别驯、主动视觉+ 2 1 、物体表血重构= 22 。、图像分割3 和医学图像 l ：海交通人学博士学位论文第章绪论 处理扎等方面。 实现旋转不变性的基本思路是采用相对的特征方向。文献 1 6 采用局部区域的 梯度方位直方图的最大值作为区域的主方向，区域内各点取的梯度方向取相对方向。 文献 2 5 采用相对极牮标表示局部区域形状。类似地，为实现平移不变性，对于全 局特征可以采用相对极坐标，而局部特征本身就具备平移彳 变性。 b 光照不变性 在真实场景中，因为光照变化具有不确定性，所以光照不变性是一个复杂的问 题，通常的方法只能实现光照的部分不变性。对于大的光照变化，典型的方法是采 用一组基础图像的组合来补偿大的光照变化【2 6 1 。对于小的光照变化，通常在描述子 d i ) 中引入尺度因子，来补偿光照变化。文献 2 7 】采用广义颜色矩补偿光源位置和频 谱的变化。文献【1 6 采用描述子特征向量的归一化处理方法。对于背光和强光的情况， 基本的思路足首先进行图像恢复，即通过学习的方法增强图像特征。 c 杂乱背景、部分遮挡和噪音的不变性 静止物体及其背景关系的处理是一个困难的问题。一方面是因为：通常的特征 探测算法足将图像，作为一个整体来处理，同时提取物体及其背景的特征；另一方面， 物体的背景分割过程需要通常需要一定的先验知识。近年来，部分研究者采用基于 学习的方法来探测物体的边界瑚1 。也有的研究者将局部捕述子划分为两个部分，解 决杂乱背景问题1 引。此外，局部特征本身具备一定的杂乱背景不变性n 刮。 解决部分遮挡问题需要应用稳健性统计学，例如：m 一估计黾矗蚍和r a n s a c 方法0 | 。 而局部特征本身是稀疏特征集合，具备部分遮挡的不变性。 图像的噪音源通常来自于图像采集系统的温度变化、湿度变化和受到的电磁干 扰。为降低图像噪j 旨，通常采用高斯滤波器进行图像的预先平滑1 6 。此外，在生成 描述子特征向量的过程中，会采用加权平均方法n 6 ：。 d 不变性区域描述子 描述子足指一个不变性区域的表示方法，通常是表示为一个高维特征向量。目 ：海交通火学博一i 二学伉论文第一章绪论 前，研究者提出了多种图像特征描述子：像素灰度、颜色、纹理和边缘等。描述子 要具备可分辨性，即不同的不变性特征的描述子之间的相似性尽可能小。 不变性区域描述子的思想来源于生物初级视觉( 或前端视觉) 的研究，理论依 据是视网膜锥体细胞的感知场模型。在该模型中，锥体细胞的密度呈现指数分布。 这肩发研究者在计算机视觉中引入注意力机制，例如：对数图。：”! ，对于视场中心和 周边的信息采用不同的处理方法，提高算法的效率。感知场模型也被引入不变性区 域描述子的研究中：e d e l m a n 等的实验证明：基于锥体细胞感知场模型的计算机图形 识别效果要优于基于简单交义相关的方法32 【。 受e d e l m a n 等人研究的启发，l o w e 采用梯度分布直方图建立s i f t 描述子。1 6 1 。文 献 3 3 进一步发展了s i f t 描述了的思想，提出基于极坐标子区域的g l o h 描述子， 实验证明：g l o h 性能优于s i f t 。s i f t 描述子的另一扩展彤式足p c a s i f t 。上述描 述子属于基于统计分布的描述子。它们的基本思想是采用三维直方图表示物体的外 观或形状特征。其它的基于统计分布的描述子还有：自旋图门引引、像素灰度直方图 3 引、几何直方图3 和形状上下文2 副等。 1 3 3 基于局部不变性特征的物体识别研究评述 基于局部不变性特征的物体识别通常分为特征提取( 见1 3 2 节) 、生成匹配假 设、剔除错误匹配和位姿计算阴个阶段。 a 生成匹配假设 在基于尺度不变性特征的物体识别系统中，对于场景图像的每个特征向量，都 要搜索模型数据库，寻找最邻近的特征向量，生成匹配假设。特征向量空间的最邻 近搜索算法分为五类：1 穷举法；2 散列表38 1 ；3 空间分割方法。刚n 州叭3 ；4 随机算 法。2 | 。本文卡要研究空间分割方法。 在窄间分割算法中，k - d 树。是常用的算法。该算法采用垂直于坐标轴的超平面 对特征空卜i j 进行分层分割，形成二叉树结构。文献 4 3 应用k - d 树收索图像特征向 量的最邻近特征集合，实验证明了该方法对于低维特钮f 向量的有效性。文献 4 0 给 出了一种简甲的最邻近搜索的方法一s n n 算法，该算法属于空间分割方法。s n n 算法 卜海交通人学博士学位论文第一章绪论 采用一维投影算法寻找与查询点的距离小于f 的特征向量。同k - d 树算法比较，s n n 算法有以下优点：1 采用边界条件f ! 卣接剔除了小j r l ：l , f 以的匹配。b b f