（控制理论与控制工程专业论文）基于视觉的边缘跟踪与应用技术研究.pdf

哈尔滨i j 稃大学硕十学位论文 摘要 焊缝自动跟踪技术、待切割工件边缘跟踪技术、大尺寸工件测量中用到 的边线跟踪技术其实质都是对特征角点、线条( 直线或空间曲线) 的跟踪。 因此，为了能更好的运用该技术于实际的工程中，并且依据实际生产需要， 设计了利用c c d 摄像机、图像采集卡和工控机等设备的主动式视觉传感系 统，并对典型的曲面钢板进行了边缘跟踪研究。 本文首先设计完成了用于钢板边缘跟踪的硬件系统结构，在此基础上对 图像处理算法进行了系统的分析。其次，通过图像处理实验，确定了针对基 于结构光的钢板边缘跟踪图像处理的工艺流程和算法：中值滤波；利用阈值 分割对跟踪图像进行了二值化研究；提出一种利用激光光条左右边缘识别求 中线的细化方法；以及从上至下，从左至右的钢板边缘特征点搜索方法。实 验表明，通过计算钢板边缘特征点与摄像机坐标系原点的相对位置来进行钢 板边缘定位可以取得很好的效果。然后，利用三角结构光测量原理得到的跟 踪边缘的物理偏差作为伺服运动机构的跟踪偏差，并通过对伺服系统的运动 标定转化为跟踪系统的控制偏差，接着分析了偏差控制所采用的p i d 算法及 各自特点，并对可编程运动控制卡进行了p i d 整定；并编制了上位机与底层 运动程序，跟踪系统根据偏差通过程序控制伺服机构运动来进行纠偏控制， 从而达到钢板边缘跟踪的目的。通过跟踪实验研究，跟踪系统完全满足预期 目标。最后，结合大曲面板坡口切割实际项目中遇到的关键技术问题，给出 了具体的解决办法。 关键词：边缘跟踪；图像处理；机器视觉；p i d 控制； 哈尔滨t 稗大学硕十学俺论文 a b s t r a c t t h ee s s e n c eo ft h ef o l l o w i n gt e c h n o l o g i e s ：a u t o m a t i cw e l ds e a mt r a c k i n g ， f u t u r e - c u t t i n gs t e e lp l a t ee d g et r a c k i n gt e c h n o l o g y ，s i d e l i n et r a c k i n gt e c h n o l o g y u s e di nl a r g es i z ew o r k p i e c em e a s u r ei sa c t u a l l yt h et r a c k i n go fc h a r a c t e r i s t i c a n g l e s ，p o i n t sa n dl i n e s ( i n c l u d i n gb e e l i n eo rc u r v ei ns p a c e ) t h e r e f o r e ，i no r d e r t ob e t t e ra p p l yt h et e c h n o l o g yt o p r a c t i c a le n g i n e e r i n g ，晶da c c o r d i n gt ot h e d e m a n do fr e a lp r o d u c t i o n s ，r e s e a r c h e r sh a v ed e s i g n e da n du t i l i z e dt h ea c t i v e v i s u a ls e n s i n gs y s t e m so fs u c he q u i p m e n t sa sc c dc a m e r a s ，i m a g e - g a t h e r i n g c a r da n di p c ( i n d u s t r i a lp e r s o n a lc o m p u t e r ) ，e t c t h e ya l s oh a v ed o n er e s e a r c h o f e d g et r a c k i n gt e c h n o l o g yo ft h er e p r e s e n t a t i v ec u r v e ds u r f a c es t e e lp l a t e s i nt h i st h e s i st h ew r i t e rh a sd e s i g n e da n df i n i s h e dt h eh a r d w a r es y s t e m s t r u c t u r ef o rt h es t e e lp l a t e se d g et r a c k i n ga n dt h e ns y s t e m a t i c a l l ya n a l y z e dt h e i m a g ep r o c e s s i n ga l g o r i t h m t h r o u g hi m a g ep r o c e s s i n ge x p e r i m e n t s ，t h ew r i t e r c o n f i r m st h a tt h ep r o c e s sa n da l g o r i t h mo ft h e i m a g ep r o c e s s i n go fs t r u c t u r e dl i g h t b a s e ds t e e lp l a t ee d g et r a c k i n g ：m e d i u mf i l t e r i n g ；d o i n gb i n a r i z a t i o nr e s e a r c ho f t r a c k i n gi m a g eb yt h r e s h o l dv a l u ep a r t i t i o n ；t h ew r i t e rp u tf o r w a r dat h i n n i n g m e m o d 一_ u s i n g t h el a s e rs t r i a t i o n s r i g h t a n d l e f te d g er e c o g n i t i o nt og e t m i d l i n e ；a n ds e a r c h i n gt e c h n i q u e u s i n gc h a r a c t e r i s t i cp o i n t so ft h es t e e lp l a t e e d g e s ，f r o mt h et o pt od o w n ，f r o ml e f tt or i g h t t h ee x p e r i m e n t ss h o wt h a ti tc a na c h i e v eg o o de f f e c tt h r o u g hc a l c u l a t i n gt h e c h a r a c t e r i s t i cp o i n t so ft h es t e e lp l a t ee d g e sa n dt h e i ro r i g i n s r e l a t i v el o c a t i o n si n t h ec a m e r a 。sc o o r d i n a t es y s t e mt ol o c a t es t e e lp l a t ee d g e s t r e a tt h e p h y s i c s d e r i v a t i o no ft h e f o l l o w i n gl i m b g o t t e nb yt r i g o n o m e t r ys t r u c t u r e dl i g h t m e a s u r i n gp r i n c i p l e a st h e t r a c k i n g d e r i v a t i o no ft h em o v e m e n t e q u i p m e n t t h r o u g hc a l i b r a t i n gt h es e r v os y s t e m sm o v e m e n t ，t r a n s l a t i n gi ti n t o t h e t r a c k i n gs y s t e m + s c o n t r o l l e dd e v i a t i o n ，t h ew r i t e ra n a l y s e st h ea l g o r i t h m u s e di nd e v i a t i o nc o n t r o l sa n dt h e i r s e p a r a t ec h a r a c t e r i s t i c sa n dd o e st h ep i d s e t t i n go i lp r o g r a m m a b l em o t i o nc o n t r o lc a r d t h r o u g hc o o r d i n a t i n gt h em o t i o n 哈尔滨丁稃人学硕十学位论文 c o n t r o lp r o g r a mo ft h eu p p e rc o m p u t e ra n dt h em o v e m e n tp r o g r a mi nt h e b o s o ml a y e ro fp r o g r a m m a b l em u l t i a x i sc o n t r o l l e rt h es y s t e m sc a n ，a c c o r d i n g t od e v i a t i o nt h r o u g hp r o g r a m ，c o n t r o ls e r v o m e c h a n i s mm o v e m e n ti no r d e rt o c o r r e c tc o n t r o l ，s oa st or e a c ht h eg o a lo fs t e e l p l a t ee d g et r a c k i n g b yd o i n g t r a c k i n ge x p e r i m e n t a lr e s e a r c h e s ，t r a c k i n gs y s t e ms u c c e s s f u l l yr e a c h e st h ed e s i r e d t a r g e t f i n a l l y , s p e c i f i cs o l u t i o ni sp r e s e n t e d ，t o g e t h e rw i t ht h ek e yt e c h n i q u e s u s e di nt h ep r o g r a mo fc u r v e ds u r f a c es t e e lp l a t e s k e y w o r d s ：e d g et r a c k i n g ；i m a g ep r o c e s s i n g ；m a c h i n ev i s i o n ；p i dc o n t r o l ； 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ：堕捡鱼二 日期：力即g 年弓月矿日 哈尔滨j i ：程大学硕十学何论文 第1 章绪论 1 1 课题研究的背景及意义 随着制造加工业的发展，尤其是现在越来越多的产品：飞机、汽车、船 舶、家用电器等在造型上具有更多的不规则型面，在空间结构上越来越复杂。 因此，在工程领域中如何进行大尺寸零件和复杂曲面非接触反求测量，如何 高效率、高精度的将零件进行数字化，如何有效地依据零件表面的数字化结 果实现大尺寸复杂零件的三维重构是其关键问题。 尺度测量是产品几何量测量中的一部分。几何量精度是指构成零件几何 形体的尺寸、形状和位置精度以及表面粗糙程度，即加工后它们的实际值与 设计要求的理论值相一致的程度“，。由于工件尺寸过大，如对整个工件进行全 面扫描，会耗费大量宝贵的时间，影响工作效率，同时也加大了处理的难度。 在实际工程中，往往对一些特征的边、线进行跟踪测量，提取数据，提高测 量的快速性及测量精度。 此外，工业机器人和自动焊机、切割机在国内相关行业普及率还不是很 高。目前工业用焊接、切割机器人大都是第一代的示教再现机器人似- 。它简单、 直观、易操作、重复定位精度高，但是它的适应能力差、对工装和定位装置 的精度依赖性强。应用于不同的工件种类时必须更换工装和定位装置。只适 合于小批量多品种生产。而焊接、切割是热加工工艺过程，些大尺寸、刚 性差的工件在焊接过程中易产生热变形，或由于大型件接头开口一致性不好， 可能使实际焊道或切割路径偏离预先示教轨迹。在此情况下示教再现机器人 不能保证焊接、切割质量，因而，示教机器人只适用于对焊接、切割工艺要 求不高的场合。而且要反复示教，工作效率大大降低，对于工艺要求较高的 场合采用让机器人实现对焊接接头或待切割工件边缘的实时跟踪来提高精度 和适应性。常见的焊接接头跟踪方法有：机械式、电弧传感式、声学式、电 磁式、和光电传感式、机器视觉等各种方法n ，。 焊缝自动跟踪技术、待切割工件边缘跟踪技术、大尺寸工件测量中用到 的边线跟踪技术其实质都是对特征角点、线条( 直线或空间曲线) 的跟踪， 哈尔滨丁程人学硕十学位论文 因此，为了能更好的运用该技术于实际的工程中，本课题拟对典型的曲面钢 板进行了边缘跟踪技术研究。 1 2 边缘跟踪技术的发展现状 1 2 1 工件边缘跟踪的主要方式 本文根据所用传感器的不同对工件边缘跟踪进行分类，主要分为接触式 跟踪系统与非接触式跟踪系统。 接触式边缘跟踪最初就是采用的接触式传感器。该传感器结构相对简单、 操作维修方便。传感器的探头直接与工件边缘接触，直接对偏差进行检测， 可进行水平横向调节和高度垂直方向调节。如果测头偏离边缘路径，传感器 则发出相应的电信号，通过伺服控制系统来减少或消除。该传感器成本较低， 但有时会因工件表面的加工或传感器装配不均匀影响传感的测量精度和切割 质量。探头磨损大，易变形。 非接触式边缘跟踪，目前，用于工件边缘跟踪的非接触式传感器很多， 主要有电磁传感器、电容式传感器及视觉传感器等。 1 2 1 1 电磁传感器 电磁场也是物质存在的一种形式。电磁场的运动规律由麦克斯韦方程组 来表示，根据麦克斯韦理论，当入侵者入侵防范区域，使原先防范区域内电 磁场的分布发生变化，这种变化可能引起空间电场的变化，电场畸变传感器 就是利用此特性。同时，入侵者的入侵也可能使空间电容发生变化，电容变 化传感器就是利用此特性。我们利用这种相对位置的变化而产生的传感器变 化来检测传感器与工件的相对位置，通过两个十字交叉的传感器就可以得出 工件的边缘信息，但这种方式对工件要求较高。 1 2 1 2 视觉传感器 由于视觉传感器所获得的信息量大，结合了计算机视觉和图像处理的最 新技术成果，大大增强了边缘跟踪系统的外部适应能力。视觉传感器采用的 光电转换器件最简单的是单元感光器件，如光电二极管等，其次是一维的感 光单元线阵，如线阵电荷耦合器件，应用最多的是结构最复杂的二维感光单 元面阵，如c c d 阵列，是二维图像的常规感光器件，它代表着目前传感器发 2 哈尔滨t ：程大学硕十学何论文 展的最新阶段，因而应用日益广泛h 1 。 在边缘跟踪系统中，使用何种视觉传感方法是首先需要确定的问题，根 据使用的照明光的不同，可以把视觉方法分为“被动视觉”和“主动视觉”两种。 这里被动视觉只利用弧光或普通光源和摄像机组成的系统，而主动视觉一般 只使用具有特定结构的光源与摄像机组成的视觉传感系统。本课题采用的是 主动视觉方式。 1 2 2 跟踪中所涉及到的图像处理算法进展状况 1 2 2 1 图像预处理 由于跟踪过程存在干扰因素的影响，使得采集的原始图像存在噪声信号， 这就需要对图像作预处理( 滤波去噪、图像增强等) 以修正灰度和校正畸变。 图像滤波去噪分为：频域去噪和空域去噪，前者是基于图像的傅里叶变换， 常采用频域高( 低) 通滤波法、同态滤波法等。后者是直接对图像像素进行处 理，常用的方法有直方图修正、邻域平均法、中值滤波法、模板匹配等。在 实时图像处理时，因快速性多采用后者。经滤波处理后，虽除去了大量干扰 信号，但同时也模糊了图像，因此有必要对图像进行增强处理。图像增强的 方法有灰度修正、图像平滑、中值滤波和图像锐化等批。1 。 1 2 2 2 图像分割 图像分割是根据幅度、边缘、形状、灰度值和位置等把图像划分成若干 区域。跟踪中常用的图像分割方法是阈值分割，如图像二值化“。还可以将 图像进行三值分割处理，即设置2 个阈值把图像分成不同灰度的3 部分，要 得到较好的图像分割效果，一是通过对图像的预处理，尽量减少外界因素对 图像质量的影响；二是运用自适应二值化方法进行分割，即把原图分成若干 区域后再分别对每一个小区域进行图像分割。有人提出了一种新的自适应二 值化方法，具有较强的场景适应能力，。还有人采用迭代法自动寻找阈值的 方法，可为各种不同条件下跟踪提供合适的阈值“”。 1 2 2 3 边缘检测 边缘检测是图像处理的一个关键内容，经典的边缘提取方法是对原始图 像按像素的某邻域构造边缘检测算子，考察图像每个像素在某个邻域内灰度 的变化，运用边缘邻近的一阶或二阶方向导数变化规律来检测边缘。目前常 3 哈尔滨t 程大学硕十学位论文 采用的边缘检测算法主要有梯度算子检测法、l o g ( l a p l a c i a n - - - g a u s s ) 算法、 c a n n y 算子检测法、h o u g h 变换法、小波分析法、形态学方法和基于分形学 的边缘检测算法等“”l 口 1 2 2 4 特征分析， 图像经过处理后，下一步就要进行特征分析，即钢板边缘的提取。提取 钢板边缘一般是通过垂直于钢板方向扫描来获取边缘点作为特征点，然后计 算出边缘坐标。实际的边缘在小范围内可近似为一条直线，此时可利用一些 数学方法( 如最t b - - 乘法) 拟合出钢板边缘轨迹坐标。由于多数钢板边缘为直 线，因此从图像中提取直线是边缘跟踪目标识别和特征分析中的一个重要部 分。目前，直线提取算法主要有：启发式连接、h o u g h 变换法、层次编组法 和相位编组法。启发式连接算法的主要问题是容易产生大量的断裂短线段； h o u g h 变换的抗噪性能较好，能把共线的短线段连接起来，但易出现过连接 现象，且计算复杂，分辨率较低：层次编组法的提取速度快，可连接短直线， 但参数选择困难，分辨率低；相位编组法利用梯度的幅度和相位信息来提取 直线，因此有抗噪性能较强、计算量较小、分辨率较高的特点。传统边缘判 别方法的思想是认为边缘存在于灰度发生突变的地方。b u m s 等人认为边缘 不仅存在于灰度发生突变的地方，而且在灰度沿某个方向发生缓慢变化的地 方同样存在边缘，并首先提出了以边缘梯度相位特性为主要依据的相位编组 算法。相位编组法是在边缘上进一步搜索直线，首先将梯度方向进行量化， 由图像中梯度方向相同的相邻点构成直线支撑区，最后由直线支撑区里的像 素拟合出直线，实现直线的提取，。由于边缘跟踪特征提取中经常采用的线 段拟合方法计算量一般都很大，所以有人提出了基于小波变换的边缘特征提 取方法，将离散小波变换和奇异分析理论引入边缘特征提取问题，大大减小 了计算量，而且有效排除了局部信号对边缘整体特征的影响。 1 2 3 跟踪算法研究现状 目前应用于跟踪的算法主要有以下几种： 1 2 3 1 经典控制算法 跟踪中最普遍的方法是p i d 控制法。这种跟踪控制的实质是直接检测出 跟踪边缘的实际位置，以此和期望值比较得出偏差量，输送到特别设计的控 4 哈尔滨下程大学硕十学位论文 制器中，按照已建立的数学模型进行运算，得出控制量，调节伺服运动机构 运动，使检测值和期望值更为接近，如此循环动作，使偏差量趋向于零，保 证跟踪质量。 1 2 3 2 模糊控制 模糊控制运用知识库，根据控制对象的输出结果及其发展趋势，来判断 输入参量的调整方向。模糊控制系统包括精确量的模糊化、模糊控制算法及 模糊决策。模糊推理方法有最大最小合成法、模糊决策加权平均法、求重心 法及隶属度最大值法等。自适应模糊控制则还需要加入性能检测、控制量校 正和控制规则修正环节托”。日本的sm u r a k a m i 等人研制了基于模糊控制的 弧焊机器人焊缝跟踪系统，该系统可以根据焊枪的位置同焊丝与工件距离间 的关系判别焊点的水平位移和垂直位移，并确定弧焊机器人焊枪的调整方向 以及调整量汹，。南昌大学的叶建雄设计了一种变论域的自适应模糊控制器， 论域可调整的自适应模糊控制器的论域设计要比较合理，论域太大，系统响 应慢，稳态误差大，论域过小，系统出现震荡。根据误差和误差的变化来确 定论域的大小，在仿真中取得了较好的效果2 “。 1 2 3 3 神经网络 人工神经网络控制具有并行处理、信息分布存储、容错性强等优点，是 在人脑结构和功能的基础上，通过简化、抽象和模拟，建立神经网络模型， 再通过相应计算机系统，实现反映人脑结构和功能来处理问题的过程控制。 目前应用最广的是b p 神经网络，具有自学习、自组织、容错与自修复、模 式识别与检索能力。但目前神经网络的软硬件技术还不成熟，应该努力开展 基于神经网络芯片的硬件系统研究，实现神经网络与专家系统和模糊控制等 智能技术的融合，进一步扩大神经网络在跟踪中的应用范围心”。南昌大学的 叶建雄讨论了一种多神经网络的混合控制器，_ 个网络作为控制器，其参数 可在线调节，另一个网络作为系统辨识器，为前者的参数调节提供依据。进 行了仿真模拟，结果表明参数在线得到了优化，方法是合理有效的。”。 1 2 3 4 专家系统控制 专家系统控制是采用被控对象领域的专业知识和经验，采用人工智能专 家系统的知识表示及推理技术，得出控制动作，从而达到控制的目的。所谓 5 哈尔滨下程大学硕十学位论文 专家系统( e x p e r ts y s t e m ，e s ) 是指专门设计的用以模仿某一领域专家的知识 和推理方法，并能使其知识被他人所用的计算机软件系统。该系统一般包括 知识系统、开发环境和操作环境。在跟踪系统中，专家系统控制方法还只是 研究阶段。 1 2 3 5 经典pid 控制和智能控制结合 由于跟踪( 焊接) 过程是一个非常复杂的非线性时变系统，单纯应用经 典的p i d 控制或智能控制算法还很难满足焊缝精确跟踪的需要。有学者提出 将比例控制与模糊控制相结合以实现两者的互补。当偏差大于某一阈值时， 用比例控制以提高系统响应速度，加快响应过程。在偏差小于该阈值时，切 换转入自调整比例因子模糊控制，以提高系统阻尼性能，减小响应过程的超 调协州。天津大学胡绳荪等人采用了f u z z y p 的控制理论，并对系统性能有直 接影响的控制参数偏差阈值e 、可调比例因子0 【l 和睨及其控制系统输出比例 因子k 在m a t l a b 上仿真。仿真结果表明，在这种条件下可以满足跟踪系统提 出的控制性能要求n “。南昌大学的叶建雄设计了一种模糊控制和p i d 控制相 结合的混合控制器，利用模糊控制器充当调节器，在线调整p i d 的三个参数； 利用p i d 作为控制器，实现控制量的精确输出n ”。华南理工大学梁明在自调 整模糊控制器的基础上，通过加入修正函数，实现了三模分段控制策略，即 在大偏差范围内采用比例控制，以提高整个系统的响应速度；偏差居中时采 用模糊自适应控制，以提高系统的阻尼性能，减小响应过程的超调；而在小 偏差范围内转换成p i d 控制，而p i d 调节器的积分作用具有很好的消除误差 的作用。三者相结合可以增加系统动态、稳态控制性能。3 种控制方式之间 的转换是由程序根据预先设定的偏差阈值来自动实现的，。由于模糊控制器 在控制过程中需要进行大量的运算，影响了焊缝( 钢板边缘) 跟踪的实时性。 因此，华南理工大学黄石生等人在参数自调控制器的基础上研制了参数自调 混合型p i d 模糊控制器，它通过改变权重系数0 【和引入p i 控制器，在很大程 度上消除了由于运动偏差过大或过小而引起的误差增加，实现了模糊规则离 线调整，可以完全满足实时跟踪的需要伸“。 1 2 3 6 迭代学习算法 迭代学习控制的概念最早( 1 9 7 8 年) 由日本学者u c h i y a m a c 删在一篇有关 6 哈尔滨丁程大学硕十学位论文 机器人控制的论文中提出，当时并未引起人们的重视，直到a r i m o t o 等人m ， 于1 9 8 4 年正式提出了迭代学习控制( i t e r a t i v el e a r n i n gc o n t r o l ，简称i l c ) 方法， 迭代学习控制使用于具有重复运动性质的被控系统，它的目标是实现有限区 间上的完全跟踪任务。它通过对被控系统进行控制尝试，以输出信号与给定 目标的偏差修正不理想的控制信号，使得系统的跟踪性能得以提高。迭代学 习控制的研究对具有较强的非线形耦合、较高的位置重复精度、难以建模和 高精度轨迹跟踪控制要求的动力学系统有着非常重要的意义。 南京理工大学动力学院的姚仲舒等设计了一个使闭环系统稳定的反馈控 制器和改善焊接目标轨迹跟踪性能的前馈迭代学习控制器。试验结果表明了 该控制算法对焊缝轨迹跟踪的有效性n ”。 以上算法主要用于焊缝跟踪，轨迹跟踪，以及边缘跟踪等，是目前使用 的主要方法，当然在跟踪过程中也用到一些其它算法，如：卡尔曼滤波，最 小二乘等算法，这里不再一列出。 1 3 机器视觉的发展及应用 1 3 1 机器视觉的发展 机器视觉也称计算机视觉或图像分析与理解，是- - f - j 涉及人工智能、神 经生物学、心理物理学、计算机科学、图像处理、模式识别等多个领域的交 叉学科。，。它不仅是人眼的延伸，更重要的是具有人脑的一部分功能。 机器视觉系统堪称“机器眼睛 ，一般是指针对“目标图像”进行数字化 并通过计算机处理进行判断，进而做出结论，服务于伺服系统或满足某种特 殊需求。机器视觉系统是实现设备智能化、自动化、高效化、高精密途径中 必不可缺的功能模块。 机器视觉是一个相当新且发展十分迅速的研究领域，并成为计算机科学 的重要研究领域之一。机器视觉是在2 0 世纪5 0 年代从统计模式识别开始的， 当时的工作主要集中在二维图像分析和识别上，如光学字符识别、工件表面、 显微图片和航空图片的分析和解释等。6 0 年代，r o b e r t s ( 1 9 6 5 ) 通过计算机 程序从数字图像中提取出诸如立方体、楔形体、棱柱体等多面体的三维结构， 并对物体形状及物体的空间关系进行描述。r o b e r t s 的研究工作开创了以理解 7 哈尔滨下程大学硕十学位论文 三维场景为目的的三维机器视觉的研究。r o b e , s 对积木世界的创造性研究给 人们以极大的启发，许多人相信，一旦由白色积木玩具组成的三维世界可以 被理解，则可以推广到理解更复杂的三维场景。于是，人们对积木世界进行 了深入的研究，研究的范围从边缘、角点等特征提取，到线条、平面、曲面 等几何要素分析，直到图像明暗、纹理、运动以及成像几何等，并建立了 各种数据结构和推理规则。到了7 0 年代，已经出现了些视觉应用系统。 7 0 年代中期，麻省理工学院( m i t ) 人工智能( a i ) 实验室正式开设“机 器视觉”( m a c h i n ev i s i o n ) 课程，由国际著名学者b k e h o m 教授讲授。同 时，m i t a i 实验室吸引了国际上许多知名学者参与机器视觉的理论、算法、 系统设计的研究，d a v i dm a r r 教授就是其中的一位。他于1 9 7 3 年应邀在m i t a i 实验室领导一个以博士生为主体的研究小组，1 9 7 7 年提出了不同于“积木 世界 分析方法的计算视觉理论，该理论在8 0 年代成为机器视觉研究领域中 的一个十分重要的理论框架。到了8 0 年代中期，机器视觉获得了蓬勃发展， 新概念、新方法、新理论不断涌现，到目前为止，机器视觉仍然是一个非常 活跃的研究领域“”。 机器视觉技术在最近三十年中有迅猛的发展。其应用领域遍及工业、农 业、科学研究、军事等，对这些领域的自动化水平提高发挥了重要作用。视 觉信息在人类活动所涉及的各种信息中所占比重很大，其独特的空间特性和 结构特性，不是其它任何信息所能代替的。由于机器视觉系统可以快速获取 大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成， 因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、 成品检验和质量控制等领域。机器视觉系统的特点是可以提高生产的柔性和 自动化程度，在一些不适合于人工作业的危险工作环境或人工视觉难以满足 要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中， 用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大 提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实 现计算机集成制造的基础技术。 1 3 2 机器视觉的测量与跟踪应用 机器视觉系统主要由三部分组成：图像的获取、图像的处理和分析、输 8 哈尔滨i ：稃大学硕十学何论文 出或显示。其中图像的获取是一个视觉系统成败的基础，只有获取了稳定可 靠的待测物图像，将待测物缺陷完整准确地表现出来，才能保证分析阶段的 可行和可靠，因此可以说图像的获取方案最能体现视觉系统的设计水平：图 像的处理和分析主要是通过硬件或软件的方法来对待测物图像进行分析处 理，通过图像处理和模式识别的方法将待测物的缺陷提取出来并准确分类， 这一阶段可以说是体现了视觉系统的技术水平和算法设计能力，尤其在些 精度高，速度快的应用场合，算法设计起到决定系统成败的关键作用；结果 的输出与显示主要是要对分析的结果进行输出显示或控制输出等处理，主要 体现了视觉系统的功能设计水平，其中输出控制属于自动控制的范畴1 4 “。 工业视觉系统的应用大致分为三个方向：自动检测、智能装配以及视觉伺 服系统n ”。以下就从这三个方面介绍机器视觉的应用状况。 ( 1 ) 自动检测中的机器视觉 机器视觉在自动检测中的应用极为广泛，它包括几何量计量测试和自动 视觉识别检测。 。 几何量计量测试技术是制造技术中不可缺少的环节。通用的光学仪器几 何量测量技术读数过程繁琐，测量时间长，人员主观误差较大，自动化程度 低。机器视觉测量技术是测试领域中的新兴一族。得益于计算机视觉技术的 发展，目前有结构光测量、立体视觉、激光扫描测量和激光雷达等方法。采 用结构光的三角测量法，具有较高的测量精度和一定的测量范围。原理是用 一光束以一定角度投影到被测物表面，再以一定角度用摄像机摄取图像，最 后依据三角定理从二维图像中提取第三维信息。 国外对激光机器视觉检测系统进行了大量的研究开发，并将视觉检测成 功地应用于电子、汽车、机械加工等现代工业生产中。北美汽车工业研究院 为美国福特及凯特普拉公司所做的有关b i n p i c k i n g 的研究结果，使激光 雷达在7 秒之内可以对整个工件箱进行扫描。由于其成像为三维图像，免除 了为得到三维信息所需要的计算。根据三维图像及机械手的数学模型，采用 模式识别的方法，可以从图像中找出机械手抓工件的最佳点。机械手根据视 觉系统的计算结果可以准确地将工件放入传输带中，这样就解决了现代f m s 中的最后一件自动化问题。 9 哈尔滨t 程大学硕十学何论文 i i 国内在机器视觉的研究和应用方面也取得了很大进步。由天津大学精仪 学院和南京依维柯汽车有限公司车身厂共同承担的国家“8 6 3 高科技项目 “依维柯白车身二维激光视觉检测系统”，已经研制成功。以前需6 小时左右 才能完成的汽车白车身检测，现在通过激光视觉检测，只需7 分钟就能完成， 提高功效近百倍。该系统中视觉传感器采用激光技术、c c d 技术，利用基于 三角法的主动和被动视觉检测技术实现被测点三维坐标尺寸的准确测量。 自动视觉识别检测目前已经用于产品外形和表面缺陷检验，如金属表面 视觉检测、二极管基片检查、印刷电路板缺陷检查、焊缝缺陷自动识别等等。 这些检测识别系统属于二维机器视觉，技术已经较为成熟。 ( 2 ) 智能装配中的机器视觉 目前，在工业领域中，已经有很多以机械手、视觉系统为主体的带感觉 的机器人系统进入实用阶段。例如晶体管自动焊接系统、管子凸缘焊接机器 人、有视觉的装配机器人等等。机器人应用视觉的方式有很多种，如对机械 手定位以及跟踪目标提供反馈控制信息；确定和辨别零件的位置方位以拾取 零件；控制对零件的装配；引导焊缝机器人等。 ( 3 ) 视觉伺服系统 视觉的非接触测量特性使它对视觉伺服系统极为有用。一种典型的应用 是将视觉传感和操作集成在一个开环系统中，系统的精度直接依赖于视觉传 感和执行机构的精度。其控制采用开环视觉方法，即从图像中抽取检测物体 的特征信息后驱动相应的执行机构运动，视觉信息仅作为指令依据。 通常人们按照误差信号的不同将视觉伺服控制系统分为三类：基于位置 的视觉伺服系统、基于图像的视觉伺服系统以及由上述两种方法组合而成的 混合视觉系统。在基于位置的伺服系统中，误差信号在笛卡尔坐标系中给出。 由于使用简单的比例控制即可以使该系统稳定，因此此类系统的控制问题实 质上转变成根据图像估计出目标相对位置的问题。在基于图像的伺服系统中， 误差信号由图像特征参数直接定义，主要涉及两方面问题：( 1 ) 图像的特征选 择和提取：( 2 ) 控制系统的分析和综合。同基于位置的伺服系统不同，在基于。 图像的伺服系统中，图像特征的选择将直接决定控制率和最终系统的稳定性 和鲁棒性等性能，因而所选择的特征往往因系统而异，目的是使整个系统便 1 0 哈尔滨丁程入学硕十学位论文 于分析和设计。 1 4 课题的主要研究内容 木课题的研究主要源于实验室的一些实际工程项目需要，比如智能焊接 中的焊缝跟踪、智能切割、船体分段测量、仿型切割等等。为了实现通用技 术研究，课题进行了钢板边缘跟踪与应用技术研究，其任务是从可行性和实 用性出发，找到一套可用于跟踪的视觉图像处理技术和跟踪控制方案以及实 际应用中所存在问题的解决方法。 主要研究内容如下： 1 设计基于视觉的边缘跟踪硬件系统，搭建视觉传感器及运动控制系统 设计，并完成运动标定工作： 2 验证各种算法对所采集图像处理的可行性。观察一般图像处理算法对 跟踪图像的处理效果，为跟踪图像处理的算法选择提供参考；找出合适的钢 板边缘跟踪图像处理步骤； 3 通过实验找到合适处理算法，能够准确、实时地提取钢板边缘图像特 征点；并进行偏差识别，依据图像处理得到摄像机光心与钢板边缘的偏差量， 通过转换得到控制偏差： 4 找到合适的控制算法，并进行控制软件设计，通过运动控制卡控制机 器人运动，实现边缘跟踪，并通过实验进行验证； 5 结合实际大曲面板坡口切割应用，研究使用钢板边缘跟踪技术在坡口 切割中应用存在的问题及解决办法。 哈尔滨l ：稃人学硕+ 学位论文 第2 章边缘跟踪硬件系统设计 2 1 系统组成 系统的工作原理如图2 1 所示。跟踪系统主要由五部分组成，分别是传 感器系统、图像采集单元、工业控制计算机、直角坐标机器人、基于p m a c ( p r o g r a m m a b l em u l t i a x i sc o n t r o l l e r ) 的交流伺服系统。 图2 1 钢板边缘跟踪系统原理图 跟踪系统的工作过程是：线激光器和c c d ( c h a r g ec o u p l e dd e v i c e ) 摄 像机固定在直角坐标机器人z 轴的底端，c c d 摄像机与工控机上的图像采集 卡相连，图像采集卡将采集到的边缘跟踪图像传送到工控机上。在工控机上 编制图像处理程序对边缘跟踪图像进行处理，得到钢板的边缘坐标，工控机 在计算边缘坐标的同时，通过p m a c 运动控制卡控制直角坐标机器人沿着钢 板的边缘前进，实现边缘跟踪。 2 2 系统的主要部件选型 系统用到的相关硬件，主要包括c c d 视觉传感器、图像采集卡、研华工 哈尔滨丁程大学硕十学位论文 控机、p m a c 多轴运动控制卡、交流伺服系统、直角坐标机器人等。结构光 采用亮度很强、发散性很小的线激光。 2 2 1c c d 视觉传感器 c c d 是英文c h a r g ec o u p l e dd e v i c e 的缩写，意即“电荷耦合器件”。目 前应用最广泛的图像采集设备就是基于c c d 的摄像机，也直接称为c c d 摄 像机。它是一种利用电荷存储传送和读出方式进行工作的固体摄像器件。c c d 是固态图像传感器的一种，固态图像传感器是指把布设在半导体衬底上的许 多感光小单元的光电信号，用所控制的时钟脉冲读取出来的一类功能器件。 它与传统的真空管式光导摄像管相比，有体积小、重量轻、寿命长、稳定性 好、耐震动、速度高、高灵敏度，几何失真小及耐高压等一系列优点。且其 制造工艺和一般半导体集成电路的制造工艺相比并不十分复杂，因而自7 0 年代出现以来获得了很大的发展。 系统选用的视觉传感器为台湾敏通的m 2 3 f l 型号的多重模式异步触 发工业级专用c c d 摄像机，电源1 2 v ，功率2 w ( m a x ) ，其具有特性功能： 1 迷你、轻巧、袖珍型： 2 1 3 逐行扫描c c d 传感器( p r o g r e s s i v es y s t e m ) ； 3 高灵敏度、高分辨率、正方形像素、高性能摄像系统； 4 根据设定脉冲宽度实现异步触发电子快门模式，高速实时输出视频图 像信号； 5 场、帧可依外部指令脉冲随机触发对运动物体进行图像采集； 6 具有电子快门速度多重模式设置功能( o f f ，1 1 0 0 ，1 5 0 0 ，1 2 0 0 0 ， 1 1 0 0 0 0 秒) 。 该摄像机兼容多种工业用视频控制设备如适合用于： 1 机器视觉检测； 2 生产线产品的识别； 3 物体快速移动的拍摄； 4 激光诊断和检测等应用。 哈尔滨。l ：程人学硕十学位论文 2 2 2 图像采集卡 作为图像处理采集和处理核心部分的图像采集卡，课题选用的是北京嘉 恒中自图像技术有限公司生产的o km 1 0 b ，它是基于p c i 总线的标准视频 黑白图像采集卡，是o k 系列的二代产品，是o km i o l 的升级型。o km 1 0 b 是一款专业级的黑自采集卡，它采用了多项先进技术，高带宽输入，数字抗 混叠、滤波等，使此卡的性能比o km i o l 有了显著的提高。o km 1 0 b 适 用于工业检测、科学图像处理及医疗影像( 如x 光机、黑白b 超) 等研究开 发领域的高质量图像采集卡。 o km 1 0 b 采集卡的技术特点及指标： 视频输入可为p a l 或n t s c 等标准或非标准视频信号。 采集点阵行方向连续可调，最大点频2 5 m 。 四路视频输入软件切换选择。 8 位高精度高信噪比a d ，宽范围亮度对比度软件调节。 输入的视频幅度可适应0 2 v 3 v 峰峰值，零点调整可适应士1 5 v 变化 范围。 点阵扰动( p i x e l j i t t e r ) d 、于2 n s 。 图像采集采用高效总线分享技术，提高c p u 并行处理能力。 可自动测量行、场视频特性。 可直接采集格式为8 位、2 4 位、3 2 位。 图像上下、左右镜象采集。 高带宽输入，数字抗混迭滤波技术，图像水平分辨达8 0 0 线。 具有输入查找表。 可采集单场，单帧，连续帧，精确到场。 外触发信号输a ( t t l 低电平) ，外触发( 低电平沿) 硬件采集控制。 2 2 3 直角坐标机器人 系统选用的是德国r o b o w o r k e r 机器人公司的直角坐标机器人系统，该公 司是当今世界上最著名的直角坐标机器人供应商之一，研发生产所有与机器 人及应用有关的产品，如多种规格的直线运动单元，各种手爪，伺服电机， 1 4 哈尔滨_ 丁程大学硕十学位论文 控制系统和图像处理系统。课题所采用的为德国r o b o w o r k e r 机器人公司生产 的直线运动单元，其特点为： ( 1 )外置直线滑轨的直线运动单元对滑块的支撑宽度大，带负载能力 增强很多，运行的平稳性和各种受力能力相对提高很多。 ( 2 ) 德国机器人公司采用其独有的专利技术把两根高硬度圆柱直线 滑轨用精密铝材拧到铝型材上，彻底排除了横向间隙，而且圆柱直线滑轨和 滑块轴承间有更大的接触面，圆柱直线滑轨长期运行不会产生任何位置变化。 ( 3 ) 硬铝车铣加工出的滑块和连接件强度好。确保机器人的长期高 速，高精度地稳定运行。 直角坐标机器人与安川交流伺服电机以及减速器连接后的主体部分安装 在四条桩腿的底座上，传感系统安装在垂直z 轴的底端。 2 2 4p m a c 运动控制卡 系统采用的下位控制卡p m a c 是美国著名的d e l t a t a u 公司推出的采用 基于先进的数字信号处理技术的第四代传动控制装置。它具有响应速度快， 精度高，开发周期短，编程和操作简单的特点，其功能非常强大，具有单独 的c p u ，可以作为一台独立的计算机使用：开发式结构，可以控制各类电机， 接受各类反馈，支持多种总线，可同时控制多轴；自动实现对任务的优先级 判别；执行运动程序和p l c 程序；支持g 代码编程等。p m a c 自身提供相 关软件，方便编程和调试，包括下面两类： ( 1 ) 执行软件：