基于机器视觉的工程机械远距离测量的研究

基于机器视觉的工程机械远距离测量的研究摘要：通过分析施工现场工程机械执行部件运动的一段视频，以有明显标记的颜色空间为特征空间，采用统计模式识别的分类方法跟踪目标的运动，检测执行部件的位移，并进行后续分析。实际结果证明本文所提出的方法快速有效，解决了施工现场测量此类位移不便的难题。关键词：机器视觉；远距离测量；统计模式识别Abstract:Asortingtechniquebymeansofstatisticalpatternrecognitionandusingcolorascharacteristicspaceisputforwardaccordingtothepropertiesofoperatingcomponent’smotionofengineeringmachinery.Weusethetechniquefollowthetracksofcharacteristiccomponentadheringtooperatingcomponentanddetectthedisplacementofoperatingcomponent.Thepracticalmeasurementsshowthatthistechniquehasthepropertiesoffastspeedandeffectiveresults.Thisdisplacementthatisdifficulttodetectintheprocessofconstructionisresolvedcommendably.KeyWords:Machinevision;Measurementoverlongdistance;Statisticalpatternrecognition1、前言在工程机械如起重机、臂架式混凝土泵车等高空作业机械的施工现场，基于试验测量或故障原因排查的需要，经常需要测量执行部件（如臂架、吊具等）的位移，而在施工现场测量此类工程机械的位移十分不便。目前采用位移传感器测量，面对现场的恶劣环境及需要一个固定参考点等因素，使这类传感器使用起来非常困难，同时，此类型传感器通常需要各种规格电源、位移基准的标定以及安装传感器的不便，加大了现场测量的工作量和难度。目前缺少方便有效的测量方法。因此，如何方便快速的检测工程机械执行部件的高空运动位移，是本领域技术人员所需解决的技术问题。由于工程机械的执行部件具有较小刚度和较大的质量，在振动或是移动时速度通常比较慢，因此采用较低的采样频率进行测量是能满足大部分的测量要求的。本文采用摄像的方式，获取一段视频或是一系列照片，通过对图像序列的自动分析即可获取执行部件的位移、速度、加速度等信息。此外，通过分析同时获取的声音信息，即可得到发动机转速等信息，以便进行故障检测和故障分析。而且视频或照片能更加方便的记录此时的工作状态，更利于后期分析。2、图像处理及模式识别概述基于视频或一系列照片的运动目标检测与跟踪涉及到很多研究领域，如数字图像处理、机器视觉、模式识别等。2.1、数字图像处理、机器视觉与模式识别概述视频是由图像按时间顺序组成的图像序列，一般每秒包含30帧图像。图像是按照栅格结构的画面存储的，栅格结构将图像划分为均匀分布的栅格即像素，显示地记录每一像素的亮度值，图像像素的位置即为像素坐标，图像的行数和列数对应于图像栅格的整数坐标，位于图像的左上角，指向下方，指向右方，、分别为图像像素的行列数，用矩阵表示如下所示：在数字图像处理中，常用的彩色空间为RGB（Red，红；Green，绿；Blue，蓝）模型和HSV（Hue，颜色的主色调；Saturation，饱和度；Value，颜色的亮度）模型。通常硬件通过RGB模型产生、显示色彩，RGB也是计算机和图像处理领域最常用的颜色空间。根据色度学理论，任何颜色都可由红R、绿G、蓝B三种基本颜色按比例混合而成，因此，一个像素与一个三维向量相关联，分量分别对应于相应彩色的亮度。[1]这些色度值直接存在图像数组中，因此图像数组的大小为。图像模式识别可粗分为统计模式识别、结构模式识别、模糊图像识别和智能模式识别四类。[2]统计模式识别是以概率论与数理统计理论为基础的，模式用特征向量描述，找出决策函数进行模式决策分类，其要点是提取待识别模式的一组统计特征，然后按照这组统计特征所确定的决策函数进行分类判决。识别过程如图1所示，由图像获取、预处理、特征提取、分类决策及分类器设计五部分组成。图中的下半部分是分析部分，利用图像样本求出分类函数及分类规则，完成分类器的设计，进而对未知类别图像进行分类。图1统计图像识别系统结构图分类方法主要有贝叶斯决策方法、线性可分的几何分类法、非线性可分的几何分类法、监督参数统计法、非监督参数统计法及聚类分析法等。2.2、特征提取和选择统计模式识别的一个十分重要的研究问题是特征的选择与优化，对特征空间进行优化有两种基本方法：一是选择使同类物体分布具有紧致性的特征空间，二是通过映射变换构造精简的特征空间。本文所讨论的运动模式是摄像机静止-物体运动，这是一类非常重要的动态场景分析，主要用于监视、目标检测及跟踪等场合。[3]图像原始特征的数量往往很大，色彩、纹理、几何尺寸、拓扑特征等构成了一个高维向量，为了实现有效的分类识别，要对原始数据进行降维，即通过映射变换将高维特征向量映射到低维空间，再从中选出最有效的特征来识别对象。以臂架式混凝土泵车为例，臂架末端有一红色圆形标识物，由于标识物附着在臂架上且无弹性形变，其运动反映了臂架的运动；施工时其背景为天空，比较简单，目标颜色向量与背景颜色向量差异比较大。此外，与其他的特征相比，颜色特征具有旋转不变性和尺度不变性，对目标本身的尺寸、方向、视角的依赖性较小，从而具有较高的鲁棒性。因此采用统计图像识别模式、基于有明显标记的颜色这一特征来设计匹配算法。拍摄时使镜头平面与标识物平面平行以减少形变。2.3、分类器设计本文对特征点所用的分类是一个二类模式识别问题[4]：假设判别函数为线性，则其一般表达式为：（1）式中，是三维特征向量，为权向量，为常数。对两类、问题的线性分类器，可以采用下述的决策规则：（2）如果（3）任意像素均与颜色向量相关联。假设目标颜色向量为，其阈值为，若某像素的颜色向量的R、G、B分量分别满足（4）则此点属于特征区域。3、测量方式及程序算法3.1、测量方式臂架式混凝土泵车等高空作业机械在施工现场采集一段视频，每秒的帧数越多，分析精度越高。通过分析视频发现臂架上的标识物，锁定标识物，然后自动跟踪标识物的运动，由于标识物附着在臂架上且无弹性形变，其运动反映了臂架的运动，如图2所示。通过对标识物运动的测量，以标识物的中心点为基准点，以标识物的边为基准，计算可得标识物的运动幅度，即臂架的运动幅度。图2施工现场视频采集示意图本测量方式是以标识物为基准测量的，而标识物与背景明显区分开，因此与背景的变化无关。同时，本测量方式与拍摄位置、焦距、拍摄角度的变化无关。本测量方式对每一帧画面都要锁定标识物，并计算标识物的区域，因此拍摄位置、焦距和拍摄角度的变化相应的引起画面中标识物形状和大小的变化，但是对于同一次测量，拍摄位置、拍摄角度和焦距是不变的，锁定的标识物的形状和大小也是不变的，而摄像机等电子设备离臂架很远，一般为10米以上，因此标识物的上沿与下沿到电子设备的角度差可忽略不计，如图2所示。图3为图2红色圆圈部分的放大，是臂架实际运动幅度的计算示意图。图3臂架实际运动幅度的计算示意图（5）上式为臂架实际运动幅度的计算公式，其中，为臂架上下运动幅度，为臂架左右运动幅度，为臂架上下运动幅度像素值，为臂架左右运动幅度像素值，为标识物宽度像素值，为标识物实际宽度。对于不同次测量，拍摄位置距离上的变化可反应为焦距的变化，由于每帧画面都要测量标识物的像素值，当焦距变化时，拍摄到的标识物所占用的像素值会随之变化，同时拍摄到的臂架运动的像素值、也同比例变化，由公式5可知，对臂架运动幅度没有影响。拍摄角度的变化相应的引起标识物大小和形状的变化，测量的标识物的像素值也会随之同比例变化，但标识物的中心点是不变的，而且标识物距离摄像机等电子设备很远，标识物的边长远远小于距离，其形状的变化可忽略不计；而大小变化可参考拍摄位置和焦距变化时的解释。故拍摄角度的变化对像素值的测量没有影响，对臂架运动幅度也没有影响。3.2、程序算法基于特征匹配的目标跟踪算法是根据目标特征利用某种匹配算法在序列图像中寻找目标并跟踪目标，该算法分四步实现：一、从图像序列中提取显著特征，提取第一帧画面，手动选择标识物的某个点作为输入，以此点的颜色空间作为特征空间；二、在连续图像中寻找特征点,以此点为基准自动确定标识物的区域；三、根据匹配算法，确定在当前图像帧中目标的最佳位置，绘出每帧图像中臂架的运动,在此过程中，表示标识物的颜色模块一直自动跟踪臂架；四、计算运动信息,依据公式5计算得到臂架的运动幅度，此时完成对臂架的运动测量。此外，还可计算得到臂架运动的速度和加速度，以及其他的后续处理。4、测量结果在MATLABR2009软件环境下，实现了3.2节所示的算法。运行此算法，结果如下所示，表示标识物的颜色模块一直自动跟踪臂架。图4为某段视频的第一帧图像，选取标识物上的点为特征并标记为+；图5为对标识物进行标识，选用绿色方块表示；图6、图7为在图像序列中自动跟踪标识物，绿色方块跟踪标识物运动。图4选择标识物图5对标识物进行标识图6标识物跟踪图7标识物跟踪图8绘出臂架运动幅度，单位为像素；图9为臂架运动的实际幅度，单位为厘米，此时完成对臂架的运动测量。还可计算得到臂架运动的速度和加速度，如图10、11所示。图8臂架运动幅度像素值图9臂架实际运动幅度图10臂架实际运动速度图11臂架实际运动加速度对臂架在时域的实际运动幅度进行傅立叶变换，以便进一步分析，如图12所示，臂架的左右运动幅度和上下运动幅度均在频率为0.42Hz时最大。图12傅立叶变换5、臂架运动三维图的构建为了更好的显示臂架的运动，用两架摄像机分别从两个方位同时拍摄臂架的运动，绘出臂架运动的三维图。这两架摄像机必须以臂架末端在地面上的投影为原点且成直角，如图13所示。由于两架摄像机同时拍摄臂架的运动，则它们在上下方向上的运动幅度理论上是相同的，故采用标识物在上下方向的运动为标准。具体测量方式与上述相同。将臂架上下方向运动的测量结果进行对比，若一致则进行后续分析处理，否则放弃。如此可完全展现臂架在整个空间的运动。如图13所示，假设摄像机A采集的为臂架上下、左右两个方向的运动，则摄像机B采集的为臂架上下、前后两个方向的运动。由于两架摄像机同时拍摄臂架的运动，则它们在上下方向上的运动幅度理论上是相同的。将摄像机A采集的视频用上述方法进行分析；并对摄像机B采集的视频进行同样的分析，所测量出的上下方向的运动与A的结果进行对比，若一致则有效，否则此次测量数据作废。在最后臂架运动幅度显示时，用两种显示方式：一是显示每个方向的实际运动幅度，分析臂架在三个方向的运动；二是采用三维图显示臂架在空间的坐标，展示其空间运动区域范围。图13两架电子设备采集图像示意图6、结论和展望本文通过对在施工现场的工程机械的执行部件运动位移的研究，选取有明显标记物的颜色作为特征空间，采用统计模式识别的分类方法，在图像序列中跟踪标识物，测量执行部件运动的位移，并进行后续分析。从结果可以看出，统计模式识别分类方法具有快速、简单、可靠性高等优点，解决了工程机械执行部件高空测量难的问题。本文采用RGB颜色空间模型，其分量R、G、B的相关性太强，使合成