一种基于机器视觉的消防炮混合控制系统及控制方法与流程

一种基于视觉消防炮混制系及控方法与流程本发明属于消防域，具体涉及一基于机器视觉的防炮混合控制系统控制方法。背技：近年来，安全领尤其是消防安全受关注。一方面消防安全与社会利息息相关，据统计近几年因消防安造成的损失达到均约38亿元/年；另一方面，消防设施发展逐渐自动化智能化，其涵盖科学领域广泛。消炮作为消防灭火的键设备，需具备速性和准确性，发展也必定趋于智化。随着视觉技术的展，其在控制方的应用越来越泛目前，基于视觉技的伺服控制方法主有基于位置的控、基于图像的控及混合控制。基于置的控制方法主要采用双目视觉设获取图像中某点3维笛卡尔空间中的位置，与期望位置造偏差量输入控器，形成控制输，具有快速性等优，但该方法容易受相机标定结果等影响，鲁棒性较；基于图像的控制法主要是利用视觉息获得被观测对在2维图像空间的特征，期望的图像特征相比较形成误，构建偏差输入制器，该方法对机标定误差、模型差等不敏感，具有高的稳态控制精但控制系统只是部稳定，对于小幅旋转的伺服控制效较好；混合控制含在3维笛卡尔空间构成的闭环制系统和2维图像空间构的闭环控制系统混合控制结合了基位置和基于图像控制，因此，混控制方法可满足幅度和小幅度兼的伺服控制。消防炮作为应急援设备，其快速和准确性必须兼。中国专利(cn107909615a)公开一种基于双目视的消防炮定位方法使用双目相机的特征获取火焰的间位置，控制消炮灭火，但是双视觉的应用容易受前期标定以及目标景的干扰，会产较大误差，该专可满足消防炮灭火快速性需求，但是标定和现场场景复杂程度的影响，其准确性并不能到保证；同时，由灭火过程中环境影响，例如横风，造成的射流落点移情况，同样无法决。中国专利(cn109939396a)公了一种具有落点修正功能的自走式消防，使用激光测距获取火焰位置信，控制底盘转动，进至消防炮范围内智能控制系统根火焰位置调整消炮水平转角和喷射角，铜焊丝，根实时反馈的落点表面温度等信号智能调整射流方向但是该专利并未给，获取到火焰位信息后如何调整防炮进行转动，同，该专利也并未给获取到射流落点是如何利用图像息调整消防炮转动实现精准射流。可，现有的技术多是通过视觉技术者激光测距仪对获火场的位置后，控消防炮进行转动这些方法可满足速性的要求，对于火的准确性并不保证。由此可见，目前基于视觉技术的防炮系统及控制法存在以下问题：(1)准确性得不到证。现有技术多过位置信息确定消炮的转动角度，类方法容易受到位信息误差的影响同时，灭火过程的环境因素也会大影响其灭火的准确，并不是单一的置信息就可以实持续准确的灭火。(2)调整控制方法缺。现有技术也通过射流轨迹落点置来修正消防炮但往往只给出了识落点信息的说法后续的调整控制法并未给出。技实要素：针对现有技术中在不足，本发明供了一种基于机视觉的消防炮混合制系统及控制方法提供了基于位置伺服控制和基于像的伺服控制融合混合控制方法，基位置的伺服控制快速调整消防炮射流快速逼近火场基于图像的伺服控可进一步调整消炮，使得射流落持续准确的命中目火场。本发明是通过以技术手段实现上技术目的的。一种基于机器视的消防炮混合控方法，具体为：控制系统根据摄机与目标火场的间位置坐标，控消防炮转动到水平标角度和俯仰目标度，当消防炮到目标角度后，消炮停止转动，并喷灭火剂；摄像机实时获取流落点d与目标火场f在像机图像坐标系的坐标，计算射流落点d与目标场f在图像坐标系x轴上的水偏差ex、在图像坐标系y轴上的俯仰偏差ey得到消防炮水平转控制量和俯仰转控制量，消防炮一步进行水平转和俯仰转动，直射流落点d与目标火场f重合；当命中目标火场，控制系统在摄机图像中继续对流落点实时监测，旦检测到射流落点和目标火场f在图像上存偏差，立刻进行整，使得射流落点持续命中目火场。进一步地，所述标角度分别由第角度传感器和第角度传感器实时检获得。进一步地，所述平目标角度和俯目标角度的获取程：双目视觉系统取目标火场在摄像图像坐标系中的标f1以及消防炮的空间置坐标m，控制系统计算消防炮准目标火场所需水平目标角度和仰目标角度；所述水平目标角的计算公式为：其中，xf为目火场在摄像机图像标系中沿x轴方向的坐标，zf为目标火场在摄像机图像坐系中沿z轴方向的坐标，β为第角度传感器与第一度传感器的夹角；所述俯仰目标角的计算公式为：pitch＝f(zf-zm)其中，f()是求角的函数，zm为消防炮的空位置坐标沿z轴方向的值。一种消防炮混合制系统，包括：消防炮，用于向场喷射灭火剂；双目视觉系统，置在消防炮的周，用于获取目标场及射流落点图像第一角度传感器安装在消防炮的机上，用于实时测水平目标角度；第二角度传感器安装在消防炮的机上，用于实时测俯仰目标角度；控制系统，与双视觉系统、第一度传感器和第二度传感器连接，用控制消防炮水平转和俯仰转动、计射流落点d与目标火场f在图像标系x轴上的水平偏差ex上述技术方案中所述双目视觉系包括第一摄像机第三角度传感器、二摄像机和支架，架设置在消防炮围，支架上平行装有第三角度传感、第一摄像机和第摄像机，第三角传感器、第一摄机和第二摄像机面火场设置。本发明的有益效为：本发明中的第一像机(或第二摄像机)识别标火场在摄像机像坐标系中的坐标，并通过控系统获取目标火相对于第一摄像(或第二摄像机)的空间位置坐标，计算射流到达目标火时，消防炮水平动角度和俯仰转动度，进而控制消炮水平、俯仰转相应角度，实现防炮的大角度转动使消防炮射流快速近目标火场甚至中目标火场；第摄像机(或第二摄像机)实时获取包括射落点与目标火场息在内的图像，过计算射流落点与标火场在图像坐标下的偏差，根据差调整消防炮转，直到第一摄像机或第二摄像机)图像坐系下的射流落点目标火场的偏差等0，消防炮停止转动，使消防炮射准确命中目标火。本发明通过基位置的伺服控制方快速逼近目标火场可快速调整消防转动至目标火场近，通过基于图像伺服控制方法进一调整消防炮转动使射流落点准确中目标火场，既满快速性要求，又可足准确性要求，决了基于位置的服控制方法带来的差，导致的无法确命中火场的问，也解决了基于像的伺服控制方法大范围角度旋转时耗时问题。同时第一摄像机(或第二摄像机)自控系统开始工作后，实时测射流落点与火的偏差并进行调，实现消防炮根据标火场信息，实时整自身姿态，使射流落点持续准的命中目标火场。附图说明图1为本发明所述于机器视觉的消炮混合控制系统结示意图；图2为本发明所述目视觉系统结构；图3为本发明基于置的伺服控制流图；图4为本发明基于像的伺服控制流图；图5为本发明基于像的伺服控制的标火场与射流落点像素偏差示意图图中：1.消防；2.双目视觉系统；3.第角度传感器；4.第二角传感器；5.第二摄像机6.第三角度传感；7.第一摄像机；8.支架。具体实施方式下面结合附图以具体实施例对本明作进一步的说，但本发明的保护围并不限于此。如图1所示，一种于机器视觉的消炮混合控制系统，括消防炮1、双目视觉系统2、第角度传感器3、第二角度传感4和控制系统。第一角传感器3和第二角度传器4均安装在消防炮1的电机上；消炮1用于向火场射灭火剂；双目觉系统2设置在消防炮1的周围如图2所示，双目觉系统2包括第一摄像机7、第三度传感器6、第二摄像机5和支架8，架8设置在消防炮1的周，支架8上平行安装有三角度传感器6、第一像机7和第二摄像机5，第一像机7和第二摄像机5面向火场设置，用于获目标火场及射流点图像，第三角传感器6用于测量双目视觉系统2的角度从而得到第三角传感器6与第一角度传感器3的夹角。控制系统与第一像机7、第二摄像机5、第一度传感器3、第二角度感器4、第三角度传感6连接。一种基于机器视的消防炮混合控系统工作时，首采取基于位置的伺控制方法控制消防1转动，控制结束后，采基于图像的伺服制方法控制消防炮1转动。基于置的伺服控制方，目的是使消防炮流及落点快速逼火场甚至命中火；基于图像的伺控制方法，目的使得消防炮射流落准确命中目标火场且实时监测落点否偏离目标火场并实时调整消防炮态。基于位置的伺服制方法流程如图3所示，一摄像机7(或第二摄像机5)获取目标火场(火点在摄像机图像坐系中的坐标f1，并传输给控制系，第一摄像机7和第二摄像5获取目标火场相对于第一摄机7(或第二摄像机5)的空间位置坐标m，传输给控制系统，制系统计算对准标后消防炮1的水平目标角度和俯仰标角度，消防炮机在控制系统的制下工作，使得消炮1转动到水平目角度和俯仰目标度，第一角度传器3和第二角度传感器4分别实时检测水目标和俯仰转动否到达目标角度当到达目标角度后控制系统输出指令制消防炮电机停工作，消防炮1停止转动，控制统控制消防炮1喷射灭火；否则继续转动直到到达目标角度其中，消防炮1的平目标角度和俯目标角度的获取过为：目标火场在摄像图像坐标系中的标为f1(xf,yf,zf)，消防炮的空间置坐标为m(xm,ym,zm)，则平目标角度yaw的计算公为：其中，β为第角度传感器6与第一角度感器3的夹角；俯仰目标角度pitch的计公式为：pitch＝f(zf-zm)其中，f(zf-zm)是根据z轴方向的离求角度的函数基于图像的伺服制的消防炮1控制流程如4所示，方法如下：如图5所示，控制统在第一摄像机7(或第二像机5)的图像中识别射落点d以及目标火场，并得到别射流点d以及目标火场f在第一摄像7图像坐标系下的坐标，别为射流落点(dx,dy)、目标场(fx,fy)，两者在图坐标系x轴上的水平偏为ex＝dx-fx，在图像坐标y轴上的俯仰偏差为ey＝dy-fy。构造射流落点d与标火场f在第一摄像机7图像坐标系的偏差，其中，流落点d与目标火f在x轴上的偏差ex反映实际射流落点与标火场在水平方向上的偏差射流落点d与目标火场f在y轴的偏差ey反映实际射流落点与目标火场俯仰方向上的偏。以水平偏差ex、俯仰偏差ey作为控制器(设置在控制系中)的输入，消防炮水平转和俯仰转动控制量输出，控制消防炮1进一步平转动和俯仰转；直到第一摄像机7图像坐标系上射流落点d与目标火场f重合，即水平和俯仰偏差为0，表消防射流准确命中标火场f，消防1停止转动，并喷射灭火。当命中目标火后，第一摄像机7继续拍摄，控系统在第一摄像7的图像中继续对射流落实时监测，一旦检测到射流点和目标火场在像上存在偏差，刻进行调整：即偏作为控制器输入，防炮水平俯仰和仰转动控制量为出，控制消防炮1水平转动和俯仰转动使得射流落点持命中目标火场。所述实施例为本明的优选的实施式，但本发明并限于上述实施方式在不背离本发明的质内容的情况下本领域技术人员够做出的任何显而见的改进、替换或型均属于本发明保护范围。技特：1.一种基于机视觉的消防炮混控制方法，其特征于：当消防炮(1)到达平目标角度和俯目标角度后，停止动，并喷射灭火；摄像机实时获取流落点d与目标火场f在像机图像坐标系的坐标，计算射流落点d与目标场f在图像坐标系x轴上的水偏差ex、在图像坐标系y轴上的俯仰偏差ey得到消防炮(1)水平转动控量和俯仰转动控制，消防炮(1)进一步进行平转动和俯仰转，直到射流落点d与目标火场f重合。2.根据权利要1所述的基于机视觉的消防炮混合制方法，其特征于，还包括：当命中目标火场，控制系统在摄机图像中继续对流落点实时监测，旦检测到射流落点和目标火场f在图像上存偏差，立刻进行整，使得射流落点持续命中目火场。3.根据权利要1所述的基于机视觉的消防炮混合制系统的工作方，其特征在于，所述标角度分别由第角度传感器(3)和第二角度传感(4)实时检测获得。4.根据权利要1所述的基于机视觉的消防炮混合制方法，其特征于，所述水平目标角和俯仰目标角度获取过程：双目觉系统(2)获取目标火场在摄像机图像坐系中的坐标f1以及消防炮(1)的间位置坐标m，制系统计算消防炮对准标火场所需的水目标角度和俯仰标角度。5.根据权利要4所述的基于机视觉的消防炮混合制方法，其特征于，所述水平目标角的计算公式为：其中，xf为目火场在摄像机图像标系中沿x轴方向的坐标，zf为目标火场在摄像机图像坐系中沿z轴方向的坐标，β为第角度传感器(6)与第一角度传感器(3)的夹。6.根据权利要5所述的基于机视觉的消防炮混合制方法，其特征于，所述俯仰目标角的计算公式为：pitch＝f(zf-zm)其中，f()是求角的函数，zm为消防炮(1)的空间位坐标沿z轴方向的值。7.一种实现权要求1-6任一项所述的控方法的消防炮混控制系统，其特征在于，包括：消防炮(1)，用于火场喷射灭火剂双目视觉系统(2)设置在消防炮(1)的周围，于获取目标火场及流落点图像；第一角度传感(3)，安装在消防炮(