井下可视化监测机器人.doc

中国矿业大学“本科教学工程”国家级大学生创新训练项目申报书项目名称： 井下可视化监测机器人 项目负责人： 卢震 所在学院： 机电工程学院 专业年级： 机械类2011-4班 学号/身份证号： 03111033联系电话：电子信箱： 指导教师： 郝敬宾 项目起止年限： 2013年4月至2015年4月 项目参与学生人数： 3人 中国矿业大学教务部制二一三年三月填写说明1、 凡申报国家大学生创新训练计划项目必须填写本申报书。2、 向学校报送本申报书时，一式2份，并报送申报书电子文档。3、 本书应该填写完整、内容详实、表达准确，数字一律填写阿拉伯数字。4、 项目开展支撑平台指支撑本项目开展的校、院级教学实验中心、科研实验室等，表中填写有关实验室名称，可以多个。5、 打印格式与装订（1）纸张为A4大小，双面打印；（2）文中小标题为四号、仿宋、加黑；（3）栏内正文为小四号、仿宋；（4）左侧距边界1厘米钉2处。项目名称井下可视化监测机器人申请经费20000元起止时间 年 月至 年 月项目所属 一级学科项目开展 支撑平台项目负责人基本信息（1-2人）姓名学号专业年级所在学院卢震03111033机械类11-4班机电工程学院性别联系电话E-mail身份证号uzhencumt163.co目组成员基本信息序号123姓名/性别卢震张桁维朱文杰学号031110330311104403111048专业年级机械类11-4班机械类11-4班机械类11-4班所在学院机电工程学院机电工程学院机电工程学院联系电话187962403081599694425815651357891E-身份证号321324199303131416610113199306011311140123199203187031签名指导教师基本信息姓名所在学院研究方向职称/职务郝敬宾机电工程学院采场空间可视化技术讲师性别/年龄联系电话E-mail签名男/3115262016986研究内容概述(限200字以内)本项目针对矿井下部分采场空间狭小、环境复杂、人员不易进入等特点，研究适用于井下复杂开采环境的可视化监测机器人，将全景视图技术和可移动平台技术相结合，克服井下低光源、多粉尘、凹凸起伏的地形对空间信息采集的影响；研究煤层工作面的场景空间定义、地物标识、属性标定、地物空间柔性切换等信息处理技术，实现井下场景可视化和全景漫游。项目研究旨在建立一套煤层采场空间环境的可视化监测系统，为煤层智能开采的远程监控、开采环境动态更新、以及井下安全预警提供可靠数据。项目创新特色概述（50字以内）将全景视觉和三维激光扫描技术相结合，并依托于智能可移动平台，可实现360度实时动态监测，提高数据采集的灵活性，准确性。本项目申请创新学分总数项目组成员分工姓名主要研究工作卢震数据采集及处理张桁维机器人的步态移动朱文杰激光扫描平台的传感控制一、项目简介（研究内容、目的意义、具体目标、国内外研究现状分析及评价等）研究内容：（1） 将全景视觉技术和三维激光扫描测量技术相结合，研究巷道围岩变形量、液压支架立柱的下缩量、以及煤壁片帮情况的可视化监测技术。（2） 研究三维激光全景扫描装置外置标定的方法和自动数据融合技术，开发可同时获取采场全景图像和光条二维畸变图像的三维信息采集技术和设备。（3） 结合虚拟现实技术，对采场空间环境的重构模型进行场景空间定义、地物标识、属性标定、地物空间柔性切换，实现井下场景可视化和全景漫游。（4） 在移动载体平台的设计部分，将针对凹凸起伏的地形，采用轮式机构设计移动载体，以避免在矿井中被煤渣等卡死，同时通过六足独立驱动增强移动平台的越障和爬坡能力，并设计悬挂机构，克服移动载体在矿井中移动时，对激光扫描系统造成的冲击和振动。（5） 在激光扫描安装平台部分设计中，将采用三自由度并行机构的扫描平台设计思想，在并行机构的上部安装有水平传感器、双轴倾角传感器与振动传感器。结合阻尼防摆动防振、激光陀螺仪减震等手段，设计自适应振动补偿控制模块，通过对三自由度并行机构的自适应控制，补偿振动并调节姿态，使扫描装置相对稳定，实现移动情况下具有姿态平稳的激光采集。 本项目针对矿井下部分采场空间狭小、环境复杂、人员不易进入等特点，研究适用于井下复杂开采环境的可视化监测机器人，将全景视图技术和可移动平台技术相结合，克服井下低光源、多粉尘、凹凸起伏的地形对空间信息采集的影响；研究煤层工作面的场景空间定义、地物标识、属性标定、地物空间柔性切换等信息处理技术，实现井下场景可视化和全景漫游。项目研究旨在建立一套煤层采场空间环境的可视化监测系统，为煤层智能开采的远程监控、开采环境动态更新、以及井下安全预警提供可靠数据。采用三维激光扫描技术可以直接得到真实物体表面的空间采样点，即点云数据，利用点云数据即可以重构三维物体表面。这种建模方法采用非接触测量，速度快，精度高，真实感强，不受表面复杂度影响。三维扫描及相关数据建模技术近十几年来发展迅速，在很多领域已经投入工程应用。此项技术在我国属于一个新兴发展领域，发展前景为业界所看好。国外三维扫描设备目前已有较多的产品广泛应用于机械加工，数字城市建模等领域，根据扫描仪使用方式和应用领域又分为手持式、台式、地面以及机载扫描仪等。欧美精度最高的台式扫描仪扫描精度可以达到十几个微米，得到的点云密度甚至超过人眼的分辨率，工作时同时使用三色激光扫描得到真彩色点云数据。这种点云模型已经不需要进行网格化，但是模型数据量庞大，比较适用于小件并且珍贵的文物建模。在软件平台方面，各类CAD软件都陆续推出3D功能，3D GIS系统也是一个研究热点。美国最先进的数字城市平台已经成功建立了数字费城，并且将推出适用于个人PC、PDA、车载、手机无线通信等不同平台的产品其数据采集由机载三维扫描仪和地面三维扫描仪配合完成，城市模型逼真度很高，并且搭载了丰富的城市综合信息数据库，具备比较完整的实时交互式数字城市的功能。本课题主要使用的是激光线结构光扫描，激光线结构光扫描测量法是一种基于三角测量原理的主动式结构光编码测量技术，亦称为光切法(Light Sectioning)，通过将一激光线结构光投射到三维物体上，利用CCD摄取物面上的二维变形线图象，即可解算出相应的三维坐标。相对于激光点扫描法和投影光栅法，光切法在测量精度和速度两方面都较理想。是近年发展起来的一类较好的三维传感技术。全景图像是一种非常有前景的三维图像技术。这一技术正吸引着越来越多的三维图像领域内的科学家和公司企业的注意和重视，成为在三维图像领域的研究热点。据估计未来的研究热点主要是: (1) 立体全景图的构造. 利用立体相机捕获全景来计算整个场景信息;也可以利用单个相机的旋转来构造立体全景图。下一步是结合计算机视觉的理论,利用立体视觉从立体全景图重建3D 模型. (2) 与基于图形建模的结合.现有的显示系统均是对基于图像的绘制进行象纹理映射等的加速,只有将全景图与其他GBR 方法结合或者开发针对基于IBR 的硬件加速设备.(3)在全景图中使用立体视觉以及对虚拟环境的自动重建, 如Lin从多投影全景图计算深度映射(depth map) 来进行立体重建. (4) 建立动态全景图. 目前的全景图无法表示动态场景. 利用动态场景的全景图表示方法,将视频纹理和全景图结合起来,将一系列定点拍摄的图像拼接成全景图,然后用摄像机拍摄场景中周期或随机运动的物体,提取视频纹理,最后视频纹理与全景图对准并融合, 生成动态全景图. 动态全景图既保持静态全景图全视角漫游的优点,又使得场景具有动态的特征,极大地增强漫游的真实感.由于这种图像和传统的二维图像有着不同的数据记录格式和特点，它的出现和普及，必将带来整个图像研究领域及通讯领域的技术革新。研究和开发全景图像系统，对于我国科研工作者能在将来的国际图像研究领域占有一席之地有着迫切需要的意义。本课题将全景视觉和三维激光扫描技术相结合，能够代替人到不能去或者不适宜去的矿井环境中，克服井下低光源、多粉尘对空间信息采集的影响，并通过远程操作直接在现场进行侦察、探测，并将井下环境情况，反馈给地面技术人员。该课题的研究拥有广阔的应用前景和科研价值。二、研究技术路线及可行性 一、拟采取的研究技术路线井下可视化监测机器人框架如图1所示。图1 井下可视化可视化监测机器人示意图1、机器人的步态移动足式机器人(如图1所示)具有比轮式机器人更加卓越的应对复杂地形的能力。在系统设计方面，设计了舵机驱动、连杆传动的具有全方位移动能力的本体结构，同时设计了由上位机 PC、嵌入式主控制器、信号采集与驱动控制器组成的层次化控制系统硬件结构，实现了由步态控制、肢体控制、关节电机、传感感知、通信模块组成的模块化控制系统软件架构。对步行控制任务进行功能和行为组合分解提出了基于功能行为集成的分布式步态控制结构和自由步态步行控制模式与腿部反射控制模式相结合的复杂地形步行总体控制模式。图1 六足机器人多足机器人在复杂的地形上步行时，使用不同的腿部反射策略来应对地形的崎岖。主要的腿部反射机制有以下四种：柔顺反射，利用足端力局部地修正支撑腿足端位置；踏步反射，对于横向受到的扰动，最初会进行抵抗，当扰动力增加时，变成柔顺，当扰动被去除后，机器人将回复到期望的姿态；抬腿反射，使机器人越过竖直方向上的突出物体；寻落反射，使得机器人能够在稀疏地形上寻找稳定的立足点。2、激光扫描平台的传感控制在激光扫描安装平台部分设计中，将采用三自由度并行机构的扫描平台设计思想，在并行机构的上部安装有水平传感器、倾角传感器与振动传感器。结合阻尼防摆动防振、激光陀螺仪减震等手段，设计自适应振动补偿控制模块，通过对三自由度并行机构的自适应控制，补偿振动并调节姿态，使扫描装臵相对稳定，实现移动情况下具有姿态平稳的激光采集。以下对双轴倾角传感器着重介绍：双轴倾角传感器用来测量物体的正交的两个轴向的倾角相对于水平面的倾角变化量。理论基础就是牛顿第二定律，根据基本的物理原理，在一个系统内部，速度是无法测量的，但却可以测量其加速度。如果初速度已知，就可以通过积分计算出线速度，进而可以计算出直线位移。所以它其实是运用惯性原理的一种加速度传感器。 当倾角传感器静止时也就是侧面和垂直方向没有加速度作用，那么作用在它上面的只有重力加速度。重力垂直轴与加速度传感器灵敏轴之间的夹角就是倾斜角了。工作原理：固体摆在设计中广泛采用力平衡式伺服系统，如图1所示，其由摆锤、摆线、支架组成， 摆锤受重力G和摆拉力T的作用，其合外力F为：（1）其中，为摆线与垂直方向的夹角。在小角度范围内测量时，可以认为F与成线性关系。如应变式倾角传感器就基于此原理。倾角传感器把MCU，MEMS加速度计，模数转换电路，通讯单元全都集成在一块非常小的电路板上面。可以直接输出角度等倾斜数据，让人们更方便的使用它。传感器采用加速度传感器, 放大处理后经过A/ D转换输入单片机,进行计算, 得到横滚角及俯仰角。系统框图如图2所示。图2 系统框图 在地球重力场作用下，转动物体的转轴逐渐达到平衡状态，与重力梯度方向一致，即同当地垂直线方向一致，以保持平台姿态的稳定。我们将直角坐标系的原点置于平台上，指向地面的Z轴反映偏离重力方向，Y轴反映俯仰方向，X轴反映滚动方向。平台在随六轮小车运动时，不时地产生对三轴的偏移。为保证平台运行中姿态的稳定，应使倾角传感器Z轴指向精度达到与局部铅垂方向误差1，不致产生过渡的俯仰和滚动。XOY平面为水平面, Z 轴为重力势方向,见于图3。当它以O点为参考点绕X 轴或绕Y轴转动时,有: = arcsin (AX / g) = arc sin (AY / g) (1)式中: AX , AY 加速度传感器X 敏感轴和Y敏感轴的输出;g重力加速度值;,加速度传感器平面与坐标系水平面上X轴和Y轴的倾斜角度。图3加速度传感器的坐标系与倾角关系示意图将加速度传感器XOUT脚和YOUT脚上输出的模拟电压信号VX 、VY 换算成对应的敏感轴上输出AX 、AY 为: AX = (VX - 2. 5) / (1000 mV /g)AY = (VY - 2. 5) / (1000 mV /g) (2)当ADXL203 传感器敏感轴水平时,即A = 0g时,它输出模拟电压信号为V s/2 ( 5V 供电时即为2. 5V) 。(2)式即在5V供电条件下的公式。将AX 、AY 代入( 1)式即可求出倾角的大小。由此得知,加速度计输出量为一个随倾角变化的模拟电压信号。此外可以调节输出频率，内置零位调整，可以根据要求定制零位调整按钮，从而实现在一定的角度置零的功能。这对于要测量相对倾角的场合非常有用。使用完毕后可以重新回归零位。倾角传感器在这种场合使用，只要将传感器固定在一定的平面，测量前使用零位按钮实现清零功能，传感器在此之后读出来的数据就是相对于该平面的相对倾角。最终，根据相对倾角通过三自由度并行机构的自适应控制，补偿振动并调节姿态，使扫描装臵相对稳定，实现移动情况下具有姿态平稳的激光采集3、数据采集及处理采场空间环境的可视化监测系统可分为三个功能子系统：巷道围岩可视化监测系统、工作面煤壁可视化监测系统和采掘机械设备可视化监测系统。采场空间环境监测的主要对象：巷道围岩变形量、工作面煤壁片帮和液压支架立柱变形。可视化监测系统的技术支撑在于：全景图像和三维点云信息采集技术、图像数据和点云数据的融合处理技术、空间三维几何模型重构技术等。采场空间的三维信息采集方案采场空间的信息采集是将全景视觉技术和三维激光扫描技术相结合（如图2所示），在复杂的现场和空间进行高速摄像，获取实时全景图像；同时对被测物体进行快速扫描测量，获得结构光投射到物体表面所调制的光条二维畸变图像，自动存储并转换成点云数据。通过无线收发装置将实时全景图像和点云数据传输到主干网络，并最终传输到地面监控调度室的主机中。实时全景图像可直接输出，用于对采场实时工况进行监控；通过计算机后处理，将实时全景图像和点云数据进行数据融合，生成关键采场环境三维矿井模型，配合虚拟现实技术对采场进行虚拟空间重现和全景漫游。图2 采场空间环境的三维信息采集示意图本项目采用的是多摄像机拼接全景视觉系统，利用安装在不同位置上的多个摄像机同时采集图像，然后根据摄像机的空间几何关系对图像进行拼接的一种全向视觉系统。该全景摄像机使用成正五边形分布的五个摄像头和顶部一个摄像头，分别采集水平五个方向和垂直一个方向的图像，经拼接组合以后可以获得空间环境的全景图像。这种全景视觉系统获得的图像像素高，成像畸变小，拼接校正简单。考虑到井下巷道中光源色温、光线照度等条件限制，以及井下作业环境粉尘较大，会造成全景视觉系统获取的采场空间信息失真甚至无法获取有效信息。三维激光扫描测量系统由于穿透力强，不受环境光线限制，可准确获取被测物体的空间位置信息，弥补了全景视觉系统在被测物体空间位置测量方面的不足。本项目采用的是线结构光三维视觉测量系统，线结构光三维测量原理如图3所示，具有大量程、非接触、速度快、系统柔性好，精度适中等优点，广泛应用于三维模型重建、物体表面轮廓三维信息测量等领域。图3 线结构光三维测量原理采场空间的三维信息采集系统的基本构成包括激光扫描头、六CCD全景摄像头、角度传感器、补偿模块、控制模块、支撑杆架及数据无线发送模块等，通过可旋转并集成在全景摄像头的扫描头来实现对空间的探测，扫描头作360旋转并收集光条二维畸变图像，完成一个圆周的扫描后，每个CCD收集到所在角度范围内的真实图像和光条图像，通过数据整合得到采集点所在位置的全景图像和三维扫描数据。在此基础上，进一步研究三维激光全景扫描装置外置标定的方法和自动数据融合技术，并结合嵌入式设计，开发可与掘进盾构机相对接的数据采集装置。采用并行同步的方式，将巷道成型与信息采集两种工作一次完成，实现掘进过程中数据的同步采集。通过数据无线发送模块将采集到的数据输送到地面主机，由主机来进行数据处理和信息分析。采场空间的三维建模技术方案在获取结合Delaunay三角剖分方法对场景进行原始建模，根据原始数据驱动下形成的三维立体模型，结合地形分块分层技术来对原始模型数据进行处理，建立起静态层次细节LOD模型。 进一步结合大规模地形重构技术和模式识别的研究工作，针对所感兴趣的关键区域，在全景绘制基础上，依据视点相关的判别准则来进行空间全景多分辨率构造，并对重构的空间模型进行定量分析和评估。考虑到井下巷道中光源色温、光线照度等环境条件限制，及井下复杂环境所带来的噪声与设备本身的机械抖动等因素所造成的信息失真情况，应用如光照传感、温度传感、抖动传感、测距传感等多传感器的传感信息，利用信息冗余分析与融合滤波进行信息消噪，同时对色温、照度等因素进行估计与补偿，实现异构传感信息之间的最优互补。进一步，分析衍射效应和聚焦误差对分辨率的影响，基于异构信息融合，采用基于尺度不变特征变换设计特征匹配算法进行配准，并将图像渲染技术与全景建模技术相结合，开发面向煤矿井下环境的动态超分辨率三维空间图像重建技术，修正全景模型偏差并重构细节信息。 同时，为了更好地对前期图像的采集可能出现质量不足进行处理，将在后期，在线监控的过程中，运用实时摄像所获取的信息，通过全景三维视场拼接与成像特征提取，结合超分辨率重建方法，进行多次离线或在线渐进补偿，以提高信息重构的质量与精度。 在数据库系统的支持下，结合虚拟现实技术，对重构模型进行场景空间定义、地物标识、属性标定，并实现与实际地形重构相对应的可视化空间查询和地物拾取。将网络化监控与场景管理算法相融合，基于地形网格的渲染技术，设计大范围三维场景漫游系统，通过对场景地物标绘和地物空间柔性切换，实现煤矿井下场景在线可视化和全景漫游。二、 可行性分析（ （1）可移动机器人的可行性 机器人步行腿具有摆动相和支撑相两种基本运动状态。多足机器人的步态在较平坦的地形上呈现为周期节律的形式，而在崎岖地形上则以自由步态步行，具备适应矿井下高低不平、起伏多变的复杂地形的能力。（2）激光扫描平台的传感控制在激光扫描安装平台部分设计中，将采用三自由度并行机构的扫描平台设计思想，在并行机构的上部安装有水平传感器、倾角传感器与振动传感器。结合阻尼防摆动防振、激光陀螺仪减震等手段，设计自适应振动补偿控制模块，通过对三自由度并行机构的自适应控制，补偿振动并调节姿态，使扫描装臵相对稳定，实现移动情况下具有姿态平稳的激光采集。（3）采场空间的三维信息采集技术研究的可行性煤层采场的环境复杂，监测范围广、监测对象多，使得监测设备的配置和信息集成难度增大。针对采场中的巷道围岩、工作面煤壁、采掘装备等不同的监测对象，采用合理有效的的激光测量方法和技术，才能获取及时可靠的数据信息。本项目用全景视觉技术对采场空间进行整体监控，这样可以实时获取到直观的可视化图像，对于需要进行精确测量或在多粉尘环境下，利用三维激光扫描的高穿透性和精确性来获取想要的局部空间数据。这种混合式信息采集技术可适用于井下复杂环境的可视化监测，具有可行性。（4）采场空间的三维建模技术研究的可行性采场空间的三维建模需要将全景图像和光条二维畸变图像进行自动数据融合、冗余分析、数据纠错、误差补偿等数据处理。Delaunay三角剖分方法是目前较为成熟的一种三角面片拟合三维模型的建模技术，使用该方法对场景进行原始建模，根据原始数据驱动下形成的三维立体模型，结合地形分块分层技术来对原始模型数据进行处理，建立起静态层次细节LOD模型。再应用如光照传感、温度传感、抖动传感、测距传感等多传感器的传感信息，利用信息冗余分析与融合滤波进行信息消噪，同时对色温、照度等因素进行估计与补偿，实现异构传感信息之间的最优互补。通过数据纠错和误差补偿来消除井下复杂环境所带来的噪声与设备本身的机械抖动等因素所造成的信息失真情况，保证了采场空间三维模型的准确性和真实性。（5）研究基础较好，项目组成员知识结构合理本项目来源于国家863计划主题项目“煤层开采关键技术与装备”（项目编号为2012AA062100），是在长期广泛调研国内外研究学者最新研究成果的基础上提出的。本项目的小组成员是中国矿业大学机电工程学院机械类11级的三名本科生，成绩优秀，有较强的学习能力，关注学科前沿技术的发展，有良好的创新意识和团队合作精神。项目的指导老师是机电学院郝敬宾讲师，研究方向为采场空间可视化技术，目前在中国矿业大学煤炭资源与安全开采国家重点实验室进行博士后研究工作，主持国家留学基金委资助项目1项、校人才引进项目和“启航计划”各一项，参与“973”项目、国家自然科学基金项目、江苏省自然科学基金项目各1项，发表学术论文12篇（其中以第一作者发表SCI收录论文3篇，EI收录论文3篇），申请国家发明专利2项，参与编写著作3部。因此，完成研究内容具有很大的把握。三、对项目的参与兴趣和已有的知识积累或实践基础本小组成员是中国矿业大学机电工程学院机械类11级的三名本科生，成绩优秀，有较强的学习能力，关注学科前沿技术的发展，尤其对传感器，机器人移动平台存在浓厚的兴趣，并且学习了相关专业知识（C+编程，电工技术与电子技术，工程制图，机械原理，工程力学等课程），同时利用课余时间阅读了相关书籍以及查阅了相关资料，在此过程中，对双轴倾角传感器，六足机器人的步态控制等方面有了进一步的了解。此外，本小组成员还进行了金工实习，有一定的动手能力，掌握了一些基本零件的制作及加工，同时，能够操作一些数控化设备及实验设备。四、研究计划和进度（可就文献查询、社会调查、方案设计、实验研究、数据处理、研制开发、撰写论文或研究报告、结题和答辩、成果推广、论文发表、专利申请等工作逐项进行安排）（1）2013年4月至2013年7月u 完成采场空间环境信息的采集分析u 完成三维信息采集方案的论证u 提交项目的具体实施方案（2）201