《综采装备及其智能化技术》课件-8.综采装备数字孪生技术

第八章

综采装备数字孪生技术战略性新兴领域教材建设团队-重型高端装备制造目录CONTENTS8.1数字孪生技术概述8.2虚拟模型与场景构建技术8.3综采工作面虚拟仿真技术8.4综采工作面虚拟监测技术8.5综采工作面虚实双向交互技术8.6综采工作面孪生系统构建与测试8.2.1虚拟装备模型构建技术8.2.2虚拟煤层构建技术8.2.3虚拟场景构建技术8.1数字孪生技术概述战略性新兴领域教材建设团队-重型高端装备制造5真实的综采工作面场景数字孪生虚拟综采工作面场景数字孪生技术特点：实时反应物理实体的状态面向整个生命周期可广泛集成以虚控实、虚实融合的多物理多学科动态扩展数字孪生（DigitalTwin，DT）最初由美国的MichaelGrieves博士提出，该技术最早被应用于航空航天领域内。8.1数字孪生技术概述数字孪生技术战略性新兴领域教材建设团队-重型高端装备制造5虚拟模型与场景构建虚拟仿真虚拟监测虚实双向控制8.2虚拟模型与场景构建技术虚拟装备模型构建技术战略性新兴领域教材建设团队-重型高端装备制造5虚拟装备模型构建过程虚拟装备模型构建技术虚拟煤层构建技术虚拟场景构建技术8.2虚拟模型与场景构建技术液压支架虚拟模型构建战略性新兴领域教材建设团队-重型高端装备制造5虚拟液压支架优化前后的模型（a）优化前；（b）优化后8.2虚拟模型与场景构建技术液压支架虚拟模型构建战略性新兴领域教材建设团队-重型高端装备制造5将模型导入至Unity3d内，基于液压支架的D-H坐标系及相关运动学，为虚拟液压支架添加控制脚本，实现在虚拟环境下的动作仿真，包括：升柱、降柱、移架、推溜、伸出护帮板、收缩护帮板等。液压支架仿真动作8.2虚拟模型与场景构建技术液压支架虚拟模型构建战略性新兴领域教材建设团队-重型高端装备制造7液压支架姿态受到煤层底板形态的影响。煤层底板对液压支架的姿态影响发生在液压支架静止状态下和液压支架的移架过程中。液压支架姿态受煤层底板影响（a）液压支架群工作面布置；（b）液压支架连续推进8.2虚拟模型与场景构建技术采煤机虚拟模型构建战略性新兴领域教材建设团队-重型高端装备制造9虚拟采煤机模型8.2虚拟模型与场景构建技术采煤机虚拟模型构建战略性新兴领域教材建设团队-重型高端装备制造10为了使得采煤机能够在虚拟物理空间中完成与实际物理世界一样的运动，需要为采煤机添加刚体组件以及碰撞体组件。采煤机物理组件添加8.2虚拟模型与场景构建技术刮板输送机虚拟模型构建战略性新兴领域教材建设团队-重型高端装备制造11刮板输送机为采煤机的行走提供轨道，并起着运输煤料的作用，为虚拟刮板输送机添加材质球、碰撞体，连接关节以及刚体组件，并进行结构、外观的设计。刮板输送机虚拟模型8.2虚拟模型与场景构建技术刮板输送机虚拟模型构建战略性新兴领域教材建设团队-重型高端装备制造11刮板输送机物理组件添加刮板输送机中部槽间通过哑铃销连接，在unity3d中添加HingeJoint铰链关节,模拟中部槽间的连接关系。采煤机行走时需要滑靴与刮板输送机发生碰撞，同时刮板输送机需要与煤层发生碰撞，为刮板输送机中部槽添加碰撞组件，使其与采煤机及煤层底板发生碰撞。8.2虚拟模型与场景构建技术虚拟煤层构建技术战略性新兴领域教材建设团队-重型高端装备制造13虚拟煤层的构建分为不随截割变化的固定煤层构建，以及随截割变化而变化的动态可变煤层构建。虚拟固定煤层构建流程图拟合曲面参数设置8.2虚拟模型与场景构建技术虚拟煤层构建技术战略性新兴领域教材建设团队-重型高端装备制造17int[]triangles=newint[(xSize-1)*(ySize-1)*6];for(intti=0,vi=0,y=0;y<(ySize-1);y++,vi++){for(intx=0;x<(xSize-1);x++,ti+=6,vi++){triangles[ti]=vi;triangles[ti+a]=triangles[ti+b]=vi+xSize;triangles[ti+c]=triangles[ti+d]=vi+1;triangles[ti+5]=vi+xSize+1;}}

对于动态可变煤层的构建，应用Mesh网格结构技术实现。

8.2虚拟模型与场景构建技术UGUI界面设计技术战略性新兴领域教材建设团队-重型高端装备制造18UGUI是Unity3d引擎中的一种用户界面开发工具，它支持个性化定制，使用灵活，可以让开发者轻松地创建。

创建Canvas添加UI元素布局设计UI组件设计贴图素材交互设计UGUI界面设计的步骤8.2虚拟模型与场景构建技术UGUI界面设计技术战略性新兴领域教材建设团队-重型高端装备制造18UI元素属性UGUI界面设计用到的组件分为监测组件及交互组件两大类，UI组件及其属性如表。组件功能分类组件名称功能监测Text/TextMeshPro用于文本的显示，文本类型为string类型Image/RawImage用于图片的显示，图片要设置为Sprite类型Panel用于背景底色设置交互Button按钮触发物体动作，添加OnClick()方法实现相应的命令Toggle选择勾选框执行相关命令InputField输入文本显示组件，显示类型为string8.2虚拟模型与场景构建技术综采装备协同推进虚拟场景搭建战略性新兴领域教材建设团队-重型高端装备制造20为了使得综采装备操作、信息方案更易被用户所理解，需构建综采装备协同推进虚拟场景。

综采装备协同推进虚拟场景8.2虚拟模型与场景构建技术综采装备协同推进虚拟场景搭建战略性新兴领域教材建设团队-重型高端装备制造21虚拟场景中采用了与真实综采场景中完全相同的控制器面板，其中采煤机控制面板如图（a）所示，液压支架控制面板如图（b）所示。(a）采煤机仿真控制器面板；(b）液压支架仿真控制器面板仿真控制器面板8.3.1综采工作面虚拟仿真技术战略性新兴领域教材建设团队-重型高端装备制造1综采工作面虚拟仿真技术总体路线如下图所示虚拟仿真技术路线图8.3.1综采工作面虚拟仿真技术采煤机虚拟仿真技术战略性新兴领域教材建设团队-重型高端装备制造2

采煤机模型父子关系设计采煤机部分零件8.3.1综采工作面虚拟仿真技术液压支架虚拟仿真技术战略性新兴领域教材建设团队-重型高端装备制造3

液压支架模型父子关系设计液压支架部分零件8.3.1综采工作面虚拟仿真技术刮板输送机虚拟仿真技术战略性新兴领域教材建设团队-重型高端装备制造4由于刮板输送机各节中部槽之间都互为整体且具有独立的运动，因此，只需约束各节中部槽之间的运动关系，使其具有各个方向的运动。刮板输送机零部件的父子关系如图所示。刮板输送机父子关系设计8.3.1综采工作面虚拟仿真技术刚体属性添加战略性新兴领域教材建设团队-重型高端装备制造5在指定合适的父子关系后，需要通过Rigidbody组件为综采装备中主要部件赋予刚体物理属性。刚体物理属性相关参数说明参数参数说明Mass刚体的质量，单位是千克(kg)Drag空气阻力，0代表没有空气阻力，无限大的值代表物体会立即停下来（惯性消失）。AngularDrag物体受到一个扭力旋转时的阻力，0代表没有阻力，但是需要注意的是无限大的值并不能让物体立即停止旋转。UseGravity是否受重力影响IsKinematic是否动力学的：选中时，物体不会受到物理引擎的影响，只能通过修改Transform移动物体。Interpolate插值选项：如果发现刚体移动有卡顿，可以尝试选择此选项。None

不使用插值；Interpolate

根据上一帧的Transform进行平滑；Extrapolate

根据估算的下一帧的Transform进行平滑。Info只读信息：刚体的速度，角速度，惯性张量，质心坐标，唤醒/睡眠状态8.3.1综采工作面虚拟仿真技术关节组件添加战略性新兴领域教材建设团队-重型高端装备制造6为了使装备模型实现在虚拟场景中的仿真运动，需要在Unity3d中对带有刚体组件的机械部件进行约束装配，这一过程具体可以通过各种关节组件完成。Unity3d中关节组件⼀共分为5⼤类。Unity3d关节组件功能关键组件类型所对应的运动副链条关节（hingejoint）将两个物体以链条的形式绑在⼀起，当⼒量⼤于链条的固定⼒矩时，两个物体就会产⽣相互的拉⼒。固定关节（fixedjoint）将两个物体永远以相对的位置固定在⼀起，即使发⽣物理改变，它们之间的相对位置也将不变。弹簧关节（springjoint）将两个物体以弹簧的形式绑定在⼀起，挤压它们会得到向外的⼒，拉伸它们将得到向⾥的⼒。⾓⾊关节（characterjoint）可以模拟⾓⾊的⾻骼关节。可配置关节（configurablejoint）可以模拟任意关节的效果。8.3.1综采工作面虚拟仿真技术三机协同虚拟仿真技术战略性新兴领域教材建设团队-重型高端装备制造7三机协同运行过程中部分自动化状态说明自动化状态执行操作01选择左滚筒割底；选择右滚筒割顶；选择上行牵引方向；选择中部截割牵引速度；开启滚筒截割；执行完毕后进入下一自动化状态。02监听滚筒是否达到指定初始位置；待滚筒达到指定初始位置后进入下一自动化状态。03判断液压支架跟机状态是否正常；若正常，经过指定时间后启动采煤机牵引；执行完毕后进入下一自动化状态；（若不正常则进行提示）。04监听采煤机是否达到工艺段变换位置；待采煤机达到工艺段变换位置后执行：停止牵引；选择左滚筒割顶；选择右滚筒割低；选择斜切进刀牵引速度；选择下行牵引方向；确认执行正常后进入下一自动化状态。05监听滚筒是否达到指定初始位置；待滚筒达到指定初始位置后进入下一自动化状态。06判断液压支架跟机状态是否正常；若正常，经过指定时间后启动采煤机牵引；执行完毕后进入下一自动化状态；（若不正常则进行提示）。......跟机自动化下综采三机协同运行仿真模拟8.3.2综采工作面虚拟监测技术综采装备虚拟监测技术战略性新兴领域教材建设团队-重型高端装备制造8

综采装备虚拟监测内容8.3.2综采工作面虚拟监测技术采煤机虚拟监测技术战略性新兴领域教材建设团队-重型高端装备制造9采煤机机身位置与三轴倾角采煤机牵引相对位置滚筒坐标、牵引速度与加速度信息8.3.2综采工作面虚拟监测技术液压支架虚拟监测技术战略性新兴领域教材建设团队-重型高端装备制造10支架工作阶段初撑阶段（tc）增阻阶段（t1）恒阻阶段（t2）降架阶段

液压支架的工作特性曲线图液压支架工作四个阶段图1.液压支架虚拟监测相关数据8.3.2综采工作面虚拟监测技术刮板输送机虚拟监测技术战略性新兴领域教材建设团队-重型高端装备制造11刮板输送机的位置可以由液压支架位姿结合液压支架中推杆的行程与各铰接点转动倾角计算得到，如图所示。刮板输送机位姿推导过程8.4综采工作面虚实双向交互技术8.4.1由虚到实的交互技术战略性新兴领域教材建设团队-重型高端装备制造1由虚到实的交互技术是虚实双向交互技术中的一部分，它涉及将虚拟环境中的信息、状态或行为影响到实际世界中对象的运动。以下是一些常见的由虚到实的交互技术

。手柄/控制器交互技术语音识别交互技术手势识别技术目光注视的交互技术8.4综采工作面虚实双向交互技术8.4.1由虚到实的交互技术战略性新兴领域教材建设团队-重型高端装备制造2在综采装备数字孪生系统中，主要使用到虚拟控制器对综采设备进行实际控制。结构框架如图所示：具体方法涉及到三个关键步骤：1.构建软件系统—综采工作面数字孪生模型及虚拟监控平台。2.对物理综采装备的相关动作进行编码并构建SQlite数据库对孪生数据及编码指令进行管理。3.上位机虚拟控制平台与实际综采装备控制器之间选择合适的数据通信方式进行双向通信。综采工作面虚实交互结构框架8.4综采工作面虚实双向交互技术8.4.1由虚到实的交互技术战略性新兴领域教材建设团队-重型高端装备制造3（1）数据库管理：数据库的主要任务是确保全系统各种各样的数据互联、交换与共享，保证数据的正确性、一致性与完整性。综采工作面数字孪生系统采用Unity轻量级数据库SQLite作为数据存储与管理支撑。保证了系统运行效率，极大提高了系统的可靠性与可拓展性。数据库中的数据储存结构（a）与数据信息（b）如右图所示。数据库储存结构8.4综采工作面虚实双向交互技术8.4.1由虚到实的交互技术战略性新兴领域教材建设团队-重型高端装备制造4（2）虚拟控制平台与上位机和实际物理机器之间的通信方式用途

TCP/IP、UDP、HTTP通常用于一般数据传输，而Modbus和OPCUA更专注于工业自动化和控制领域。而串口通信常用于连接PLC、传感器、执行器等设备，实现数据采集、监测和控制。选择串口通信时需要考虑通信距离、速率、稳定性等因素。可靠性TCP提供可靠性，UDP不保证，Modbus和OPCUA有错误检测和纠正机制。安全性OPCUA提供高级安全性，Modbus相对较弱，TCP/IP和UDP需通过其他手段增强安全性。复杂性HTTP、UDP相对简单，TCP中等，Modbus较简单，OPCUA相对较复杂。8.4综采工作面虚实双向交互技术8.4.1由虚到实的交互技术战略性新兴领域教材建设团队-重型高端装备制造5

使用Unity3d搭建虚拟监控平台，为物理综采工作面提供传感器数据可视化面板、物理装备控制虚拟面板和物理装备姿态三维可视化监测。（3）构建综采工作面数字孪生模型及虚拟监控平台上位机平台搭建8.4综采工作面虚实双向交互技术8.4.1由虚到实的交互技术战略性新兴领域教材建设团队-重型高端装备制造6整个由虚到实的交互流程：1.操控者可以通过观察虚拟样机的状态来判断实际工作面中综采装备的运行情况，从而对物理样机做出正确的操作。2.通过虚拟控制面板下发控制指令，使综采装备物理样机做出动作状态改变。3.PLC控制器采集多源传感器信息，通过通信系统实现数据传输，供虚实交互平台调用，实时修正虚拟综采设备运动状态。。由虚到实的交互流程8.4综采工作面虚实双向交互技术8.4.2由实到虚的交互技术战略性新兴领域教材建设团队-重型高端装备制造7传感器技术实时数据反馈由实到虚的交互技术是虚实双向交互技术的另一个重要方面，它允许实际世界中的对象、行为或信息影响到虚拟环境中的内容或反馈。以下是一些相关技术：a）惯性导航传感器；b）红外传感器；c）压力传感器；d）倾角传感器8.4综采工作面虚实双向交互技术8.4.2由实到虚的交互技术

实体物体的影响

实际行为的影响

物体识别与跟踪技术战略性新兴领域教材建设团队-重型高端装备制造8计算机视觉AR眼睛识别物体行为点击触摸按钮触发事件8.4综采工作面虚实双向交互技术8.4.2由实到虚的交互技术传感器采集的数据需要利用通信协议传输到上位机，虚拟控制平台对数据进行解析处理，并结合虚拟控制模型驱动虚拟系统的运转，以实现实时的交互效果。如使用Httpserver协议将传输传感器数据传输到Unity虚拟运行平台的步骤如下：设置数据采集设备编写Httpserver程序实现WebSocket或长轮询机制在Unity中实现WebSocket或长轮询机制实时更新Unity虚拟控制台的显示状态战略性新兴领域教材建设团队-重型高端装备制造98.4综采工作面虚实双向交互技术8.4.2由实到虚的交互技术战略性新兴领域教材建设团队-重型高端装备制造10数据驱动的刮板输送机姿态重构案例8.5综采工作面孪生系统构建与测试8.5.1系统构建

综采工作面数字孪生平台界面设计

综采工作面数字孪生平台界面开发

综采工作面数字孪生平台功能开发战略性新兴领域教材建设团队-重型高端装备制造18.5综采工作面孪生系统构建与测试8.5.1系统构建战略性新兴领域教材建设团队-重型高端装备制造2综采工作面数字孪生系统总体框架8.5综采工作面孪生系统构建与测试8.5.2系统测试战略性新兴领域教材建设团队-重型高端装备制造31.登录管理平台进入系统后，会自动弹出登录界面，界面效果如下图所示。如果用户名或密码输入错误会出现“用户名或密码错误请重新输入”的报警提示。登录管理平台8.5综采工作面孪生系统构建与测试8.5.2系统测试战略性新兴领域教材建设团队-重型高端装备制造42.场景沉浸式漫游和全方位监测在综采平台主页中直观看到系统内各装备生产要素，可通过键盘和鼠标完成场景漫游，实现自由监测功能。图1小窗监测界面图245°视角漫游8.5综采工作面孪生系统构建与测试8.5.2系统测试战略性新兴领域教材建设团队-重型高端装备制造52.场景沉浸式漫游和全方位监测右图场景可直观监测采煤装备各个虚拟传感器数据。全方位监测装备信息8.5综采工作面孪生系统构建与测试8.5.2系统测试战略性新兴领域教材建