CN119516449A 无人振动碾感知方法、装置、系统及存储介质 （江苏集萃清联智控科技有限公司）

质所述多源传感器采集数据信息至少包括图像数据和点云数据，所述图像数据至少包括RGB图像方法能够降低感知所需检测网络的复杂度同时2获取多源传感器采集数据信息，所述多源传感器采集数据信息根据通道注意力机制对所述多源传感器特征数据进行特征融合根据目标检测与分类模型对所述多源传感器特征融合数据进行特对所述图像数据和点云数据均进行去噪、归一化以及时间同步处根据高斯滤波法去除所述RGB图像的噪声，并通过对比度增强法和白平衡调整法归一根据自适应阈值法去除所述热成像图像的温度噪声，并将去5.根据权利要求4所述的无人振动碾感知方法，对所述图像数据进行深度可分离卷积操作，获得卷积操作特征数据3将所述RGB图像的特征数据、热成像图像的特征数据和点云数据的特征数据均转换为根据相同维度的RGB图像的特征数据、热成像图像的特征数据和点云数据的特征数据根据Softmax函数计算多源传感器的通道描述符根据自适应权重分配机制计算多源传感器的通道描述符根据多源传感器的通道描述符及其对应的注意力权重和自适应权重进行多源传感器8.一种无人振动碾感知装置，用于实现权利要求1采集数据获取模块，用于获取多源传感器采集数据信息，所述多预处理模块，用于对所述多源传感器采集数据信息进行预处理，特征提取模块，用于对所述多源传感器预处理数据进行特征融合模块，用于根据通道注意力机制对所述多源传感器特征数据进行特征融合，4载并执行时以实现权利要求1至7中任意一项所述的无5机高效作业的基础，高精度环境感知系统不仅能准确[0003]无人振动碾感知系统依赖于安装在无人振动碾上的各类传感器，如视觉摄像头、[0006]基于深度学习的智能感知方法则借助于卷积神经网络(ConvolutionalNeural6[0018]根据高斯滤波法去除所述RGB图像的噪声，并通过对比度增强法和白平衡调整法[0021]将所述点云去噪数据、RGB归一化处理图像和热成像归一化图像三者进行空间对7i+b1)+b2max操作表示从所有点云的特征中提取全[0036]将所述RGB图像的特征数据、热成像图像的特征数据和点云数据的特征数据均转[0037]根据相同维度的RGB图像的特征数据、热成像图像的特征数据和点云数据的特征[0040]根据多源传感器的通道描述符及其对应的注意力权重和自适应权重进行多源传成像装置和毫米波雷达装置均与所述无人振动碾感8[0051]所述无人振动碾感知装置用于根据RGB图像、热成像图像以及点云数据进行预处述计算机指令被处理器加载并执行时以实现前文所述的无人振和不同传感器数据的时空一致性；对采集到的图像数据和点云数据分别采用轻量级CNN和PointNet进行特征提取；对提取到的图像和点云特征采用通道注意力机制进行特征融合；9[0065]在本实施例中提供了一种无人振动碾感知方法，图1是根据本发明实施例提供的[0072]在本发明实施例中，RGB图像和热成像图像数据采用轻量级卷积神经网络[0075]S500、根据目标检测与分类模型对所述多源传感器特征网络结合位置感知的循环卷积(PositionAwareCircularConvolution，ParC)操作与CNN和PointNet进行特征提取；对提取到的图像和点云特征采用通道注意力机制进行特征仅能够方便快捷部署的在计算资源有限的设备上，还在复杂场景中展现出优异的识别能[0080]应当理解的是，对RGB图像采用高斯滤波法去除图像中的噪声，保证图像的清晰min和Imax分别表示图像的最小像素值和图像的最大像素值。min和Tmax分别表示最小温度值和最大温度值。[0097]具体地，将毫米波雷达的点云数据与RGB摄像头和热成像摄像头的数据进行空间卷积输出的特征值，w:表示1×1卷积的权重，Cin表示输入通道树；i+b1)+b2[0136]需要说明的是，本发明实施例中的多源传感器的另一实施例方式还可以包括RGBTransformer在全局特征建模方面的能力，从而在降低模型复杂度的同时，保持卓越的性[0142]特征融合模块140，用于根据通道注意力机制对所述多源传感器特征数据进行特[0143]目标检测与分类模块150，用于根据目标检测与分类模型对所述多源传感器特征和不同传感器数据的时空一致性；对采集到的图像数据和点云数据分别采用轻量级CNN和PointNet进行特征提取；对提取到的图像和点云特征采用通道注意力机制进行特征融合；[0145]关于本发明提供的无人振动碾感知装置的具体工作原理可以参照前文的无人振周围环境信息，并以此构建数据样本。无人振动碾感知装置100对获得的数据进行噪声去在局部特征提取方面的优势和视觉Transformer在全局特征建模方面的能力，使得其在复[0155]关于本发明提供的无人振动碾感知系统的具体工作原理可以参照前文的无人振述计算机指令被处理器加载并执行时以实现前文所述的无人振人振动碾感知方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read_OnlyMemory，ROM)、随机存储记忆体(RandomAccessMemory，RAM)、快闪存储器(Flash所述计算机程序以实现前文所述的无人振动[0159]如图7所示，该电子设备70可以包括：至少一个处理器71，例如CPU(Central中，通信总线72用于实现这些组件之间的连接通信。其中，通信接口73可以包括显示屏interconnect，简称PCI)总线或扩展工业标准结构(extendedindustrystandardfield_programmablegatearray，缩写：FPGA)，通