CN117152838B 一种基于多核动态注意力机制的手势识别方法 （河北大学）

一种基于多核动态注意力机制的手势识别本发明涉及一种基于多核动态注意力机制取并融合RGB图像的手势特征和深度图像的手势方法，可以实时识别由RealSense深度摄像机捕2S4、检测手势的位置：通过手势识别模型中的RGB’in3rgb核W[k]对输入特征图x进行卷积运算后加上偏置b[k]得到的S3_2_6将每个模态的空间注意力权重进行softmax归一化，得到最终的空间注意力权4转化为对机器人的控制命令。传统的手势识别方法主要是基于图像处理和机器学习算法，有一定的局限性。一是由于RGB图像只能提供二维的图像信息，缺乏对手部深度信息的感YOLOv5网络包括有用于提取手势特征的骨干网络以及用于预测手势的位置和类别的检测5手势的RGB图像和深度图像，并利用多核动态注意力机制进行手势识别的过程中自动调整卷积核W[k]对输入特征图x进行卷积运算后加上偏置b[k]得到in6[0036]S3_2_3经过门控操作的手势特征图RGB′in和Depth′in分别乘以通道权重Wrgb和[0041]S3_2_5对于RGB_D特征图RGBDf，通过多核动态注意力卷积得到RGB和深度特征的[0045]S3_2_6将每个模态的空间注意力权重进行softmax归一化，得到最终的空间注意[0051]本发明手势识别方法，利用多核动态注意力机制可以自适应地调整RGB模态和深动态聚合多个卷积核的方法能够更灵活地捕捉和建模RGB模态和深度模态的复杂交互，提7[0052]本发明通过使用多核动态注意力机制很好地解决了如何准确提取并融合RGB图像征和深度图片的手势特征，本发明使用多模态特征提取来进行两种图片的特征提取和融8[0070]工具/操作模式数据库记载了机械臂末端执行器的操作模式，对于轮式移动操作这些意图表示方式用于使用者与移动操作机器人之间的信息势与机器人运动模式、静态手势与工具/操作模式以及静态手势与用户意图之间的转换和立，使得机器人手势交互系统能够准确地根据使用者的手势指令进行相应的操作和交互。9[0082]对静态手势数据集中的每个手势图片的RGB图像和深度图像进行标注，包括手势[0092]所述特征融合模块是用于将RGB手势特征和深度手势特征进行结合，以获得更加列的卷积操作将它们进一步融合。这样可以使得手势识别模型能够更好地利用RGB和深度[0094]为了获取包含手势相关信息的数据，本发明采用RealSense深度摄像头同时获取[0096]利用多核动态注意力机制，通过前向传播将手势的RGB图像和深度手势图像输入卷积核W[k]对输入特征图x进行卷积运算后加上偏置b[k]得到融合和精炼，从而使手势识别模型能够捕捉和利用这两种模态之间的远程空间依赖关系。模型能够捕捉和利用RGB和深度模态之间的跨通道上下文依赖关系。特征融合模块将通过in[0120]S3_2_3经过门控操作的手势特征图RGB′in和Depth′in分别乘以通道权重Wrgb和[0124]通过将手势特征图(RGB和深度图)与相应的通道权重进行逐元素相乘，可以实现[0127]就此，使用包含手势RGB图像和深度图像生成了一个统一的手势特征描述符[0128]S3_2_5对于RGB_D特征图RGBDf，通过多核动态注意力卷积得到RGB和深度特征的[0132]S3_2_6将每个模态的空间注意力权重进行softmax归一化，得到最终的空间注意[0148]为了方便后续的应用和系统集成，系统将以一种消息(message)的形式发送手势