CN116631059B 一种声像联合的跨模态声源定位与手势识别方法 （北京工业大学）

一种声像联合的跨模态声源定位与手势识本发明公开了一种声像联合的跨模态声源间划分为不同的子空间；步骤3.音频信息预处2以智能机器人为中心，建立空间极坐标系(r,p,9),以此表示声源相对于智能机器人所在空间极坐标系中极径为R的范围内，三维空间被分为Z个大小智能机器人装备有多个麦克风，将麦克风放置在同一水平智能机器人根据音频信息得到指令发起者的位置后，移动到指令发起者身边，使用使用时空图卷积网络对AlphaPose提取的手势关节点信息进行建模和处理，从而识别3m特征提取从频域信号中提取出具有代表性的特征，为后m对滤波后的Mel频率系数进行离散余弦变换DCT：对取对数后的Mel频率4将特征提取的数据转化为适合卷积神经网络处理的形式，即YOLOv7使用Anchor框来预测目标的位置和大小；将数据输入阶段得到的L＝Lcls+λcoordLcoord+λobjLobj+λnoobjLnoobjnoobj是权重参数；分类损失使用交叉熵损失函数进行5tU=fut,uf,…,u⃞表示第t帧图像中指令发起者手部的第d个关节点坐标；将每帧图像中指令发起者的手部关节点信息拼接起来，得到整个手势动作的关节点信息，记为U＝{U1,空图卷积神经网络对这个三维张量进行卷积操作，得6时考虑时空关联，利用手势的关节信息通过时空图卷积神经网络识别指令发起者的手势；令发起者的位置并从视觉信息中识别命令发起者的姿势，以适应不同环境和场景的需求，7[0008]以智能机器人为中心，建立空间极坐标系(r,p,9),以此表示声源相对于智能机器[0023]使用时空图卷积网络对AlphaPose提取的手势关节点信息进行建模和处理，从而8[0043]其中，Hm(k)表示Mel滤波器组的第m个滤波器，h(m)表示第m个[0044]对滤波后的Mel频率系数进行离散余弦变换DCT：对取对数后的Mel频率系数进行9度谱或相位谱的提取，然后使用二维快速傅里叶变换FFT将其转换为图像形式。幅度谱Qm[0059]L＝Lcls+λcoo像素点上的第j个Anchor框是否存在目标ttt信息记为Ut，其中u:=[uf,u,…,u⃞表示第t帧图像中指令发起者手部的第d个关节点坐维度。使用时空图卷积神经网络对这个三维张量进行卷积操作，得到一个新的三维张量[0077]以智能机器人为中心，建立空间极[0081]本发明中智能机器人装备多麦克风，采集音频信息前需要确定麦克风的布置方[0092]经过预加重和分帧操作后，本发明对声音信号进行STFT(Short_timeFourier以从频域信号中提取出具有代表性的特征，为后续的声源定位任务提供可靠的输入数据。本发明采用MFCC(MelFrequencyCepstralCoefficients)方法提取出不同频率下的声音[0101]其中，Hm(k)表示Mel滤波器组的第m个滤波器，h(m)表示第m个信号进行幅度谱或相位谱的提取，然后使用二维快速傅里叶变换(FFT)将其转换为图像形[0123]L＝Lcls+λcoottt[0131]本发明将每帧图像中的指令发起者提取出来，通过AlphaPose对其进行手部关节的连接关系。本发明将每个节点的坐标和时间信息拼接起来，得到一个三维张量u.eR,其中T表示时间步数，D表示关键点个数，3表示每个节点的特征维度(包括xy个新的三维张量其中F表示特征通道数。本发明将这个三维张量视为手势的手势表示，通过softmax函数将其转化为一个概率分布，即得到该手势属于每个类别的概