CN119442168A 一种结合深度学习和多模态数据的智能化肉鸭估重方法 （华南农业大学）

一种结合深度学习和多模态数据的智能化本发明公开了一种结合深度学习和多模态基于多视图摄像头获取肉鸭的视觉模态数据，习网络融合视觉模态数据与非视觉模态数据，2其中，所述步骤S3中视觉模态数据通过卷积神经网络进行所述步骤S4包括基于姿态识别模型分析视觉模态数据，提取并定位肉鸭的骨骼关键则根据先前存储的姿态数据库中的姿态调整检测算法的参数所述步骤S5包括通过视觉模态的深度学习网络，得到肉鸭的关键点2.根据权利要求1所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其3.根据权利要求1所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其通过低通滤波器去除非视觉模态数据噪声信号，将非视觉模态数据4.根据权利要求1所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其5.根据权利要求4所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其3att表示通过自注意力机制加权后的特征向量。6.根据权利要求1所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其对ROI中的关键点使用预训练神经网络模型进行根据所述检测的关键点位置更新掩码区域，并将掩码区域之外利用非视觉传感器提供的数据对遮挡情况进行补偿，在No>k×Nt时启动辅助数据集校7.根据权利要求6所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其将非视觉传感信息输入到辅助姿态估计器模型来预测潜在缺失或误检基于重新定义后的关键点集再次估计姿势角度Aest，该估算采用的是优化的损失函数判断姿势偏差E，即估算的Aest与已知良好样本集标准姿态Aref间的差距是否小于某个8.根据权利要求7所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其9.根据权利要求8所述的一种结合深度学习和多模态数据的智能化肉鸭估重方法，其45些因素导致在图像或视频中对肉鸭关键点的检测不够准确，进而影响了体重估算的精度，[0004]本发明的目的在于提供一种结合深度学习和多模态数据6[0021]优选的，所述自注意力机制根据特征向量中的每个元素[0023]其中，Fatt表示通过自注意力机制加权后的特征向量，Aatt表示通过自注意力机制加权后的特征向量。[0031]利用非视觉传感器提供的数据对遮挡情况进行补偿，在No>k×N7[0035]基于重新定义后的关键点集再次估计姿势角度Aest，该估算采用的是优化的损失[0036]判断姿势偏差E，即估算的Aest与已知良好样本集标准姿态Aref间的差距是否小于[0042]优选的，所述利用优化后的融合模型来调整因视觉信息8[0058]在上述方案中，视觉模态数据的处理可以替换为其他适合的神经网络架构，如9[0064]在一种可能的实施方式中，所述步骤S3中的视觉模态数据通过卷积神经网络[0071]其中，Fatt表示通过自注意力机制加权后的特征向量，Aatt表示通过自注意力机制加权后的特征向量。[0077]通过对加权后的特征向量进行张量运算，可以将其映射到一个更高维的特征空[0088]利用非视觉传感器提供的数据对遮挡情况进行补偿，在No>k×N正机制，当遮挡点超过设定比例k×Nt时，使用非视觉模态传感器数据对检测结果进行补[0090]ROI的划定方式可以通过自动化算法优化，如动态调整兴趣区域大小以适应不同[0094]基于重新定义后的关键点集再次估计姿势角度Aest，该估算采用的是优化的损失[0095]判断姿势偏差E，即估算的Aest与已知良好样本集标准姿态Aref间的差距是否小于[0097]辅助姿态估计器模型可以采用其他机器学习算法，如随机森林或极限梯度提升将当前检测到的尺寸数据I与该样本数据集进行比对。比对匹配的质量因子Pm由公式基于数以获得更高质量的数据,通过对肉鸭各部分尺