CN118752495B 基于多模态驱动的机械臂控制方法、系统及存储介质 （中影年年(北京)科技有限公司）

机械臂当前状态和机械臂预测状态进行机械臂件触发的分布式协调控制算法对目标执行轨迹进行控制策略生成，得到实时关节控制指令序2对所述多模态数据集进行特征提取并通过注意力机制进行特征融合，通过无迹卡尔曼滤波器对所述融合特征向量进行状态数据估计对所述机械臂当前状态和机械臂预测状态进行机械臂运行轨迹规通过事件触发的分布式协调控制算法对所述目标执行轨迹进行控制所述通过事件触发的分布式协调控制算法对所述目标执行轨迹进行到实时关节控制指令序列，并通过所述实时关节控制指令序列控制所述机械臂进行作业，控制面板和所述分层控制指令集合进行实时数据流处理，得到所述实时关节控制指令序对所述机械臂的工作空间进行高速摄像，得到实时图像流和实时视对安装在所述机械臂的惯性测量单元进行数据采集，得到机械臂线性加速度对所述清晰图像数据、所述三维点云数据以及所述环境参数数据进3对所述关节角度、所述关节角速度和所述关节角加速度进行去噪处理将所述初始视觉数据、所述初始力一触觉数据以及所述初始惯性测对所述视觉数据进行空间金字塔池化处理，得到多尺度视觉特征图，对所述关节编码器数据和惯性测量单元数据进行运动学正反解计算对所述对齐特征序列进行非线性插值，得到统一采样率的特征数据；对所述融合特征向量进行关节空间映射，得到初始关节状态估计数对所述末端执行器位姿估计数据和力一触觉数据进行物体位置估计分对所述初始关节状态估计数据、末端执行器位姿估计数据和目标物体通过无迹变换对所述系统状态向量进行采样，得到sigma点集，并对所述s通过门控循环单元网络对所述机械臂当前状态和自适应4对所述机械臂当前状态进行任务分解，得到基本动作单元序列，并对对所述空间障碍物分布图进行时序预测，得到动态避障约束数对所述末端执行器预测轨迹进行图像平面投影，得到图像特征预测轨对所述帕累托最优轨迹集和所述机械臂当前状态进行动力学约束对所述补偿关节角度序列进行关节空间分析，得到关节运动范围；对对所述多模态数据集中的视觉数据进行目标物体位置估计，得到末端执行器位置误对所述抗干扰触发阈值进行关节耦合性分析，得到所述触发阈值集处理模块，用于通过机械臂上的传感器模组采集数据并进行预处理，融合模块，用于对所述多模态数据集进行特征提取并通过注意力机制进行特征融合，预测模块，用于通过无迹卡尔曼滤波器对所述融合特征向量进行分析模块，用于对所述机械臂当前状态和机械臂预测状态进生成模块，用于通过事件触发的分布式协调控制算5述指令被处理器执行时实现如权利要求1_6中任一项所述的基于多模态驱动的机械臂控制6[0001]本申请涉及数据处理技术领域，尤其涉及一种基于多模态驱动的机械臂控制方面对动态变化的环境和多样化的任务需求时，现有方法的自适应能力和鲁棒性还有待提惯性测量单元数据；对所述多模态数据集进行特征提取并通过注意力机制进行特征融合，7初始力触觉数据以及所述初始惯性测量单元数据合并为降噪多模态数据，并通过中值滤8布式协调控制算法对所述目标执行轨迹进行控制策略生成，得到实时关节控制指令序列，9[0015]预测模块，用于通过无迹卡尔曼滤波器对所述融合特征[0023]本申请实施例提供了一种基于多模态驱动的机械臂控制方法、系统及存储介体接触时的压力分布、摩擦力和滑动信息。这些数据对于精确控制抓取力度和判断物体稳态估计。觉数据和IMU数据则可以使用卡尔曼滤波器进行噪声抑制，该方法能够综合考虑系统模型种方法对于去除瞬时尖峰噪声特别有效，能够保持数据的整体趋势while剔除明显偏离的每帧包含约30万个三维点。力_触觉传感器以1kHz的采样率记录末端执行器与零件接触的力数据，原始数据中存在约±0.05N的随机噪声。通过卡尔曼滤波后，噪声水平降低适应特征选择。这一步骤采用基于通道注意力机制的特征选择算法，如Squeeze_and_过两层全连接网络学习通道间的相关性，最后用学习到的权重对原特征图进行重新加权。[0033]对于力_触觉数据，采用小波包变换进行时频分析。小波包变换是小波变换的扩合采用卷积神经网络对中级特征进行融合；晚期融合则使用全连接层对高级特征进行融机械臂能够以0.1mm的精度和0.5N的力控制精度完成微型元臂的运动学模型对初始关节状态估计进行正向运动学计算，得到末端执行器的位姿估计。成完整的系统状态向量。这个状态向量包含了机械臂的内部状态（关节状态）和外部状态（末端执行器和目标物体的位置关系为后续的状态估计和预测提供了全面的信息基础。迹变换对系统状态向量进行采样，生成2n+1个sigma点，其中n是状态向量的维度。每个sigma点都包含了状态变量的一个可能取值。然后，将这些sigma点通过系统模型进行非线性矩阵和科氏力等因素。长期依赖关系的RNN变体，它通过门控机制来控制信息的流动和记忆的更新。具体而言，预测序列。设为[1e_6,1e_6,1e_6,1e_4,1e_4,1e_4]，测量噪声协方差矩阵R的对角线元素设为够以0.98的R2分数预测未来0.1秒内的机[0044]在实际操作中，当机械臂需要将一个精密零件插入孔中时，UKF首先估计当前状[0045]步骤S104、对机械臂当前状态和机械臂预测状态进行机[0053]At(HandPosition,ObjectPosition)[0063]对得到的候选轨迹集和任务执行计划进行多目标评估，得到帕累托最优轨迹评估指标包括轨迹长度、能量消耗、平滑度和任务完成度等。多目标优化采用NSGA_II示为GRASP(Part1)，前置条件包括HandAbove(Part1)和HandEmpty，后置效果为Holding所有时间点都满足动力学约束，最大关节速度为80%的额定速度，最大力矩为75%的额定力作为后续控制算法的输入。[0070]利用软演员评论家算法对补偿后的关节角度序列和独立触发条件进行强化学不同传感器和控制回路的更新频率，例如视觉反馈可能以30Hz更新，而关节控制可能以为500个关键路径点，时间间隔为10ms。逆运动学计算得到的初始关节角度序列形成一个[0079]本申请实施例中，通过设计高效的多模态数据采集和预处理流程，实现了视觉、过动态规划找到不同时间序列之间的最佳匹配，能够处理采样率不一致和时间延迟的问速度测量噪声从±0.1m/s2降低到±0.02m/[0098]中值滤波成功剔除了力数据中的3次瞬时尖峰（>40N这些尖峰可能是由于碰撞[0107]对于力触觉数据，采用小波包变换进行时频分析。小波包变换是小波变换的扩展，它对信号进行多层分解，不仅分解低频部分，还分解高频部分。在本方法中，使用[0108]关节编码器数据和惯性测量单元数据首先通过运动学正反解计算得到机械臂的捉单一模态内的时序依赖关系，而跨模态注意力机制则用于学习不同模态之间的相关性。合采用卷积神经网络对中级特征进行融合；晚期融合则使用全连接层对高级特征进行融数据经过空间金字塔池化后得到三个尺度的特征图：1280x720x64、640x360x128和的精度和0.1N的力控制精度完成微型元件的插入任务，插入成功率从原来的90%提升到[0120]（7）通过门控循环单元网络对机械臂当前状态和自适应动力学模型进行时序建将关节空间的状态转换为笛卡尔空间中的末端执行器位姿。这个过程涉及一系列矩阵变估计数据通常包括3维质心坐标和一组描述物体轮廓的点集或内的状态序列和动力学参数作为输入，输出未来若干时间步的状态预测。这个过程得到状[0127]例如，在一个6自由度机械臂执行精密装配任务的场景中，融合特征向量是一个速度1°/s2。运动学正解计算将这些关节状态转换为末端执行器的位姿，得到位置(x=度的状态估计和预测使得机械臂能够在复杂的装配任务中实现亚毫米级的[0146]At(HandPosition,ObjectPosition)这里采用卡尔曼滤波器对移动物体的轨迹进行预测，通常预测未来0.5_1秒内的状态。例用相机的内外参数矩阵，将三维空间中的轨迹点转换为二维图像坐标。例如，一个3D点(500mm,300mm,200mm)可能被投影为图像坐标(320,240)。采用快速扩展随机树[0156]对得到的候选轨迹集和任务执行计划进行多目标评估，得到帕累托最优轨迹评估指标包括轨迹长度、能量消耗、平滑度和任务完成度等。多目标优化采用NSGA_II示为GRASP(Part1)，前置条件包括HandAbove(Part1)和HandEmpty，后置效果为Holding时间步，每步10ms。末端执行器预测轨迹在笛卡尔空间中形成一条平滑曲线，长度约为约束，最大关节速度为额定速度的80%，最大力矩为额定力矩的75%。这条轨迹被离散化为入。[0165]（6）对分层控制指令集合和机械臂的每个关节的独立触发条件进行故障模式分[0172]对容错控制策略库和优化控制策略进行人机交互界面映射，得到可视化控制面为500个关键路径点，时间间隔为10ms。逆运动学计算得到的初始关节角度序列形成一个准差以避免虚假触发。[0194]融合模块202，