CN119458388A 灵巧手控制方法、设备、智能体及存储介质 （人形机器人(上海)有限公司）

输入信息输入小脑模型中，获得对应的控制指轨迹规划模型用于根据输入信息输出对应的轨测控制算法将小脑模型神经网络与全身动力学2对所述传感器数据进行预处理，获得输入信息；所述输入信息包括环境将所述输入信息输入小脑模型中，获得对应的控制指令；所述小脑模型包括轨迹模型和运动控制器；所述轨迹规划模型用于根据所述输入信息输出对应的轨迹规划结果，模型预测控制算法将小脑模型神经网络与全身动力学模型相根据所述控制指令对所述灵巧手的执行机构模块进行构建小脑待训练神经网络和轨迹规划待训练基于所述训练样本集和所述物理模型，对所述小脑待训练神经网络基于模型预测控制算法将所述小脑模型神经网络与全身动力学模将逆运动学模块和逆动力学模块串联后与小脑模型神经网络进行并联将小脑模型神经网络与正动力学模块和正运动学通过遥操作系统控制灵巧手和机械臂在多个场景下执行抓取和操作3基于第一损失函数和反向传播算法，根据多组轨迹和对应的期望力基于第二损失函数和反向传播算法，根据多组所述图像序列和对迹规划待训练模型输出的实际轨迹与期望轨迹之间基于第一损失函数和反向传播算法，根据多组轨迹和对应的期望力基于第二损失函数和反向传播算法，根据多组所述图像序列和对所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所4[0001]本申请实施例涉及人形机器人灵巧手技术领域，尤其涉及一种灵巧手控制方法、[0003]相关技术中，可以采用传统的控制策略，例如比例、积分和微分(Proportion_基于模型预测控制算法将小脑模型神经网络与全身动力学模型5[0021]将小脑模型神经网络与正动力学模块和正运动学模块依次串联，获得运动控制脑待训练神经网络输出的实际力矩与期望力矩之间的误[0028]基于第二损失函数和反向传播算法，根据多组所述图像述轨迹规划待训练模型输出的实际轨迹与期望轨迹之间脑待训练神经网络输出的实际力矩与期望力矩之间的误6[0031]基于第二损失函数和反向传播算法，根据多组所述图像运动控制器是基于模型预测控制算法将小脑模型神经网络与全身动力学模型相结合得到处理器执行如上第一方面以及第一方面各种可能的设计789器是基于模型预测控制算法将小脑模型神经网络与全身动力学模型相据中提取轨迹特征，基于深度学习技术（例如卷积神经网络（ConvolutionalNeural网络由CNN和Transformer组成,CNN采用ResNet18,TransformerEncoder采用4层自注意力[0114]具体的，为了进一步提高准确性，可以将小脑模型神经网络结合模型预测控制全身动力学模型则提供了对灵巧手运动的精确描述。通过优化算法（如梯度下降法或遗传小脑模型神经网络对轨迹规划模型输出的预测轨迹进学模型的MPC相结合，得到运动控制器，并基于该运动控制器与轨迹规划模型得到小脑模对应的轨迹规划结果，所述运动控制器用于将所述轨迹规划结果转换为对应的控制指令；所述运动控制器是基于模型预测控制算法将小脑模型神经网络与全身动力学模型相结合[0128]本申请实施例提供的灵巧手控制设备，通过模拟小脑的习机制的快速响应能力使得该系统能够在接收到传感器数据后迅速进行数据处理和决策，运动学模块用于反馈输出给所述逆运动学模块和所述小迹规划待训练模型输出的实际轨迹与期望轨迹之间的应的期望力矩，对所述轨迹规划待训练模型和所述初始小脑模型神经网络进行联合训练，[0139]设备110可以包括以下一个或多个组件：处理组件1101，存储器1102，电源组件便多媒体组件1104和处理组件1101之间的[0141]存储器1102被配置为存储各种类型的数据以支持在设备110的操作。这些数据的[0142]电源组件1103为设备110的各种组件提供电力。电源组件1103可以包括电源管理[0143]多媒体组件1104包括在所述设备110和用户之间的提供一个输出接口的屏幕。在头和后置摄像头可以是一个固定的光学透镜系统或具有[0146]传感器组件1107包括一个或多个传感器，用于为设备110提供各个方面的状态评述组件为设备110的显示器和小键盘，传感器组件1107还可以检测设备110或设备110一个组件的位置改变，用户与设备110接触的存在或不存在，设备110方位或加速/减速和设备[0147]通信组件1108被配置为便于设备110和其他设备之间有线或无线方式的通信。设如包括指令的存储器1102，上述指令可由设备110的处理器1109执行以完成上述方法。例分。处理器和可读存储介质可以位于专用集成电路(ApplicationSpecificIntegrated