CN119418174A 基于目标检测算法及云平台的机器人告警处理方法及系统 （北京网藤科技有限公司）

基于目标检测算法及云平台的机器人告警本发明提供一种基于目标检测算法及云平机制和改进的无锚框目标检测算法进行异常目最终通过任务分解网络进行协同任务规划得到2基于预先设置的传感器阵列采集工业现场对应的图像信息和深度信息并上传至云平基于所述精确三维表征数据和所述异常检测结果，通过改进的时接收所述最优运动轨迹，执行改进的动态路径规划算法并结合拓通过预先设置的传感器阵列采集工业现场对应的图像信息和深度信息并上传至云平对于所述图像信息和所述深度信息，通过自适应图像分割算法计算3对所述多维特征图像块进行小波变换操作，采用多尺度分解提取频域特量采用分段线性映射进行对比度增强且增强系数根据所述多维特征图像块的灰度分布动核系数，将增强后的图像块统一缩放至标准尺寸并进行像素值归一化处理得到标准图像所述云平台基于所述标准图像块的图像特征调用预先训练完成的目标检测模型库中注意力机制，通过全局特征池化获取通道维度的统计信息学习不同通道特征的重要性权结合改进的无锚框目标检测算法对所述多尺度深层特征和所述关键区域特征进行上通过基于深度信息引导的特征融合网络采用双流结构整合所述异常检测结果和所述共同决定的自适应权重进行融合，融合后的特征经过解码器网络重建目标的空间位置坐通过具有双流结构的特征融合网络分别提取异常检测结果对应的第一特征图和深度对所述第一特征图进行全局平均池化和最大池化提取第一通道级将所述第一特征图和所述第二特征图分别按通道展开成第一特征矩阵和第二特征矩4结合所述相关性矩阵、所述第一置信度指标和所述第二相等权重，对相关性低于0.5的区域将权重偏向所述第一置信度指标和所述第二置信度指标中的较高者，对所述第一置信度指标和所述第二置信度指标均低于0.9的区域引入上下将所述第一特征图和所述第二特征图按照所述自适应融合权重进行加权得到融合特将深度图反投影到三维空间得到点云，利用所述融合特征预测目标中将精确三维表征数据和异常检测结果中的目标三维位置坐标、姿态四将所述节点特征向量与时间编码向量拼接得到融合特征，所述时间制在预测过程中定期使用真实值替代预测值抑制误差累积得到异常发展将所述异常发展预测序列输入分层强化学习网络，顶层策略网络定位置得到子目标序列，中层策略网络基于所述子目标序列规划执行顺序得到执行序列，对所述动作序列进行对抗训练和经验回放优化，生成器在轨迹点添加5将所述优化后的动作序列输入任务分解网络，通过多层图卷积提取在环境中根据障碍物分布划分采样密度，对所述任务分配方将目标的三维位置坐标值、姿态四元数值、几何尺寸值和异常检将所述输出特征分别输入四个独立的全连接层预测分支，第一预测采用递进式预测机制更新目标状态，将预测的位置偏移量与当前位置坐标值将预测序列划分为多个长度相等的预测区间，在每个预测区对预测得到的状态值进行物理约束检查，相邻时间步的位置偏将预测序列中各时间步的状态值按照时间戳顺序整理，生成包6将工作空间划分为多个连通区域并构建环境拓扑图，记录所述连通对深度图像进行降噪和空洞填充处理得到有效深度信息，从图像序列所述有效深度信息与特征点按测量置信度进行加权融合，通过位姿优化得到实时位姿数基于状态变量变化率对示教数据进行关键时间点识别得到动作分采用神经网络补偿器实时学习环境动力学特性，通过多层嵌套控制结通过滑动窗口从系统状态序列中提取时域特征，所述时域特征将工作空间划分为基础网格单元并构建八叉树结构，将机器人本体简化为包含主干部分对应的大尺寸球体和机械臂部分对应的小尺寸球对所述碰撞风险空间区域内的障碍物采用球体包围盒进行距离估算采用多传感器数据融合方式获取障碍物的位置信息、速度信息和加未来位置与规划路径存在交叉时触发避障规划；在原始路径点之间插入过渡点进行路径平滑，通过优化算法确定所述过渡点的位置，境接触力超过安全范围或所述位置跟踪误差超过限值时重新规划所述8.基于目标检测算法及云平台的机器人告警处理系统，用于实现前述权利要求1_7中7第一单元，用于基于预先设置的传感器阵列采集工业第二单元，用于基于所述精确三维表征数据和所述异常检测习算法，结合分层选项框架分解得到层次化子目标并结合奖励机制生成多层次决策序列，法中的自适应采样和动态约束处理生成最优第三单元，用于接收所述最优运动轨迹，执行改进的动态路其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意8[0005]本发明实施例提供一种基于目标检测算法及云平台的机器人告警处理方法及系[0007]基于预先设置的传感器阵列采集工业现场对应的图像信息和深度信息并上传至9[0011]基于预先设置的传感器阵列采集工业现场对应的图像信息和深度信息并上传至[0012]通过预先设置的传感器阵列采集工业现场对应的图像信息和深度信息并上传至频分量采用分段线性映射进行对比度增强且增强系数根据所述多维特征图像块的灰度分[0015]所述云平台基于所述标准图像块的图像特征调用预先训练完成的目标检测模型[0016]结合改进的无锚框目标检测算法对所述多尺度深层特征和所述关键区域特征进[0017]通过基于深度信息引导的特征融合网络采用双流结构整合所述异常检测结果和[0020]通过具有双流结构的特征融合网络分别提取异常检测结果对应的第一特征图和深度信息对应的第二特征图，所述第一特征图包含512个特征通道，所述第二特征图包含[0022]将所述第一特征图和所述第二特征图分别按通道展开成第一特征矩阵和第二特征矩阵，对所述第一特征矩阵和所述第二特征矩阵中每个位置的特征向量进行归一化处设置相等权重，对相关性低于0.5的区域将权重偏向所述第一置信度指标和所述第二置信度指标中的较高者，对所述第一置信度指标和所述第二置信度指标均低于0.9的区域引入[0025]将所述第一特征图和所述第二特征图按照所述自适应融合权重进行加权得到融制机制在预测过程中定期使用真实值替代预测值抑制误差累积得到异常发展制机制在预测过程中定期使用真实值替代预测值抑制误差累积得到异常发展预测序列包实观测数据替代预测值作为输入状态，所述真实观测数据包括实际观测到的目标位置坐[0055]将机器人本体简化为包含主干部分对应的大尺寸球体和机械臂部分对应的小尺[0056]对所述碰撞风险空间区域内的障碍物采用球体包围盒进行距离估算得到初步距碍物未来位置与规划路径存在交叉时触发避障规划；述环境接触力超过安全范围或所述位置跟踪误差超过限值时重新规划所述信息并上传至云平台，通过自适应图像分割算法对所述图像信息和所述深度信息进行划化算法中的自适应采样和动态约束处理生成[0072]图1为本发明实施例基于目标检测算法及云平台的机器人告警处理方法的流程示[0073]图2为本发明实施例基于目标检测算法及云平台的机器人告警处理系统的结构示[0076]图1为本发明实施例基于目标检测算法及云平台的机器人告警处理方法的流程示[0077]S1.基于预先设置的传感器阵列采集工特征图像块，基于小波变换操作和拉普拉斯边缘增强对所述多维特征图像块进行预处理，[0078]所述自适应图像分割算法是一种能够根据输入图像的特征自动调整分割策略的[0080]基于预先设置的传感器阵列采集工业现场对应的图像信息和深度信息并上传至[0081]通过预先设置的传感器阵列采集工业现场对应的图像信息和深度信息并上传至频分量采用分段线性映射进行对比度增强且增强系数根据所述多维特征图像块的灰度分[0084]所述云平台基于所述标准图像块的图像特征调用预先训练完成的目标检测模型[0085]结合改进的无锚框目标检测算法对所述多尺度深层特征和所述关键区域特征进[0086]通过基于深度信息引导的特征融合网络采用双流结构整合所述异常检测结果和作为初始化参考的关键点，所述种子点密度是指在图像或数据集中的种子点的分布密度，素点的对比度和空间位置信息来构建显著性图。对图像信息进行颜色量化，例如使用K_布动态调整种子点分布密度。在显著性高于预设阈值的区域，例如显著性值大于0.8的区[0091]云平台基于标准图像块的图像特征调用预先训练完成的目标检测模型库中的卷[0093]通过基于深度信息引导的特征融合网络进行特征融合，得到精确三维表征数的两个特征分支分别包含多层卷积模块，每个卷积模块由卷积层、归一化层（例如[0097]通过具有双流结构的特征融合网络分别提取异常检测结果对应的第一特征图和深度信息对应的第二特征图，所述第一特征图包含512个特征通道，所述第二特征图包含[0099]将所述第一特征图和所述第二特征图分别按通道展开成第一特征矩阵和第二特征矩阵，对所述第一特征矩阵和所述第二特征矩阵中每个位置的特征向量进行归一化处设置相等权重，对相关性低于0.5的区域将权重偏向所述第一置信度指标和所述第二置信度指标中的较高者，对所述第一置信度指标和所述第二置信度指标均低于0.9的区域引入[0102]将所述第一特征图和所述第二特征图按照所述自适应融合权重进行加权得到融[0105]利用一个双流结构的特征融合网络分别提取异常检测结果对应的特征图和深度[0113]S2.基于所述精确三维表征数变规律并生成异常发展预测序列，基于所述异常发展预测序列和改进的分层强化学习算度确定性策略梯度算法是一种强化学习算法，是深度学习与确定性策略梯度算法的结合，制机制在预测过程中定期使用真实值替代预测值抑制误差累积得到异常发展码向量通过周期性正弦函数将时间戳映射到高维空间。将融合特征输入到多头图注意力抓取等动作序列。的每个采样点评估运动学约束和避障约束满足程度。通过梯度下降迭代优化采样点位置，制机制在预测过程中定期使用真实值替代预测值抑制误差累积得到异常发展预测序列包实观测数据替代预测值作为输入状态，所述真实观测数据包括实际观测到的目标位置坐层预测分支。假设第一个预测分支输出目标在三个方向的位置偏移量为(Δx=0.1，Δy=[0144]生成异常发展预测序列，将预测序列中各时间步的状态[0146]S3.接收所述最优运动轨迹，执行物体的运动轨迹，所述模仿学习算法是一种通过模仿专家行为来学习任务的机器学习方补偿器是一种利用神经网络进行补偿控制的装置，通过学习系统中的非线性特性和扰动，已有路径进行局部调整的过程所述几何一致性约束是一种在路径规划或图像处理过程中采用几何一致性约束剔除误匹配点。将有效深度信息与特征点按测量置信度进行加权融姿和速度信息组成一个特征向量。通过动作价值评估模型对特征向量进行重要程度评分。仿学习算法和在线适应模块，机器人可以根据目标物体特性和环境约束动态调整动作参[0167]将机器人本体简化为包含主干部分对应的大尺寸球体和机械臂部分对应的小尺[0168]对所述碰撞风险空间区域内的障碍物采用球体包围盒进行距离估算得到初步距碍物未来位置与规划路径存在交叉时触发避障规划；述环境接触力超过安全范围或所述位置跟踪误差超过限值时重新规划所述