版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
系统核心组件
目标检测:YOLOv5模型训练流程
深度信息获取
:坐标系构建与模型拟合
控制实现
:坐标转换、逆运动学求解与PID控制传统控制实例福白菊采摘系统
该流程通过五个步骤实现了从视觉识别到精准控制的完整链路,为后续的详细技术分析奠定了基础。计算深度信息基于视觉传感器计算机械臂与目标的距离和角度目标检测利用目标检测算法识别福白菊,估算位置和面积福白菊采摘系统的完整操作流程,包含五个关键步骤获取目标位姿确定机械臂末端执行器
的目标位置和姿态机械臂执行操作按照规划的运动轨迹精
准执行采摘动作获取图像信息在机械臂末端添加摄像
头,采集图像数据Q整体流程基础数据集选择选取开源花卉识别数据集中的甘菊作为基础数据集,为福白菊识别提供
初始支持。补充福白菊样本通过视频切片获取数十张福白菊照片,补充到基础数据集中,增强模型
对福白菊的识别能力。数据增强处理对收集的福白菊照片应用数据增强技术,扩充数据集规模,提高模型的
鲁棒性。自动标注利用X-Anylabeling软件训练小型模型,实现数据的自动标注,生成标签文件。数据集划分将处理后的约1000张图片数据按照8:1:1的比例划分为训练集、验证集和
测试集。目标检测模型-数据集构建基于开源花卉识别数据集构建福白菊检测模型福白菊样本图像
训练集(80%)验证集
(10%)测试集(10%)数据集组成比例12345数据集划分按照8:1:1的比例将数据集划分为训练集、验证集和测试集,确保各子集的数据分布合理反映整体特征参数配置设置训练轮次(epochs)、初始学习率、批处理大小等训练参数,为模型训练做好准备模型训练将数据集导入YOLOv5模型,启动训练流程,密切关注损失函数的变化情况效果评估利用验证集对训练中的模型进行评估,获取准确率、召回率、平均精度均值等关键指标目标检测模型-模型训练流程采用YOLOv5模型进行福白菊目标检测,优化训练参数以提高检测性能训练流程训练参数与监控训练轮次100批处理大小16初始学习率0.001损失函数分类损失、定位损失监控指标损失值变化趋势(判断模型是否正常收敛)准确率、召回率、平均精度均值训练与验证损失的差异(判断是否过拟合)数据增强与重新训练针对模型在特定条件下的表现不佳,收集更多样化的福白菊图片,包括不同姿态、光照条件和背景环境,扩充数据集并重新训练模型。应用正则化技术应用先进的正则化技术(如Dropout)避免模型在训练过程中出现过拟合,提升模型的泛化能力,使其在复杂的田间环境中依然能够准确地检测和识别福白菊。基于验证集反馈优化根据验证集和测试集的反馈结果,针对性地优化模型。若发现模型在检测特定形态或特定环境下的福白菊时准确率较低,进
一步收集相关形态或环境下的图片数据补充到数据集中。
通过持续优化和调整,最终训练的YOLOv5模型对福白菊的检测准确率得到了显著提升,为后续的采摘操作提供了可靠的视觉基础。目标检测模型-模型优化与调整根据验证结果持续优化模型性能,提高检测精度和泛化能力微调模型结构参数调整YOLOv5模型的网络深度、宽度等参数,或采用不同的特征提取层组合方式,增强模型对福白菊特征的提取和表达能力。图2-2模型训练及评估的损失
将训练好的YOLOv5模型部署到实际的福白菊采摘场景中,连接图像采集设备(摄像头)进行实时目标检测与识别。
准确率模型对福白菊的检测准确率达到
预期标准 漏检率目标福白菊的遗漏检测率保持在
较低水平 误检率对非目标对象的错误识别控制在
acceptable范围内
响应速度实时检测响应时间满足采摘操作
的实时性要求目标检测模型-实际应用与效果评估模型训练与评估损失性能指标通过实际应用测试,验证了训练好的模型在福白菊采摘场景中的有效性,为后续的机械臂控制和精准采摘操作奠定了基础。
原点选择选择机械臂所在摄像头的中心点作为世界坐标系的原点,使机械臂的运动与摄像头的视角保持一致
坐标轴确定根据右手定则建立坐标系:x轴指向右侧,y轴指向前方,z轴垂直
于XOY平面并指向上方
深度信息获取通过建立的坐标系,利用相机内参和目标检测结果,计算机械臂与目标物体之间的距离和角度 坐标系的合理建立是机械臂精准定位和深度信息准确获取的关键基础,为后续的运动规划和控制提供了数学支撑构建坐标系,获取深度信息建立世界坐标系为机械臂运动控制和深度信息计算提供基础放置福白菊将福白菊放置在距离摄像头不同已知距离的位置,覆盖机械臂工作空间内
的各个区域拍摄图像在每个预定距离点,使用摄像头拍摄包含福白菊的图像记录图像面积以像素为单位记录福白菊在图像中的面积,根据福白菊是否占据像素单元
格的一半来评估数据整理将采集的数据整理成表格形式,包含"实际距离"和"图像面积"两列关键数
据模型拟合-数据采集与整理采集福白菊距离与图像面积数据,为模型拟合做准备数据采集流程采集数据示例目
在计算图像面积时,以像素为单位,若福白菊占据像素单元格的一半以上,则计入
面积统计;否则不计入。这种处理方式可以提高面积计算的准确性。实际距离D(cm)
图像面积S(像素)50
645740353330812120251015161311589模型拟合-模型选择与参数求解
模型选择观察到随着实际距离的增加,图像面积呈非线性减小的趋势。根据数据分布特点,选择形如以下的模型进行拟合:d
=
a
×
A(-b)
+
c其中,
d表示实际距离,
A表示图像面积,
a、
b、c是待拟合的参数。from
scipy
.optimize
import
curve_fit#定义模型函数def
model(A,
a,
b,
c):return
a
*
(A
**
(-b))+
c 参数求解使用最小二乘法和curve_fit函数进行参数拟合:世界坐标系全局参考系,通常以机械臂工作空间的基准点为原点机械臂基坐标系固定于机械臂基座,原点位于基座旋转中心关节坐标系以关节旋转中心为原点,轴方向根据机械臂结构确定末端坐标系定义在执行器末端,用于描述末端的位姿机械臂控制-坐标系建立与标定建立多层次坐标系,通过D-H参数确定各坐标系间转换关系标定意义
:通过激光跟踪仪或视觉测量系统采集数据,计算各坐标系间的
相对位姿,确保后续坐标转换的准确性。关节角θ关节旋转角度,通常为变量连杆偏移d关节到下一关节的垂直距离扭转角α坐标系旋转角度,通常为常数连杆长度a相邻关节间的距离图:机械臂运动学参数示例D-H参数说明齐次变换矩阵假设世界坐标系到基坐标系的变换矩阵为TWB,物体在世界坐标系中的坐标为PW,则基坐标系下坐标PB满足:PB=
TWB
·
PW齐次变换矩阵的形式为: RWB为3×3的旋转矩阵,表示坐标系之间的旋转关系 t
WB为3×1的平移向量,表示坐标系之间的位置偏移 通过该转换,机械臂可以将目标位置从世界坐标系映射到其自身的基坐标系,为后续的运动规划提供依据 坐标转换将物体位置从全局参考系映射到机械臂的基坐标系中,为后续的运动控制提供基础。机械臂控制-坐标转换通过齐次变换矩阵实现坐标系之间的转换RWBt
WB0T
1机械臂控制-逆运动学求解逆运动学是正运动学的逆过程,根据末端执行器的期望位置和姿态来求解关
节角度。其复杂性在于可能有多解、无解或无限多解。
D-H参数描述的运动学模型采用D-H参数法描述串联机械臂结构,每个关节通过4个参数定义:.关节角θ:旋转角度.
连杆偏移d:平移距离
连杆长度a:连接长度
扭转角α:扭转角度
正运动学方程正运动学方程描述关节角度到末端位姿的映射关系:T
=
T01
×
T12
×
...
×
Tn-1,nc123-s1230l1c1s123c1230l1s100100001逆运动学求解是机械臂控制的关键环节,通过代数法求解可有效确定关节角度,实现精准控制。
逆运动学求解示例以末端位姿矩阵为例:代数法建立代数方程并求解几何法利用几何关系求解数值法迭代计算逼近解θ1θ2θ3逆运动学求解方法通过代数法求解θ1和θ2
:使用三次多项式插值生成关节空间平滑轨迹
三次多项式轨迹方程θ(t)
=
a₀+
a1t
+
a2t²
+
a3t³通过边界条件求解系数a₀、a1、a2、a3,生成从当前关节角度到目标角度
的平滑过渡轨迹。 边界条件与约束
初始角度:θ(0)=
θ₀
目标角度:θ(T)=
θm 初始速度:θ'(0)=
0 初始加速度:θ''(0)=0
初始位置目标位置轨迹曲线
关键优势轨迹规划需满足关节运动的约束条件,避免冲击与超程。机械臂控制-轨迹规划>
保证关节运动平稳>
轨迹过渡自然流畅>避免冲击与超程>
满足运动约束条件三次多项式轨迹示意图PID控制律u(t)=Kp·e(t)
+Ki∫e(τ)dτ
+
K
d·de(t)/dt其中,
e(t)=
θd()
-
θ(t)为误差积分环节(Ki)消除稳态误差,确保系统在长时间运行后仍能保持精确的跟踪效果微分环节(K
d)预测误差变化趋势,提前调整控制输出,避免系统出现振荡或超调机械臂控制-PID控制实现采用独立PID控制器实现关节角度跟踪,控制机械臂精确执行采摘动作
通过调整Kp
、
Ki
、
K
d参数,使系统达到稳定响应,确保机械臂能够精确跟踪目标关
节角度,完成采摘动作。比例环节(Kp)快速响应误差,使系统能够迅速调整以接近目标值PID控制器的三个调节环节代码要点使用OpenCV库进行图像处理形态学闭操作有效去除细小干扰因素二值化处理为轮廓检测做准备返回的轮廓点集用于后续的目标检测#
图像处理函数defImage_Processing(self,
img):'''形态学变换去除细小的干扰因素:paramimg:输入初始图像:return:检测的轮廓点集'''#将图像转换为灰度图gray_img=cv.cvtColor(img,cv.COLOR_RGB2GRAY)#获取不同形状的结构元素,创建一个5×5的矩形结构元素kernel=cv.getStructuringElement(cv.MORPH_RECT,
(5,5))#形态学闭操作,去除小干扰、dst_img=cv.morphologyEx(gray_img,cv.MORPH_CLOSE,
kernel)#
图像二值化操作ret,binary=cv
.threshold(dst_img,
10,
255,
cv
.THRESH_BINARY)#获取轮廓点集(坐标)find_contours=cv.findContours(binary,cv.RETR_EXTERNAL,cv.CHAIN_APPROX_SIMPLE)#根据返回的轮廓数量选择合适的轮廓列表iflen(find_contours)==
3:contours=find_contours[1]else:contours=find_contours[0]#返回检测到的轮廓点集returncontours图像处理流程灰度转换将RGB图像转换为单通道灰度图形态学变换使用5×5矩形结构元素进行闭操作,去除细小干扰二值化处理将处理后的图像进行二值化,阈值为10轮廓检测查找二值图像中的轮廓,提取轮廓点集核心代码-
图像处理函数实现对输入图像的形态学变换、二值化处理和轮廓检测,为后续目标检测提供基础
结果处理与可视化msg
=
{}for
i,
det
in
enumerate(pred):#每张图片的检测结果if
det
is
not
None
and
len(det):#确保det不是None且不为空det[:,
:4]=scale
coords(img
tensor
.shape[2],
det[:,
错误处理except
Exceptionas
e:logging.error(f"Detection
error:{str(e)}")importtraceback
图像预处理img_copy
=
img.copy()#使用LoadImages类似的预处理方式shape=640,
stride=32)ratio,pad
=
self.letterbox(img_copy,
模型推理#推理with
torch
.no_grad():pred=self
.model(img_tensor,
augment=False)[0]#
NMS处理该代码实现了从图像输入到目标检测结果的完整流程,通过调用预训练的YOLOv5模型,能够准确识别出福白菊并返回其位置和面积信息,为后续的深度计算
和机械臂控制提供了关键输入。核心代码-
目标检测实现调用YOLOv5模型对输入图像进行目标区域检测,返回处理后图像和目标信息控制器实现细节 误差计算self.Error=
nowValue-self.Target_Vaule 增量值计算根据公式计算△u(k)=
Kp[e(k)-e(k-1)]+
Ki*e(k)+
Kd[e(k)
-
2e(k-1)
+
e(k-2)] 输出更新self.PID_Output+=
IncrementValue
输出限制if
self.Limit_Output
and
self.PID_Output>self.Output_Max:self.PID_Output=
self.Output_Max增量式PID控制律△u(k)
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 脚的速写课件
- 酒店实训报告课件
- 解读苏轼模板课件
- 阀配件经销商年度总结
- 精神障碍改良电休克治疗操作规范专家共识课件
- 京东商城报告课件
- 标准化健康教育在老年龋病防治中的应用
- 2026事业单位工勤技能-浙江-浙江水工闸门运行工二级(技师)历年参考题库含答案详解
- 2026事业单位工勤技能-浙江-浙江堤灌维护工五级(初级工)历年参考题库含答案详解
- 2026事业单位工勤技能-浙江-浙江仓库管理员二级(技师)历年参考题库含答案详解
- 2026中国视网膜静脉阻塞抗VEGF治疗经济学评价报告
- 2026年秋教科版科学五年级上册教学工作计划及教学进度表
- 2025送气工考试试题及答案
- 松材线虫病除治施工方案
- 2026年瓶装燃气配送安全笔试试题(含答案)
- 2026年新疆农牧业投资集团招聘面试题及答案
- 卫生院疟疾培训课件
- 污水站有限空间安全培训课件
- 直播助农培训课件
- 江苏信息合格考试真题及答案
- 数字化染整技术专业教学标准(高等职业教育专科)2025修订
评论
0/150
提交评论