基于视觉的机械手抓取研究与应用

本科毕业设计（论文）[34]。计算机械手最大持重的公式为：RG=式中：RG为机械手的最大持重，GG为工件的质量，QG为末端执行器附件质量，Ki为安全系数，根据上方对机械结构分析可知GG+QG小于100g，因为所使用的材料刚度较小，所以取机械手的一切动作都需要由来自外部的驱动力，而能够由控制电流的具体值的舵机刚好满足，而且因为舵机能够由电流精确控制故机械手的运动可以转化为控制电流的大小。所以本文选用SG90舵机进行驱动。机械手中各舵机的分布如图所示图4-7通过改变单片机发给舵机的电流脉冲信号宽度，便可控制机械手臂的旋转角度，就可以通过这样的方式实现机械手的定点拾取与搬运功能,以及前端执行器机械手爪的开合功能。4.2.2机械手与YOLOv5的分级运行目标检测：YOLOv5模型首先对摄像头捕捉的图像进行处理，识别出图像中的目标物体。这要求YOLOv5模型经过适当的训练，在模型训练完成后，可以将训练好的模型与机械手系统进行融合。具体而言，将摄像头等视觉感知设备与机械手系统通过电脑连接，并利用数据传输线处理处理数据，将实时获取的图像数据输入到YOLOV5模型中进行目标检测。然后，根据检测结果，机械手系统调用动作回放以实现对目标物体的准确抓取。以识别特定的物体类别，比如零件、工具或其他需要机械手爪抓取的物品。位置标注：一旦目标被检测到，YOLOv5会输出物体的位置坐标，这为机械手爪提供了抓取目标的精确位置信息。路径规划：通过操控Arduino控制板将路径规划好以后，将物体放置于规定点位。将YOLOv5目标检测技术与机械手爪可以大大提高自动化装配、分拣、搬运等工业操作的效率和准确性。这种技术在智能制造、智能仓库、物流等领域有着广泛的应用前景。4.3本章小结将YOLOV5算法与机械手系统融合可以应用于各个领域的自动化生产中。例如，在零件装配过程中，机械手系统可以通过YOLOV5算法进行视觉引导的抓取操作，从而实现零件的自动拾取和装配。在物体分拣场景中，机械手系统可以通过YOLOV5算法快速识别物体的类别和位置，并实现精确的分拣操作。此外，YOLOV5融合机械手系统还可以应用于仓储物流、电子产品组装等多个领域。使用这样的办法可以大大提高自动化装配、分拣、搬运等工业操作的效率和准确性。这种技术在智能制造、智能仓库、物流等领域有着广泛的应用前景。第5章展望与总结5.1应用场景除了零件装配和物体分拣，基于YOLOV5算法的机械手抓取系统在其他应用领域也具有广泛的应用前景。例如，在食品加工和包装行业中，该系统可以用于食品的识别和抓取，从而提高生产效率和产品质量。在医疗器械和药品生产中，该系统可以用于器械的组装和包装，提高生产效率和产品的安全性。在电子产品制造中，该系统可以用于电子元件的拾取和组装，提高生产效率和产品的质量。还可以在将视觉机械手运用于垃圾分类中，使得环保工作更轻松简单。5.2未来展望尽管基于YOLOV5算法的机械手抓取技术已经取得了较好的研究和应用成果，但仍存在一些挑战和改进的空间，如实时性、准确性、适应性等。未来的研究可以关注如何进一步提高YOLOv5的性能，以及如何将其与其他技术（如SLAM、强化学习等）结合，以实现更高效、更智能的机械手操作。因此未来的研究可以从以下几个方面展开：进一步提高算法和模型的准确性和鲁棒性。虽然YOLOV5算法已经具有较高的抓取准确性，但在应对复杂环境和背景变化时仍存在一定的挑战。未来可以通过引入更多的数据增强和迁移学习方法，优化模型的训练和泛化能力，提高系统对不同场景的适应性和稳定性。进一步优化机械手控制系统的硬件和软件设计，提高系统的工作效率和稳定性。例如，采用更快速和精确的传感器和执行器，优化控制算法和策略，实现更精细和智能的抓取操作。同时，为机械手添加更加智能的设计部比如识别物体后对起点和终点的运动轨迹规划，并考虑系统的可靠性和安全性，防止误操作和事故发生。最后，将基于YOLOV5算法的机械手抓取技术与其他相关技术进行融合和应用。例如，将机器人视觉技术与语音识别、自然语言处理等技术相结合，实现更智能化和自主化的机械手抓取系统。同时，与云计算和物联网技术相结合，实现多机械手协同工作和远程监控。通过以上展望和进一步研究，我们有望进一步提高基于YOLOV5算法的机械手抓取技术在工业自动化领域的应用效果和实用性。同时，该技术还具有广阔的应用前景和推广价值，在其他领域如医疗、农业等也能发挥重要作用，为人类社会的发展和进步做出贡献。5.3总结通过对基于视觉的机械手抓取技术进行研究和应用，旨在解决传统机械手抓取能力有限、对场景要求高的问题。通过引入YOLOV5算法和深度学习技术，赋予了机械手用眼睛观察世界的能力。通过对实验结果的分析和总结，我们得出了以下几点结论：基于YOLOV5算法的机械手抓取系统具有较高的抓取准确性和效率。系统能够在各种复杂场景下准确地识别和抓取目标物体，并在较短的时间内完成抓取任务。与传统的机械手抓取相比，该系统具有更高的准确性和自动化程度，能够大大提升生产效率和产品质量。通过优化和改进系统的模型、数据集和控制算法，可以进一步提高系统的性能和实用性。例如，调整YOLOV5模型的结构和超参数，增加数据集的规模和多样性，优化机械手控制系统的硬件和软件设计等。这些优化和改进策略可以提高系统的抓取准确性、时间效率和安全性，以满足不同场景下的需求。基于YOLOV5算法的机械手抓取技术在工业自动化领域具有广阔的应用前景和发展潜力。随着深度学习和人工智能技术的不断发展，我们有望进一步提高机械手抓取系统的性能和实用性，推动工业生产的自动化和智能化发展。可见搭载了机器视觉的机械手可以参与的领域及其之多，未来发展光景无限。参考文献翟敬梅,董鹏飞,张铁.基于视觉引导的工业机器人定位抓取系统设计[J].机械设计与研究,2014,30(05):45-49.巢娅.基于深度学习的五指型仿人机械手抓取控制方法研究[D].华南理工大学,2019.DOI:10.27151/ki.ghnlu.2019.003797.高娜.医疗机器人主操作臂控制系统的研究[D].河北工业大学,2007.梁达勇.基于视觉多特征融合的机器人抓取研究[D].广东工业大学,2020.DOI:10.27029/ki.ggdgu.2020.001449.XuL,ZhouZ,WangC.AnRobotVisionGraspingNetworkBasedonInception-Lite[J].JournalofPhysics:ConferenceSeries,2021,1748(2):022041(7pp).McginnC,CullinanM,HollandD.Towardsthedesignofanewhumanoidrobotfordomesticapplications[C]//2020IEEEInternationalConferenceonTechnologiesforPracticalRobotApplications(TePRA).IEEE,2014.KalyanSinghKarki.Researchonrobotgraspingsimulationbasedonrgb-dsensor[D]HarbinInstituteoftechnology,2021.翟敬梅,董鹏飞,张铁.基于视觉引导的工业机器人定位抓取系统设计[J].机械设计与研究,2014,30(05):45-49.袁丽.NAO机器人的视觉伺服物品抓取设计与实现[D].山东大学,2015周丽莎.基于模板匹配的视觉定位技术研究与应用[D].大连理工大学,2021夏守城.基于双目视觉的目标识别与定位及机械臂的抓取研究[D].华南理工大学,2020.徐迪青.基于三指机械手的移动机器人物体抓取研究[D].浙江大学,2020.郑鑫宇,崔旭晶,石征锦,许晶.基于深度学习的机械臂视觉抓取系统[J].信息技术与信息化,2021(08):226-228.王洪刚.基于视觉的目标识别和机器人抓取应用研究[D].北京化工大学,2021.刘文龙.面向智能制造的视觉识别技术及其应用研究[D].哈尔滨工业大学,2021.张婧,张策,张茹,等.图像分割述评：基本概貌、典型算法及比较分析[J].计算机技术与发展,2024,34(01):1-8.李青昱.基于视觉SLAM的田间三维场景实时重建与路径规划方法研究[D].西北农林科技大学,2023.DOI:10.27409/ki.gxbnu.2023.001367.RedmonJ,FarhadiA.Yolov3:Anincrementalimprovement[J].arXiv:1804.02767,2018.周旺.基于特征融合与对抗遮挡网络的目标检测算法设计与实现[D].南京邮电大学,2020.DOI:10.27251/ki.gnjdc.2020.000012REDMONJ,DIVVALAS,GIRSHICKR,etal.Youonlylookonce:unified,real-timeobjectdetection[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2016:779-788.RedmonJ,FarhadiA.YOLO9000:Better,faster,stronger[C]//ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2017:7263-7271.周立旺,潘天翔,杨泽曦,等.多阶段优化的小目标聚焦检测[J].图学学报,2020,41(01):93-99.RenS,HeK,GirshickR,etal.FasterR-CNN:Towardsrealtimeobjectdetectionwithregionproposalnetworks[C]//AdvancesinNeuralInformationProcessingSystems,2015:91-99.REDMONJ,FARHADIA.Yolov3:Anincrementalimprovement[EB/OL].(2018-04-18)[2022-07-21].http://arXivpreprintarXiv:1804.02767.BOCHKOVSKIYA,WANGCY,LIAOHYM.Yolov4:Optimalspeedandaccuracyofobjectdetection[EB/OL].(2020-04-23)[2022-07-21].http://arXivpreprintarXiv:2004.10934,2020.胡豆豆.路面典型裂缝提取算法研究[D].华中科技大学,2011.解晓康.基于迁移学习的模糊图像识别技术研究[D].华中科技大学,2016.夏一飞.小型五轴机器人的研发[D].西华大学,2015.韩广明.SMA人工肌肉柔性仿人灵巧手的设计与实验研究[D].中国科学技术大学,2018.增辉,张峻宁,闫中奎.一种平行夹式机械手的分析[J].科协论坛(下半月),2012,(06):56-57.张超,单鑫,崔国礼,等.四自由度工业机械手结构设计[J].成组技术与生产现代化,2021,38(01):28-32.谭焓．四自由度多用途气动机器人（机器手）结构设计及控制实现［Ｊ］．中国机械，2014（4）：194—195．郭蕾.电解铜机械手设计及运动学仿真分析[D].重庆理工大学,2013.邱红祥.全海深液压机械手