《机器视觉与机器学习应用》课件-机器视觉定位装配应用

机器视觉与机器学习应用ApplicationsofMachineVisionandMachine

Learning机器视觉定位装配应用一ApplicationsofMachineVisionPositioningandAssemblyl课

程

导

入CourseIntroduction陈雨ChenYu主讲教师

Teacher*

如何精准装配不同

尺寸的零件?Howtoaccurately

assembleparts

of

differentsizes?机器视觉定位装配应用一ApplicationsofMachineVisionPositioningandAssemblyl课

程

导

入CourseIntroduction主讲教师

Teacher陈

雨ChenYu机器视觉定位装配应用一ApplicationsofMachineVisionPositioningandAssemblyl揭秘机器视觉如何完成多尺寸圆形工件的智能装配Uncoverhowmachinevisioncompletesthe

intelligentassemblyofmulti-sizedcircularworkpieces课程导入CourseIntroduction案例导入Case

introduction*利用机器视觉定位引导，将4个不同尺寸的圆形工件装配到对应有圆形孔位底座上。

Using

machine

vision

positioning

guidance,assemble4circular

workpieces

of

different

sizes

onto

baseswith

corresponding

circular

holes.38mmMeasure

38mmMatch32mm47mm45mmMeasure37mm30mmMeasure45mm

Measure35mmMeasure47mm

40mm37mm35mmMeasure40mm32mmMatch机器视觉定位装配MachineVision

PositioningandAssembly装配是工业制造过程中的最后一个生产阶段，具有作业过程复杂、装配任务

繁多等特点。Assembly

is

the

last

production

stage

in

theindustrial

manufacturing

process,and

ischaracterized

by

complex

operationprocesses

and

numerous

assembly

tasks.机器视觉定位装配MachineVisionPositioning

and

Assembly实现工业机器人在视觉引导下，自动地对工件进行装配。Industrialrobotscanautomaticallyassembleworkpieces

undervisualguidance.能够满足工业制造自动化装配高效高精度的要求。

Meeting

the

requirements

of

high

efFiciency

and

high

precisionofautomated

assemblyinindustrial

manufacturing.机器视觉定位装配Machine

Vision

Positioning

and

Assembly将机器视觉技术应用到工业机器人上Applyingmachinevisiontechnologyto

industrialrobots视觉识别单元Visual

recognition

unit

负责通信和数据分析的信息处理单元Information

processing

unitresponsiblefor

communicationanddataanalysis组成constitute

机器人装配单元Roboticassembly

unit机器视觉定位装配Machine

Vision

Positioning

andAssembly典型的机器视觉引导定位装配系统Typical

machine

vision-guided

positioning

and

assembly

system传送带单元

Conveyorunit*

整个装配系统主要分为两个部分，即视觉处理部分和机器人运动控制部分。Theentireassemblysystemisdividedintotwomainparts:thevisionprocessingunitandthe

robotic

motion

control

unit.*

视觉处理部分负责获取目标工件以及作业环境中的障碍物的位

置、尺寸信息；Thevisionprocessing

unit

isresponsibleforacquiringthe

position

and

size

informationofthetargetworkpiece

andobstacles

inthework

environment;机器人运动控制部分则实现对工业机械臂的运动控制，以及对

装配任务的执行。Therobotic

motion

controlunit

controls

themotion

of

the

industrial

robot

armand

executestheassemblytask.开始Start图像采集Imageacquisition识别定位Identificationandpositioning坐标转Coordinatetransformation机器人控制系统Robotcontrolsystem抓取和装配Grippingandassembly结束End机器视觉定位装配Machine

Vision

Positioning

andAssembly工作流程Workflow实际操作PracticalOperations任务实施TaskImplementation步骤1Step1*

打

开DobotVisionStudio1.4.2,选

择通用方

案。Open

DobotVisionStudio1.4.2and

select

the

General

Option.流程0采集本地图像

相机图像

存储图像0相机图像0相北图偕*

在工具箱的“采集”模块选择“相机图像”,

拖拽到流程编辑区。Select

"Camera

Image"in

the"Acquisition"module

of

thetoolbox

and

drag

it

to

the

process

editing

area.相机图像Camera

image步

骤

2Step

2相机采集到的图形Graphicscapturedbythe

camera0相机图像常用参数

触发设置相机连接选择相机

U3VMV-CE050-30UC(C断线重连时间0图像参数图像宽度图像高度像素格式帧率实际帧率基本参数设置Basicparametersettings0相机图像常用参数

触发设置触发设置SOFTWARE触发延迟

0.000触发字符串字符触发过滤IO控制IO选择项

LINEOIO模式

Input步骤2

*

双击“相机图像”模块，进行参数设置。Step

2

Double-clickthe"Camera

Image"moduletosetthe

parameters.任务实施TaskImplementation触发参数设置Triggerparametersettings31.00012.156MONO81944*

在工具栏的定位模块，将“圆查找”拖

拽到流程编辑区，并与“相机图像

”相

连

。Inthepositioning

moduleof

the

toolbar,drag"CircleSearch"tothe

processediting

area,and

connect

it

to

"Camera

Image".任务实施TaskImplementation步骤3Step

31圆查找基本参数

运行参数

结果显示运行参数半径范围

154

292查找模式

最强边缘边缘极性

任意边缘阈值

15滤波尺寸卡尺数量

30忽略点数

0高级参数执行

确定双击“1圆查找”进行参数设置Double-click"1CircleSearch"toset

parameters任务实施TaskImplementation步骤3Step

3点击“单次执行”查看结果Click"Single

Execution"toviewtheresults任务实施TaskImplementation圆查找结果Circlesearchresults步骤3Step

3*

在工具栏的定位模块，将“单位转换”拖拽到流程编辑区，并与“1圆查找”相连。Inthe

positioning

module

ofthe

toolbar,drag

"UnitConversion"to

the

process

editing

area,and

connectitto"1

Circle

Search".0相机图像1圆查找2单位转换5由停蜂瑙任务实施TaskImplementation步骤4Step4任务实施TaskImplementation步骤4Step4双击“2单位转换”进行参数设置Double-click"2UnitConversion"toset

the

parameters标定文件加载标定文件F:\1.课程资源开发\5.深圳执行

确定2单位转换图像输入输入源单位转换像素间距0相机图像.图像数据1圆查找.半径[*将标定工具栏的“标定转换

”拖拽到流程编辑区，与“2单位转换”相连接。Drag

the"CalibrationConversion"inthecalibration

toolbar

to

the

process

editing

area,and

connect

it

to

"2

UnitConversion".0相机图像1圆查找2单位转换3标定转换3

些

年

地任务实施TaskImplementation步骤5Step5双击“3标定转换”进行参数设置Double-click"3CalibrationConversion"

to

set

parameters任务实施TaskImplementation0相机图像.图像数据按

点

○

按

坐

标1圆查找.圆心点]F:11.课程资源开发\5.深圳G图像输入输入源图像坐标点输入输入方式图像点标定文件加载标定文件3

标定转换步骤5Step

5确定

基本参数

结果显示执行*

将逻辑工具栏的“条件检测”拖拽到流程编辑区，与“3标定转换”相连接，并重

命名为“最大圆”。Drag"Condition

Detection"fromthe

logic

toolbar

tothe

process

editing

area,connect

it

to"3Calibration

Conversion",and

rename

it

to"Largest

Circle".任务实施TaskImplementation步骤6Step

60相机图像1圆查找2单位转换3标定转换4最大圆警丫圄

I

entation步骤6Step

6双击“最大圆”进行参数设置Double-click"LargestCircle"toset

the

parameterslem施mp实sk务Ta任4

最

大

圆基本参数

结果显示判断方式全

部条件符合，判断结果为OK条件2单位转换.转换结int有效值范围21.00C

24.00×执行

确定店*

在逻辑栏，将“分支模块

”拖拽到流程编辑区，与“4最大圆

”相

连。In

the

logic

toolbar,drag

the

"Branch

Module"to

theprocess

editing

area,and

connect

it

to

"4LargestCircle".任务实施TaskImplementation步骤7Step70相机图像1圆查找2单位转换3标定转换4最大圆5分支模块2

3

至

樽双击“5分支模块”进行参数设置Double-click"5

Branch

Module"tosetthe

parameters输入参数条件输入4最大圆.结果(INTD分支参数按值索引

按位索引分支模块

条件输入值任务实施TaskImplementation5分支模块步骤7Step7执行

确定*

在Magician

机器人命令栏，将“运动到点

”拖拽到流程编辑区，与“5分支模块”相

连

。In

the

Magician

robot

command

bar,drag

"Move

toPoint"totheprocesseditingarea,andconnectitto

"5

Branch

Module".0相机图像4最大圆1圆查找5分支模块2单位转换6运动到点方案流程Program

process任务实施Task

Implementation步骤8Step83标定转换双击“6运动到点”进行参数设置Double-click"6Moveto

Point"tosettheparameters基本参数结果显示输入参数运动模式

JUMPX

3标定转换.标定物理坐标Y

3标定转换.标定物理坐标Z

-61.50R

0任务实施TaskImplementation6运动到点步骤8Step

8执行

确定*

在Magician

机器人命令栏，将“吸盘开关

”拖拽到流程编辑区，与“6运动到点”相

连

。Inthe

Magician

robot

command

bar,drag

"Suction

Cup

Switch"to

the

process

editing

area

and

connectit

to"6

Moveto

Point."任务实施Task

Implementation4最大圆5分支模块6运动到点7吸盘开关0相机图像1圆查找2单位转换3标定转换步骤9Step9双击“7吸盘开关”进行参数设置Double-click

"7SuctionCupSwitch"t只osetthe

parameters任务实施TaskImplementation基本参数

结果显示输入参数是否开合开启7

吸盘开关步骤9Step

9确定执行鲜店*

在Magician

机器人命令栏，将“运动到点”拖拽到流程编辑区，与“7吸盘开关”相

连

。In

the

Magician

robot

command

bar,drag

"Move

to

Point"to

theprocesseditingareaandconnectitto"7

Suction

Cup

Switch."5分支模块1圆查找6运动到点2单位转换7吸盘开关3标定转换8运动到点任务实施TaskImplementation步骤10Step

100相机图像4最大圆双击“8运动到点”进行参数设置Double-click"8

Moveto

Point"tosetthe

parameters任务实施TaskImplementation输入参数运动模式XYZRMOVJ181.61-103.59-58.5608运动到点步骤10Step

10基本参数

结果显示执行确定N*

在Magician

机器人命令栏，将“吸盘开关”拖拽到流程编辑区，与“8运动到点”

相

连

。In

the

Magician

robot

command

bar,drag

"Move

to

Point"to

theprocesseditingareaandconnectitto"8

Move

to

Point."任务实施TaskImplementation5分支模块6运动到点7吸盘开关8运动到点9吸盘开关1圆查找2单位转换3标定转换4最大圆步骤11Step

11双击“9吸盘开关”进行参数设置Double-click"9SuctionCup

Switch"toset

the

parameters9吸盘开关基本参数

结果显示输入参数是否开合

关

闭任务实施TaskImplementation步骤11Step

11执行确定6运动到点1圆查找*

将“条件检测”拖拽到流程编辑区，并与“5分支模块”相连，

并重命名为“大圆”。Drag"ConditionDetection"totheprocessediting

area,

connect

it

to

the

"5

Branch

Module",and

rename

it

"Big

Circle".任务实施TaskImplementation步骤12Step

127吸盘开关8运动到点9吸盘开关2单位转换3标定转换4最大圆5分支模块10大圆双击“5分支模块”进行参数设置Double-clickthe"5

Branch

Module"toset

the

parameters任务实施TaskImplementation按值索引分支模块610按位索引条件输入值0输入参数条件输入

445mm

圆.结果(INTO分支参数5分支模块步骤12Step

12执行

确定双击“10条件检测”进行参数设置Double-click"10Condition

Detection"tosetparameters10条件检测基本参数结果显示判断方式全

部

条件符合，判断结果为OK任务实施TaskImplementation条件2单位转换.转换结int步骤12Step

12执行

确定有效值范围*按照装配圆45mm

的方法依次将38mm、35mm、32mm

的圆装配到对应的孔位。Follow

the

same

method

as

for

the45mm

circle,assemble

the38mm,35mm,and32mm

circles

into

thecorrespondingholes.任务实施TaskImplementation步骤13Step

131圆查找2单位转换3标定转换7吸盘开关8运动到点24吸盘开关25运动到点19吸盘开关20运动到点14吸盘开关12运动到点*将4个圆放到视野范围内，点击“连续执行”。

Place

thefour

circleswithin

the

field

ofview

and

click

"Continuous

Execution."*机械臂将4个圆都装配到对应的孔位。The

robotwillthen

assemble

allfour

circles

into

the

corresponding

holes.37mm32mm35mmMeasure47mm40mm任务实施TaskImplementation步骤13Step

13装配结果Assembly

results38mmMeasure45mmMeasureMatch机器视觉定位装配应用一Applications

of

Machine

Vision

Positioning

and

Assemblyl*

视觉定位—圆查找与尺寸过滤技术Visualpositioning-circlefindinganddimension

Filteringtechniques课

程

小

结

CourseSummary*坐标转换—多模块协作实现精准映射Coordinatetransformation-multi-modulecollaborationfor

precisemapping机器视觉定位装配应用一Applications

of

MachineVision

Positioning

andAssemblyl课

程

小

结

CourseSummary*逻辑控制—

分支模块指导差异化装配

Logicalcontrol—branchingmodulestoguide

differentiatedassembly机器视觉定位装配应用一Applications

of

Machine

Vision

Positioning

and

Assemblyl课

程

小

结

CourseSummary电子元件组装Electroniccomponentassembly汽车零部件Automotiveparts机器视觉定位装配应用一ApplicationsofMachineVisionPositioningandAssemblyl课

程

小

结

CourseSummary技术的精进Technologicaladvancement工匠境界的追求Pursuitofcraftsmanship机器视觉定位装配应用一ApplicationsofMachineVisionPositioningandAssemblyl课

程

小

结

CourseSummary课

程

小

结CourseSummary技术服务于人，智能装配的高效精准，正是我们为中国智造贡献智慧与力量的舞台。Technology

serves

people,and

the

efficiency

andprecisionofintelligentassembly

ispreciselywherewe

cancontributeourwisdomandstrengthtoChina's

intelligentmanufacturing.机器视觉定位装配应用一Applications

of

Machine

Vision

Positioning

and

Assemblyl*如何改造本系统，使其能装配6种方形工件?Howtomodifythissystemsothat

itcanassemble

6types

ofsquare思

考

题ThinkingQuestions方形工件+装配底座Squareworkpiece+assemblybaseworkpieces?机器视觉与机器学习应用ApplicationsofMachineVisionandMachine

Learning机器视觉定位装配应用ApplicationsofMachineVisionPositioningandAssembly机器视觉定位装配应用二ApplicationsofMachineVisionPositioningandAssemblyI课

程

导

入CourseIntroduction主讲教师

Teacher陈雨ChenYu机器视觉定位装配应用二ApplicationsofMachineVisionPositioningandAssemblyI课

程

导

入Course

Introduction精准装配Precisionassembly制造过程Manufacturingprocess陈雨Chen

Yu机器视觉定位装配应用二ApplicationsofMachineVisionPositioningandAssemblyII课程导入CourseIntroduction*

4个不同尺寸的圆形工件和对应的孔位底座同时出现在视野中，机器人需要快速完成匹配装配。Four

circularworkpieces

ofvarying

sizes

andtheir

corresponding

baseswith

corresponding

holes

appeared

in

the

field

ofview

simultaneously,and

the

robot

needed

to

quickly

complete

the

matching

assembly.任务要求视觉系统能同时处理多个目标 ThelaskTequires

the

Visionsystenmto

handiemutple

targets

simuitaneously案例导入Caseintroduction案例导入Case

introduction*利用机器视觉定位引导，将4个不同尺寸的圆形工件装配到对应有圆形孔位底座上。Using

machinevision

positioningguidance,assemble

4

circular

workpieces

of

different

sizes

ontobaseswith

corresponding

circular

holes.37mm

37mm32mm

32mmMeasure

35mmMeasure要求：圆形孔位底座和圆形工件同时放在检测视野内。Requirement:Boththecircularhole

base

and

the

circular

workpiece

must

be

within

the

inspection

field

ofview.45mmMeasure35mmMeasure47mm40mmMatch

Match47mm45mmMeasure38mmMeasure30mmM³easumre40mm任务实施TaskImplementation步骤1Step1*打

开DobotVisionStudio1.4.2,选

择通用方案。Open

DobotVisionStudio1.4.2

and

select

the

General

Option.*在工具箱的“采集”模块选择“相机图像”,拖拽到流程编辑区。Select

"CameraImage"inthe"Acquisition"moduleof

the

toolbox

and

drag

it

to

the

process

editing

area.本地图像相机图像

存储图像0相机图像0相北图楼步

骤

2Step

2相机采集到的图形Graphicscapturedbythe

camera0相机图像常用参数

触发设置相机连接选择相机

U3V

MV-CE050-30UC(C图像参数图像宽度图像高度像素格式帧率实际帧率基本参数设置Basicparametersettings步骤2

*

双击“相机图像”模块，进行参数设置。Step

2

Double-clickthe"Camera

Image"moduletosetthe

parameters.任务实施TaskImplementation0相机图像常用参数触发设置触发源SOFTWARE触发延迟触发字符串字符触发过滤触发参数设置TriggerparametersettingsIO

控制IO选择项IO

模式LINEOInput31.00012ONO8*在工具栏的定位模块，将“圆查找

”拖

拽到流程编辑区，并与“相机图像

”相

连。Inthepositioning

moduleof

the

toolbar,drag"CircleSearch"tothe

processediting

area,and

connect

it

to

"Camera

Image".任务实施TaskImplementation步骤3Step

3TaskImplementation-基本参数

运行参数图像输入

运行参数.高级参数执行

确定运行参数设置Operatingparametersettings双击“1圆查找”进行参数设置Double

click"1Circle

Search"to

set

parameters执

行

确

定基本参数设置Basic

parametersettings0相机图像

图像数据绘制(

继

承ROI参数输入源ROI区域R

Ol创建形

状屏蔽区位置修正半径范围查找模式边缘极性边缘阈值滤波尺寸卡尺数量忽略点数任务实施1圆查找结果显示半径最小任

意1530步骤3Step

3ROI

区域

ROI

area基本参数

运行参数

结果显示点击“单次执行”查看结果Click"Single

Execution"toviewtheresults

I

entationlem施mp实sk务Ta任圆查找结果Circlesearchresults步骤3Step

3*在工具栏的定位模块，将“标定转换

”拖拽到流程编辑区，并与“1圆查找”相连。In

the

positioning

module

ofthetoolbar,drag

"Calibration

Conversion"to

theprocess

editing

area,

and

connect

itto

"1

Circle

Search".0相机图像1圆查找2标定转换S些毕牵地任务实施TaskImplementation步骤4Step4双击“2标定转换”进行参数设置Double-click

"2

Calibration

Conversion"to

set

parameters任务实施TaskImplementation0相机图像.图像数据按

点

○

按

坐

标1圆查找.圆心点[图像输入输入源图像坐标点输入输入方式

图像点标定文件加载标定文件7.系统标定\N

点标定.iwcalB2标定转换步骤4Step4基本参数

结果显示确定执行鲜店点击“单次执行”查看结果Click"Single

Execution"toviewtheresults任务实施TaskImplementation标定转换结果Calibrationconversionresults步骤4Step4*将定位栏的“圆查找”拖拽到流程编辑区，与“

2

标

定

转

换

”相连接。Drag

the"Circle

Search"in

the

positioning

toolbar

tothe

process

editing

area

andconnect

it

to"2

CalibrationConversion".任务实施TaskImplementation1圆查找2标定转换步骤5Step

50相机图像3圆查找ROI

区域ROI

area3圆查找基本参数运行参数结果显示图像输入输入源

0相机图像图像数据ROI区域绘制(

继承R

O

I

参

数屏蔽区位置修正执行X确定运行参数半径范围查找模式边缘极性边缘阈值滤波尺寸卡尺数量忽略点数100半径最小任

意151300300高级参数执行

确定任务实施TaskImplementation双击“3圆查找”进行参数设置Double-click

"3

Circle

Search"to

set

parameters运行参数设置Operatingparametersettings基本参数设置Basic

parametersettings3

国

查

找基本参数

运行参数

结果显示R

Ol创建形

状点击“单次执行”查看结果Click"Single

Execution"toviewtheresults

I

entationlem施mp实sk务Ta任圆查找结果Circlesearchresults*将“标定转换”拖拽到流程编辑区，并与“

3圆查找

”相连

。Drag“Calibration

Conversion”to

the

process

editingarea

and

connect

it

to

"3

Circle

Search".0相机图像1圆查找2标定转换3圆查找4标定转换寸匣丐薛

I

entationlem施mp实sk务Ta任步骤6Step

6双击“4标定转换”进行参数设置Double-click"4Calibration

Conversion"to

set

parameters任务实施TaskImplementation0相机图像.图像数据按

点

○

按

坐

标3圆查找.圆心点[]图像输入输入源图像坐标点输入输入方式

图像点标定文件加载标定文件7.系统标定\N

点标定.iwcalB4

标定转换步骤6Step

6基本参数

结果显示确定执行鲜店e点击“单次执行”查看结果Click"Single

Execution"toviewtheresults任务实施TaskImplementation标定转换结果Calibrationconversionresults步骤6Step

6*

在

Magician

机器人命令栏，将“运动到点

”拖

拽到流程编辑区，与“4标定转换”

相连。IntheMagician

robotcommand

bar,drag"Move

toPoint"totheprocesseditingarea,andconnectitto

"4CalibrationConversion".任务实施TaskImplementation0相机图像1圆查找2标定转换3圆查找4标定转换寸

性

丐步骤7Step75运动到点5运动到点基本参数结果显示输入参数运动模式

JUMPX

2标定转换.标定物理坐标Y

2标定转换.标定物理坐标Z

-62R

0任务实施TaskImplementation步骤7Step7双击“5运动到点”进行参数设置Double-click"5

Moveto

Point"tosettheparameters确定执行*在Magician

机器人命令栏，将“吸盘开关”拖

拽到流程编辑区，与“

5

运

动

到

点

”

相连。In

the

Magician

robot

command

bar,drag

"Suction

CupSwitch"totheprocess

editing

area

and

connect

it

to

"5

Move

to

Point."

I

entationlem施mp实sk务Ta任0相机图像1圆查找2标定转换3圆查找4标定转换地年增5运动到点6吸盘开关步骤8Step8双击“6吸盘开关”进行参数设置Double-click

the"6Suction

Cup

Switch"toset

the

parameters执行

确定任务实施TaskImplementation步骤8Step86吸盘开关基本参数

结果显示输入参数是否开合

开

启*在Magician

机器人命令栏，将“运动到点

”拖

拽到流程编辑区，与“6吸盘开关”

相连。IntheMagician

robotcommand

bar,drag"Move

to

Point"to

the

process

editing

area

and

connect

it

to

the

"6

Suction

Cup

Switch".

I

entationlem施mp实sk务Ta任0相机图像1圆查找2标定转换3圆查找4标定转换寸

业年5运动到点6吸盘开关7运动到点步骤9Step9双击“7运动到点”进行参数设置Double-click"7

Moveto

Point"tosetthe

parameters任务实施TaskImplementationJUMP4标定转换.标定物理坐标4标定转换.标定物理坐标-620输入参数运动模式XYZR7运动到点步骤9Step9基本参数

结果显示确定执行绿*

在Magician

机器人命令栏，将“吸盘开关”拖拽到流程编辑区，与“7运动到点”

相

连

。In

theMagicianrobotcommandbar,dragthe"Suction

Cup

Switch"to

the

process

editing

area

and

connect

it

to

"7

Move

to

Point".任务实施TaskImplementation0相机图像1圆查找2标定转换3圆查找4标定转换寸业

丐5运动到点6吸盘开关7运动到点8吸盘开关步骤10Step

10双击“8吸盘开关”进行参数设置Doub