机器人视觉算法-参考答案

1.什么是机器视觉【概述】机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。【基本构造】一个典型的工业机器视觉系统包括：光源、镜头、CCD照相机、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯/输入输出单元等。系统可再分为：主端电脑(HostComputer)影像撷取卡(FrameGrabber)与影像处理器影像摄影机CCTV镜头显微镜头照明设备：Halogen光源LED光源高周波萤光灯源闪光灯源其他特殊光源影像显示器LCD机构及控制系统PLC、PC-Base控制器精密桌台伺服运动机台【工作原理】机器视觉检测系统采用CCD照相机将被检测的目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，如面积、数量、位置、长度，再根据预设的允许度和其他条件输出结果，包括尺寸、角度、个数、合格/不合格、有/无等，实现自动识别功能。【机器视觉系统的典型结构】一个典型的机器视觉系统包括以下五大块：1.照明照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。光源可分为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为：背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。2.镜头FOV（FieldOfVision）=所需分辨率*亚象素*相机尺寸/PRTM（零件测量公差比）镜头选择应注意：焦距目标高度影像高度放大倍数影像至目标的距离中心点/节点畸变3.相机按照不同标准可分为：标准分辨率数字相机和模拟相机等。要根据不同的实际应用场合选不同的相机和高分辨率相机:线扫描CCD和面阵CCD；单色相机和彩色相机。4.图像采集卡图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口：黑白、彩色、模拟、数字等等。比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机,然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。5.视觉处理器视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。现在由于采集卡可以快速传输图像到存储器，而且计算机也快多了，所以现在视觉处理器用的较少了。2.机器视觉的主要应用领域有哪些机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%-50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。除此之外，机器视觉还用于其他各个领域。 而在中国，视觉技术的应用开始于90年代，因为行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用几乎空白。目前国内机器视觉大多为国外品牌，如康耐视、迈思肯、欧姆龙等。国内大多机器视觉公司基本上是靠代理国外各种机器视觉品牌起家，随着机器视觉的不断应用，公司规模慢慢做大，技术上已经逐渐成熟。例如：深圳市品印宝智能科技有限公司，是康耐视白钻代理商。也是迈思肯深圳核心代理商。在短短六年的时间里，就发展成国内首屈一指的机器视觉企业。国内也开始意识到机器视觉的重要性，微视就是中国人自己的机器视觉的公司，研发自己的机器视觉产品。当然，技术上跟国外的品牌还存在一些不足。 随着经济水平的提高，3D机器视觉也开始进入人们的视野。3D机器视觉大多用于水果和蔬菜、木材、化妆品、烘焙食品、电子组件和医药产品的评级。它可以提高合格产品的生产能力，在生产过程的早期就报废劣质产品，从而减少了浪费节约成本。这种功能非常适合用于高度、形状、数量甚至色彩等产品属性的成像。 在行业应用方面，主要有制药、包装、电子、汽车制造、半导体、纺织、烟草、交通、物流等行业，用机器视觉技术取代人工，可以提供生产效率和产品质量。例如在物流行业，可以使用机器视觉技术进行快递的分拣分类，不会出现大多快递公司人工进行分拣，减少物品的损坏率，可以提高分拣效率，减少人工劳动1、食品安全监测2、制造业提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。 同时，机器视觉技术还能在超标准排放烟尘、污水等方面发挥作用。利用机器视觉，能够及时发现机房及生产车间的的火灾、烟雾等异常情况。利用机器视觉中的面相检测、人脸识别技术，可以帮助企业加强出入口的控制和管理，提高管理水平，降低管理成本。3、太阳能、交通监控近年来新兴行业的发展给机器视觉市场也带来了新的市场空间。在太阳能领域，太阳能电池和模块生产者使用机器视觉来检测产品、识别和跟踪产品以及装配产品。在交通监控领域，可以利用车牌识别技术、图像分析技术，自动识别车牌，发现违章停车、逆行、发现交通肇事车辆等。此外，如地质灾害对地震预防、山体滑坡、泥石流、火山喷发的发现识别、防范，水文监测对河流水文状况的观测等领域机器视觉技术都有巨大空间有待挖掘。图像识别，图像检测，视觉定位，物体测量，物体分拣标签数字高速对照检测；在高速流水线检测电子元器件外形缺陷和尺寸，检测电路板线路及插孔位置，检测针剂液量，对药品包装喷印批号，生产日期和保质期文字检测；食品灌装线在线检测等。3机器视觉系统的主要构成典型的视觉系统一般包括：光源、光学系统，相机、图像处理单元（或图像采集卡）、图像分析处理软件、监视器、通讯/输入输出单元等典型的工业机器视觉应用系统包括光源、光学系统、图像捕捉系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械执行模块4.列举每个应用领域中机器视觉的应用场景（每个领域至少两个场景）产品广泛应用于各个行业：1、半导体行业：外观缺陷、尺寸大小、数量、平整度、间隔、定位、校准、焊点质量、弯曲度等等的检测和测量。 2、SMT行业：虚焊，短路，多锡，少锡，元件偏移，元件极性，元件侧立，元件翻转，OCR，OCV，条码识别。 3、电子行业：检测污点，划痕、浅坑、浅瘤、边缘缺陷、图案缺陷等；测量内圈直径、外圈直径、偏心度、高度、厚度等。 4、烟草行业：在印刷生产线上对于烟盒的印刷质量进行检测，主要缺陷类型为：刀丝、针孔、毛发、飞墨、漏印、飞虫、套印误差等，检测水松纸印刷过程中花纹、文字及烫金图案的印刷质量。 5、医药/医疗行业:：对液体制剂的灌装液位、瓶体内杂质及封盖质量；尺寸不合格的胶囊；对泡罩药品的缺粒；对医药产品的外包装打码效果；对外包装纸箱的满箱及数量检测。 6、汽车行业：齿轮号的符号识别，里程表上的数字检测，刹车片的印体识别、各零件的尺寸测量等等。 7、印刷行业：材质的缺陷检测（如孔洞、异物等）；印刷缺陷检测（如飞墨、刀丝、蹭版、套印不准等）；颜色缺陷检测（如浅印、偏色、露白等）。 8、食品饮料行业：玻璃瓶的质量检测，瓶子的计数，液位检测，异物检测，标签检测。 5.机器视觉系统的优点与缺陷机器视觉就是用机器代替人眼来做测量和判断，机器视觉系统的特点是提高生产的柔性和自动化程度，在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。像美国TEO迪奥科技一家专业从事机器视觉的研发与生产的制造商，是机器视觉产品的首选品牌容易受到外界环境的影响，光照，天气等。不够灵活。6. 针对视频中出现的某一个机器视觉应用场景，画出其系统框图与算法架构 7.考虑在上述应用场景中，你可能遇到的问题8.OCR的关键技术有哪些所谓OCR （Optical Character Recognition光学字符识别）技术，是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，对文本资料进行扫描，然后对图像文件进行分析处理，获取文字及版面信息的过程。9. 列举4个OCR的应用场景公安，电信，金融，物流，1.用OCR进行印刷体文稿的识别录入3.邮件自动分拣系统4.手写体表格数据自动录入系统10. 机器视觉相对于人工有哪些优势（看第5题）11. 机器视觉的关键技术有哪些12.嵌入式机器视觉的优缺点嵌入式机器视觉机器视觉系统利用机器代替人眼来做测量和判断，通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。作为科技发展的产物，机器视觉的出现大大提高了生产自动化程度，增加了加了质量检测的高效准确性，同时也开辟了不少新的研究领域。目前，我国的机器视觉行业也出现了不少具备自主创新能力的企业，将嵌入式技术结合传统的机器视觉就是应市场需求变化而推出的一项新技术，该技术实现了实时视觉图像采集、视觉图像处理控制，使其结构更紧凑，甚至完全不需要计算机的介入，提高处理速度，并能有效降低成本的专用机器视觉控制系统，使得该系统具有安装方便、配置灵活、便于携带等突出优点。13. 搭建机器视觉系统过程中应该注意哪些问题机器视觉（或称为自动可视检测系统）一般包含了大量部件，这些部件直接影响系统的性能。考虑各种变化：人类的眼睛和大脑可以在不同的条件下识别目标，但是机器视觉系统就不是这样多才多艺了，它只能按程序编写的任务来工作。了解你的系统能看到什么和不能看到什么能帮助你避免失败（例如将好的部件认为是坏的）或其它检测错误。一般要考虑的包括部件颜色、周围光线、焦点、部件的位置和方向和背景颜色的大变化。正确选择软件：机器视觉软件是检测系统中的智能部分，也是最核心的部分。软件的选择决定了你编写调试检测程序的时间、检测操作的性能等等。图2 DTVF是一个多功能、图形化编程的机器视觉软件（附件2）机器视觉提供了图形化编程界面 (通常称为“Point & Click”) 通常比其他编程语言(例如Visual C+)容易，但是在你需要一些特殊的特征或功能时有一定的局限性。基于代码的软件包，尽管非常困难和需要编码经验，但在编写复杂的特殊应用检测算法具备更大的灵活性。一些机器视觉软件同时提供了图形化和基于代码的编程环境，提供两方面最好的特征，提供了很多灵活性，满足不同的应用需求。通信和记录数据：机器视觉系统的总的目标是通过区分好和坏的部件来实现质量检测。为了实现这一功能，这个系统需要与生产流水线通信，这样才可以在发现坏的部件是做某种动作。通常这些动作是通过数字I/O板，这些板与制造流水线中的PLC相连，这样坏的部件就可以跟好的部件分离。例外，机器视觉系统可以与网络连接，这样就可以将数据传送给数据库，用于记录数据以及让质量控制员分析为什么会出现废品。在这一步认真考虑将有助于将机器视觉系统无缝与生产流水线结合起来。需要考虑的问题是： 1. 使用了什么类型的PLC，它的接口如何？ 2. 需要什么类型的信号？ 3. 现在使用或必须使用什么类型的网络？ 4. 在网络上传送的文件格式是什么？通常使用RS-232端口与数据库通信，来实现对数据的纪录。为以后做准备：当你为机器视觉系统选择部件时，时刻记住未来的生产所需和有可能发生的变动。这些将直接影响你的机器视觉软硬件是否容易更改来满足以后新的任务。提前的准备将不仅仅节约你的时间，而且通过在将来重用现有的检测任务可以降低整个系统的价格。机器视觉系统的性能由最差的部分决定（就像一个木桶的容量由最短的一个木块决定），精度则由它能获取的信息决定。花时间和精力合理配置系统就可以建造一个零故障和有弹性的视觉检测系统。14. 应该如何选择合适的光源1）照明方案选择：1、安装位置确认，前向照明：光源和相机位于同一侧，用于外观、表面的检测；背光照明：相机和光源异侧，用于轮廓、边缘、尺寸的检测；2、缺陷检测时，根据缺陷特点：凹形：易采用低角度照明，缺陷处较亮；凸形：易采用高角度照明，缺陷处较暗；3、颜色选择：根据物体和背景的色差，或者特征位置于其他位置的色差；4、线阵相机采用选用线光源；5、精度要求高时，可选用平行光；15.如何选择合适的镜头机器视觉为工业控制系统增加了新的维度，它可以提供装配线上零件的尺寸、位置和方向。而合适的镜头选择对于机器视觉能否发挥应有的作用是非常重要的。在绝大多数机器视觉应用里，光学控制都是非常重要的。机器人视觉系统同样要求极高的可重复性，因此减少抖动提供清晰图像是必要的。在类似药品工厂这样的大规模单位检测线上，视觉系统必须能够辨识缺陷包、不可读标签和产品缺失。视觉系统必须能够以极高的准确度快速识别和测量方形、圆形和椭圆形物体。提高机器视觉系统的精确度，可以帮助保持统一的包装表面和颜色。尽管照相机、分析软件和照明对于机器视觉系统都是十分重要的，可能最关键的元件还是工业相机镜头。系统若想完全发挥其功能，镜头必须要能够满足要求才行。当为控制系统选择镜头的时候，POMEAS建议机器视觉集成商应该考虑四个主要因素： 可以检测物体类别和特性； 景深或者焦距； 加载和检测距离； 运行环境。物理特性镜头对于物体特征的解析能力依赖于特征的对比是否强烈。确定系统解析度、或者物体最小更解析特征的方法，可以使用诸如伦奇刻线法这样的解像力方法。镜头在指定光线条件下辨识特定宽度的线耦或者点距的能力，决定了它的解析度。解析度通常被模块转换功能（MTF）以图像的方式显示出来。距离约束所谓的工作距离，是指当图像在焦距范围内的时候，物体和照相机镜头前端的距离。它限制了视觉系统以及和视觉系统一起工作的设备所需要的空间。在极限范围内，通过镜头重新对焦，可以改变工作距离。无限共轭镜头的对焦距离可以从最小工作距离一直到无限远，有限共轭镜头则有一个特定工作距离范围。景深深效果（DOF）是指由于物体移动导致的模糊。DOF是完全在焦距范围内最大的物体深度，它也是保持理想对焦状态下物体允许的移动量（从最佳焦距前后移动）。当物体的放置位置比工作距离近或者远的时候，它就位于焦外了，这样解析度和对比度都会受到不好的影响。出于这个原因，DOF同指定的解析度和对比度相配合。当景深一定的情况下，DOF可以通过缩小镜头孔径（也就是增加F/#值）来变大，同时也需要光线增强。环境的重要性机器视觉系统的环境因素包括物体反射系数、光线、温度、振动和污染物。物体的反射会导致高光，还可能使特征模糊。高温环境下，可能因为镜头里光学元件的热膨胀出现问题。并不是所有的镜头都可以适应温度变化，在检测热物体时，最好使用工作距离比较长的镜头。机器视觉系统想要选择合适的镜头，首先要了解镜头的几个重要参数具体要参考的参数如下：参数一：焦距。焦距是从镜头的中心点到显现清晰影像的焦点之间的距离，焦距是机器视觉镜头的重要性能指标，其长短决定着成像的大小、视角的大小以及景深的大小。焦距越短，视角越大，所能观察的范围也越大；反之，焦距越常，视角越小，能观察的范围也越小。为了能够更好的实现图像的采集，镜头又分为了定焦与变焦两大类。参数二：光圈。光圈是镜头中改变中间孔大小的一个机械装置，其大小，由焦距和通光孔径的比值来决定。比值越小，光圈越大，则在单位时间内的通光量也越大；反之，比值越大，光圈就会越小，通光量也会随之变小。参数三：拍摄距离。顾名思义，镜头的工作面到被测物体的距离就是所谓的拍摄距离参数四：景深。机器视觉镜头拍摄被测物体的清晰范围是有一定限度的，而景深就是指的在被摄物体聚焦清楚后，在物体前后一定距离内，能清晰展现的这个范围。景深与光圈、焦距、拍摄距离有着紧密的联系。(1)光圈越大，景深越小；光圈越小，景深越大。(2焦距越长，景深越小；焦距越短，景深越大；(3)拍摄距离越远，景深越大；距离越近，景深越小。除