维视智造-人工智能行业：2022年AI工业视觉解决方案白皮书

2022AIINDUSTRIALVISIONSOLUTIONSCOPYRIGHT本白皮书出品方为维视智造科技股份有限公司，版权受法律保护。转载、摘编CONTENTS3.1.1额外的硬件3.1.2发热量和功耗3.1.3大量的训练数据4.2.1数据收集274.2.2分类及数据标记4.2.3模型训练4.2.4在线推理及优化4.3.1缺陷检测344.3.2图像分类4.3.3字符识别4.3.4深度学习与传统算法的融合5工业视觉技术概述工业视觉也称机器视觉，是人工智能正在快速发展的一个分支，是在工业上为自动检查、过程控制和机器人引导等应用提供基于图像的自动检查和分析的技术及方法。机送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等如果我们将1969年CCD芯片的产生作为机器视觉技术的起点，该项技术的发展已经有半个世纪的历史，经过长时间的发展，机器视觉技术日益取得重大突破和广泛应用，当前已经遍布工业生产的各个环节，在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现自动化集成，软件集成，是实现智能制造的基础技术。根据不完全统计，目前广泛应用工业视觉的工业生产行业6工业视觉典型应用场景机器视觉在工业领域应用广泛，按功能和场景主要分为四大类：识别、定位、测量、识别包括有无、颜色和条码/二维码识别，主要通过甄别目标物体的物体特征来进行判定位功能是在识别出物体的基础上，经过测量准确的给出目标物体的坐标位置，制造业自动生产装配过程中，机器人需要知道来料的位置，才能完成后续的加工、装配、测量泛指利用被测物体特征进行全局或局部尺寸数据获取的应用，包括：长度、平行度、角度、圆弧长、圆直径、半径、点到线的距离、点点距离等等，尺寸测量既可以用于产品生产过程中的尺寸数据管控，也可以用于数据的获取，在工业应用场景中占检测指的是对目标物体表面的缺陷进行检出。产品生产制造过程中产生的表面缺陷会影响其性能及客户体验，传统人工检测的方法需要耗费大量的人力，且无法满足现代生产工艺和节奏的要求，利用机器视觉的方法进行智能化检测可以有效的解决这一问题，同时节省成本、提高产能。因此，表面缺陷检测是机器视觉最重要的应用方向之7难点：缺陷区域呈现随机灰度等级的黑色或白色，难点：缺陷区域呈现随机灰度等级的黑色或白色，难以提取全部缺陷区域好烂难点：不同类别的枣无任何归一的特征规律，无法基于特征参数区分工业视觉面临的挑战及发展趋势总体来说，工业视觉在定位、测量、识别、检测等各来越高、速度越来越快、准确率要求越来越高的挑战。这平的提高得到了有效的解决，比如采集硬件的分辨率、传是也有一部分问题，需要长周期的实践和迭代升级才有解表，就是复杂场景下的缺陷检测。以下是几类传统算法难难点：缺陷特征被随机的螺牙背景干扰，难以独立分割出缺陷区域难点：待定位的特征呈现相对随机的轮廓，无法以特定模板匹配8此类问题在工业现场是普遍存在且用户需求迫切希望得到解决的，这为工业视觉的算法发展提出了新的挑战。同时，如果这些问题得到解决，那么工业视觉的应用边界，将会得到极大的拓展，由原来只能在产品标准化、一致性极高的场景，变成几乎可以替代人眼进行任意场景下的视觉检测应用，而且不止是工业生产方面，在农业、民用深度学习技术概述深度学习技术概述深度学习是机器学习中一种基于对数据进行表征学习的方法。在给予它一组输入后，在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。深度学习在搜索技术，数据挖掘，机器学习，机器翻译，自然语言处理，多媒体学习，语音，推荐和个性化技术，以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动，解决了很(2)明确了特征学习的重要性。也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更容易。与人工规则构造特征的方法(3)通过设计建立适量的神经元计算节点和多层运算层次结构，选择合适的输入层和输出层，通过网络的学习和调优，建立起从输入到输出的函数关系，虽然不能100%找到输入与输出的函数关系，但是可以尽可能的逼近现实的关联关系。使用训练成功的网工业视觉深度学习技术发展趋势在工业视觉方面，深度学习的典型应用领域是异常检测、图像分类、缺陷检测和物体深度学习和传统机器视觉方法的差异主要在于，传统机器学习的步骤是人工分析图片的特征，通过图像算法提取特征，然后通过特征的数值来区分物品。在分析的时候不需要大量的图片，只需要几种分类的典型图片，和类别之间的临界图片。人工分析在整个过程当中起到了主导的作用。而深度学习的步骤是采集大量图片，标注图片，把图片放进网络训练，查看训练结果，调节参数和网络结构，再次训练，得到最好的结果。深度学习在标注和训练的时候不需要专业，网络会自动提取和筛选特征，规划分割阈值。只是在调整参数和网络结构时需要专业工程师，但是在一些项目中可以不用其次，当检测不同的物体和特征时，深度学习方法的优势是能够检测以不同形式出现再次，经过适当训练的神经网络可以很好地识别出变量环境（如变化的背景、不同的分辨率或光源条件）中的物体，无需针对每个可能的特性进行专门训练。但是需要大当然，深度学习工业视觉的实施也需要具备一定的条件和成本。在硬件配置方面，通常需要增加额外的GPU作为算力支撑，在实施方面，需要准备大量的训练样本数据，大量的人工标注工作量等，但是，考虑到期在识别能力上，算法的适应力上和特征提取和分类的流程上的优势，随着市场需求、行业技术水平的发展，硬件性能提升，成与传统方法相比，为了在应用中充分发挥纯深度学习方法的优势，往往需要对使用的深度学习架构复杂精巧、功能强大，其突出特点在于它是由大量的神经网络层构成。因此，运行深度学习的应用程序需要用到大量的内存和计算能力。通常只有将计算任务转移到额外的处理器（如GPU显卡）上同时执行计算，才能在可接受的短时间内完成处理工作。在目前的市场条件下，增加GPU显卡对于很多用户来说是一项不小的成大型神经网络对计算能力的要求较高，因此增加了应用的功耗，并相应地增加了发热量。这尤其会对嵌入式系统造成问题，因为通常需要对嵌入式系统的低功耗和热管理要想可靠地识别物体，首先需要大量的训练图像，这些图像会描述和标记所有物体和属性，以便让系统能在尽可能多的不同变量和环境中完成识别。用于训练的不同图像数据量越多，深度学习网络就越容易学会如何识别物体。在开发机器视觉应用时，要获取成百上千幅所需的图像往往是一项艰巨的任务。更多的时候，工厂可能根本就不获取到的大量数据是不能立即使用的，需要人给这些数据进行标注，对于图像分割，需要精准的标准图像中要分割的区域，这样才能在推理图片的时候得到精准的区域。这些标注工作都只能是人工手动完成，所以在数据大的时候，还需要检测是否有标注上述几个应用的条件正是深度学习工业视觉项目落地的阻碍，也是用户的痛点，相对·发热量和功耗：思路之一能将深度学习与传统算法进行深度融合，采用传统算法解决·大量的训练数据：行业内通用的解决方案是采用小样本训练，然后在推理过程中不断技术解析对应3.1提出的用户痛点问题及解决思路，结合实际落地的项目经验，目前AI工业视觉深度学习算法对计算资源的需求是确定的，如何提高深度学习应用部署效率，降低运学习算法平台努力的目标。由于工业领域深度学习应用的特殊分开实施，模型训练完毕后的运行机往往装在设备上交付给终端用户，不再需要大规模的持续训练和升级，这就使得深度学习在CPU上运行具备了基础条件。由于大量的务指标。然而通过提升推理服务在CPU上的性能，可以帮助实现GPU迁移到CPU上的针对一些代表性的场景如特征明显但存在异物干扰的情况，使用传统算法唯一的问题是会造成一定程度的过杀，但是其实施效率高、消耗的算力和功耗少，是深度学习无法比拟的优势。在这种场景下，使用传统算法进行过杀，然后对NG的图片进行深度学习标注和训练，将传统算法与深度学习有机的结合在一起，可以实现事半功倍的效果称之为缺陷检测深度学习过滤技术。此外，传统软件和深度学习的结合还可以用于图21案例：键盘表面缺陷，会有毛发、指纹、灰尘等异物干扰目前大部分的深度学习模型，都是监督学习的方式进行的，需要海量的数据支持。而现实生产环境中，数据集通常较小，只有几万甚至几百个样本。此时，通常我们采用第一：利用预训练模型进行迁移微调（fine-tuning），预训练模型通常在特征上拥有很好的语义表达。此时，只需将模型在小数据集上进行微调就能取得不错的效果。这也是目前大部分小数据集常用的训练方式。视觉领域内，通常会ImageNet上训练完成本类别远远大于样本数量的情况等极端数据集。例如有1000个类别，每个类别只提供常仍然在学习不同类别的语义，而少样本学习通常需要学习样本之间的距离度量。例有些常用的方式：数据集增强、正则或者半监督学习等方式来解决小样本数据集的训此外，也有深度学习厂家研发了一些帮助用户进行样本图片生成的工具，可以将收集AI工业视觉解决方案架构及组成1、图像采集部分：通常由一套或者多套这样的成像系统组成，包括工业相机、工业镜2、照明光源：光源是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量3、控制单元：控制单元一般包含光电传感器、I/O、运动控制、电平转化单元等，用4、图像处理算力设备：工控机或GPU服务器，是视觉系统的核心算力，部署于靠近相机的端侧，完成图像数据的处理和绝大部分的控制逻辑，对于检测识别类型或采用深度学习算法的应用，通常都需要高性能的CPU/GP机器视觉软件用来完成输入的图像数据的处理，通过图像识别得出结果，这个输出的5、执行机构：可能是机械臂、气动装置等，用于执行运算结构后进行相应的剔除、抓边缘学习将基于规则的高效机器视觉嵌入到一套预先训练的深度学习算法中，以创建针对工厂自动化优化过的一个集成工具集。该技术无需机器视觉和深度学习方面的专业知识。相反，生产线工程师可以基于其对所需解决任务的现有了解来训练边缘学习边缘学习与现有深度学习框架的不同之处在于，其并非通用的解决方案，而是专门为工业自动化应用量身定制的。边缘学习与其他深度学习产品的不同之处在于，其专注于确保在应用部署的所有阶段都易于使用。举例来说，边缘学习仅需更少的图像即可实施流程量的要求，然后在实际生产中去收集足够的对应样本数据。通常情况下，训练用的数据集必须要有足够的代表性，需要包含实际生产中各种可能的情况，而且对应各种情况的图像数量分布要均匀。在数量方面，训练用的数据集样本一定要相对较多，根据模型的复杂程度，高质量的图片数量，以及负样本的数量必须足够。样本图片的收集图像数据的收集工作在某些场景下需要耗费大量的人力以及时间，且往往对深度学习项目最终能否成功实施、或最终的检出率是否达标具有至关重要的意义。因此在评估深度学习项目时，要格外关注此部分工作的实现难度，对工作量做出客观和准确的评估，并入系统成本考量维度。另外值得注意的是，负样本的收集往往是瓶颈站点，因为工厂自动化生产过程中NG产品的比例是相对较低且无法人为制造的，但是检出所有在获取了足够的图像数据之后，依据图像的属性进行准确的分类，如果是缺陷检测目的，通常只需要划分为OK/NG两类，如果是图像分类，则需要根据特征划分为对应的种是全图标记（也称全图分类一种是像素分割。典型的全图分类模式下标记主界面如图所示，界面上可以显示多幅图像形成的图像列表。这种标记方式的好处是效率较高，可以支持超大规模的图像快速标记。他允许用户对整幅图片进行类别的标记，速的完成标记和训练，取得准确的判定结果。同时，由于标记所需图片可以从高分辨率图像中裁切获得，对样本的数据量依赖问题得到了较好的解决，在样本图片的裁切当然，全图标记的标注方法也有其局限性。当被测物的缺陷种类众多、产品背景复杂、产品本身类型众多、缺陷位置无法自动定位时，全图标记在小分辨率训练图像自动相对于全图分类的对整幅图像进行标记，像素分割是在图片中对缺陷区域进行标记，不明显的裂纹第一、如上图所示的不明显裂纹，利用传统算法很难分割出来，就算分割出来了，也会同时把其他的一些干扰因素分割出来，造成误检。基于深度学习像素分割，可以不通过阈值等传统方法分割，而是通过大量类似的数据训练出类脑模型后，进行裂纹区基于像素分割模型的推理效果第二、当干扰因素和缺陷类似，或干扰因素的层次感比缺陷还高时，用传统分割算法尽管右下角的脏污比中间的裂纹更明显，但是依然只准确的检测出裂纹隐约的裂纹缺陷也不会和其他非裂纹特征混淆量的图像数据需要人工进行缺陷类型以及位置的准确标相较于传统的民用级深度学习开发过程中“创建数据集-加载数据集-创建神经网络模型-创建损失函数-设置优化器-设置训练网络的超参数-开始训练并记录训练结果-保存更简便，对人员的开发能力要求大大降低。无论是全图分类还是像素分割，标记工作完成之后，即可进行深度学习模型训练的工作。深度学习软件区别于传统软件最重要的特点之一，就是不需要具备图像处理的基础知识，不需要进行复杂的算子选择和程序创建，模型的训练完全是自动化进行的，操作极其简单，只需要借助GPU强大的算在模型训练的过程中，我们往往比较关注训练时间、准确率/损失值等数据。训练时间的长短主要取决于厂家算法性能、训练用图片分辨率、样本数量、计算机提供的算力等。而准确率/损失值数据，跟图片标注的准确率、样本质量、算法性能、训练轮数等有较大关系。对于支持小样本训练的算法软件，通常可以先使用少量样本进行标注和训练多轮次，将准确率提升至一定程度后进行试运行，过程中将检测错误的图片进行重新标注和训练，以快速、高效的提升模型准确率。支持继续训练也是这一方法可以实施的必要条件。使用大量图片进行验证、校验原有的标注数据准确性，也是模型训完成训练得到模型之后，深度学习项目即具备了上线运行的基本条件，此时需要专门的人员进行一定时长的跟机工作，在推理过程中，进行模型准确度的验证，实时发现误检、漏检的图片案例并进行收集、再训练，不断完善模型的准确率，直至达到验收要求。通常需要预设一定的时间或样本的数量，来验证项目是否达到了需求中的识别率、准确率等数据，因为只有在真实的在线生产过程中满足了这些指标要求，深度学在工业生产中用户经常面临的痛苦之一，是由于产品的种类更换、设备本身磨损带来的产品一致性问题，会有新的种类及不良类型不断产生，相比传统视觉，使用深度学习带来的额外好处是，在这种情况下，只需要在原来模型的基础上进行简单的操作，AI工业视觉解决方案典型应用场景使命就是执行检查任务，例如检测制造产品中的缺陷、污染物、功能缺陷等异常。相比人类视觉，机器视觉因其速度、准确性和可重复性而在结构化场景的定量测量中具有优势。利用适当的相机分辨率和光学件配置制造的机器视觉系统可以轻松检测人眼难以看到的物体细节，并且检测的可靠性较高，错误也较少。在生产线上，机器视觉系统可以可靠且重复地每分钟检查数百或数千个部件，远远超过人类的检测能力。但是与传统的机器视觉不同，人类擅长区分细微的表面和功能缺陷，以及区分可能影响感知质量的部分外观变化。虽然人类处理信息的速度有限，但人类有特殊的概念化和概括的能力。人类擅长通过实例学习，并且在部件有小异常时，能够区分真正重要的部分。在很多情况下，这使人类视觉成为定性解释复杂、非结构化场景的理想选择，项目背景：在螺纹的生产加工过程中，因为各种原因会产生一定比例的不合格品，如果不能够将不合格品检测出来，会对产品本身的强度造成严重影响，采用传统的视觉检测方法对螺纹进行检测，因为螺纹本身的纹理干扰等因素，在检测的过程中无法检测或者误判率非常高，采用的深度学习功能，将误判率大大的降低，良品率能够达到用深度学习缺陷过滤模块截图截图保存路径设置截取的图像项目背景：在电脑键盘字符印刷的过程中，经常会产生各种印刷不良，采用传统的视觉检测方法进行检测，粉尘、毛屑、指纹等如果残留在键盘上，就会对视觉检测造成干扰，在检测过程中将其误检为字符的印刷不良，使合格品被误检为不合格品，从而影响产线的生产效率，针对以上存在的问题，使用深度学习功能对键盘进行检测，使调用“模型分类”工具并加载训练好的表情识别模型基于深度学习的表情识别归一化基于深度学习的表情识别相对于工业场景的分类来说，实现难度是比较小的，因为表情差异的特征在图片上的数据差异是非常大的。以1000万像素的手机图片来说，同一而真正的难点是工业领域的分类。以目前算法比较成熟的红枣分类检测举例，以500万像素的工业相机来说，不同类型红枣之间的特征差异，可能只有几百个像素，而且差首先我们要选取合适的标注方式，结合前文的介绍，红枣的分类显然更适合全图分类2、使用截图工具截取红枣占据较大画面比例的小分辨率图像，得到全图标注所需要的采用这种标注方式实现深度学习图像分类的好处是显而易见的，首先缺陷过滤模型相负样本的差异性会大很多，训练成熟网络模型需要的图像数量相对较少，模型复杂程度相对较低。其次数据标注相对容易，效率更高，因为数据标注时都是针对指定区域基于深度学习的字符识别可以比较有效的解决这一问题，字符识别也是深度学习技术典型的应用场景之一。在工业生产尤其是包装生产线上，存在大量的包装袋、包装盒体上的生产日期、批号字符需要进行检测，利用深度学习进行小样本的训练即可获得缺陷颜色比背景“深”缺陷颜色比背景“浅”对于背景单一，真实缺陷和干扰因素比较明显的缺陷，可以用传统BLO