工业机器视觉技术与应用 课件 第八章-工业机器视觉检测系统设计

工业机器视觉检测系统设计视觉检测系统设计：背景及意义用机器视觉检测构建在线检测框架，实现“更快、更准、更稳”的质量保障汽车产业线上的保险杠螺栓确认食品产线上的保质期刻印检查*图片来源：基恩士公司官网./products/vision/vision-sensor/iv3/applications/提纲8.1机器视觉检测系统的设计流程8.2工业视觉系统的测试与优化8.3工业视觉检测系统的应用案例8.1机器视觉检测系统的设计流程本子节分为需求分析与方案设计、系统集成与硬件选型、软件设计与算法实现8.1.1需求分析与方案设计8.1.2系统集成与硬件选型8.1.3软件设计与算法实现把“要检什么、要多准、要多快”的需求，变成可量化指标，并给出能达标的视觉方案围绕“拍得到、看得清、算得快、控得准”，把相机/镜头/光源/算力/接口配齐并跑通围绕“采得准、学得好、算得快、管得稳”，把数据流与算法模块串成一条可上线的流水线并跑通8.1.1需求分析与方案设计需求分析是把“要检什么、在什么条件下、达到什么指标”说清楚的过程1.检测目标2.环境需求3.数据管理4.系统集成需求分析检测对象检测任务检测速度多样化检测检测任务检测速度多样化检测数据存储数据处理数据安全数据备份接口设计通讯机制用户接口拓展与兼容8.1.1需求分析与方案设计方案设计是把需求变成可交付的工程蓝图与验证计划关键点①关键点②关键点③关键点④系统框架设计系统集成策略数据管理与安全扩展与维护方案设计分层解耦体系架构接口规范与数据流插拔化弹性扩展自动化测试部署标准化接口协议跨系统时序同步全生命周期管理加密认证与审计8.1.2系统集成与硬件选型系统集成配齐相机/光源/算力——让机器视觉在产线清晰、快速、稳定地运行系统控制器相机系统图片处理系统显示系统检测平台机械臂光源系统8.1.2系统集成与硬件选型典型硬件（光源）如下图所示：(a)环形光源(b)条形光源(c)开面孔光源光源类型成像特点典型场景优势调参要点环形光源多角斜入、边缘清晰通用定位通用性强、均匀度好同轴安装/高低角切换条形光源方向性强、纹理凸显划痕、拉丝纹线性缺陷敏感、可拼接与缺陷垂直/低角掠射开面孔光源漫反射均匀、强抑眩高反光/曲面反射抑制强、稳定性好相机同轴/控环境光8.1.2系统集成与硬件选型典型硬件（计算平台）如下图所示：(a)GPU(b)FPGA(c)ASIC平台类型计算特点典型场景优势部署要点GPU大规模并行/高吞吐通用视觉推理生态成熟、开发快批量vs延迟权衡；带宽与散热FPGA流水并行/确定性低时延严苛时序在线检测低时延、低功耗定点量化；时序收敛ASIC固定功能/超高能效大批量边缘终端能效与单价优势模型冻结前充分验证8.1.3软件设计与算法实现软件设计专注于如何搭建稳健的系统架构和编程框架，以支持高效的数据处理分层模块化：采集→预处理→特征→分析→UI并行与调度：线程池/队列，CPU/GPU协同统一数据流：清晰接口，统一格式，异步消息直观可视化：实时监控、参数配置、结果与报警8.1.3软件设计与算法实现在机器视觉检测系统中,算法的实现直接影响软件架构的设计需求算法类型软件设计需求接口设计计算资源与任务调度目标检测与分类实时处理视频流灵活API接口支持GPU加速推理支持深度学习框架高效数据缓存清理特征提取高效模型加载RESTAPI/RPC通信任务调度与负载均衡异步非阻塞服务动态分配资源异常检测与分割支持并行计算可调整的参数接口多GPU节点协同处理进度要求分布式储存系统总结与展望总结以需求为锚，按“需求→方案→架构→选型→集成→验证→交付”闭环推进，流程可复用、结果可验收分层模块化+标准接口落地，保障检测“准、快、稳”，并实现全程可追溯展望边缘轻量化：多端侧推理更低时延、功耗数据闭环：留图→再训练→灰度发布，持续优化数据与仿真：降低标注成本，快速适配新品类载体形态多样化：方案与接口标准化，便于多产线快速推广与运维提纲8.1机器视觉检测系统的设计流程8.2工业视觉系统的测试与优化8.3工业视觉检测系统的应用案例8.2工业视觉系统的测试与优化本子节分为系统性能测试方法、误差分析与系统优化、系统稳定性与可靠性设计8.2.1系统性能测试方法8.2.2误差分析与系统优化8.2.3系统稳定性与可靠性设计围绕“分辨率、精度、重复性、速度、适应性”，把指标体系、测试方法与验收流程配齐并跑通。围绕“成像、标定、时序、算法”误差链路，把诊断图谱、优化策略与数据闭环配齐并跑通。围绕“稳、可靠、可用”，把冗余设计、容错机制、实时监控与长期测试配齐并跑通。8.2.1系统性能测试方法(1)分辨率测试：用标准靶标在多距离/光照下评估最小可分辨特征与像素当量方法：分辨率靶标（线对/网格），多距离/角度/光照采样指标：最小线宽、像素当量、畸变残差分辨率测试流程图：8.2.1系统性能测试方法(2)精度与重复性：用标准件比对偏差并做多次复测，评估测得准不准、稳不稳方法：标准件多姿态测量（精度）；同条件N次复测（重复性）指标：偏差、MAE/RMSE、σ/Range精度与重复性测试流程图：*图片来源：国检中心官网./index.php?cid=14&tid=17688.2.1系统性能测试方法(3)检测速度测试：在模拟产线负载下量端到端时延与响应时间方法：构造负载矩阵（帧率×分辨率×目标数），测端到端时延指标：P95/P99延迟、件/分、丢帧率检测速度测试流程图：8.2.1系统性能测试方法(4)光照适应性：在多种光照下测识别率，确认系统在多种情况下也看得清方法：强/弱光、色温、角度、偏振条件矩阵；对比度/SNR评估指标：对比度、识别率变化等检测速度测试流程图：左图：环境光下的图像效果

右图：专用光源下的图像效果8.2.2误差分析与系统优化(1)几何误差分析与校正看现象：直线变弯，尺寸不准、多相机拼不起怎么做：用标定板重做标定；校正镜头畸变；固定相机姿态并对齐多相机解释：几何误差本质是“像素到真实长度”的映射不准，常由镜头畸变、相机安装角度/位置偏差或多相机外参与温漂引起。通过标准靶标获取内参与畸变系数，可把弯曲的直线拉回直，并稳定“像素当量”。同时用刚性治具固化位姿，多相机做外参对齐与共同坐标系映射，避免拼接与三角测量误差。通过线：标定残差≤0.3像素；尺寸偏差≤±0.02mm8.2.2误差分析与系统优化(2)图像处理误差分析与优化看现象：噪声多、边缘虚、误检/漏检怎么做：去噪→提边→分割/识别；必要时用小型CNN解释：图像处理出错，常见根因是图像质量不稳（噪声、对比度低、运动模糊）与算法对阈值/场景变化过敏。做法上先把输入“打干净”：固定拍摄规范（曝光、增益、白平衡）、做保边去噪+对比度增强，再用稳健的边缘/分割方法提清轮廓；若背景复杂或材质多变，再用小型CNN做最后判定以增强鲁棒性。阈值与模型要用固定评测集寻找并版本化，同时在线监控Precision/Recall/F1的波动，一旦下降用留图→复测→小步更新回到基线。这样既兼顾易解释/易维护，又能在现场变化时稳住精度。通过线：Precision/Recall≥98%；F1≥0.988.2.2误差分析与系统优化(3)采集与传输误差分析与优化看现象：丢帧、花屏、延迟忽高忽低怎么做：提高带宽与缓存；统一时钟与触发；减少或改用轻压缩解释：从相机到计算主机是一条数据通道：分辨率×帧率×位深决定“水流量”，接口/缓存决定“管道宽”。先做链路预算并预留安全余量（常取≥30%），配够缓存/环形队列避免突发拥塞，再通过PTP/NTP或硬触发把相机、光源、PLC的时间对齐，防止“同一时刻不同步”。传输层面优先有线稳定方案，必要时启用轻压缩/无损压缩换取吞吐，同时开启丢包检测/重传提升可靠性。最后用P95/P99延迟、丢帧率、利用率做在线看板，定位瓶颈并指导优化，目标是基本不丢、基本不卡、时序一致。通过线：丢帧率<0.1%；P95延迟≤50ms8.2.2误差分析与系统优化(4)硬件误差分析与优化看现象：焦点漂、光源变暗、机构回差变大怎么做：定期清洁与校准；光源恒流与备件；运动部件加反馈与紧固解释：硬件会随时间缓慢漂移：光源光衰、镜头污染或跑焦、机构磨损带来回差，这些都会把量测精度拉低。做法是把预防性维护流程化：制定清洁/校准周期（镜头、相机、治具）、光源采用恒流驱动+亮度巡检并设更换阈值，运动单元加编码器/限位复位与紧固点检，关键部件建立备件池。配合R&R、MTBF/MTTR与告警阈值做趋势监控，发现劣化迹象先计划更换/校准而不是等宕机。这样能把系统保持在长期稳定的“可用窗口”内，减少停线与质量波动。通过线：连续无故障≥200h8.2.3系统稳定性与可靠性设计(1)硬件冗余设计是什么：为关键部件与链路配置等效备用，在故障时自动接管为什么：消除单点故障，提升系统可用性与连续性，减少停线与报废风险方式适用场景切换方式关键要点N+1多工位/多设备，成本敏感备用自动顶上备用与主用同位姿、同标定、同参数主备关键节点少、需快速接管心跳监测＋无感切换状态/模型/配置实时同步；回切策略双活吞吐高、需负载分担负载均衡、互为备份一致性与冲突处理；会话/缓存共享双链路线路/供电风险高物理双路切换物理隔离、不同路径/路由；两路同测8.2.3系统稳定性与可靠性设计(2)软件容错于恢复机制是什么：在出现传感器异常/计算出错时，仍能快速恢复的软性保障为什么：工业现场高负载、强干扰，偶发错误会放大成停线方式适用场景切换方式关键要点保图像画面花了/黑帧坏帧自动跳过/重拍；帧时间对齐自动生效主流程不断线；留日志好排查保运行程序卡住/崩溃自检心跳触发自动重启恢复要快；数据不丢；有提醒保结果识别忽好忽坏结果不一致用更稳方案；一键回到上次稳定版固定评测集；保留版本/阈值保连接接口不稳先排队；不行就走简化流程；不过度重试；不中断主线；自动恢复8.2.3系统稳定性与可靠性设计(3)系统稳定性与可靠性设计是什么：让系统在长时间、不间断和变环境下，依然稳定、不中断、

性能不掉队的测试与改进方法为什么：工业现场长跑易暴露“慢毛病”方式适用场景执行方式关键要点连续长跑常温连续生产不间断运行，记录延迟/吞吐/丢帧盯越跑越慢内存上涨；异常留图留日志加速老化想快速暴露隐患高/低温、满载交替跑，多轮循环找临界点；注意散热与保护；问题立刻定位环境应力现场环境波动大温湿箱/振动台分档测试，切换工况看掉帧/跑焦/亮度漂；相机预热与刚性固定性能趋势监控早发现退化指标看板+阈值告警指标统一、可追溯；触发复标，小步优化总结与展望总结指标先行，流程固化：围绕分辨率、精度、重复性、速度与适应性，建立测试矩阵与验收线，沉淀可复用的性能基线问题闭环，稳态为王：用“找原因→定对策→卡通过线”的方法，配合冗余、容错与长稳测试，把系统从“能用”推到“稳用、耐用”。展望数据闭环与AI运维自动化：在线留图、自动回归评测、异常自诊断轻量化与边缘协调：模型量化/蒸馏，边云联动，降时延降能耗少样本与快速迁移：小样本与增量学习，缩短换型与标注成本标准化与模板化：测试用例库、误差库，跨产线快速复制与对标提纲8.1机器视觉检测系统的设计流程8.2工业视觉系统的测试与优化8.3工业视觉检测系统的应用案例8.3工业视觉检测系统的应用案例在显示屏制造过程中，显示缺陷直接影响到显示效果的质量和用户体验。因此，检测显示屏中的缺陷是保证产品质量的关键环节。本案例将展示如何基于工业视觉检测技术，针对显示屏的多种缺陷，进行有效的检测与分析。8.3.1应用背景与需求以显示屏缺陷为例，走完“需求→方案→集成→结果”的闭环目标：亮/暗点、亮/暗线、Mura、像素损伤等可检、可分、可量化路线：高分辨采集＋Mura特化算法＋标准化输出约束：与人眼一致的可视度；节拍内完成采集→处理→判定8.3.2硬件选型从“要查什么”倒推到“看得清→拍得稳→算得动”相机:SonyIMX183，彩色，GigE；ROI：3200×2400镜头:LM25HC（低畸变定焦）；视场覆盖153×69mm光学与环境:黑箱/遮光＋偏振片触发与同步:显示控制器→相机硬触发；与PLC同一时间基算力与接口:i7＋32GB＋1TB；RTX3060（12GB）；独立GigE网口＋工业交换机硬件选型拍摄顺序确认指标全白(100%)中灰(50%)深灰(25%)更深灰(12%)每幅等画面稳定再拍1-3张看得清:最小缺陷大于等于5像素拍得稳:连续检测丢帧率小于0.1%算得动:端到端延迟小于50毫秒8.3.2算法设计与人眼一致的缺陷判断；流程＝快、稳、可量化①采集：依次显示全白→中灰→深灰→更深灰，每张画面稳定再拍③特征图：做多尺度背景重建，得到亮度对比图ΔL、色差图ΔE②预处理：几何校正、遮住非显示区（Mask）、亮度均匀化④视感增强：做多尺度背景重建，得到亮度对比图ΔL、色差图ΔE⑤缺陷提取：按自适应阈值(参考JND：人眼最小可觉差)，分出疑似区域⑥合并输出：跨多灰阶合并同一缺陷→输出类型、坐标、面积、亮/暗差、色差、可视度分数与截图8.3.3检测结果实测闭环：小模组OLED产线验证。对象：6.55"FHD+OLED（