工业互联网创新应用与实践（项目驱动） 课件 第五篇 项目迎战-机器视觉部署与行为监测

工业互联网创新应用与实践（项目驱动）第五篇

项目迎战-机器视觉部署与行为监测目录content任务一

智能电梯场景视觉系统部署012一、搭建HEOP视觉监测环境二、HEOP图像信号采集与可视化任务二

电梯乘用行为分析算法开发一、图像信号基本操作二、图像信号边缘检测02第五篇

项目迎战-机器视觉部署与行为监测三、目标跟踪算法四、目标检测与识别第五篇

项目迎战-机器视觉部署与行为监测智能电梯机器视觉与行为监测技术，通过高清摄像头+AI算法，实时识别电梯内超载、危险物品、摔倒/打斗等异常，自动触发警报或停梯保护。视觉数据实现两大优化：一是预测设备维护需求，提前排查故障；二是统计客流，优化电梯调度、缩短乘客等待时间。智能电梯视觉系统部署，环境搭建+信号采集可视化：环境搭建：根据电梯实际场景，调试HEOP摄像机分辨率、帧率、光圈等参数，保障设备稳定运行。信号采集可视化：通过程序获取原始图像信号，经降噪、增强处理后可视化呈现，结合AI算法实现智能识别预警。任务一

智能电梯场景视觉系统部署/01任务一

智能电梯场景视觉系统部署任务一

智能电梯场景视觉系统部署一、搭建HEOP视觉监测环境

（一）激活HEOPHEOP摄像机使用前需激活，建立与管理系统安全连接，支持两种激活方式，可按需选择。1.通过浏览器激活通过浏览器访问并激活设备，可按以下步骤操作：（1）设置IP地址通过两种方式连接：一是将设备接入计算机所在的局域网；二是使用网线直接完成设备与计算机的物理连接。设备默认IP为4，将计算机IP设为同网段地址，可在~53范围内任选（需避开4），例如00。（3）设置管理员密码为admin设置登录密码，单击“确定”。（4）设置安全信息选择安全问题或安全邮箱完成配置。激活完成，仅需操作一次。后续直接在浏览器输入设备IP登录，按【Enter】进入后台。（2）打开激活界面完成IP设置后，在浏览器输入默认IP4，进入激活页面。任务一

智能电梯场景视觉系统部署2.通过SADP软件激活通过同一局域网内计算机上SADP软件，快速搜索并激活设备，操作时只需确保设备与计算机网络环境一致。（1）安装SADP软件下载SADP软件，访问海康威视官网获取。打开浏览器输入网址，搜索SADP软件。建议在下载前确认网络连接稳定。“设备网络搜索”为海康威视SADP软件，安装流程与常见exe程序一致。任务一

智能电梯场景视觉系统部署（2）IP地址设置与浏览器激活的IP地址设置类似，将设备连接至安装SADP软件计算机局域网，或通过网线直接连接设备与计算机。（3）查找设备运行SADP软件，单击“刷新”，自动扫描当前网络。实时展示与计算机处于同一局域网内所有在线设备IP地址、型号、激活状态等信息，便于定位目标设备。（4）设置管理员密码在设备列表，勾选“未激活”目标设备。在右侧“激活设备”模块，设置默认管理员账号admin合规密码。设备激活完成。如需访问设备，在浏览器输入设备IP地址即可进入设备登录界面。任务一

智能电梯场景视觉系统部署（二）配置HEOPHEOP摄像机激活后即可正常访问。默认仅启用基础功能，可根据实际需求个性化配置以适配多样场景。重启查看效果：安装完成后刷新页面，可预览实时视频。安装成功后启动浏览器，再次访问设备，可正常查看实时预览画面。1.访问HEOP摄像机在浏览器地址栏中输入4并按【Enter】键，可访问管理界面。默认进入预览界面，底部工具栏包含截图、录像等常用按钮。若浏览器无法显示视频图像，按以下方法解决：定位操作入口：单击页面特定按钮，触发插件安装流程；完成环境配置：根据提示完成插件下载与安装，可修复浏览器内核不兼容导致画面显示异常问题。任务一

智能电梯场景视觉系统部署2.配置HEOP摄像机单击“配置”进入系统配置界面，在“常用配置”设置“视频参数”和“图像参数”。“事件-报警配置”，支持添加邮件报警、服务器报警等。“图像参数”模块设置：画面基础调整：优化视觉效果，适配不同场景需求。曝光：手动或自动调节，应对高动态范围场景（如逆光、强光直射等）。白平衡：手动或自动校正色彩偏差（支持日光/钨丝灯等场景模式）。配置完成后单击“保存”。“系统-用户管理”，支持添加多用户账号，可实现多角色协同访问设备。“视频参数”模块设置：分辨率：支持多档选择（如1080P/720P等），兼顾画质与带宽。视频帧率：调节播放流畅度（25fps/30fps等），动态场景建议调高帧率。视频编码：可选H.264/H.265（H.265压缩率更高）。码率类型：切换主码流（高清画质）或子码流（低带宽适配）。任务一

智能电梯场景视觉系统部署3.智能应用设备内置人脸抓拍、Smart事件、AI开放平台三大核心应用。人脸抓拍：实时监测并精准抓拍人脸特征，适用于人员识别、客流量统计等场景。Smart事件：监测人员、车辆的侵入、离开等异常行为，支持区域入侵、越界报警等智能检测。AI开放平台：集成海康威视AI开放平台，可导入官网成熟AI模型，或部署用户自定义训练模型，拓展智能分析能力；平台开放能力板块提供覆盖工商企业、数字乡村、金融服务、应急管理等多行业场景的官方预设模型。任务一

智能电梯场景视觉系统部署“口罩佩戴识别”模型操作流程：

单击界面“+”添加按钮，选择“口罩佩戴识别”。激活AI开放平台功能，进入操作界面，为模型部署做准备。在AI开放平台中找到“口罩佩戴识别”模型。根据摄像机芯片型号下载适配版本，确保硬件兼容性。任务一

智能电梯场景视觉系统部署实际测试显示，完成“口罩佩戴识别”模型部署及参数配置后，系统可实时精准检测人物是否佩戴口罩。完成模型添加后，单击“口罩检测”开关，进入配置界面，根据实际需求灵活设置参数。任务一

智能电梯场景视觉系统部署二、HEOP图像信号采集与可视化

HEOP摄像机配置激活后，即可正常使用。支持多样化采集方式，满足不同场景需求：浏览器界面手动截图或录像采集，快速留存关键画面；基于RTSP协议采集实时视频流，无缝接入第三方视频管理平台或监控系统，为安防监控、远程查看等应用提供稳定高质量的图像信号支持。（一）手动采集数据在浏览器地址栏输入IP4访问设备；单击左侧“配置-本地”；在存储设置，将“录像文件”和“抓图和剪辑”的保存路径修改至合理位置，如桌面Project文件夹，便于文件管理与快速访问。在界面中单击“抓图”和“录像”，即可实时获取图像及视频数据。任务一

智能电梯场景视觉系统部署（二）RTSP采集数据HEOP摄像机支持RTSP，该协议专为控制音频、视频等实时数据传输设计，广泛应用于流媒体服务器与客户端通信。1.HEOP摄像机RTSP配置进入“配置-网络-网络服务”，默认配置适配多数场景，无须额外修改，可直接使用。RTSP地址格式及参数说明：

RTSP地址标准格式为：rtsp://[用户名]:[密码]@[设备IP地址]:[端口号]/Streaming/Channels/[通道号]RTSP地址示例及工具说明：

rtsp://admin:***@4:554/Streaming/Channels/102将其中的“***”替换为设备的真实有效登录密码。任务一

智能电梯场景视觉系统部署2.VLCmediaplayer播放RTSPVLC是一款跨平台开源多媒体播放器，支持直接播放RTSP流，兼容性强、轻量高效，可播放多数音视频文件及流媒体协议。（1）功能特性支持RTSP、HTTP等多种流媒体协议。兼容Windows、macOS、Linux等操作系统。提供丰富的播放控制与音视频调整功能。（2）下载与安装从官网下载对应系统安装包（通常为.exe文件）

双击运行后按引导完成安装，步骤与常规软件一致。（3）播放RTSP流打开VLC→选择菜单栏“媒体”→“打开网络串流”命令→输入完整RTSP地址→单击“播放”，即可实时查看摄像机画面。任务一

智能电梯场景视觉系统部署（三）图像信号可视化通过Python结合OpenCV库可实现图像信号的可视化与快速调用。OpenCV是跨平台的开源计算机视觉与机器学习工具库，主打实时视觉应用开发，其核心优势包括：•多语言支持：兼容C++、Python、Java等。•跨平台部署：支持Windows、Linux、macOS及Android/iOS。•功能覆盖广：涵盖图像处理、视频分析、模式识别、深度学习模型部署等全链条视觉任务。1.OpenCV典型应用场景图像处理：图像增强、几何变换、图像分割目标识别：物体监测、人脸识别、车牌识别视频分析：运动监测、行为识别、视频摘要嵌入式视觉：边缘计算融合、轻量化部署2.实现图像信号可视化

通过OpenCV库可实现图像/视频信号的可视化，具体操作步骤如下：安装OpenCV：通过pip包管理器手动安装该第三方库至开发环境图片文件可视化：导入库→读取图片→检查读取状态→创建窗口并显示图片任务一

智能电梯场景视觉系统部署视频文件可视化：导入库→创建视频捕获对象→循环读取并显示视频帧→释放资源、关闭窗口。RTSP源可视化：OpenCV可读取RTSP流并实现实时画面可视化，适用于远程监控、流媒体分析等场景。核心流程：导入库→初始化RTSP流捕获→循环读取并处理流帧→释放资源、关闭窗口。任务二

电梯乘用行为分析算法开发/02任务二

电梯乘用行为分析算法开发任务二

电梯乘用行为分析算法开发一、图像信号基本操作OpenCV是开源免费扩展库，接口丰富通用。基础使用方法，包括图像读取、可视化、处理优化及格式转换等核心操作。

（一）读取与显示OpenCV中，图像数据以NumPy数组表示，数组元素与图像像素一一对应，图像尺寸及颜色模式可通过数组形状直接查看。任务二

电梯乘用行为分析算法开发（二）访问和修改像素值像素值访问与修改是图像增强、修复等操作的基础。可精准调整图像亮度、颜色、对比度等属性。（三）图像ROI图像ROI的提取与应用至关重要。通过设定ROI，能够聚焦图像中的关键部分，忽略冗余信息，提升处理效率与精准度。（四）图像通道分离与合并图像通道分离与合并是数字图像处理的核心基础操作。RGB彩色图像由红、绿、蓝三通道组成，分离通道可单独获取各通道灰度信息，便于特定颜色特征提取、图像增强；合并通道则是将处理后的各通道重组，还原或生成新彩色图像。任务二

电梯乘用行为分析算法开发（五）缩放、旋转、平移、翻转缩放、旋转、平移、翻转是图像处理中调整图像形态与布局的核心几何变换操作：缩放可改变图像尺寸（下采样压缩数据提升效率、上采样增强细节）；旋转围绕指定点调整方向，用于矫正倾斜图像或调整目标角度；平移实现图像平面位置移动，便于定位目标；翻转含水平/垂直翻转，用于数据增强以扩充训练样本多样性。广泛应用于智能安防画面调整、图像识别预处理等场景，能使图像数据契合算法需求，提升分析准确性与可靠性。任务二

电梯乘用行为分析算法开发二、图像信号边缘检测边缘检测是图像处理核心基础技术，用于识别图像中亮度突变像素点，区域含物体轮廓、结构转折等关键信息。作为特征提取关键分支，它可简化图像数据、突出核心特征，为目标识别、图像分割、三维重建等高级视觉任务提供基础支撑。边缘检测通过提取亮度突变区域减少数据量、剔除冗余信息，保留关键结构特征。当前核心算法分两类：基于梯度极值的检测方法：通过一阶导数（如Sobel、Prewitt算子），定位梯度幅值极大值点，结合非极大值抑制细化边缘。基于二阶导数零穿越的检测方法：利用Laplacian算子或非线性差分计算图像二阶导数，识别二阶导数过零点，对噪声敏感，需要配合高斯平滑预处理。（一）滤波滤波预处理是提升边缘检测准确性的关键，高斯滤波因降噪保边性能优异被广泛应用。算法基于高斯函数，计算像素均值时采用加权策略，可在抑制噪声的同时最大程度保留边缘细节，避免边缘模糊，为精准边缘检测奠定基础。任务二

电梯乘用行为分析算法开发（二）Canny算子Canny边缘检测是一种可平衡噪声抑制与边缘定位的多阶段算法，流程如下：噪声抑制：高斯滤波器对图像平滑处理，减少噪声影响。梯度特征计算：采用Sobel算子计算图像的梯度幅值与方向，捕捉像素灰度变化强度与趋势。非极大值抑制：沿梯度方向逐点分析，仅保留局部梯度幅值最大的像素，实现边缘细化。双阈值筛选：设置高低阈值，高于高阈值为强边缘，低于低阈值予以剔除，处于阈值区间的弱边缘根据其与强边缘的连通性决定去留。边缘闭合处理：通过滞后阈值算法，将符合条件的弱边缘与强边缘进行连接，形成连续的目标边缘轮廓。（三）Sobel算子Sobel算子是经典的基于梯度的边缘检测工具，通过计算图像在水平和垂直方向梯度强度与方向来定位边缘。融合高斯平滑滤波与微分运算，先对图像局部区域加权平均以抑制噪声，再通过一阶差分提取灰度变化特征，在噪声抑制与边缘检测之间实现平衡，广泛应用于各类计算机视觉预处理场景。任务二

电梯乘用行为分析算法开发（四）Laplacian算子Laplacian算子为典型二阶微分边缘检测工具，通过计算图像灰度二阶导数识别边缘，二阶导数过零点即为边缘位置。该算子对高频噪声敏感，该算子通常需要结合高斯平滑预处理：先通过高斯滤波衰减图像噪声，再利用Laplacian算子提取边缘，以此降低误检率，适用于细节丰富且噪声可控的图像场景。三、目标跟踪算法目标跟踪是计算机视觉核心技术，通过持续捕捉动态目标的位置与轨迹，支撑智能系统感知环境，广泛应用于智能监控、自动驾驶、人机交互等场景。（一）目标跟踪算法的类型目标跟踪的两个关键环节：目标标定：在视频首帧或初始序列中，通过人工标注或算法自动识别，确定目标初始位置与范围，为跟踪提供基准。目标定位：基于首帧标定信息，通过特征匹配、运动建模等，在后续帧中实时追踪目标位置与形态变化，实现稳定捕捉。任务二

电梯乘用行为分析算法开发基于模板匹配的跟踪算法：原理：初始帧建模板，后续帧算候选区与模板相似度。优势：简单易实现，适合目标外观稳定、背景干扰少的场景。劣势：无动态更新机制，目标形变、遮挡或背景复杂时易失效。基于特征驱动的跟踪算法：原理：提取目标局部显著特征，通过特征点集时空匹配跟踪。优势：对目标局部形变、旋转、尺度变化鲁棒性强。劣势：易受遮挡、光照变化影响，特征点稀疏时易丢失目标。基于密度估计的跟踪算法：原理：建模像素级运动或概率密度分布，将目标视为连续密度区域跟踪。优势：适应目标快速运动、非刚性形变、局部遮挡，适合高帧率视频、形态多变场景。劣势：计算复杂度高，实时性依赖硬件加速；背景杂波多、目标边界模糊时精度下降。基于模型驱动的跟踪算法：原理：构建目标几何/表观模型，通过模型与图像迭代匹配跟踪。优势：精准描述目标形状、姿态与运动模式，适合医学影像分析、工业缺陷检测等高精度场景。劣势：依赖高质量初始模型与先验知识，模型更新计算量大，难部署于嵌入式设备与实时场景。基于深度学习的跟踪算法：原理：卷积神经网络自动学习目标层次化特征，端到端训练建模时空关联。优势：对遮挡、形变、尺度变化等复杂情况鲁棒性强，泛化能力优于传统算法，适合跨摄像头、小目标跟踪。劣势：依赖大规模标注数据，模型参数量大，轻量化部署与实时性-精度平衡需优化。高性能算法需应对目标快速移动、遮挡、光照突变、尺度变化等挑战，主流算法分为五类：任务二

电梯乘用行为分析算法开发（二）OpenCV跟踪器主要集成于扩展模块opencv_contrib中，在使用前需要进行额外安装配置：各种跟踪器性能对比：包含跟踪精度、实时性、抗干扰能力、计算资源需求等四个关键维度。对OpenCV主流内置跟踪器进行对比解析。任务二

电梯乘用行为分析算法开发CSRT跟踪器整合颜色、梯度等多维度特征，结合空间与通道的可靠性评估机制，实现了复杂场景下的稳健目标跟踪。其核心流程如下：利用CNN提取目标的颜色、纹理、结构等高阶语义特征，构建强判别力的目标表征；通过空间分析抑制背景噪声、强化目标特征，融合多通道特征训练滤波分类器，区分目标与背景；跟踪中依托尺度金字塔模型动态适配目标大小变化，引入空间正则化约束应对目标形变，最终实现对目标尺度、姿态变化的鲁棒跟踪。CSRT通过“特征提取—可靠性筛选—多维度建模”的技术框架，提升复杂环境下跟踪精度与稳定性。运行程序后，按【R】键，通过鼠标在画面中绘制ROI区域，绘制完成后按【Enter】键，OpenCV将启动目标追踪功能。任务二

电梯乘用行为分析算法开发四、目标检测与识别目标检测与识别是计算机视觉