浅议视频内容分析技术的原理与应用.pdf

安天下网址 西刹子博客地址 浅议视频内容分析技术的原理与应用浅议视频内容分析技术的原理与应用 文文 西刹子西刹子 视频内容分析技术背景 美国国防部的研究表明 在一个非智能的视频监控系统里 一个工作人员监控两台监视 器 10 分钟后遗忘 45 的内容 20 分钟后会遗忘 95 的内容 这是近两年各个视频分析厂 商推销视频分析技术及产品时经常用到了 话术 因此 视频监控系统需要智能 系统需要 具有能像人一样具有独立思考的能力 并克服一些人为监控行为的不足 众所周知 视频监控技术的发展经历了闭路电视监控时代 DVR 时代及网络监控时代 在闭路电视监控时代 通过矩阵的控制切换功能实现对前端的视频信号选择并切换到指定监视 器上 值班人员需要聚精会神地盯着监视器以试图发现可疑情况 由于摄像机与监视器并非一 对一比例配置的 因此漏掉一些摄像机的信息是必然的 DVR 时代 视频监控系统实现了一 定的数字化 利用视频编码及硬盘存储设备 可以进行大容量长时间录像 但是 DVR 的功 能侧重在 录像 上 因此 DVR 的主要作用通常是事后调查回放用而不能防患于未然 部 分 DVR 设备实现了 VMD 视频移动探测技术 的 初级智能 但是实际应用效果并不 好 算不上视频分析 综上所述 闭路电视监控系统 数字视频监控系统有如下弱点 摄像机与监视器通常是按照 多对一 比例配置 无法监视所有通道 对于模拟电视墙 人的注意力不能永远集中监视并提早发现可疑行为 DVR NVR 通常是录像作用 在需要时事后调查用 DVR NVR 的检索功能单一 不具有智能检索功能 能否让计算机系统独立 读懂 视频信息 从而代替值班人员 实现对视频内容的自动判 定及报警 能否将视频信息建立标签索引或特征描述 从而实现定制化的视频快速检索 是视 频监控发展之道 也是智能视频监控技术的核心 即视频内容分析 IVS Intelligent Video Surveillance 图 1 是视频分析功能示意图 利用视频分析技术 可以在原始的成百上千的 摄像机图像中提取出异常视频 进而自动报警 显示及录像存储 安天下网址 西刹子博客地址 图 1 视频分析功能示意图 视频频内容分析实现的功能 既然摄像头和编码传输系统完成了 眼睛 的功能 那么视频分析功能便担任 大脑 的 角色 视频分析技术能够在图像及图像描述之间建立映射关系 使计算机系统能够通过图像处 理和分析来理解视频信息中 发生了什么事情 实质是 自动分析和抽取视频源中的关键信 息 这样 计算机系统能够 读懂 视频信息内容 再为视频信息设置一定的规则 那么计 算机系统将 读到的内容 与 设定的规则 的进行匹配 一旦行为与规则完全匹配 便可以 迅速报警或者索引出来 智能视频监控系统主要优势如下 快速的反应时间 毫秒级的报警触发反应时间 提前预警机制 在事件刚刚发生即快速报警 更有效地监视 安保操作员只需要注意相关信息 强大的数据检索和分析功能 能提供快速的反应时间和调查时间 带宽及存储资源的节约 系统可以按照 VCA 报警来传输或录像 视频内容分析技术的原理 视频分析技术通常采用背景分离 背景减除 技术来进行图像变化的检测 所有的视频分 析模式 如入侵 丢包 逆行等都是一种模式的图像变化 其思路就是对视频帧与基准背景 图像进行比较 那么相同位置的像素 区域 变化则认为是变化了的区域 对这些区域进一步 处理 跟踪 识别 得到包括目标位置 尺寸 形状 速度 停留时间等基本形态信息和动态 信息 完成目标的跟踪和行为理解之后 也就完成了图像与图像描述之间的映射关系 从而系 统能够进一步进行规则判定 直到触发报警 背景减除法是目前普遍使用的运动目标检测方法 其算法本身需要大量的运算处理资源 安天下网址 西刹子博客地址 并且仍然会受到光线 天气等自然条件及背景自身变化 海浪 云影 树叶摇动等情况 的影 响 但是 针对不同的天气以及自然干扰 已经有多种附加算法 过滤器 应用来弥补这些缺 陷 随着芯片能力的提升及算法改进 相信视频分析技术会进一步成熟 视频内容分析关键技术 前景目标的探测是视频内容分析技术实施的前提条件 背景减除法是目前视频内容分析技 术中用于前景目标探测的最常见方法 背景减除方法是利用当前图象和背景图象的差分 SAD 来检测出运动目标 区域 的一种方法 此方法可以提供比较完整的运动目标特征数 据 精确度和灵敏度比较高 具有良好的性能表现 但是对于动态场景的变化 如光线变化情 况也比较敏感 背景减除法的工作原理如图 2 所示 当前图像与背景图像模型做差后形成运动 目标区域 即图中的小船 图 2 背景减除法工作原理示意图 背景模型的建立是背景减除法的关键所在 通常 视频分析算法需要一定的时间进行 背 景学习 所谓背景学习过程 实质就是利用时间平均图像的方法 将背景在一个时间段 如 30 秒钟 内的平均图像计算出来 作为该场景的背景模型 那么 背景学习 时间结束 后 系统仍然需要具有 背景维护 的能力 而不是说之前建模的背景是一成不变的 这样 保证系统对场景内的图像变化不那么敏感 如光线变化 影子等等 因此 开发出实用 有效 的背景模型以适应动态 复杂的场景是目标探测及视频分析技术的关键 视频分析的工作流 视频分析实质是人工智能的一部分 是模仿人类的工作过程实现的 人类通过眼睛这个传 感器实现视频的采集 预处理 处理然后将真实图像传送给大脑 大脑并不是对整个传送过来 的图像进行整体的分析处理 而是采用多层分级过程 将背景 缓慢移动及远处的目标分辨率 最低化 忽略一些细节 而对前景感兴趣区进行二次聚焦 我们常说的眼前一亮就是这个意 思 获得更多细节 然后对该区域进行判定 图 3 所示的案例是实际中常见的情况 监控值班人员将一路视频切换到监视器上 图像是 一个地铁站台 这时画面中出现一个穿红色衣服的女子 手里拿着一个黑色包 放到站台中的 一个空地上 之后迅速离开 这是一个很普通的视频场景 值班人员对这段场景很容易迅速地 安天下网址 西刹子博客地址 提取出特征描述来 即 一个红衣女子将一个黑色包放在站台上后迅速离开 而对这个简单 的信息 值班人员首先利用眼睛采集到信息 首先是场景 站台 之后分离出感兴趣的前景 目标 红衣女 之后对其跟踪 最后形成结论 丢下一个包 之后将整个过程完整信息传 给大脑去按规则判定 图 3 视频分析工作流示意图 视频分析过程介绍 无论采用何种视频分析架构 其视频分析过程都是视频内容分析的算法模块的 协力作 业 的结果 视频分析基本过程如图 4 所示 图 4 视频分析过程示意图 加载算法过程 加载用户的预定义规则 如防区 分析模式等 过滤器加载 对特殊场景进行预处理如防抖动 雨雪 灯光抑制等 背景建模及更新 背景模型建立并自动学习更新背景情况 目标提取与跟踪 提取跟踪前景变化目标 检测并分析目标的活动 目标分类 对跟踪的目标进行分类 如人或车辆等 视频分析判断过程 根据规则判断是否符合预定义规则 触发报警过程 确定目标活动违反规则 根据预定义传输报警到指定的用户 视频分析技术难点 安天下网址 西刹子博客地址 视频分析技术本身不是一项新技术 但是其在视频监控系统中的应用还仅仅是刚刚起步阶 段 它给视频监控系统带来了颠覆性的革命 具有美好的发展远景 目前 视频分析系统本身 有一些技术问题有待提升 下面是一些需要克服的技术难点 光照适应性 通常 视频监控系统需要 24 小时昼夜工作 其环境的光照情况也是一直处于变化状态 中 如昼夜的交替 阴晴雨雪雾等天气条件 及外界光源干扰 如照明灯光 逆光 反光 车 灯 还有室外云彩 云影的动态变化等 所有这些情况都对视频分析核心算法的光照适应性提 出了严格的要求 视频分析算法应该具有先进的背景学习 更新 维护功能 自然天气变化 雨 雪 雾 沙尘天气 烟雾 气流 云影等 体现的不仅仅是光照的变化 而是真正的 图像像素变化 这些 小假象 会导致系统视为场景中真有物体在移动 从而干扰了真正的目 标探测 并浪费了系统资源 因此 需要采用 过滤 机制将这些干扰过滤处理 背景的高频率变化 通常 在视频图像背景中 可能出现摇动的树叶 晃动的波浪 光线反射 物体的反光 草地的微动等等现象 而这些现象都会造成画面像素的变化 而造成误报 系统需要具有先进 的过滤器 实现对规则往复性 细小运动进行过滤 而集中精力在前景 高速移动目标 通常 视频分析系统基于自身算法及目前处理器的运算处理能力 通常对非实时视频图像 进行分析 如每秒采用 12 帧或 6 帧 这样当像素的采用频率比较低的时候 视频分析算法 需要连续分析一定数量的帧才能确定是否报警 而这时如果需要的分析时间长于入侵者通过防 范区域的时间 入侵者可能已经完成入侵动作而导致系统漏报 视频分析的架构情况 目前 在实际应用中 视频分析产品主要有三种架构 一种是基于后端的服务器 软件算 法运行于 CPU 第二种是基于前端的 IPC 或 DVS 还有第三种就是利用前端的嵌入式视频 分析设备 仅仅做视频分析 不做编码压缩工作 完成 其中第三种在嵌入式设备中固化视频 分析模块 利用网络客户端进行远程配置与报警管理 三种架构也可以按照目前主流说法分成 两大类 即前端分析与后端分析 典型两种视频分析系统架构示意图如图 5 所示 安天下网址 西刹子博客地址 图 5 典型两种视频分析架构示意图 需要注意 对于视频分析功能 最根本的考核是性能 即良好的探测率和较低的误报率 而视频分析架构方式并不是最重要的 其实质都是视频分析算法来完成的 无非是运行平台不 同 一个在 DSP 上一个在计算机的 CPU 上 也不存在某种方式绝对好与坏 实际应用中应该 根据项目的规模 前期设备的架构 用户的需求 网路建设等具体情况进行选择部署 视频分析技术实施误区 视频分析的设置工作本身并不难 通常步骤就是选择好视场 明确分析模式 然后进行防 区 分辨率 灵敏度 各种过滤器的选择和使用 设置一个视频分析的过程很快 但是 对一 个通道视频分析进行参数微调 现场模拟 参数修正 再模拟 算法优化 效果观察等工作却 是一个漫长而复杂的工作 而中间的各个环节 要解决的问题就是 提高探测率 降低误报 率 在各个环节中没有捷径 必须长期地尝试和试验 这就是视频分析厂家实验室产品和真 正可投入应用的产品的最大区别 视频分析产品的真正考量在室外环境 通常 对于室内环 境 厂商基本可以进行模拟试验 因此问题不大 但是对于大型户外项目 环境复杂 遇到的 问题比较多 系统调试阶段工作量比较大 从调试到试运行 可能需要不止一次的现场模拟 参数微调 效果观察 统计 再模拟过程 视频分析产品并非是 即插即用 的产品 每个项 目有自己的特点 一个项目中各个点位有自己的特点 各个点位又有不同的应用需求 因此必 安天下网址 西刹子博客地址 须针对不同的项目 不同的点位 不同的需求进行有针对地实施 实际上 视频分析技术是一项非常复杂并具有一定技术含量的产品 国际上真正掌握视频 分析算法的厂家并不多 而从掌握了算法 推出实验室产品到产品真正能够投入项目运行 还 有很长的路要走 对于一些非常普遍的场景 在实验室中进行模拟有一定困难 因此好多厂家 利用工程项目实施过程 来不断修正参数以适应不同的环境 这并不代表厂家的产品不成熟 反而是厂家实力的体现 视频分析产品选型 视频分析系统涉及编码压缩 视频分析算法开发 系统平台等多种应用 因此 厂家的行 业经验积累 开发能力 对需求的理解等因素至关重要 产品发布时间早的供应商 成功案例 多的供应商 其产品会越成熟和可靠 在复杂室外环境下的误报率和漏报率能反应厂家真正的 实力 室外环境 风霜雨雪雾 高处物体或飞鸟的阴影 摇动的树叶 海浪 摄像机的风摆震 动 室外建筑的反光等都可能是触发误报的原因 但优秀的厂家已经掌握了以上误报的解决方 案并使 VCA 产品表现日益优秀 前面介绍过 从大的角度看 目前视频分析技术主要有两种架构方式 一种是基于后端服 务器方式 另外一种采用 DSP 方式 两种方式没有孰优孰劣的问题 要注意的是 基于后端 服务器的视频分析系统 可以灵活地调整所需要视频分析的通道及变更视频分析模式 而基于 前端 DVS IPC 的视频分析方式 由于是硬件方式 比较固定 那么一旦建设完成 如果 想增加或取消视频分析通