基于智能分析技术的视频监控系统的设计与实现优秀毕业论文 参考文献 可复制黏贴.pdf

中图分类号 u d c 学校代码 1 0 0 5 5 密级 公开 高蕊夫淫 硕士学位论文 基于智能分析技术的视频监控系统的设计与实现 d e s i g na n di m p l e m e n t o fv i d e os u r v e i l l a n c es y s t e m b a s e do ni n t e l l i g e n ta n a l y t i c s 南开大学研究生院 二o 一一年五月 南开大学学位论文使用授权书 1 0 2 8 4 m 0 哪y 2 0 根据 南开大学关于研究生学位论文收藏和利用管理办法 我校的博士 硕士学位 获得者均须向南开大学提交本人的学位论文纸质本及相应电子版 本人完全了解南开大学有关研究生学位论文收藏和利用的管理规定 南开大学拥有在 著作权法 规定范围内的学位论文使用权 即 1 学位获得者必须按规定提交学位论文 包括纸质印刷本及电子版 学校可以采用影印 缩印或其他复制手段保存研究生学位论 文 并编入 南开大学博硕士学位论文全文数据库 2 为教学和科研目的 学校可以将 公开的学位论文作为资料在图书馆等场所提供校内师生阅读 在校园网上提供论文目录检 索 文摘以及论文全文浏览 下载等免费信息服务 3 根据教育部有关规定 南开大学向 教育部指定单位提交公开的学位论文 4 学位论文作者授权学校向中国科技信息研究所和 中国学术期刊 光盘 电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文 数据库 通过其相关网站对外进行信息服务 同时本人保留在其他媒体发表论文的权利 非公开学位论文 保密期限内不向外提交和提供服务 解密后提交和服务同公开论文 论文电子版提交至校图书馆网站 h t t p 2 0 2 1 1 3 2 0 1 6 1 8 0 0 1 i n d e x h t m 本人承诺 本人的学位论文是在南开大学学习期间创作完成的作品 并已通过论文答 辩 提交的学位论文电子版与纸质本论文的内容一致 如因不同造成不良后果由本人自负 本人同意遵守上述规定 本授权书签署一式两份 由研究生院和图书馆留存 作者暨授权人签字 瑟绍鸱 2 0 1 1 年0 5 月2 1 日 南开大学研究生学位论文作者信息 论文题目 基于智能分析技术的视频监控系统的设计与实现 姓名张绍鹏学号2 2 2 0 0 9 l1 9 6 答辩日期2 0 1 1 年5 月2 1 日 论文类别博士口学历硕士口 硕士专业学位团高校教师口 同等学力硕士口 院 系 所软件学院专业软件工程 联系电话1 3 5 9 2 6 0 1 5 2 0e m a i l13 5 9 2 6 015 2 0 q q c o i n 通信地址 邮编 郑州市郑东新区商务内环与众意路奥同国际3 号楼2 单元1 5 0 3 备注 是否批准为非公开论文否 注 本授权书适用我校授予的所有博士 硕士的学位论文 由作者填写 一式两份 签字后交校图书 馆 非公开学位论文须附 南开大学研究生申请非公开学位论文审批表 南开大学学位论文原创性声明 本人郑重声明 所呈交的学位论文 是本人在导师指导下进行研究工作所 取得的研究成果 除文中已经注明引用的内容外 本学位论文的研究成果不包 含任何他人创作的 已公开发表或者没有公开发表的作品的内容 对本论文所 涉及的研究工作做出贡献的其他个人和集体 均已在文中以明确方式标明 本 学位论文原创性声明的法律责任由本人承担 学位论文作者签名 韭缉鹏2 0 1 1 年0 5 月2 1 日 非公开学位论文标注说明 根据南开大学有关规定 非公开学位论文须经指导教师同意 作者本人申 请和相关部门批准方能标注 未经批准的均为公开学位论文 公开学位论文本 说明为空白 论文题目 申请密级 口限制 2 年 口秘密 1 0 年 口机密 2 0 年 保密期限 2 0 年月日至2 0年月日 审批表编号批准日期 2 0 年月日 限制 2 年 最长2 年 可少于2 年 秘密 l o 年 最长5 年 可少于5 年 机密 2 0 年 最长1 0 年 可少于1 0 年 中文摘要 中文摘要 随着人们安全防范意识的日益加强 视频监控越来越为人们所重视 已广 泛应用于银行 交通 电力 社区 学校等场所 随着监控点的不断增加 其 规模变得越来越庞大 这给监控人员的工作带来了巨大的压力 监控人员往往 要兼顾成百上千路的监控画面 很难在第一时间对视频画面中潜在的异常事件 作出响应 也很难从海量的视频数据中快速搜索到想要找的内容 因此 人们 期望有一种产品能通过对视频图像的识别 分析而自动捕获到可疑目标 及时 对可能发生的安全事件进行预警 降低监控人员工作强度 这正是智能视频监 控系统的关键所在 论文介绍了目前国内外视频监控系统的发展现状 分析了传统视频监控系 统所存在的问题 指出了视频监控系统未来的发展方向 重点分析了智能视频 分析技术的特点 并设计出了一套基于智能分析技术的视频监控系统 通过智 能分析技术 包括运动检测 目标分类 目标跟踪 行为识别等 的应用 使 得视频监控系统更加智能化 变被动监控为加主动监控 对大量监控画面中的 海量数据进行高速分析 过滤掉用户不关心的信息 仅仅提取用户更感兴趣的 更有价值的关键信息 并在异常发生时立即通知用户并启动相关报警联动和应 急预案 把操作人员从繁重的监控工作中解脱出来 大大提高了操作人员的工 作效率 该系统已经通过河南省科技成果鉴定 被列为河南省科技成果转化项目 并在公安 水利行业得到应用 取得了良好的社会效益和经济效益 关键词 视频监控智能分析运动检测目标分类目标跟踪行为识别 a b s t r a c t w i t ht h es t r e n g t h e n i n go fp e o p l e ss a f e t ya w a r e n e s s v i d e os u r v e i l l a n c es y s t e m 目录 目录 第1 章引言 1 1 1选题背景 1 1 1 1视频监控系统的广泛应用 1 1 1 2视频监控系统的发展方向 1 1 1 3智能化视频监控系统的发展现状 3 1 1 4智能视频监控系统的产生背景 4 1 2系统简介 6 1 3系统的必要性和意义 6 1 4 论文的组成及主要内容 7 第2 章系统需求分析 8 2 1系统概况 8 2 2功能需求描述 1 0 2 2 1 常规功能 1 l 2 2 2 智能视频分析功能 1 2 第3 章系统总体设计 1 4 3 1系统设计原则 1 4 3 2系统设计依据 1 5 3 3系统架构 1 6 3 3 1 基于前端设备的分布式分析 1 6 3 3 2 基于中心服务器的集中式分析 1 7 3 3 3 综合式架构 1 7 3 4系统组成 1 8 3 4 1 系统组成示意图 l8 i i i 目录 3 4 2 管理中心 1 9 3 4 3 前端视频采集 2 7 3 5系统运行环境及开发工具 2 8 3 5 i 管理服务器系统运行环境 2 8 3 5 2 客户端软件运行环境 2 9 3 5 3 主要监控设备 2 9 3 5 4 主要开发工具 3 0 第4 章系统数据库设计 3 1 4 1 数据库设计的主要步骤及方法 3 l 4 1 i 数据库设计的定义及特点 3 l 4 1 2 数据库设计的主要步骤 3 l 4 1 3 数据库设计的主要方法 3 3 4 2 本系统的数据库设计思路及过程 3 4 4 2 1 实体的定义及属性 3 4 4 2 2 主要实体一关系模型 e r 模型 3 6 4 2 3 主要数据表 3 8 第5 章系统功能设计与实现 4 2 5 1系统管理服务器 4 2 5 2视频分析服务器 4 4 5 3网络客户端 4 6 5 4系统主要功能模块及实现 4 8 5 4 1 系统配置管理功能模块 4 8 5 4 2 用户登录功能模块 5 l 5 4 3 实时监控功能模块 5 3 5 4 4 智能分析功能模块 5 6 5 4 5 报警联动功能模块 5 9 5 4 6 系统查询功能模块 6 l i v 目录 第6 章关键技术与技术难点 6 7 6 1主要关键技术 6 7 6 1 1 视频编解码技术 6 7 6 1 2 视频分析的算法 6 9 6 2技术难点 6 9 6 2 1 场景的噪声干扰 6 9 6 2 2 算法的复杂度 7 0 6 2 3 模拟 数字视频源的接入 7 0 6 2 4 多种视频编码方式的兼容 7 0 第7 章总结与展望 7 1 7 1 总结 7 1 7 2实现功能 7 l 7 2 1 基本功能 7 l 7 2 2 智能视频分析功能 7 2 7 3主要性能及参数 7 2 7 4目前存在的问题 7 3 7 5推广应用情况 7 3 7 6应用前景预测 7 4 参考文献 7 5 致谢 7 7 个人简历在学期间发表的学术论文与研究成果 7 8 v 第1 章引言 1 1选题背景 第1 章引言 1 1 1视频监控系统的广泛应用 中国目前正处于新中国成立以来最突出的社会转型期 社会稳定 公共安 全面临更多挑战 人民的生活水平在不断提高 可人们的安全感却在不断下降 刑事犯罪行为不断上升 罪犯的手段越来越现代化 经济水平和科学技术的飞 快发展带来了整个社会生活水平的提高 与此相伴的是各种危害到社会安定的 手段的进步 安全犯罪也已经不再局限在原来的模式里 可谓无孔不入 其手 段和方法的先进性在某些方面来说动摇了现有的安全防范机制的地位 并且引 导了安全防范手段的进步 安全工作越来越显得重要 为了对付各种各样的经 济刑事犯罪 保护国家和人民群众的生命财产的安全 保障在新技术形势下的 国防建设需求 保证各行各业和国家重点部门的正常运转 采用高科技手段预 防 制止犯罪和国防现代化建设已成为安防领域里的共识 目前 安全技术防范系统已广泛应用于社会各个行业 特别是在公共安全 监狱 银行 交通 电力 电力 国防等国家重点部门 而视频监控系统又是 安防系统的最主要的内容和最有效的手段 对预防和制止犯罪 维护社会稳定 起到了巨大作用 l j 1 1 2视频监控系统的发展方向 视频监控系统公认的发展方向是数字化 网络化和智能化 随着计算机技 术 网络技术 通信技术以及多媒体技术的快速发展 为视频监控系统技术的 发展创造了非常好的条件 用户对视频监控系统也提出了更高 更多的要求 比 如全天候2 4 小时不问断的实时监视 随时随地的浏览与控制 更长的录像保存 时间 希望监视画面更加清晰 更加流畅 同时也期望视频监控系统能够更加 智能 能够满足各行各业不同用户的个性化需求 2 第1 章引言 视频监控系统的数字化 视频监控系统的数字化从根本上改变了传统模拟视频监控系统从视频采 集 数据处理 视频传输到系统控制等方式和结果形式 视频监控系统的数字 化的核心技术就是音视频的压缩方式 目前最新的视频压缩标准时h 2 6 4 a v c 它集中了以往标准的优点 并吸收了以往标准制定中积累的经验 采用简洁设计 使之更容易推广 3 1 h 2 6 4 创造性了多参考帧 多块类型 整数变换 帧内预测 等新的压缩技术 使用了更精细的分象素运动矢量 1 4 1 8 和新一代的环路滤 波器 使得压缩性能大大提高 系统更加完善 h 2 6 4 主要有以下几大优点 高效压缩 与h 2 6 3 和m p e g 4s p 相比 减小5 0 比特率 使存储容 量大大降低 延时约束方面有很好的柔韧性 容错能力强 编 解码的复杂性可伸缩性 解码全部细节 没有不匹配 高质量应用 在不同分辨率 不同码率下都能提供较高的视频质量 采用 网络友善 的结构和语法 使其更有利于网络传输 目前视频监控该系统的数字化已经形成了较为成熟的标准 也达到了较高 的水准 我国具有自主产权的a v s 编码标准也正在大力发展 在数字化方面 国内的视频监控产品目前技术水平基本与国外同步 也占据了国内大多数的市 场份额 视频监控系统的网络化 视频监控系统的网络化意味着监控系统的结构将从集中式向集散式过渡 集散式系统采用多层分级的系统架构 具有实时 多用户 多层次的分布式操 作系统以实现抢先任务调度算法的快速响应 构成集散式视频监控系统的软硬 件多采用模块化 标准化和系统化的设计 随着妒网络技术的发展 特别是宽带的普及应用 近几年来视频监控系统 的网络化也得到了空间的发展 监控系统的网络化打破了传统闭路监控系统的 2 第1 章引言 分别比性 使得监控系统突破了地域和数量的限制 便于将整个网络中的所有 监控资源进行整合 共享 这也是视频监控系统的一个重要发展方向 1 1 3智能化视频监控系统的发展现状 当前由于在国际上反恐形势的需要 社会公共安全空前得到重视 而应用 于安防领域的视频分析技术也随之迅速发展起来 并形成相对成熟的产品 在 安防领域得到部分的实际工程应用 这也算是市场需求推动核心技术研发的一 个典型案例吧 在安防行业领域内使用的视频分析技术由于其使用的环境 场景不同 具 有一些区别于其他领域的独特特征 因而也有了一些较为特殊的 专用的称谓 各产品厂家出于对自己产品的宣传的目的 也曾采用了一些特殊的叫法 如 行 为识别 行为检测 行为分析 智能视频 事件检测 等等 视频分析技术在国外起步较早 再加上当今国际反恐局势的催化 近几年 获得了长足的进步 目前在国际上已有相关成熟产品出现 并将其用于实际工 程应用 取得了较好的效果 国内在这一块发展相对落后一些 虽然有许多科 研单位或有实力的企业展开了这方面的研究 但距离能用于实际工程的成熟产 品还是有一定的差距 这种差距一方面表现在产品性能上 对于各种复杂的背 景 光照条件下保持稳定的检测准确性国内研究成果仍有不足 另一方面则表 现在产品化上 国外的相关产品已完成了产品化过程 形成较为成熟的成型产 品 不论从核心处理模块的管理 管理软件的使用还是产品的二次开发支持等 细节方面走在前头 与之相比 国内研究成果大部分还停留在实验室阶段 暂 时只能作为一种技术模块进行销售或授权 用户使用起来也存在很多需要进一 步完成的工作或需要解决的难题 产品仍然处理比较低级的水平 智能化视频监控系统 其核心部分主要在于对视频信息的分析 而满足这 功能的关键在于其核心算法软件部分 据了解 目前大部分智能视频监控系 统的核心算法技术仍然掌握在美国以及欧洲地区等先进国家 据i m sr e s e a r c h 调查显示 世界范围内i v s i n t e l l i g e n tv i d e os o f t w a r e 的市场占有率为 3 5 3 6 其中美国的o v o b j e c tv i d e o 就占有了9 左右的比例 4 1 而大部 分国内厂家则仍处在同国外开发商合作的阶段 随着市场需求的不断扩大 国 内的智能视频监控系统供应商已经开始逐步的涉足研发和提供专门的硬件平 3 第1 章引言 台 这些平台将支持智能化分析软件达到更好的监控效果 并且根据国内市场 的需求 开发更人性化 更友好的适合不同领域的相关外围软件与国外的核心 软件配套使用 综上所述 视频分析技术已走进我们的生活 并真正开始应用于工程实际 但是当前国内技术暂时落后于国外的成熟产品 随着国外产品的不断进入国内 市场 一方面催生了应用需求 促进了国内技术的发展 但另一方面也给国内 技术造成了很大的压力 如何加快研究速度 与市场和需求不断磨合 尽快推 出属于自己的成熟产品 是摆在国内厂家面前的一个严峻的课题 目前中国科学院已经有专门针对智能图像处理的研究专家 正朝着如何解 决核心算法 i t 以及图像处理等问题的方向不懈努力 相信在不久的将来 中 国将会拥有完全属于自己的独立智能化视频监控系统 1 1 4智能视频监控系统的产生背景 美国国防部的研究表明 在一个非智能的视频监控系统里 一个工作人员 监控两台监视器 1 0 分钟后他会遗忘4 5 的内容 2 0 分钟后会遗忘9 5 的内容 随着监控系统规模的增大 安保人员也不可能同时兼顾所有画面 加上人类自 身的弱点 人类的平均集中注意力低于2 0 分钟 j 时 也容易受到外界事物的干 扰 这些都会降低视频监控系统的实用性 因此监控系统需要智能化 系统 需要具有向人一样的思考能力和判断能力 克服一些人为监控行为的不足 从模拟到数字视频的转变为安全系统带来了人们期盼已久的好处 主要就 是数字压缩技术可以传输和存储更多的图像数据 不过这使得价格有所上升 另外 数字视频要求部署更多的摄像机 这就需要更多的人来监视摄像机 通 过视频的存储可以减少需要观看的工作量 因为在压缩中所用的运动向量和检 测器可以用来滤除不重要的活动 然而 因为运动向量和检测器不提供所发生 的相关信息 人们必须利用手动的方式来捕获视频 以确定是否有值得关注的 可疑活动 因此 出现了研发能够大大增加监控安全和视频监控的有效性的驱动力 基于智能分析技术的视频监控系统 指的是在一系列视频帧中识别大量的内容 并使能够在特定事件发生时发布告警 从而加速实时快速响应 此外 系统自 动搜索特定的内容 从而将人们从繁重的观看图像中解放出来 这还将减少视 4 第1 章引言 频监控所需的人员的数量 进而降低了成本 目前 i v s 是一项新兴的技术 在 未来几年 该技术将会持续发展 快速普及将是切实可行的 视频分析产生的背景很简单 其一为安防应用 就是当值班人员面对十 百 千的摄像机 无法真正的在风险产生时预防或干预 多数靠事后回放相关 的图像 其二为非安防应用 如商业上人流统计 防止扒窃等等 其理念是将 风险的分析和识别转交给计算机或者芯片 使值班人员从 死盯 监视器的工作中 解脱出来 当计算机发现问题时候 产生报警 此时值班人员进行响应 作为传统闭路电视监控系统的下一波浪潮 数字录像系统的到来无疑标志 着2 4 x 7 全天候监控系统进入了更加高效的新纪元 然而当前仍然存在着一些严 重的问题 接连数小时盯着通常显示着静止墙壁和护栏的多个监视器 即使是 最为训练有素的保安人员也会为此而面临注意力极限的挑战 再加上黑暗或恶 劣的天气情况等客观条件 这一问题变得更加复杂 随着数字监控网络中部署 的摄像机和闭路电视监视器不断增多 保安人员有效审视网络上所有各点图像 的能力实际上却由于信息过载而有所下降 显而易见 保安人员迫切需要一款 更加智能化的系统来发挥自动 电子眼 的作用 以便对潜在入侵者 可疑目标和 其它安全侵犯活动进行至关重要的瞬间刺激型准确检测 由此保安人员将可以 对事件做出迅速而明智的决定和实时响应 近年来 随着国民经济的快速增长 社会的迅速进步和国力的不断增强 银行 电力 交通 安检以及军事设施等领域对安全防范和现场记录报警系统 的需求与日俱增 要求越来越高 视频监控在生产生活各方面得到了非常广泛 的应用 虽然监控系统己经广泛地存在于银行 商场 车站和交通路口等公共 场所 但实际的监控任务仍需要较多的人工完成 而且现有的视频监控系统通 常只是录制视频图像 提供的信息是没有经过解释的视频图像 只能用作事后 取证 没有充分发挥监控的实时性和主动性 为了能实时分析 跟踪 判别监 控对象 并在异常事件发生时提示 上报 为政府部门 安全领域及时决策 正确行动提供支持 视频监控的 智能化 就显得尤为重要 智能视频监控是利用 计算机视觉技术对视频信号进行处理 分析和理解 在不需要人为干预的情况 下 通过对序列图像自动分析对监控场景中的变化进行定位 识别和跟踪 并 在此基础上分析和判断目标的行为 能在异常情况发生时及时发出警报或提供 有用信息 有效地协助安全人员处理危机 并最大限度地降低误报和漏报现象 5 第1 章引言 1 2系统简介 基于智能分析技术的视频监控系统 是更加智能化的视频监控系统 将智能 分析技术应用于视频监控系统中 提升视频监控系统的实用性及管理人员的工 作效率 基于智能分析技术的视频监控系统 简称为智能视频监控系统 英文缩写 i v s 使用智能视频分析技术 通过将场景中背景和目标分离进而分析并追踪在 摄像机场景内出现的目标 用户可以根据的视频内容分析功能 通过在不同摄 像机的场景中预设不同的报警规则 一旦目标在场景中出现了违反预定义规则 的行为 系统会自动发出报警 监控工作站自动弹出报警信息并发出警示音 用 户可以通过点击报警信息 实现报警的场景重组并采取相关措施 而视频监控 中所提到的智能视频技术主要指的是 自动的分析和抽取视频源中的关键信息 如果把摄像机看作人的眼睛 智能视频分析技术则可以看作人的大脑 智能视 频技术借助计算机强大的数据处理功能 对视频画面中的海量数据进行高速分 析 过滤掉用户不关心的信息 仅仅为监控者提供有用的关键信息 基于智能分析技术的视频监控系统以数字化 网络化视频监控为基础 用 户可以设置某些特定的规则 系统识别不同的物体 同时识别目标行为是否符 合这些规则 一旦发现监控画面中的异常情况 系统能够以最快和最佳的方式 发出警报并提供有用信息 从而能够更加有效的协助安全人员处理危机 最大 限度的降低误报和漏报现象 1 3系统的必要性和意义 随着监控系统的普及化及庞大化 传统人为监控的局限性越来越明显 由 于人为监控有其先天不足 因为人脑只能关注一件事物 所谓一心不能二用 当监控者同时观测多个监视器时 注意力会随着监控数量的上升而下降 再者 人对于单调的事物无法长时间的集中注意力 根据研究 人在监看监控影像2 0 分钟后 其注意力会下降到无法接受的程度 加上人们有饮食休息等生理活动 需求 也会间接地影响监控系统的可靠性 这就是为什么传统人为监控系统往 往存在漏报率高 响应速度慢及可靠性差等问题 同时 由于监控系统越来越 庞大 如果全部采用人为监控 其人力成本也会非常高昂 6 第1 章引言 基于智能分析技术的视频监控系统与传统监控系统的最大区别 在于系统 的智能性 变被动监控为主动监控 可以自动检测 识别潜在的入侵者 发现 可以的目标和危险的行为 并主动向监控操作人员汇报 同时启动联动动作和 预先发布的应急预案 简单来讲 不仅用摄像机代替人眼 而且用计算机代替 人 协助人进行分析和处理 从而减轻人的负担 智能视频监控系统的优势在于它可以一天2 4 小时不间断地对影像进行监 控 一旦有事件发生时 可以及时报警 相对于人为监控来说 系统的可靠性 更高 成本更加低廉 智能视频系统要解决的问题有两个 一个是将安防操作人员从繁杂而枯燥 的 盯屏幕 任务解脱出来 由机器来完成这部分工作 另外一个是为在海量的视 频数据中快速搜索到想要找的图象 1 4 论文的组成及主要内容 本论文共分七章 主要内容如下 第一章是引言 主要介绍了视频监控系统的发展方向 分析了传统视频监 控系统存在的问题 阐述了视频监控系统的必要性和现实意义 同时描述了本 课题的目标和内容安排 第二章为系统需求分析 主要内容为系统概况及功能需求方面的描述 第三章为系统总体设计 描述了该项目的总体建设方案 包括系统的设计 原则和总体目标 详细介绍了该项目的主要建设内容 硬件和系统软件 系统 架构 第四章为系统数据库设计 包括数据库的建设内容 数据库的数据关系 数据库的体系结构 各级数据库的关系 数据库的功能需求 数据库的安全和 共享 数据处理系统 数据交换与共享系统 第五章为系统功能设计与实现 包括系统功能设计 软件流程 主要功能 模块的设计和实现 第六章为关键技术及技术难点 包括系统中应用的主要关键技术和技术难 点 第七章为为总结与展望 对系统的开发工作进行了总结 介绍了系统推广 及应用情况 并展望了系统的应用前景预期 7 第2 章系统需求分析 2 1系统概况 第2 章系统需求分析 视频监控系统的发展经历了从2 0 世纪7 0 年代开始的模拟视频监控系统 到2 0 世纪9 0 年代开始的数字视频监控系统 以及近几年来兴起的智能化的网 络视频监控系统 视频监控系统的数字化 网络化 智能化已经被公认为未来 的发展方向 基于智能分析技术的视频监控系统是将智能视频分析技术融入到视频监控 系统 是更加智能化的视频监控系统 它有别于传统视频监控系统的关键之处 在于智能视频分析技术的应用 智能视频分析大体上分为两大类 一类是以背景模型建立为基础 主要包 括周界防范在内的行为分析等 第二类是以特征识别为基础 包括车牌识别 人脸识别等 5 图2 1 智能视频分析技术的分类 本系统主要应用的第一类视频分析技术 为了区别于广义的视频分析 我 们称之为视频内容分析 视频内容分析技术 v i d e oc o n t e n ta n a l 如c s v c a 是基于计算机视觉技术的应用 它能够在图像和图像描述之间建立映射关系 8 第2 章系统需求分析 从而使得计算机能够判断 分析 理解视频中的内容 其实质就是 自动分析和 提取视频源中的关键信息 基于智能分析技术的视频监控系统 就是智能化 网络化的视频监控系统 可以将大量的 枯燥的视频内容分析工作交给计算机 或者前端的编码器 从而将安保人员从传统的 繁重的工作中解脱出来 系统 会根据预先设定的规则对监控视频进行自动分析 当系统监测到设定的行为发 生或者即将发生时 会触发报警并启动相应的联动动作和应急预案 安保人员 可以在警情发生的第一时间甚至来警情发生前收到报警信息 从而达到警情及 时处理甚至避免危险的发生 达到主动监控的目的 随着人们安全防范意识的日益加强 安防监控越来越为人们所重视 安防 监控由单一的监控点逐渐发展为监控系统 其规模变得越来越庞大 这给监控 人员的工作带来了巨大的压力 一个监控人员往往要兼顾几百路甚至上千路的 监控视频信号 长时间工作后监控人员将逐渐进入一个生理疲劳状态 往往会 因过度疲劳而无法在第一时间对视频画面中潜在的安全事件做出响应 因此 人们期望有一种产品能通过对视频图像的识别 分析而自动捕获到可疑目标 及时对可能发生的安全事件进行预警 降低监控人员工作强度 具体来说 主 要体现在以下若干方面 事件发生的第一时间 可根据视频图像自动识别和发现可疑目标及可疑事 件 对预定区域的目标数量 密度进行分析统计 并发出预警 对特殊区域的特殊行为如 运动太慢或者没有运动 当超出预定的时间时 发出报警 根据实际情况有选择的设置触发事件的区域和规则 如 目标穿越警戒线 进入 离开 出现 消失于预定区域或者在预定区域内滞留 徘徊以及目标被 遗弃 取走等 对已经出现或将要出现的安全威胁 通过声音 视频等方式实时发出报警 信息 通知相关人员做出快速反应 并启动相应预案 报警触发时 可联动相关设备并进行报警录像 可以对大量视频数据进行检索 发现和识别可疑片断 节省人力投入 正是由于传统视频监控系统存在的诸多弊端 各行各业的用户都意识到视 频监控系统智能化的重要性 也都提出了各自的实际需求 目前 对于智能视 频监控存在需求的行业主要集中在交通 银行 石油石化 电力 公安 军队 9 第2 章系统需求分析 及武警 钢铁 环保 林业 矿业 建筑及展馆等行业中 其中 交通行业 军队及武警 公安及国安是厂商实施最多的行业 根据计世资讯 c c wr e s e a r c h 调查 对智能视频有需求的用户中 绝大多数尚未部署实施 市场尚处于培育 阶段 空白点多 易于确立先入优势 用户对功能的需求主要集中在周界 物 体出现 消失 流量统计分析上 其中 周界功能应用得最为普遍 与之相比 其它功能尚未得到有效普遍应用 且各场景下 实际应用中 一般都是单一功能的 应用 安全防范目前是用户应用智能视频监控的首要目的 6 2 2 功能需求描述 图2 2 行业用户的需求 基于智能分析技术的视频监控系统 是更加智能化的视频监控系统 将智能 分析技术应用于视频监控系统中 目的是提升视频监控系统的实用性及管理人 员的工作效率 因此系统除了具备传统视频监控的常规功能外 还应该具有智 能分析的功能 由于各个不同行业的具体需求都不尽相同 而且存在较大的差异 在这里 主要突出较为通用的 以安全防范为主要目的的功能m 1 0 第2 章系统需求分析 2 2 1常规功能 实时监视功能 实时监视功能是指授权用户可以通过客户端软件实时查看前端任意点的监 控画面 可以进行自由切换 组合显示 1 4 9 1 6 画面等多种显示方式 轮询显示等操作 远程控制功能 远程功能是指授权用户可以通过客户端软件对监控摄像机进行远程控制 包括云台控制 上 下 左 右转动 镜头调整 变倍 聚焦 光圈调整 预置位的设置与调用 辅助开关的控制等 网络传输功能 网络传输功能是指经过编码后的音视频流可以通过p 网络实现数据传输 适应多种网络介质 局域网 广域网 专网 公网 同时支持多种传输协议 t c p u d p r t p m u l t i c a s t 视频存储功能 视频录像功能是指将监控图像 声音进行存储 用户可以根据实际需求选 择多种录像模式 定时录像 全天录像 报警录像等 也可以选择集中存储和 前端存储 录像检索及回放功能 视频录像功能是指授权用户可以从录像资料中进行检索 并可对检索出来 的视频进行回放 下载的功能 支持组合检索 包括时间 监控点 报警事件 等多种条件 报警检测与联动功能 报警检测与联动功能是指系统可以接收 检测多种报警输入信息 并将报 警信息上传至监控中心 同时触发联动动作 可支持的报警输入包括 开关量报警 报警探头 报警按钮 视频移动 侦测报警 智能视频分析报警 8 1 第2 章系统需求分析 联动动作包括 启动视频录像 中心声光报警 联动前端报警输出 警笛 警示灯等 通知管理员等 2 2 2智能视频分析功能 智能视频分析功能是本系统的创新点 也是系统区别于传统视频监控系统 的关键之处 主要包括对象识别功能和行为分析功能 对象识别功能 对象识别功能是指系统能够从监控视频中自动提取用户所感兴趣的目标 能快速区分并识别目标对象的类型 比如 车 人 宠物等等 行为分析功能 行为分析功能是指系统能够对所选定对象的行为 动作进行分析 如果满 足设定的条件 则发出预警信号 根据视频监控系统的需求 常用的功能有 突然入侵检测 对设定区域的移动物体 通过预先设置的大小形状来进 行过滤 进行动态跟踪 物体滞留监测 车辆或其他目标停在或滞留在固定位置超过用户设定时 间 这一功能可用来检测有多个移动物体的场景 多个移动物体的暂时 滞留不会激发报警 移走物体监测 预定义目标物被移走或被遮挡时激发一个报警 选项 当物体被隐藏超过设定时间后激发报警 移动路径监测 检测从一个区域移动到另一个区域的目标 监控往禁止 方向的运动 可设定从a 到b 从b 到a 或双向 提供目标物路径轨 迹的报警视频 移动速度监测 检测从一个区域到另一个区域的移动目标 当目标移动 速度过快或过慢时报警 检测方向可设定为从a 到b 从b 到a 或双 向 突然出现监测 监控在用户定义的目标区域内出现任何物体 当目标区 域内出现任何物体立即报警 物体起动监测 用于监测目标区域内的静止物体 发生移动时立即触发 1 2 第2 章系统需求分析 报警 定向移动监测 用于监控目标区域内物体的移动方向 可设定o 度至u 3 6 0 度的扇形角度为禁止方向 当物体在目标区域内的移动方向满足触发条 件后立即报警 徘徊监测 用于监控进入目标区域内的人员情况 可设定在目标区域内 的滞留时间 当人员在目标区域内徘徊超过设定时间时触发报警 人数统计 统计穿越入口或指定区域的人或物体的数量 例如为业主计 算某天光顾其店铺的顾客数量 人群控制 识别人群的整体运动特征 包括速度 方向等等 用以避免 形成拥塞 或者及时发现异常情况 典型的应用场景包括超级市场 火 车站等人员聚集的地方 交通流量控制 用于在高速公路或环线公路上监视交通情况 例如统计 通过的车数 平均车速 是否有非法停靠 是否有故障车辆等等 1 3 第3 章系统总体设计 3 1系统设计原则 第3 章系统总体设计 系统设计主要遵循以下基本原则 规范化 系统设计依据最新的国际标准 国家标准和行业标准 遵守开放的原则 系统设计有外部接口 很容易与其他应用系统共享数据 实现无缝衔接 安全可靠性 建立完善的网络与信息安全保障体系 确保系统运行有高度的可靠性和安 全性 系统应具有不同级别的安全运行管理措施 如 用户识别 口令 访问 控制级别和范围等功能 具有防止非法访问 记录全部登录过程 提供安全日 志的功能 同时 系统应提供可靠 自动的数据备份和数据恢复解决方案 确 保数据的安全和完整 引 控制优先级 使用全局统一的逻辑授权机制 保证全局同步更新授权 避免造成控制混 乱 实用性 采用成熟的技术 并结合各类不同应用环境的实际需求 建设一套能够适 合多种行业应用 具有较强实用性的系统 集监控 报警 控制功能三位一体 功能强大 性能优良 界面醒目 友好 系统各种操作简单 易学易用 先进性 采用成熟的先进技术 保证具有较好的先进性 实用性和较长的生命周期 要充分考虑到现代信息技术的飞速发展 使系统具有较强的开放性 为技术更 新 功能升级留有余地 可扩展性 系统采用模块化设计 具有较强的扩展性 可以方便的实现规模的扩充和 业务的延伸 软件支持在线升级 扩充 可实现平稳过渡 1 4 第3 章系统总体设计 可维护性 系统设计时充分考虑到系统的可维护性 可实现远程维护 具有维护操作 简单 维护工作量小的特点 经济性 系统开发运行平台均采用当今最为通用的各种操作系统和开发工具 充分 利用了我们在其他产品和系统中成功应用的中间件和模块 大大减少在系统平 台方面的投入 具有极高的性能价格比 兼容性 系统应遵循开放性原则 提供符合国际标准的软硬件 通信 网络 操作系 统和数据库管理系统等诸方面的接口与工具 使系统具备良好的灵活性 兼容性 和可移植性 我们采用的设备接口应为标准的接口 使整个系统均能与其它系 统达到最大的兼容性 同时可以满足实施系统集成控制时与其它各个智能化子 系统之间的通信 联动 3 2 系统设计依据 在系统设计和实施过程中 本系统设计依据和参照的国家标准 行业标准 如下 i s o i e c l 3 8 1 8i s o i e c1 4 4 9 6 i t u th 3 2 0i t u th 3 2 3 i t u th 2 61i t u th 2 6 3n u th 2 6 3 n u th 2 6 3 i t u th 2 6 4 g b t2 0 0 9 0 信息技术先进音视频编码 g a t 7 5 9 4 安全防范工程程序和要求 g a t 7 4 9 4 g a 安全防范系统通用图形符号 g a t 2 7 1 9 9 2 中华人民共和国公安部行业标准 g a t 7 5 1 9 9 4 安全防范工程程序与要求 g a t 7 0 9 4 中华人民共和国公共安全行业标准 1 5 第3 章系统总体设计 3 3系统架构 这里讲的系统架构 指的是将智能视频分析过程放在前端设备 还是放在 中心服务器 随着摄像机处理芯片的功能日益强大 以及视频分析算法对处理芯片的要 求不再严荷 如今多种类型的视频分析功能可以在服务器 或是摄像机上执行 一个真正面向未来的解决方案是 让视频分析功能同时在这两个点上进行 即 服务器和前端 这是因为 仍然有一些类型的视频分析需要中央服务器更强的 处理能力和速度 另外 我们也发现越来越多的前端设备具有了视频分析的功 能 在这种情况下 就需要有一套强有力的视频管理系统 将不同厂商 不同 前端设备提供的视频分析数据集中管理 真正体现出它们的价值 3 3 1基于前端设备的分布式分析 视频分析功能放在前端 摄像机 将有助于减轻系统的整体处理负荷 因 为视频分析是在图像压缩之前进行的 这也意味着 图像将不必在服务器上进 行解压缩 进而实现视频分析功能 相反地 视频数据将提供必要的信息 易 于识别和检索 用户可以建立自己的系统 用以储存自己 感兴趣 的信息 如发 生安全事故 或未经允许擅自闯入的影像片断 1 0 在摄像机上进行视频分析 对于逐步兴起的百万像素摄像机来讲 可以解 决两大问题 即带宽和存储 百万像素摄像机可以为视频分析产品提供更多必 要的细节 以实现复杂的处理 在摄像机上进行视频分析 可以确保通过网络 传送和储存你感兴趣的视频 最新一代的网络摄像机还结合了最先进的芯片设计 压缩技术为 h 2 6 4 m p e g 4 以达到更高的清晰度与占用更少的带宽 这进一步为大型监 控系统采用百万像素摄像机 以及在摄像机上进行视频分析铺平了道路 此外 目前先进的数字信号处理 d s p 技术也为在摄像机内设置视频分析 功能提供了可能 几个d s p 制造商已经联手不同的视频分析开发商共同参与摄 像机的设计 并且将有几种标准尝试推出市场 标准化设计 以及将视频分析 功能集成在摄像机主板的一个芯片上 而不是两个或两个以上的芯片 将可以 降低每路视频处理的价格 1 6 第3 章系统总体设计 3 3 2基于中心服务器的集中式分析 当需要对数百个监控摄像机实时的 或储存的数据执行视频分析时 基于 服务器的视频分析功能是一种更好的解决方案 它拥有更大的处理能力和中央 管理能力 基于服务器的视频分析功能能够进行更复杂的分析处理 和对储存 录像对更快速的搜索 基于服务器的解决方案是至关重要的决策工具 到 它对于 安全 人力资源 业务和市场营销等这些部门来说 可以提供事后搜索的标准 还可以实现面部识别或物体识别 这些要优于基于摄像机的视频分析解决方案 3 3 3综合式架构 如上所述 基于前端设备的分布式分析和基于中心服务器的集中式分析方 式 均有各自的优缺点 因此在系统设计时 我们充分考虑到两种方式的优缺 点 采取两种方式混合使用的系统架构 根据目前d s p 的处理能力 将一部分 其力所能及的运算放在前端 而将较为复杂的运算放在中心服务器 将分布较 为分散的监控点实施分布式分析 而数量较为集中的监控点采取集中式分析 系统架构示意图如图3 1 所示 图3 1 系统架构示意图 1 7 第3 章系统总体设计 3 4系统组成 3 4 1 系统组成示意图 系统分为管理中心和前端采集两部分 前端采集又包含带分析和不带分析 两类 系统组成示意图如图3 2 所示 图3 2 系统组成示意图 1 8 第3 章系统总体设计 第3 章系统总体设计 议支持p e l c o l i l i n y a a n v i c o n p h i l i p s k a l a t e l p a n a s o n i c s o n y a b u l t r a k 等多种解码协议 分组配置 实现了对摄像机的分组分部门管理 对于不同的用户只能观 看所分配的摄像机 设置摄像机分组序号 摄像机i d 等 用户配置 设置用户登录i d 用户名称 用户优先级 用户类型等 视频分析服务器配置 设置视频分析服务器d 名称 类型 级别 口地址 端口号 最大视频流数量等 分组配置 设置分组编码 分组名称 分组类型 分组坐标等 智能分析仪配置 设置分析仪的型号 m 名称 端口号 所属分组 传输方式等 编码器配置 设置接入终端名称 接入终端p 命令端口号 串口功能 波特率 校验标志 视频传输方式 a u t o t c p u d p i g m p 所属 分组等 摄像机配置 设置摄像机d 摄像机名称 方向属性 变倍属性 光 圈属性 灯光属性 雨刷属性 所属站点等 3 视频设备管理功能 系统管理员可远程配置和管理智能分析仪 视频编码器等设备 并能自动 诊断 自恢复视频设备的工作状态 其主要功能如下 显示所有在线设备 根据端口和p 地址搜索设备 设置分析仪的识别目标 识别行为 及相关参数 设备网络参数配置与维护 设备m 地址 子网掩码 网关 端口号等 参数的配置和维护 设备视频属性配置与维护 视频传输速率 帧率 视频制式 n t s c p a l 视频数据格式 q c i f c i f 2 c i f 4 c i f 标准亮度 对比度 色度 饱和度等参数的配置与维护 控制接口参数配置与维护 控制接口r s 4 2 2 4 8 5 的波特率 奇偶校验类 型等参数的配置与维护 透明数据串口参数配置与维护 透明数据串口r s 2 3 2 的波特率 奇偶校 验类型等参数的配置与维护 3 4 2 2 视频分析服务器 第3 章系统总体设计 视频分析服务器是整个系统实现视频分析的核心 主要实现整个系统网络 视频接入 目标对象的识别 目标对象的行为 用户访问控制管理 视频调度 管理等功能 运行环境为w i n d o w s2 0 0 3s e r v 副w i n d o w s2 0 0 0s e r v e r 视频分析服务器主要实现三大类功能 目标对象的识别 目标对象的行为 分析 预警行为的上报及处理 l 目标对象的识别 可根据需求的不同 区分人 车 动物等多种类型的目标 2 目标对象的行为分析 1 突然入侵检测 可以感知设定区域内突然出现和入侵的物体并及时报警 比如在戒备森严 的军事重地或银行博物馆等重要场所出现可疑人物等 适用场合 军事重地 军械库 监狱 银行 库房重地 博物馆 珠宝店等 国家领导人 重要人物住所 涉抢防爆和剧毒化学等重点单位 水 电 气 核电站 油田等重点部位 澎 巾 一 一 姚 j9灏检 一 侵 入 射 3 3 抽 图 艋粘钇 一 厶乙 第3 章系统总体设计 2 移动物体检测 对设定区域的移动物体进行动态跟踪 可以检测设定区域内是否有 可疑人物进入 逗留或徘徊 对检测到的目标物跟踪并且提出报警 适用场合 军事重地 军械库 监狱 油田 银行 库房重地 博物馆 珠宝店等 国家领导人 重要人物住所 机场 高速公路 火车站 港口 海关 居民小区 图3 4 移动物体检测 3 运动路径检测 集中监控人 车或其他物体是否沿着某一方向穿越进入某一指定区 域 对进入设定区域内的目标物进行探测 跟踪并及时报警 适用场合 交通违章 逆行 违章掉头 违章左转 违章右转 闯红灯 机场 海关出入口逆行等 第3 章系统总体设计 图3 5 运动路径检测 4 遗留物体检测 车辆或其他目标物停靠或滞留超过一定的时间 对被蓄意放在设定 区域的物品进行探测并报警 比如有人遗留包裹或爆炸物等 适用场合 机场 地铁等交通要塞的反恐行为侦测 银行 博物馆 珠宝店等 复杂环境的公共场合 隧道 高速公路违章停车的检测 学校 幼儿园等 第3 章系统总体设计 图3 6 遗留物体检测 5 指向接近检测 监控车辆或行人按预定义的多个方向朝确定目标的接近或背离运 动 能够对物体的运动方向进行准确识别和判断 适用场合 军事重地 军械库 监狱 油田 银行 库房重地 博物馆 珠宝店等 国家领导人 重要人物住所 第3 章系统总体设计 图3 7 指向接近检测 6 移走物体检测 当设定的监控区域内目标物被移走 替代或恶意遮挡时发出报警 用来保护财产安全 适用市场 银行 博物馆 珠宝店等放置贵重物品的场所 财务室 展览馆 停车场 商场 小区等 图3 8 移走物体检测 第3 章系统总体设计 3 预警行为的上报处理 当视频分析服务器检测到设定目标 设定行为发生时 将按照系统设置 的预警策略 做出响应的联动动作 启动报警视频录像 报警日志记录 通知客户端 进行报警确认 通知方式 软件通知 短信通知 自动电 话通知 处理流程如下图所示 报餐