（信号与信息处理专业论文）基于avs标准的视频监控系统设计.pdf

l 剃哕剃! ! ：；l 必y 17 5 3 7 6 7 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确 的说明并表示了谢意。 研究生签名：差曼隍日期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文 的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档 的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借 阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东 南大学研究生院办理。 研究生签名：监导师签名：缎日期： 巡) 乙 1 摘要 摘要 基于a v s 标准的视频监控系统设计 学生姓名：吴昌猛导师姓名：邹采荣 东南大学信息科学与工程学院 随着信息化程度的不断深入，安防监控技术越来越广泛的应用于生产和生活的各 个领域，例如银行、企业、学校、交通等。对于不同应用目的的监控系统来说，监控 时间长、存储量大是它们一个共同的特点，当今视频监控中采用的主流的压缩标准包 括m p e g 2 、m p e g 4 、h 2 6 4 、a v s 等。a v s 标准是a v s 工作组指定的具有我国自主 知识产权的音视频标准。自2 0 0 2 年制定以来，a v s 标准在i p t v 、移动多媒体等领域 取得了广泛的应用，并且针对于监控视频领域的a v s s 标准也在积极的制定当中。对 于安全性能要求较高的环境，需要监控系统能对监控区域出现的运动目标实现智能的 检测识别功能。 鉴于以上背景，本文设计了一个基于a v s 标准的智能视频监控系统，全文共分为 三部分。 第一部分主要从a v s 编码的算法层面上提出了一种以较小的视频质量损失为代 价实现编码速度大幅度提高的帧间帧内预测技术，该算法摒弃了参考代码中全遍历所 有的帧间帧内预测模式后选择出最优的预测模式进行编码的做法，通过时空相关性和 宏块纹理特征、边缘特征等提前对预测模式进行预测判断，大大提高了编码的速度。 第二部分利用了视频编码中产生的运动矢量信息判断当前视频帧中是否含有运动 物体，在不需要额外添加目标检测模块的情况下实现了目标检测的功能，这对于硬件 条件有限的监控系统具有很好的参考价值。 第三部分采用d i r e c t s h o w 技术实现了基于前两部分算法的监控系统的软件设计， 该部分的主要工作是设计视频预处理过滤器、视频编码过滤器，然后将这两个f i l t e r 加入现成的视频采集应用程序源码中进行了二次开发。 实验结果表明，该系统在删比算法优化前降低0 3 i d b 左右的情况下，编码速 度提高了8 2 。对于监控区域运动情况简单的室内监控环境来说，本系统能实现准确 度较高的目标检测功能。 关键词：a v s 标准，帧间预测，帧内预测，目标检测，d i r e c t s h o w 开发 1 一 m o n i t o r i n gt e c h n o l o g yb e c o m e sm o r ea n dm o r ew i d e l y u s e di nv a r i o u sf i e l d so ft h e p r o d u c t i o na n dl i f e ，s u c ha sb a n k s ，b u s i n e s s e s ，s c h o o l s ，t r a f f i ca n ds oo n f o rm o n i t o r i n g s y s t e m w i t hd i f f e r e n ta p p l i c a t i o n s ，t h e yh a v eac o m m o nf e a t u r ew h i c hi s l o n gt i m e m o n i t o r i n g a n d l a r g em e m o r yc a p a c i t y t h e m a i nc o m p r e s s i o ns t a n d a r d so fv i d e o s u r v e i l l a n c ei n c l u d em p e g 2 ，m p e g 4 ，h 2 6 4 ，a v se t c a v si st h ea u d i o & v i d e os t a n d a r d w i t ho u ro w ni n t e l l e c t u a lp r o p e r t yr i g h t s s i n c em a d eo u ti n2 0 0 2 ，a v sh a sw i d e l yu s e di n m a n yd i f f e r e n tf i e l d s s u c ha si p t va n dm o b i l em u l t i m e d i a b e s i d e s ，a v s - sf o rv i d e o s u r v e i l l a n c ea r e ai si nt h ep o s i t i v ed e v e l o p m e n t f o re n v i r o n m e n t sw i t hh i g hs e c u r i t y r e q u i r e m e n t ，m o n i t o r i n gs y s t e mm u s th a v et h ef u n c t i o nt h a td e t e c t st h em o t i o no b j e c ti nt h e m o n i t o r i n gf i e l d ， v i e wo ft h ea b o v eb a c k g r o u n d ，t h ep a p e rd e s i g n sa l l i n t e l l i g e n tv i d e om o n i t o r i n g s y s t e mb a s e d o na v s t h ef u l l - t e x th a st h r e ep a r t s t h ef i r s tp a r tr e a l i z e st h ei n t e r i n t r ap r e d i c ta l g o r i t h mw h i c hc a ng r e a t l yi m p r o v e c o m p r e s s i o ns p e e di nl i t t l el o s to ft h ev i d e oq u a l i t y t h ei d e ai s t oc h o o s et h eo p t i m a l p r e d i c t i o nm o d et h r o u g ht e m p o r a l & s p a t i a lc o r r e l a t i o n ，t e x t u r ef e a t u r e sa n de d g ef e a t u r e s o ft h em a c r o b l o c ki n s t e a do ft r y i n ga l lt h ep r e d i c t i o nm o d e s t h es e c o n dp a r tf u l l yu s e st h em o t i o nv e c t o r so ft h ee n c o d e df r a m et od e t e c tw h e t h e r t h ef r a m eh a sm o t i o no b j e c t s t h em e t h o dr e a l i z e st h ed e t e c t i n gf u n c t i o nw i t h o u ta d d i n g a n o t h e rm o d ea n di th a st h eg r e a tr e f e r e n c ev a l u ef o rt h em o n i t o r i n gs y s t e mw i t hh a r d w a r e l i m i t e d t h el a s ts e c t i o nc o m p l e t e st h es o f t w a r ed e s i g no ft h em o n i t o r i n gs y s t e mb a s e do nt h e a l g o r i t h m si nt h el a s tt w op a r t su s i n gd i r e c t s h o w t h em a i nw o r ki n c l u d e st h ed e v e l o p m e n t o fv i d e op r e t r e a t m e n tf i l t e ra n de n c o d e rf i l t e r , a d d i n gt h ef i l t e r si n t ot h eo p e ns o u r c e so f a p p l i c a t i o np r o g r a m t h ee x p e r i m e n ts h o w st h es y s t e mc a l lg e t8 2 i n c r e a s ei ne n c o d es p e e di nt h el o s to f 0 31d bd e c r e a s eo ft h ep s n r f o rt h ei n d o o rm o n i t o r i n ge n v i r o n m e n tw i t hs i m p l em o t i o n c o n d i t i o n ，t h es y s t e mc a l la c h i e v ea c c u r a c yr a t e so fu pt o9 5 i nt h et a r g e td e t e c t i o n c a p a b i l i t i e s k e y w o r d s ：a v ss t a n d a r d ，i n t e rp r e d i c t i o n ，i n t r ap r e d i c t i o n ，o b j e c td e t e c t i o n ，d i r e c t s h o w i i i r 目录 目录 摘要。i a b s t r a c t i l i 目勇乏v 第1 章绪论1 1 1 课题背景及研究意义1 1 1 1 视频监控背景1 1 1 2a v s 视频标准介绍1 1 1 3 课题意义2 1 2 视频监控技术研究状况2 1 2 1 视频监控压缩技术现状2 1 2 2 智能监控中目标检测技术现状4 1 3 论文内容及结构安排5 1 4 本章小结6 第2 章a v s 视频编码关键技术7 2 1 视频编码的基本原理7 2 1 1 预测编码7 2 1 2 变换编码。9 2 1 3 熵编码1 0 2 1 4 视频压缩质量评估l2 2 2a v s 视频编码流程13 2 3a v s 视频编码的预测技术1 4 2 3 1 帧问预测l4 2 3 2 帧内预测16 2 4 本章小结16 第3 章基于监控视频特征的预测编码技术1 7 3 1a v s 参考代码流程分析l7 3 1 1 模块复杂度分析1 7 3 1 2a v s 参考代码流程框架l8 v l 东南大学硕七学位论文 3 2 帧间预测技术优化2 0 3 2 1 帧间预测模式分布特征2 0 3 2 2 帧间预测优化算法概述2 l 3 2 3 本文帧问预测优化算法2 5 3 2 4 实验结果分析2 6 3 3 帧内预测技术优化2 8 3 3 1 帧内预测算法概述2 9 3 3 2 本文帧内预测算法3 l 3 3 3 实验结果分析3 3 3 4 本章小结3 4 第4 章基于a v s 编码信息的目标检测算法3 7 4 1 监控视频中的图像预处理技术3 7 4 1 1 图像色彩空间的选择3 7 4 1 2 监控视频中的噪声分析及滤波3 9 4 2 传统运动目标检测方法概述4 0 4 2 1 光流法4l 4 2 2 图像序列差分法4 1 4 2 3 背景差法4 2 4 3 基于a v s 编码的目标检测算法4 3 4 3 1 算法基本思想4 3 4 3 2 运动检测算法具体实现4 4 4 3 3 本算法的优缺点4 6 4 4 实验结果4 6 4 5 本章小结4 7 第5 章基于d i r e c t s h o w 框架的软件平台设计一4 9 5 1d i r e c t s h o w 技术简介4 9 5 1 1d i r e c t s h o w 简介4 9 5 1 2d i r e c t s h o wf i l t e r 组件开发5 0 5 2 视频监控系统软件设计5 4 5 2 1a v c a p 程序框架简介5 5 目录 5 2 2 视频监控系统的f i l t e r 组件开发5 8 5 2 3 视频监控系统的性能6 l 5 3 本章小结6 2 第6 章总结与展望6 3 参考文献6 5 致谢6 9 v i l _ _ _ 。一 l 一 第l 章绪论 第1 章绪论 1 1 课题背景及研究意义 1 1 1 视频监控背景 二十一世纪是信息技术飞速发展和广泛应用的时代，世界的任何角落、人们的日 常生活每时每刻都离不开信息技术。因此，在对信息数据的获取、加工处理、传输、 存储、决策和执行等方面新的理论和技术不断出现和更新。而作为信息获取和交流的 最主要的媒体视频，更是成为当今的研究热点，这些领域涉及到视频图像的预处 理，视频数据的传输，视频压缩编码等等。 视频监控是传统的视频技术与现代通信技术相结合的应用。视频监控的基本功能 包括对监控的画面进行存储供事后回放、实施远程控制、接受报警信号、进行报警触 发联动等。视频监控需要长时间的采集视频数据，与其它数字视频不同的特点是：( 1 ) 监控时间长，视频分辨率高，监控视频的数据量非常惊人。以c i f 格式为例，要达到 实用的录像质量和2 5 帧秒的连续性，一个视频通道以j p e g 进行帧内压缩将产生约 1 5 k b 帧、3 7 5 k b 秒、1 3 5 g b d 、时的数据量，以h 2 6 4 进行流式压缩也将产生约 4 0 0 k b p s 秒、2 0 0 m b ，j 、时的数据量。( 2 ) 监控目的性比较明确，在特定地点安放监控摄 像头的监控对象一般都已确定。比如在公路上监控的主要是车，在写字楼里主要监控 的是人。( 3 ) 监控视频中很多时候会有画面无变化现象。在一般的监控视频中很大部分 时间是不含被监控对象的，也即是画面中只有不变的背景。 随着数字化、电信级等概念的引入，许多更新的视频监控业务不断衍生出来。如 旅游景点，利用视频监控方式，用户登录景点区网络后，可以观测到景区实时画面， 从而判断出游的价值。如宝宝在线系统，家长通过网络可实时实景观察到孩子在幼儿 园学习、生活、游戏的情形。借助医院、敬老院的监控图像，值班医生可集中观察各 病房病人情况，同时也方便家属远程看护病人。监控系统还可以用于娱乐共享、网上 直播、商业分析、河流检测、环境管理、排污监测、企业远程视频展示、森林防火。 1 1 2 a v s 视频标准介绍 a v s 是指由国家信息产业部科学技术司于2 0 0 2 年6 月批准成立的数字音视频编 解码技术标准工作组所制定的标准，并于2 0 0 6 年初成为国家标准，压缩性能是前一代 编码标准m p e g 一2 的两三倍，与h 2 6 4 、m p e g - 4 相当，但在算法实现方面相对简单： a v s 解码复杂度相当于h 2 6 4 的3 0 ，a v s 编码复杂度相当于h 2 6 4 的7 0 。而且与 m p e g - 2 4 和h 2 6 4 相比，a v s 的优点是专利授权模式简单，知识产权清晰，专利使 用费低，将给企业节约大量的资金。 东南大学硕士学位论文 1 1 3 课题意义 随着视频监控市场的准入门槛进一步提升，以及监控技术的发展、监控市场的不 断标准化，视频监控市场的重新洗牌不可避免，监控技术及建设模式、监控产业的价 值链、监控市场的游戏规则都会逐步发生变化，特别是网络厂商的进入，会加速这一 趋势。针对视频监控领域的这一崭新的机遇，a v s 视频工作组在2 0 0 7 年6 月便成立 了a v s 视频监控技术工作小组，与国家公安部一所联合推进国内视频监控格式与标准 的制定，而视频监控的标准则定为a v s s 。本课题结合监控视频的特点和a v s 标准， 利用微软针对多媒体开发提供的软件构架实现一个视频监控系统，在对a v s 标准中的 核心编码技术帧问预测和帧内预测技术作了详细的分析后提出了一种具有参考价 值的改进方案。另外针对于智能化的监控视频要求，本课题摒弃传统的目标检测方法， 实现了一种利用编码中的运动特征信息来达到目标检测的方法。本课题的提出具有相 当大的实际工程意义，对监控视频压缩领域将会产生比较大的影响。 1 2 视频监控技术研究状况 视频监控系统是一项复杂而又庞大的数字信息工程，涉及到视频数据的压缩、传 输、存储、视频内容的跟踪提取等。随着当今社会信息化程度的不断提高以及人们安 全意识的不断提高，视频监控的应用越来越普及，对监控视频技术的研究也更加深入 和成熟，各种先进的视频图像处理技术被广泛的应用于视频监控领域，其中视频压缩 技术和运动目标检测技术是两个非常重要的组成部分。 在某些监控的场所对安全性要求比较高，需要对运动的物体进行及时的检测和跟 踪，因此我们需要一些精确的图像检测技术来提供自动报警和目标检测。运动检测作 为在安防智能化应用最早的领域，它的技术发展和应用前景都受到关注。运动检测是 指在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。 但是如何从实时的序列图像中将变化区域从背景图像中提取出来，还要考虑运动区域 的有效分割对于目标分类、跟踪等后期处理是非常重要的，因为以后的处理过程仅仅 考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、 影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。 i 2 i 视频监控压缩技术现状 对安防和监控视频来说，图像压缩主要应用在存储和宽带传输上。在这项技术的 发展过程中，为了能通过l a n 和相对高速的w a n 传输，人们需要更高的分辨率和更 清晰的视频。应用不同的视频压缩格式会影响到图像清晰度、画面延时、稳定性，目 前主要的视频压缩算法包括：m j p e g 、m p e g 、h 2 6 4 、j p e g2 0 0 0 、a v s 。 lm - j p e g 【1 l m j p e g ( m o t i o n j o i np h o t o g r a p h i ce x p e r t sg r o u p ) 技术即运动静止图像( 或逐帧) 压 2 第1 章绪论 缩技术，广泛应用于非线性编辑领域可精确到帧编辑和多层图像处理，把运动的视频 序列作为连续的静止图像来处理，这种压缩方式单独完整地压缩每一帧，在编辑过程 中可随机存储每一帧，可进行精确到帧的编辑，此外m j p e g 的压缩和解压缩是对称 的，可由相同的硬件和软件实现。但m j p e g 只对帧内的空间冗余进行压缩。不对帧 间的时间冗余进行压缩，故压缩效率不高。 2m p e g 【2 l m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ) 的缩写，于1 9 8 8 年成立。 目前m p e g 己颁布了三个活动图像及声音编码的正式国际标准，分别称为m p e g 1 、 m p e g 2 和m p e g 3 、m p e g 4 。 m p e g ，l 是m p e g 组织制定的第一个视频和音频有损压缩标准。m p e g 1 曾经是 v c d 的主要压缩标准，是目前实时视频压缩的主流，可适用于不同带宽的设备，如 c d r o m 、v i d e o c d 、c d i 。 m p e g 2 制定于1 9 9 4 年，设计目标是高级工业标准的图象质量以及更高的传输率。 m p e g 2 所能提供的传输率在3 1 0 m b i t s s e e 间，其在n t s c 制式下的分辨率可达 7 2 0 x 4 8 6 ，m p e g 2 也可提供并能够提供广播级的视像和c d 级的音质。除了作为d v d 的指定标准外，m p e g 2 还可用于为广播，有线电视网，电缆网络以及卫星直播 ( d i r e c t b r o a d c a s t s a t e l l i t e ) 提供广播级的数字视频。 m p e g - 3 是m p e g 组织制定的视频和音频压缩标准。本来的目标是为h d t v 提 供2 0 - 4 0 m b p s 视频压缩技术。在标准制定的过程中，委员会很快发现m p e g 2 可以取 得类似的效果。随后，m p e g 3 项目停止了。 m p e g - 4 格式的主要用途在于网上流及光盘分发，语音传送( 视频电话) ，以及电 视广播m p e g 4 包含了m p e g 1 及m p e g 2 的绝大部份功能及其他格式的长处，并加 入及扩充对虚拟现实模型语言( v r m lf o rv i r t u a lr e a l i t ym o d e l i n gl a n g u a g e ) 的支持，面 向对象的合成文件( 包括音效，视频及v r m l 对象) ，以及数字权限管理数字版权管理 ( d r m ) 及其他交互功能。m p e g 4 大部份功能都留待开发者决定采用是否。这意味着 整个格式的功能不一定被某个程序所完全函括。因此，这个格式有所谓p r o f i l e s 及 层次( 1 e v e l s ) ，定义了m p e g 4 用于某些特定应用的某些功能的集合。 3h 2 6 4 【3 1 1 h 2 6 4 从技术上来说也是属于m p e g 4 范畴的，是i t u t 的视频编码专家组( v c e g i i 和i s o i e c 的活动图像编码专家组( m p e g ) 的联合视频组( j v t ：j o i n tv i d e ot e a m ) 开发的 一个新的数字视频编码标准，它既是i t u t 的h 2 6 4 ，又是i s o i e c 的m p e g - 4 的第 1 0 部分。与m p e g - 4 一样，h 2 6 4 是目前在监控领域应用比较广泛的算法。在同等的 图像质量条件下，h 2 6 4 具有更高的数据压缩比当前m p e g 2 高2 3 倍，比m p e g - 4 高1 5 - 2 倍。h 2 6 4 在技术上的先进性是公认的，因此h 2 6 4 也得到了产业界的青睐， 东南大学硕七学位论文 应用飞速发展。 4j p e g 2 0 0 0 1 4 1 j p e g 2 0 0 0 是为2 1 世纪准备的压缩标准，它采用改进的压缩技术来提供更高的解 像度，其伸缩能力可以为一个文件提供从无损到有损的多种画质和解像选择。 j p e g 2 0 0 0 被认为是互联网和无线接入应用的理想影像编码解决方案。“高压缩、低 比特速率”是j p e g 2 0 0 0 的目标。在编码算法上，j p e g 2 0 0 0 采用离散小波变换( d w t ) 和b i tp l a i n 算术编码( m qc o d e r ) 。此外，j p e g 2 0 0 0 还能根据用户的线路速度以及利用 方式( 是在个人电脑上观看还是在p d a 上观看) ，以不同的分辨率及压缩率发送图像。 5a v s 【5 】 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) 是我国第一个具有自主知识产权的数字音视频 编解码技术标准。a v s 标准在国家标准计划中的正式名称为信息技术先进音视频编 码，它是我国第一个具有自主知识产权、达到国际先进水平的数字音视频编解码标准。 通过综合的评测对比，a v s 与h 2 6 4 的编码效率处于同一水平，不过由于具有自主的 知识产权，在相关产品开发上具有明显的成本优势。 以上介绍的视频压缩标准也是当前视频监控领域主流的压缩标准，这些标准的核 心原理无一例外的都是基于去除视频序列中的空间冗余和时间冗余。它们在实现的过 程中不是仅局限于视频监控领域，为了达到视频压缩算法的普遍适用性和能够大部分 情况保持高的压缩效率，这些标准的代码实现存在很大的冗余度和可压缩的空间。本 文就是结合监控视频特征来优化a v s 标准的参考代码。 1 2 2 智能监控中目标检测技术现状 在某些监控的场所对安全性要求比较高，需要对运动的物体进行及时的检测和跟 踪，因此我们需要一些精确的图像检测技术来提供自动报警和目标检测。运动检测作 为在安防智能化应用最早的领域，它的技术发展和应用前景都受到关注。运动检测是 指在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。 但是如何从实时的序列图像中将变化区域从背景图像中提取出来，还要考虑运动区域 的有效分割对于目标分类、跟踪等后期处理是非常重要的，因为以后的处理过程仅仅 考虑图像中对应于运动区域的像素。然而，由于背景图像的动态变化，如天气、光照、 影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。常见的目标检测 算法有背景减除法、时间差法、光流法等。 1 背景减除 6 l ( b a c k g r o u n ds u b t r a c t i o n ) 背景减除方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图 像的差分来检测出运动区域的一种技术。它一般能够提供最完全的特征数据，但对于 动态场景的变化，如光照和外来无关事件的干扰等特别敏感。最简单的背景模型是时 间平均图像，大部分的研究人员目前都致力于开发不同的背景模型，以期减少动态场 4 第1 章绪论 景变化对于运动分割的影响。 2 时间差分 7 ( t e m p o r a ld i f f e r e n c e ) 时间差分( 又称相邻帧差) 方法是在连续的图像序列中两个或三个相邻帧间采用基 于像素的时间差分并且阈值化来提取出图像中的运动区域。时间差分运动检测方法对 于动态环境具有较强的自适应性，但一般不能完全提取出所有相关的特征像素点，在 运动实体内部容易产生空洞现象。 3 光流 8 l ( o p t i c a lf l o w ) 利用光流场来初始化基于轮廓的跟踪算法，从而有效地提取和跟踪运动目标。该 方法的优点是在摄像机运动存在的前提下也能检测出独立的运动目标。然而，大多数 的光流计算方法相当复杂，且抗噪性能差，如果没有特别的硬件装置则不能被应用于 全帧视频流的实时处理。 对于传统目标检测技术的详细分析可以参见论文第匹章，本章针对视频监控的特 点，利用视频压缩算法中的运动特征的信息，提出一种简单、实用、有效新颖的背景 图像建模算法。智能监控系统可以在实现视频信号压缩的同时实现视频监控中运动目 标的检测，而无需添加一个额外的目标检测模块，为实时的智能视频监控系统的设计 提供了一种新的思路。 1 3 论文内容及结构安排 本文首先对视频监控领域中常用的视频压缩标准和智能监控中的传统目标检测方 法的现状作了分析。一方面，本文针对视频压缩技术提出了一种利用监控视频运动简 单，背景帧占多数的特点优化帧间帧内预测的算法，在保持视频质量的前提下大大提 高了编码的速度，对利用a v s 标准实现实时视频监控有很高的参考价值；另一方面， 本文还提出了一种充分利用视频编码中运动特征信息实现运动目标检测的方法，为智 能监控系统中的目标检测与跟踪研究提出一个新的切入点。最后，本文还在p c 机上 利用m i c r o s o f td i r e c t s h o w 技术实现了一个简单的基于a v s 标准的视频监控系统。 因此本文的章节安排如下： 第1 章：绪论，主要分析了本课题的研究背景与意义，监控视频压缩技术的发展 现状，传统的运动目标检测技术发展现状以及本文所作的工作。 第2 章：主要研究了视频压缩基本原理和a v s 标准中采用的视频编码技术。 第3 章：首先分析了a v s 视频编码技术中两个核心的编码技术帧问预测和帧 内预测技术，然后提出了针对于监控视频的帧间帧内预测的优化方法。 第4 章：在本章开头，首先分析了与本章关系不是很密切的视频监控中的图像预 处理技术，然后分析了现今常用的几种运动目标检测算法，最后提出一种结合视频压 5 降低 足，并对将 第2 章a v s 视频编码关键技术 第2 章a v s 视频编码关键技术 国际上已经成功地制定了面向各种应用的视频编码标准，主要包括m p e g 1 标准、 m p e g 2 标准、m p e g - 4 ，尤其是最近国际上新制定的h 2 6 4 a v c 视频编码标准，与 以往任何编码标准相比，其压缩效率都至少提高了一倍以上。a v s 视频编码标准是指 由国家信息产业部科学技术司于2 0 0 2 年6 月批准成立的数字音视频编解码技术标准工 作组所制定的标准【9 】。与国际标准的制定工作相比，a v s 更注重应用的需求，为不同 的应用提供不同的技术解决方案，以达到复杂度和效率之间的适当折衷。a v s l p 2 是 主要针对高清晰数字电视广播和高密度存储媒体应用制定的视频编码标准。本章主要 研究a v s 视频编码的关键技术。 2 1 视频编码的基本原理 由于视频信号信息量大，存储设备容量有限，网络传输带宽有限等限制，迫使对 于视频压缩技术发展的需要。视频压缩就是充分利用视频信号的时间上或者空间上的 相关性，在保持原始视频质量的前提下，尽可能的去除视频信号内的冗余，从而达到 节省1 字储空间的目的。一般的视频编码技术包括预测编码、变换编码和熵编码等。 2 1 1 预测编码 预测编码是最简单实用的压缩方法，编码后传递的数据是特定取样的预测值和实 际值之差。预测编码包括帧问预测和帧内预测两种。 1 帧间预测编码 如图2 一l 所示，把当前帧工 力与帧存储器中存储的已预测帧( 参考帧) 同时输入运 动矢量预测模块，经过搜素，比较得到最佳匹配块以及当前块到最佳匹配块的运动矢 量m v 。再将此m v 输入到运动补偿预测器中，得到预测图像石o 。当前帧再与二( x 做差运算得到残差风 。如何更精确的找到最佳匹配块和其相对应的运动矢量以更 好的匹配当前块是提高视频压缩效率的关键所在。 图2 1 帧问预测编码 实际上由于两帧之间物体的运动一般为刚体的平移，它的位移量不大，因此往往 7 东南大学硕七学位论文 把一阵图像分成若干m x n 块【1 l 】，例如a v s 标准中宏块的大小一般是1 6 x1 6 、1 6 8 、8 1 6 、8 8 等。以块为单位分配运动矢量大大降低了总码率。在搜索区中，假 设当前块与参考帧中的最佳匹配块的位移是d ( i j ) ，则d ( i j ) 为运动矢量。 常见的匹配准则有： 。 ( a ) 均方误差( 脚最小准则： m s e ( i , 加击萎荟 胎川t - ( 川”川2 ( 2 - 1 ) ( b ) 绝对误差均值( m a d ) 最小准则： 施刚4 赤善善帆训) t 姒“y + j ) l ( 2 - 2 ) ( c ) 最小像素差值( s s d ) 平方和准则： s s d ( i ，) = 【 ( x ，y ) 一丘。 + f ，y + 朋2 ( 2 - 3 ) x = ly = l 为了找到最小的匹配误差函数，就需要提供一种高效匹配块的运动搜索方法。主 要的搜索算法可以归纳如下： ( a ) 全局搜索算法 在一个预先定义的搜索区域内，把它与参考帧中所有的候选块进行比较，并且寻 找具有最小匹配误差的一个。 ( b ) 分数精度搜索算法 为了达到更好的块匹配效果，常常突破搜索步长是整数的限制，而采用分数像素 步长。这种方法需要对参考帧的搜素区域进行插值，例如a v s 编码中采用了l 2 像素 插值和l 4 插值技术。 ( c ) 快速搜索算法 全局搜索算法是对候选区域的所有候选块进行遍历搜索，这种方法的缺点是计算量 大，计算时间长。快速搜索算法是一种局部搜索算法，它只能得到次最佳的匹配结果， 但是可以减少计算量和搜素时间。常见的搜索算法有二维对数搜索法、三步搜索法等。 2 帧内预测编码 去除时间冗余是编码器依据前( 后) 帧生成当前帧的特定的预测区域，然后通过当 前块与预测块的减法运算来获得残差信息。帧问编码就是去时间冗余的一个例子。与 时间冗余相对应的另外一种视频信号冗余来自于空间上的冗余。帧内预测编码就是基 于这样一种思想。当前编码块的预测块可以通过当前帧以前己编码的样本块来获得， 3 第2 章a v s 视频编码关键技术 有时空间预测也被称作d p c m 1 2 。 图2 2 演示了当前像素中x 的相邻像素艿、c 是已编码宏块，通常情况下，它们 之间的相关性比较大。帧内编码的思想就是利用a 、b 、c 构造一个x 的预测像素r 然后经过减法运算可以得到像素x 的残差。常规的帧内编码解码流程如下： bc ax 当前像素x 图2 2 帧内编码 编码端： 预测像素 z = ( 勿升o 4( 2 4 ) 像素残差 尺(x户酪r(2-5) 解码端： 构造出预测像素 x=(2a+b+c)4(2-6) 重建编码像素 j仁rg)+刀(2-7) 帧内预测的压缩效率取决于r 的准确程度。如果r 的预测精度非常接近于实际的 像素x ，那么所得残差的能量将非常小，压缩效率也非常高。然而对于一帧复杂的图 像来说，不可能仅仅选择一种预测模式能在整个的区域都有非常好的预测效果，依据 特定区域的一些统计特性( 例如平坦的纹理、水平方向纹理、垂直方向纹理等) 可以选 择出更加合适的预测模式。所以编码器给解码器传递所选预测模式的信息是很有必要 的，这也带了另外的问题有效的压缩模式选择和附加的预测模式选择的信息之间 的矛盾。 2 1 2 变换编码 对于大多数图像来说，直流和低频区占大部分，高频区占小部分。这样，如果将 9 东南大学硕士学位论文 间域的图像变化到频域或所谓的变换域，就会产生相关性很小的一些变换系数即所 的变换编码。 许多变换编码方法被引入到图像与视频压缩领域，最流行的变换一般趋向于两种 策略：基于宏块的和基于图像的。基于块的变换包括k l 变换、s v d 和d c t 变换。 所有的这些操作都是在n x n 的宏块或是样本残差上进行的，因此变换编码过程是以 块为基本单元进行的。从编码性能方面来考虑，k l 变换最理想，但是缺乏快速算法， 且变换矩阵随图像而异，不同图像需计算不同的变换矩阵，因而只用作参考比较。d c t 变换性能最接近于k l 变换，略次而异，但它具有快速算法，广泛应用于图像编码。 下面简要介绍一下d c t 变换。 令触，力为n x n 离散图像序列块，二维d c t 变换表示为： 脚) = c l 萎n - i 萎n - i 脚) c o s 鼍产c o s 警 ( 2 - 8 ) 厂( x ，y ) = 丢n - i 委n - ic 。c ，f ( 甜：v ) c 。s 警c 。s ! 三苎主另霉堡 ( 2 - 9 ) d d a x y = c xc 。s 学，其中e = 专( i = 0 ) ，c x = 专( i 。) ，则。c t 变换可 写成矩阵形式： f = a f a l( 2 - 1 0 ) f = a 。f a( 2 一l1 ) 对于n x n 值的选取，不同的标准规定不统一，国际标准h 2 6 4 a v c 中选择4 x 4 作为d c t 变换的基本单元，而a v s 编码中基本变换单元块大小则是8 x8 。 2 1 3 熵编码 利用信源的统计特性进行码率压缩的编码方式成为熵编码。熵编码将视频压缩处 理后的一系列具有代表性的符号组合成适宜于传输和存储的压缩流，这些符号及数据 包括宏块残差被变换量化后的系数、每个运动补偿块的运动矢量、序列头信息及填充 数据等。视频编码常用的两种编码方式是变长编码( 也称哈夫曼编码) 和算术编码。 1 哈夫曼编码 哈夫曼编码的基本思路是：对出现概率大的符号分配短字长的二进制码，对出现 概率小的符号分配长字长的二进制码，得到符号平均码长最短的码，因此变长编码又 称为最佳编码。哈夫曼编码的步骤如下： 1 0 第2 章a v s 视频编码关键技术 ( a ) 将信息符号按期出现的概率从大到小排列； ( b ) 将两个最小概率组成一组，划成两个分支域，并标以0 和l ：再把2 个分支域 合并成一个支域，标以两个概率之和； ( c ) 重复步骤( b ) ，直至概率之和等于1 0 ； ( d ) 找出概率和1 0 到各信息符号的路径，记下各路径从右到左各分支的0 和l ， 即得到信息符号相应的码字。 哈夫曼编码方法简单，但由于其编码的最小的单元是l b i t ，会引起概率匹配不准 确及编码效率的下降。 2 算术编码 通过上文中对变长编码的分析，很容易发现对于任何一个待编码的符号得到整数 个编码数据是次优的编码方式，因为在大多数情况下，一个符号的最优的编码数据个 数是带有分数的。算术编码就提供了一种实际的方法使编码效率更加接近于理论上的 最大的压缩率【1 3 】。详细的编码过程可以参看【1 1 】【1 2 】。 3a v s 编码标准的熵编码 a v s 中的熵编码方案既采用了m p e g 2 中( r u n ，l e v e