（计算机应用技术专业论文）视频前景与背景检测算法的研究与应用.pdf

视频前景与背景检测算法的研究与戍用摘要 论文题目：视频前景与背景检测算法的研究与应用 专业：计算机应用技术 硕士生：陆晴 指导教师：罗笑南教授 摘要 运动目标的检测与跟踪是计算机视觉中的重要课题，它在智能视频监控、机 器人导航、医学图像分析以及视频图像压缩等领域中都有广泛的应用。这技术 包括在视频图像序列中自动地进行运动目标的检测、目标跟踪、目标分类和行为 理解等方面的内容。另一方面，随着人们对视频、流媒体需求的日益增加，视频 通信与通信网络容量的矛盾也日益突出，视频压缩技术越来越受到人们的重视， 研究压缩性能更高且具有较低复杂度的视频压缩编码算法成为国内外的热点。 首先，本文在研究常见的视频动态背景建模技术的基础上，针对传统的混合 高斯模型以单一像素点为单位进行建模的冗余性、低效性，提出了一种基于图像 块的高斯混合模型方法，能够在一定程度上提高计算效率。并针对高斯模型对噪 声影响的抑制能力不够强、对背景内容的突然变化的适应性不够强的缺点，将高 斯混合模型与三帧差分相结合进行背景检测。通过实验验证，改进的背景检测算 法对于背景检测准确，处理速度快，能较好的抑止噪声的影响。另一方面，本文 在对视频压缩编码标准h 2 6 4 深入研究的基础上，针对目前h 2 6 4 标准中帧间模 式选择算法的高计算复杂度，将视频前景与背景检测技术应用于h 2 6 4 帧间s k i p 模式的快速判断中去。通过实验验证，本文方法可以增加背景区域和运动缓慢区 域s k i p 块的数量，能够提高判断速度，在一定程度上提高了编码算法的运算效 率和压缩比率，并且能够保证视频图像的质量。 关键词：视频压缩、背景模型、混合高斯模型、三帧差分、s k i p 模式 视频前景与背景检测算法的研究与应用摘要 t i t l e ：r e s e a r c ho na l g o r i t h mo fv i d e of o r e g r o u n da n db a c k g r o u n d m a j o r ： n a m e ： d e t e c t i o na n di t sa p p li c a t i o n c o m p u t e ra p p lic a tio na n dt e c h n o lo g y q i n gl u s u p e r v is o r ：p r o f x i a o n a nl u o a b s t r a c t t h ed e t e c t i o na n dt r a c k i n go fm o v i n gt a r g e t sa r ei m p o r t a n tt a s k si nc o m p u t e rv i - s i o n i th a sv a s ta p p l i c a t i o n si ni n t e l l i g e n tv i d e os u r v e i l l a n c e ，a u t o m a t i o nn a v i g a t i o n , m e d i c i n ei m a g ea n a l y s i sa n dv i d e oi m a g ec o m p r e s s i o n t h i st e c h n o l o g yi n c l u d e s a u t o m a t i c a l l yd o i n gt a r g e td e t e c t i o n , t a r g e tt r a c k i n g ，t a r g e tc l a s s i f i c a t i o na n db e h a v i o r u n d e r s t a n d i n ga n do t h e ra s p e c t si nt h ev i d e oi m a g es e q u e n c e o nt h eo t h e rl l a n d ，p e o - p i e sd e m a n df o rv i d e oa n ds t r e a m i n gm e d i ar a p i d l yi n c r e a s e ，b u tc o n t r a d i c t i o n sa b o u t t h ev i d e oc o m m u n i c a t i o n sa n dc o m m u n i c a t i o n sn e t w o r kc a p a c i t yh a v eb e c o m ei n - c r e a s i n g l yp r o m i n e n t ，t h u s , v i d e oc o m p r e s s i o nt e c h n o l o g yh a sb e e np a i dm o r ea n d m o r ea t t e n t i o n r e s e a r c h i n go nv i d e oc o m p r e s s i o na l g o r i t h mo fh i g h e rc o m p r e s s i o n p e r f o r m a n c ea n dl o w e rc o m p l e x i t yb e c o m e s h o ta th o m ea n da b r o a d f i r s t l y , t h i sp a p e rp r o p o s e san e wi m a g eb l o c k - b a s e dg a u s s i a nm i x t u r em o d e l b a s e do ns t u d y i n gc o m m o nv i d e od y n a m i cb a c k g r o u n dm o d e l i n gt e c h n i q u e sa n di n o r d e rt os o l v i n gt h er e d u n d a n c y , i n e f f i c i e n c yo ft r a d i t i o n a lg a u s s i a nm i x t u r em o d e l w h i c hb u i l d st h em o d e lb ys i n g l ep i x e l t oac e r t a i ne x t e n t ，i tc o u l di m p r o v et h e c o m p u t a t i o n a le f f i c i e n c y a n dg a u s s i a nm o d e li sn o ts t r o n ge n o u g hf o rn o i s ea n dt h e s u d d e n l yc h a n g i n go fb a c k g r o u n dc o n t e n t s ，s ow ec o m b i n et h eg a u s s i a nm i x t u r e m o d e lw i t ht h r e ef l a m ed i f f e r e n c ef o rd e t e c t i n gb a c k g r o u n d b ye x p e r i m e n t ，t h ei r a - p r o v e db a c k g r o u n dd e t e c t i o na l g o r i t h mc o u l dd e t e c tf o rb a c k g r o u n dm o l ea c c u r a t e a n df a s t e ra n db e t t e rf o rs u p p r e s s i o no fn o i s e o nt h eo t h e rh a n d ，t h ep a p e ra p p l i e si t t od e t e r m i n et h es k i pm o d eo fh 2 6 4a l g o r i t h mb a s e do ni n d e p t hs t u d y i n gv i d e o c o m p r e s s i o nc o d i n gs t a n d a r dh 2 6 4f o rs o l v i n gt h eh i g hc o m p u t a t i o n a lc o m p l e x i t yi n i i 视频i j 景与背景检测算法的研究与应用 摘要 h 2 6 4i n t e rm o d es e l e c t i o na l g o r i t h m b ye x p e r i m e n t ，t h em e t h o dc a ni n c r e a s et h e n u m b e ro fs k i pb l o c k so fb a c k g r o u n da n dm o v e m e n ts l o wa r e a , i m p r o v i n gt h ed e t e r m i n a t i o ns p e e da n da c c u r a c ya n dt oac e r t a i ne x t e n t ，i m p r o v i n gt h ee f f i c i e n c yo f e n c o d i n ga n dc o m p r e s s i o nr a t e ，a n de n s u r i n gt h eq u a l i t yo fv i d e oi m a g e k e yw o r d s ：v i d e oc o m p r e s s i o n , b a c k g r o u n dm o d e l ，g a u s s i a nm i x t u r em o d e l ，t h r e e 丘a 1 1 l ed i f f e r e n c e ，s k i pm o d e 论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：陛堕 日 期：丝蛭盆三旦 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版，有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆、院系资料室被查阅，有权将学位论文的内容编入 有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位论文作者签名：劲畴 日期：知f o 年6 月2 日 视频前景与背景检测算法的研究与应月j第1 章综述 第1 章综述 随着计算机技术和互联网技术的飞速发展，数字视频技术也得到了很大的重 视和发展，在很多领域有着越来越广泛的应用，比如在工业生产、科学理论研究、 视频监控、互联网应用等方面。 目前，为了使得监控更加的高效和准确，满足各种应用的需要，智能视频监 控技术已成为安防监控领域的研究重点和热点。这一技术包括对监控场景中目标 进行自动的跟踪、行为的理解等内容。这种需求也促进了视频前景与背景检测技 术的研究和发展，通过对目标进行实时的分割，实现对目标准确的定位和跟踪。 尽管数字视频技术有越来越广泛的应用，但是由于视频文件的数据量极大， 不利于存储和传输，限制了其发展，所以，出现了视频压缩编码技术，并得到了 非常广泛的应用。目前，视频压缩编码技术的主要应用领域包括安防监控、视频 通信，以及高清机顶盒、数码相机、网络视频传输等多方面。 1 1 课题的研究背景与意义 运动目标检测和跟踪是一项结合了不同领域成果的研究课题，其中包括模式 识别、自动控制、人工智能、视频图像处理等领域n 1 。在实际应用中，对视频场 景中的特定运动目标或用户感兴趣的区域进行定位和跟踪，实现实时监测的需 要。目前，运动目标检测和跟踪技术在军事、智能视频监控、人机交互等科学研 究和工程领域有广泛的应用乜1 。目前比较常用的运动目标检测方法包括：帧间差 分法、光流法和基于背景建模的方法等三大类。 随着信息化社会的不断向前发展和推进，多媒体技术与网络技术的结合越来 越紧密，不断的满足人们日益增长的应用需求。人们的生活日益丰富，对视频、 多媒体的需求不断提高，但同时，视频图像与通信网络容量在实际应用中的矛盾 也越来越显著，因此，多媒体技术中视频通信的发展，受到了制约和限制。 因此，在这种情况下，国内外的很多研究工作者，对视频压缩编码技术进行 视频i j 景与背景检测算法的研究与应用 第1 章综述 了研究，提出了很多新理论和新方法，各种国际国内的标准化组织制定了多个视 频压缩编码标准。如i s o i e c 制定了m p e g - 1 ，m p e g 一2 和m p e g 一4 标准；i t u t 组 织也制定了h 2 6 1 ，h 2 6 3 和h 2 6 3 + 、h 2 6 3 + + 、h 2 6 4 等一系列的数字视频压缩 编码标准，很大的促进了视频压缩编码技术的发展。视频压缩编码技术已是多媒 体技术领域的研究重点和热点，所提出的压缩编码算法也越来越成熟、更加适应 实际应用的需求，已解决视频通信过程中的很多问题。 1 2 视频编码标准的发展和研究现状 随着科技的不断发展，视频图像压缩编码技术也获得了很大的发展和广泛应 用，并且日趋成熟，压缩性能越来越高。本节首先介绍视频编码标准的发展历程 和研究现状，并对新一代压缩编码标准h 2 6 4 的关键技术进行简要介绍。 1 2 1 视频编码标准的发展 为了促进多媒体通信技术和视频编码技术的发展，提高视频编码性能，国内 外标准化组织推出了一系列的压缩编码标准。目前，数字视频压缩编码标准有国 际电信联盟组织( i t u t ) 制定的h 2 6 x 系列和i s o i e c 运动图像专家组制定的 m p e g x 系列，国内有我国a v s 音视频标准工作组制定的a v s 音视频编码标准，它 们发布的时间如图i - i 所示。 1 9 9 0 年，i t u t 标准化组织制定了h 2 6 1 标准，是第一个实用的数字视频 压缩编码标准，被称为是视频压缩编码的一个里程碑。 1 9 9 2 年底，m p e g - 1 被正式批准为国际视频压缩编码标准，主要应用于家用 v c d 的视频压缩等。 1 9 9 4 年，推出了m p e g - 2 ，主要应用于数字视频广播、有线电视领域等。 1 9 9 5 年，i t u - t 标准化组织又推出了h 2 6 3 编码标准，用于低于6 4 k b i t s 的低码率视频传输应用。在其之后，又相继推出了h 2 6 3 + 、h 2 6 3 + + 视频压缩 国参考自i t u - t ，“r e c o m m e n d a t i o nh 2 6 1v i d e oc o d e cf o ra u d i o - v i s u a ls e r v i c e sa tp x 6 4 k b i t s ” 参考自i s o i e cj t c i s c 2 9 w g l l “m p e g - 1c o m m it t e ed r a f t ” 固参考自i s o i e cj t c i s c 2 9 w g l l 。“m p e g - 2c o m m i t t e ed r a f t ” 勘参考臼i t u t ，“r e c o m m e n d a t i o nh 2 6 3v i d e oc o d i n gf o rl o wb i t r a t ec o m m u n i c a t i o nd r a f t ” 囝参考自i t u - t ，“d r a f to fr e c o m m e n d a t i o nh 2 6 3v e r s i o n2 ” 卿参考白i t u t ，d r a f tf o r “h 2 6 3 + + ” 2 视频前景与背景榆测算法的研究与戍用第1 章综述 编码标准，进一步提高了压缩编码的性能和效率。 1 9 9 9 年，推出了m p e g - 4 视频压缩编码标准，它主要强调了多媒体通信的灵 活性和交互性口1 ，有较好的压缩性能，至今在很多领域有广泛的应用。 2 0 0 3 年，i t u - t 组织和i s o i e c 联合推出了h 2 6 4 视频编码标准。h 2 6 4 中 采用了很多新的编码技术，使得编码效率比以往标准有很大的提高，并且具有更 好的网络友好性和适应性，被称为是新一代视频压缩编码标准。 2 0 0 2 年，为了推动国内的标准化制定和发展，我国成立了a v s 音视频标准 工作组。a v s 标准的全称是信息技术先进音视频编码标准，为我国具有自主知识 产权的编码技术标准，主要包括四个主要的技术性标准以及一致性测试等支撑标 准，分别是系统、视频、音频、数字版权管理h 1 。 国。臣三工二三 。 图卜1 视频编码标准的发展历程 1 2 2 视频编码标准的研究现状 由于h 2 6 4 标准比以往标准采用了更多更复杂的编码技术，因此具有良好的 性能，能够解决很多以往标准不能解决的问题，并且具有良好的网络友好性和适 应性，被称为新一代的国际视频压缩编码标准。但是其运算的复杂度也相应有明 显的增加，在编码算法复杂度方面，比以往标准成倍数的增加嘲。 因此，如果使h 2 6 4 标准能够很好的应用到实际中，需要对h 2 6 4 标准中复 国参考自i s o i e c i t c i s c 2 9 w g l l ，。c o d i n go fa u d i o - v i s u a lo b j e c t s p a r t2 ” 留参考自j o i n tv i d e ot e a m ( 3 v t ) o fl s 0 i e cm p e ga n di t u - tv c e g 。“d r a f ti t 叶tr e c h 2 6 4 i s o i e e 1 4 4 9 6 - 1 0 a v cj v t6 0 5 0 ” 参考臼参考文献 4 3 视频i j 景与背景检测算法的研究与应用 第1 章综述 杂的算法进行优化。目前研究的重点是对其编码算法的改进和优化，以及如何用 更好的硬件实现算法，从而降低编码的复杂度。 目前，在世界范围内，研究者们对视频压缩编码技术的研究在不断的向前推 进，各个标准化组织也希望推出性能更优的标准。在目前h 2 6 4 正得到广泛应用 的同时，i t u tv c e g 组织期望推出进一步的h 2 6 5 标准，目前已正在征集关于 h 2 6 5 标准的建议b 1 。 在国际进行标准化制定如火如荼的同时，我国为了推动国内标准化的制定和 发展，成立了专门对音视频编码标准制定的a v s 标准组织，已制定了具有良好性 能的音视频编码技术标准a v s ，具有自主的知识产权。a v s 标准收费低廉，并且能 够与国际标准有很好的兼容性，目前已得到了广大运营商、厂商的广泛使用。a v s 标准能够很好的应用于高密度的光存储媒体和高清电视等压缩编码中。 1 2 3h 2 6 4 视频压缩标准关键技术 由于h 2 6 4 标准优异的压缩性能，可以解决以往标准在视频压缩过程中存在 的多种问题，自从推出之日起，在行业中获得了广泛的应用。本节就h 2 6 4 标准 中的关键技术进行简要介绍。 帧内预测 h 2 6 4 标准中的帧内预测算法是利用视频图像帧在空间域的子块像素间具有 很大的相关性这一特性进行的睢3 。在帧内预测模式中，通过已编码的重建块和当 前块来得到预测块数据。 h 2 6 4 帧内预测对亮度分量和色度分量的预测有所不同，采用不同的方案。 其中，对亮度分量的帧内预测包括两种模式：基于4 x 4 像素块和基于1 6 x 1 6 像素 块的预测模式：对色度分量只采用一种预测模式。对于每种预测模式，h 2 6 4 都 设定不同方向的预测项，为了对不同纹理特性的图像块进行高精度和准确度的预 测m 1 。 4 4 亮度预测模式，见图卜2 ( a ) ，假设由a 到p 一共1 6 个点组成了预测块。 当预测块上边和左边的像素点a m 重建好之后，就将他们作为预测的参考子块。 如图卜3 所示共有9 种预测模式，分别为如图1 - 2 ( b ) 中8 个方向上所示的预测 模式和直流预测模式m ： 参考白a v s 视频规范文档 4 视频俯嚣与背最幢铡算法的研兜麻坩第1 章缘墟 一桊， 、j。 l ， l 、 、 霎酽 矛酽 驴 ( a ) 幽i - 2 ( a ) 利刚像素a - q 对 十预测方向o f h ，t i l 十 酗卜34 4 亮度块预铡摸o 袁卜i4 * 4 亮度块预测模式描述4 模式描述 模式0 ( 垂直) 由 、b 、c 、d 垂直推出相应的像素值 模式l ( 水平)由i 、j 、k 、l 水平推出相应的像素值 模式2 ( d c ) 由 d 及i l 平均值推出所有像素值 模式3 ( f 左对角线)由秽方向像素内插得出相应像素值 模式4 ( f 拈对角线) 由4 矿方向像素内插得出相应像素值 “参考自参考文献 8 4 参考自参考文献【8 4 参七自参考文献 8 一男一爹 税额时最与背最帻捌算挂的研究与应辫1 章综述 在1 6 1 6 亮度预测模式中，宏块的全部1 6 1 6 亮度成分进行整体预测，共 有4 种预测模式，分别如表卜2 和图卜4 所示： 积醒 目卜4 帧内1 6 x 1 6 亮度块预测模式。 表卜2 帧内1 6 1 6 亮度块预i j 模舻 模式 描述 模式0 ( 垂直1 由上边像素推出相应像素值 模式l ( 水平)由左边像素推出相应像素值 模式2 ( d c )由上边和左边像素平均值推出相应像素值 利圳线性“p l a n e ”函数及左、上像素推出相麻像 模式3 ( 平面) 素值适用丁亮度变化平缓区域 帧问预测 h2 6 4 标准的帧自j 预测是利用相邻视频帧间存在的时日j 相关性来进行的为 了去除相邻帧间的时问冗余，实现对视频的压缩。1 。在h2 6 4 帧嘲预测模式中， 从前一帧或多帧已经编码的图像帧中对当前帧进行预测，然后将当前帧实际宏块 数据与经过预测得到的数据进行做差，得到残差信息，对残差信息进行编码，实 现了码流的压缩“。 除了h2 6 3 、m p e g 一4 标准l l 采埘的p 帧和b 帧预测方法之外，h2 6 4 还采用 了：利用多参考帧进行帧闻预测编码，采用不同太小的预测块进行运动估计：采 用1 4 像素精度进行运动补偿。 参考自夸母文献 8 錾首自参鸯文献8 视频前景与背景检测算法的研究与应用 第l 章综述 h 2 6 4 标准中采用多种宏块分割和运动补偿的方式。对于每个1 6 1 6 宏块可 以划分为：1 个1 6 x1 6 块、2 个1 6 8 子块、2 个8x1 6 子块，或4 个8 8 子 块这几种方式。运动补偿也对应有4 种方式。对于8x8 模式的子宏块可以划分 为：1 个8 8 块、2 个8x 4 或2 个4x8 子块及4 个4 4 子块这四种方式n 2 1 。 将这种运动补偿方式称为树状结构的运动补偿阻1 ，如图1 - 5 所示。 掰 轴 8 x 8 呐 曲白曲曲 曲亩面豳 图卜5 宏块及子宏块分割 对于宏块的色度分量，色度成分c r 和c b 在水平和垂直方向上都为相应亮 度分量的一半n 3 1 。色度块采用和亮度块同样的分割模式，只是在水平和垂直方向 上的尺寸都相应减半。色度块的运动矢量( m o t i o nv e c t o r ，简称为m v ) 也是通 过相应亮度运动矢量的水平和垂直分量减半来得到。 h 2 6 4 为不同的图像区域选择不同尺寸大小的分割。不同的分割尺寸大小的 选择能够在很大程度上影响码流大小，进一步影响了编码算法的压缩性能。对于 图像的某一区域，当分割尺寸较大时，对于此区域进行运动矢量的选择和分割类 型的表示需要的比特数就较少，但同时，在细多节区域中运动补偿的残差的能量 会很高。当分割的尺寸较小时，这时运动补偿的残差会相对较低，但是对于运动 矢量和分割类型的表示需要的比特数就较多n3 1 。因此，总的来说，对于大面积的 平坦区域，适合采用较大的分割尺寸，相反的，对于多细节区域，适合较小的分 割尺寸。如图卜6 所示，是未经运动补偿的一个残差帧。h 2 6 4 编码器在编码过 程中，对于不同的区域选择了最佳的分割尺寸，能够使得传输比特数达到最小。 7 视顿耐景背嚣榆辫算法的研究与应用 第1 嚣综述 幽卜6 残差自p 在分块运动补偿中，每帧被分为若干像素块，在大多数视频编码标准，如 m p e g 4 中，是分为1 6 x 1 6 的像素块。利用参考帧的某位置处等大小的块对当前块 进行预测，预测的过程中只有平移，平移的大小被称为运动矢量。 运动矢量的值可以是非整数的，此时的运动补偿被称为亚像素精度的运动补 偿。这是通过对参考帧的像素值进行亚像素级插值，然后再进行运动补偿得到的。 最简单的亚像素精度运动补偿是使用半像素精度，也有使用1 4 像素和1 8 像素 精度的运动补偿算法“”。亚像素精度越高可以使运动补偿的精确度较高，但是其 中大量的插值运算使得运算复杂度大大的增加。 内插像素生成方法如图卜7 所示： ”考自寥苟t 献 8 视搬前景背最捡铡算法的研究戍川 第1 章综述 口口 口口 圉国圜 口口 口口 圈圈 口口回国习口口 口口田驷口口 l 芏i 卜7 亮度、 像素位置内插。 内插像素生成的过程如下“”：首先生成参考图像中亮度成分的半像素位置 像素。对于半像素点( 如图中b h ，m ) 是通过对其相应的整像素点进行5 抽头滤 波运算得出，权重分别为( 1 3 2 ，5 3 2 ，5 8 ，5 8 ，5 3 2 ，1 3 2 ) 。对b 的计 算如下“”： b = r o u n d ( ( e 一5 f + 2 0 g + 2 0 h 一5 1 + n 3 2 ) ( 11 ) 相类似地，h 可由a 、c 、g 、m 、r 、t 滤波得出。一旦计算出了邻近( 垂直 或水平方向) 整像素点的所有像素，剩余的半像素点便可巳上通过对6 个垂直或 水平方向的半像素点滤波而得。例如，j 由c c ，d d ，h ，m ，e e ，f f 滤波得出。 1 器考自参考文献 8 ”参考自劳考文献 8 目卜8 亮度l 4 像素内插。 嚣 田圃田薷 视频前景与背景榆测算法的研究与应用第l 章综述 当计算出来半像素点以后，1 4 像素点就可以通过线性内插操作得出，如图 卜8 所示。1 4 像素点( 如a ，c ，i ，k ，d ，f ，1 3 ，q ) 由邻近像素内插而得， 如m 1 a = r o u n d ( ( g + 6 ) 2 ) ( 1 2 ) 通过对一对对角半像素点进行线性内插操作得出剩余1 4 像素点( p ，r ) 。如， e 由b 和h 获得。色度像素点相应的需要1 8 精度的运动矢量，也通过整像素 的线性内插操作来得出，如图1 - 9 所示。 图卜9 色度1 8 像素内插 其中嘲， a = r o u n d ( ( 8 一d x ) ( 8 - 咖) 么+ d x ( 8 一d y ) g + ( 8 - , x ) 咖c + d x d y d 6 4 ) ( 1 3 ) 当d x = 2 ，d y = 3 时， a = r o u n d ( 3 0 a + 1 0 b + 1 8 c + 6 d ) 6 4 】 ( 1 4 ) 整数变换与量化 为了减少视频图像编码的动态范围和去除图像信号之间的相关性，可以进一 步减少图像的传输码率，实现对图像信号的压缩，h 2 6 4 标准中采用了整数变换 和量化的技术。 由于图像中直流和低频区域占大部分，将空问域的图像变换到频域，会产生 参考自参考文献 8 1 0 视频i j f 景与背景检测算法的研究与应用 第1 章综述 相关性很小的一些变换系数，并可对其进行压缩编码，这就是变换编码嘲。 在以往的标准中一般使用8 * 8 离散余弦变换技术，其逆变换过程经常会造成 失配问题的发生，h 2 6 4 中使用了4 * 4 的整数离散余弦变换技术，有效的解决了 这一问趔1 6 1 。根据待编码冗余图像块类型，h 2 6 4 标准的基本层编码( b a s e li n e p r o f i l e ) 采用了3 种变换h 1 ： ( 1 ) 1 6 x1 6 亮度块帧内预测时，采用4 4 亮度直流系数变换； ( 2 ) 任何宏块中的2 x 2 色度直流变换； ( 3 ) 剩余数据块的4 x 4 整数d c t 变换。 为了在保证视觉效果的同时缩减编码的长度，以及缩减在视觉恢复过程中一 些不必要的信息，h 2 6 4 采用量化技术，实现进一步的压缩。量化分为标量量化 和矢量量化两种。h 2 6 4 中使用标量量化技术，将每个图像像素点编码成较小的 数值。标量量化器的原理为嘲： f q 刀文壹) 5 ) 其中，q p 表示量化步长，y 表示对输入的像素点编码，叼是y 的量化 值，r o u n d ( ) 表示取整函数。其反量化过程为嘲： y = f q 鲈 ( 1 6 ) 量化步长q p 决定了在量化和反量化过程中图像的精度和量化器的编码压 缩率。当鲈设置比较小时，量化值爬的动态范围将比较大，相应编码长度也 比较大，但对于图像的细节信息损失的较少；相反，当q 尸设置比较大时，固动 态范围就比较小，相应编码长度就比较小，但是反量化过程中图像细节信息会损 失比较多。h 2 6 4 编码器为了使得整体达到最佳的编码效果，会根据图像采样值 的实际动态范围来自动的对q 尸值进行调整，以使得编码长度和图像精度都能够 适中。 熵编码技术 现代熵编码技术是以香农信息论n 刀为基础建立的。熵编码是无损压缩编码方 法，编码之后生成的码流能够经解码无失真地恢复出原始数据。 视频i j 景与背景检测算法的研究与应用 第l 章综述 h 2 6 4 标准支持两种熵编码方案，分别是基于上下文自适应的可变长编码 ( c a v l c ) 和基于上下文的自适应二进制算术熵编码( c a b a c ) 。c a v l c 易于实现， 更为简单；c a b a c 熵编码的性能则更优n9 l 。使用算术编码可以在保证相同视频质 量的前提下，比变长编码使比特率减少1 0 - - 一1 5 。 h 2 6 4 中的c a v l c ，根据已编码句法元素的情况来动态的调整编码过程中使 用的码表，能够实现很高的压缩比。 残差信息经过变换量化后有以下的特性9 1 ：经过预测、变换、量化之后，4 * 4 数据块的非零系数集中于低频部分，而高频部分大部分是零；经过量化后的数据 块经过z i g z a g 扫描，高频部分的非零系数大部分为+ l 和一1 ，d c 系数附近的非 零系数较大；对于相邻4 * 4 数据块的非零系数数目相关。c a v l c 熵编码则有效的 利用了残差经过变换量化之后的这些特性进一步的减少冗余信息，实现压缩确3 。 c a v l c 比基于单个指数哥伦布( e x p g o l o m b ) 的通用游程编码再相同的测试 环境下，可以使码率减少2 - 7 。但是c a v l c 也有缺点，它使用静态的概率估计 码表例，没有考虑不同视频流之间的统计特性和符号之间的相关性，这在一定程 度上影响了它的编码效率，特别是在高码率时压缩效果较差h 1 。 h 2 6 4 中的c a b a c 编码完全克服了上述c a v l c 的缺点。它的编码过程如图 1 - 1 0 所示h 1 ： 图1 - 1 0c a b a c 编码过程 一般分为二进制化、上下文模型和编码引擎这三部分。 二进制化操作是将非二进制的符号转换为若干位的二进制位串的过程。对于 二进制串的每一项元素可采用跳过编码模式或通用模式来编码。对于二进制位可 建立上下文模型，接着可进行算术编码。对于采用通用编码模式的二进制位可以 。参考自i t u 标准h 2 6 4 i s o i e c11 4 9 6 1 0 “a d v a n c e dv i d e oc o d i n g ” 国参考自i t i j t $ g 1 6 6d o c u m e n tv c e 6 一l 1 3 ，“a d a p t i r ec o d e sf o rh 2 6 l ” 1 2 视频i i f 景与背景检测算法的研究与应用第1 章综述 自适应的估计其概率分布，并且还能够通过不需要乘法运算的方法来进行算术编 码和概率估计，能够有效的在软硬件平台上实现。 去方块滤波 由于h 2 6 4 采用基于分块的帧内、帧间预测残差的d c t 变换和运动补偿预 测，因此在编解码器进行反变换量化操作后图像会出现方块效应乜。虽然h 2 6 4 中采用较小的4 4 变换尺寸以来降低这种不连续效应，但是仍然不能够消除这 种现象，因此，需要采用去方块滤波器来消除这种块效应，以能够最大程度的提 高编码性能。 有两种方法在视频编解码器中加入去方块滤波器分别为环路滤波器和后置 滤波器n 8 1 。环路滤波器用来处理编码环路中的数据，而后置滤波器只用来处理环 路外的显示缓冲区中的数据。在编码器端，滤波之后的图像帧用来作为后面待编 码帧的运动补偿的参考帧：在解码器端输出显示滤波后的视频图像。 滤波是基于宏块进行的，所有宏块按照逐行扫描顺序，对宏块的每个4 4 块边界进行滤波。根据宏块中每个块的位置和量化参数的不同，对不同块边界设 置不同的滤波强度，自适应地调整滤波效果。 在h 2 6 4 中，基于宏块来进行滤波操作，对于所有的宏块的每个4 * 4 块边界， 按照逐行扫描的顺序来进行滤波。对于宏块中不同的块位置以及不同的量化参 数，设置不一样的滤波强度，自适应的调整滤波效果嘲。 宏块中边界滤波顺序如图卜1 1 所示，对于每个亮度宏块，首先对宏块最左 边的边界滤波，再从左到右对宏块内的三个垂直边界滤波。相类似的，对于水平 边界，先对宏块顶部的边界滤波，再从上到下对宏块内部的三个水平边界滤波。 对于色度滤波的次序也类似，对于一个8 * 8 色度宏块，对于每个方向，先对宏块 外部边界再对一个内部边界滤波。 1 3 视频前景与背景检测算法的研究与应_ l j 第1 章综述 率失真优化 图卜1 1 宏块中边界滤波顺序 k l h 2 6 4 标准比以往的标准采用了更加丰富的编码模式。对于帧内测试来说， 每个亮度分量有9 种4 * 4 预测模式以及4 种1 6 1 6 预测模式。对于帧问预测，每 个p 帧宏块又有7 种块划分模式，且还有直接编码模式( s k i p 模式) 。丰富的编 码模式使得h 2 6 4 比以往标准具有更加高效的压缩性能，但也同时在很大程度上 加大了运算复杂度，限制了h 2 6 4 在实际中的应用，因此，必须对其进行优化隆幻。 一般而言，当块的尺寸划分较小时能够较容易在进行帧间或帧内预测时找到 最佳的匹配块，缩减残差的数据量，提高预测的精确度，但由于分块尺寸的减小， 分块数会相应的增多，因此，对于用来表示分块模式以及运动矢量的比特数就会 相应增多。当尺寸划分较大时的情况正好相反幢引。 因此，为了能够在图像质量和传输码率之间取得平衡，h 2 6 4 标准使用了率 失真优化理论( r d o ，r a t e d i s t o r t i o no p t i m i z a t i o n ) ，在确定了合适的拉格朗 日参数之后，采用率失真优化方法找到最佳的划分模式。h 2 6 4 中采用率失真优 化方法得到最佳模式的函数如式( 1 7 ) 所示嘲： j ( mlq p ，允) = d ( mlq p ) + 名r ( m lq 即 ( 1 7 ) 其中，表示率失真开销；m 表示所采用的编码模式；q 尸为量化参数；五为拉 格朗同参数；r 表示编码当前预测模式时需要的码率；d 代表失真度。使得式 ( 1 7 ) 中率失真代价函数取值最小的编码模式即为晟佳编码模式。 。参考自参考文献 8 1 4 视频前景与背景榆测算法的研究与应用 第1 章综述 由参数2 来决定编码模式的选择，而五与q p 又有紧密的联系。对于如何选 择参数五，文献畴瑚，2 4 嘲中有详细的讨论。在h 2 6 4 中的i 帧和p 帧编码中，五与 q p 的数学关系为嘲： 名= 0 8 5 x2 口p _ 2 ) 7 3( 1 8 ) 1 3 视频前景与背景检测技术的研究现状 目前视频前景与背景的检测技术主要应用于运动目标的检测、跟踪等领域， 主要通过将运动目标( 前景) 与背景分离，进行实时的目标检测和跟踪，以应用 于智能视频监控等系统中。 常用的视频前景与背景检测方法主要有帧间差分法、光流法、基于背景模型 的方法三大类。 帧间差分法汹删是最常用的视频前景与背景检测方法之一，它是通过对视频 序列中相邻图像之间进行差分操作，利用相邻图像白j 的差异进行目标检测。比如 l i p t o n 等嘲3 采用两帧差分的方法对视频序列中的目标进行检测，实现对目标的 跟踪和分类。 帧间差分法有很多优点，比如运行速度快，计算量小等，能够适用于对实时 性要求高的环境中。但是由于其算法本身的特性，一般不能够完整的提取出目标 的所有特征，容易使检测结果产生空洞现象。 因此，很多学者对此进行改进，提出了三帧差分的方法。如v s a m 乜卵在文章 中提出了一种自适应的背景减除与三帧差分相结合的算法，此算法可以快速有效 的从视频序列中检测出运动目标。 光流法啪3 “剜进行运动目标检测是利用运动目标随时问推移所具有的光流特 性进行的，比如m e y e r 1 等在文章中利用位移向量光流场对基于物体轮廓的跟踪 算法进行初始化操作，实现对目标有效的提取和跟踪。光流法的优点是对摄像机 的运动具有适应性，可以在存在摄像机运动时有效的对目标进行检测。但其计算 复杂度相当高，并且对噪声的抑制能力较差。 基于背景建模的方法阳隔矧是目前前景与背景检测最常用的一种方法，它是 1 5 视频i j 景与背景检测算法的研究与应用 第1 章综述 通过对视频流进行实时的背景建模，将当前图像与检测出的背景图像进行差分操 作，从而分离出前景运动物体的技术。基于背景建模的方法一般可以反映背景随 时间的动态变化，提供较完整的特征数据。 在背景建模的方法中，最简单的背景模型是使用连续几帧图像的平均值，这 种方法是最原始的思想，但不能够反映背景随时间的动态变化，不具有自动更新 的能力，因此，在实际应用中无法使用。目前，国内外的研究者们根据视频背景 的各种特性，开发出了各种不同的背景模型，以使得能够准确的对背景进行描述， 反映背景的动态变化。比如，h a r i t a o g l u 阱1 等采用最大时间差分值和最小、最大 的强度值对每个像素点建立模型，并周期性的进行背景的更新；k a l m a n 与 b r a n d t 1 、k il g e r 啪1 等利用卡尔曼滤波器对视频背景进行建模，能够有效的反应 背景随时间、光照等的动态变化；m c k e n n a b 们等采用将像素的色彩信息与梯度相 结合的思想，进行背景建模，有效的解决了在目标检测过程中，影子和不可靠的 色彩线索造成的影响；s t a u f f e r 与g r i m s o n 口8 3 在单高斯背景建模方法的基础上， 针对单高斯模型不能够有效描述多模态背景，如飘动的红旗、树叶的摇摆等，提 出了混合高斯背景建模方法，能够有效的描述背景的动态变化，较完整的提供背 景的特征信息。l i y u a nl i h 们等利用贝叶斯理论的思想，能够很好的描述包含运 动背景的较复杂场景。对其中几种常用方法的介绍详见第2 章。 1 4 论文研究的主要内容 在一般的视频监控系统中，摄像头的位置是固定的，因此，背景场景一般是 不变的，只是场景中人物、车辆等的进出。但是在现实场景中，运动的前景物体 有可能运动一段时问之后停止下来，长时间静止不动，长时间停止的物体也有可 能由于人为的原因而发生移动，并且场景中存在天气、光照等的变化，因此，在 进行背景检测的过程中，要实时的检测背景的变化，以能够及时的更新背景模型， 得到尽可能准确的背景。 本文首先在对目前常用的几种视频动态背景建模技术研究的基础上，针对传 统混合高斯模型基于像素点建模的冗余性和低效性，提出了一种基于图像块的混 合高斯背景模型。并且根据混合高斯模型算法本身对于噪声的抑制能力不够强， 1 6 视频漪景与背景检测算法的研究与应册第l 章综述 对于背景内容的突然变化适应性不够强的缺点，结合三帧差分，对前景与背景进 行进一步的检测，以提高检测的准确度。 在视频压缩编码方面，h 2 6 4 标准中采用了可变换大小的块划分模式。其中， h 2 6 4 在帧问预测编码时引入了s k i p 模式，能够有效对大面积的静止不变区域 和运动一致区域进行编码。s k i p 模式是一种1 6 x 1 6 块尺寸大小的运动补偿预测 模式，该宏块与预测块之间几乎完全匹配，不需要对运动矢量和残差信息进行编 码。 本文在对h 2 6 4 帧间模式选择模块进行深入研究的基础上，针对目前模式选 择算法中计算量大且复杂的缺点，将视频前景与背景检测技术创新