（信号与信息处理专业论文）时空联合视频对象分割算法研究.pdf

舞委 摘要 新一代多媒体标准m p e o 4 和l v l p e o - 7 采用了面向对象、基于内容的视频编码和描述框架。包 括基于内容的压缩、可扩展性和可交互性等方面内容。然而，m p e g - - 4 和m p e g - 7 标准仅定义了视 频编解码过程和接口描述的语法规则，并没有制定具体的视频对象分割方法。同时语义视频对象 在视频编码描述领域之外豹视频监控、模式识别等众多领域有着广阔的应用前景。因此，如何从视 频中有效获取视频对象就成为对象基视频处理技术的重要支撑和关键所在，对其进行研究具有重要 的理论意义和重大的应用价值 论文首先介绍了视频对象分割的基本概念和基础理论，综述了目前国内外视颓分割技术的发展 现状。论文指出：在众多的视频对象分割方法中时空联合的视频对象分割方法综合利用了视频的 时问和空问信息，更符合人眼视觉感知的方式，综合效果较好，表现出可喜的应用前景但是算法 的糠确性、鲁棒性以及实时性等方面还没有达到令人满意的程度。与实际应用有掘当的距离，甓要 进一步提高和完善。论文对现有的时空联合视频对象分割算法进行了分析和总结。以提高时空联合 视须对象分割算法的速度和精度为目标，开展了一系列研究工作 针对经典高阶统计时域运动分鑫b 算法计算量较大、经典空域分水岭分割存在过分刳从而需要复 杂的区域合并的问题，提出了一种基于分块高阶统计和形态学滤波的时空分割算法：( 1 ) 时域分割 部分，提出了分块高阶统计运动检测的方法，较快地得到轮廓租糙的前景运动区域，结合基于最大 类问方差的阈值算法，通过后处理可以得到较为精细的视频对象运动检测模板加快了时域分割的 速度；( 2 ) 空域分割部分，从强调整体、淡化细节的思路出发，将交变序列重建滤波算法和分水岭 算法有机结合，可以提取出分割区域的精确边缘，同时麓免了复杂能区域合并实验结果表明该 算法加快了时域运动检测的速度，提取出的视频对象边缘定位准确。有效避免了区域台并，对背景 静止和经过全局运动补偿的视频均能取得较好的分割效果 为了充分利用同格基分割算法计算量小、速度较快的特点，迸一步提升分割算法的速度性能， 同时解决传统网格基分割结果边缘与视频对象实际边缘不一致的问题，提出了一种改进的网格基视 频对象快速分割算法。该算法用机器学习f a s t 算法检测视频帧的角点，然后将一个二维d e l a u m y 网格匹配到这些角点上得到视频图像的二维网格表示，通过基于高阶统计的角点运动分析。快速得 到粗糙的前景运动轮廓区域，接着采用基于象素的高阶统计运动分析方法对运动轮廓区域进行精细 化，再经过后处理就可阻获得最终的视颓对象分割模板，从而有效地提取出前景视频对象实验结 果表明，该算法简单易行加快了分割的速度，提取出的视频对象边缘与实际边缘一致适用于背景 静止和经过全局运动补偿的视频 为了解决基于交变序列重建滤波的分水岭分割算法中结构元素大小需要人工交互确定以及局部 梯度极值造成视频对象具有“背景毛刺”的问题，提出了一种形态学交变序列重建滤波算法和自适 i 东南大学博士学位论文 应阈值判别算法相结合的视频对象空域自动分水岭分割策略。在结构元素逐渐变大的形态学开闭重 建滤波迭代过程中，大大减少了分割区域的数目，有效避免了复杂的区域合并同时使得对象边缘 象素的梯废与平坦区域内部象素的梯度更易区分，利用基于量大类问方差的阈值算法自动获得判别 阚值，通过非线性变换进一步消除局部梯度极值造成的分割小尺寸区域，从而获得令人满意的视频 对象空域分割结果实验结果表明该算法能自动获得合适的结构元素大小和非线性变换阙值。提 高了算法的通用性和易用性，将应用该空域分割策略获得的空域分割结果与合适的时域分割结果相 结合就可以有效提取出具有精确边缘的视频对象 为了自动、快速、精确地提取完整的初始视频对象，提出了一种基于运动连通性的初始对象分 割算法高度连通结构化的对象运动是适用于视频对象分割的高级特征对反映对象一致性运动的 累积帧差图进行尖锐噪声沱除，然后应用自适应阙值算法提取对象运动区域，之后根据运动连通性 标记出最大连通区域，通过后处理得到视频对象的分割模板从而有效提取出初始视频对象实验结 果表明，该算法简单易行，对静止背景和经过全局运动补偿的视频均能获得较好的分割效果 关键词：视频对象分割；分块高阶统计：交变序列重建滤波；分水岭算法；特征检测；二维网格； 白适应阈值；运动连通性；累积帧差 a b s t r a c t t h e 伽咖n l u l l j l l l c d i a 蚰, m d a r d sm p e l 3 - 4a n dm p e l 3 - 7 越l o p io b j e c t - o r i m a t 默la n dc o m 咖- b a s e d v i d e oc o d i n ga n dd e s c r i b i n gf u n c t i o n a l i t y , w h i c hi n c l u d e se o n t e n t - b a “lv i d e o 咖p m s i f 骣s c a l a b i l i t y , i n t 日o p e r a b i l i t ya n ds oo i lh o w e v e r , m p e g - 4a n dm p e ( 3 - 7o n l yd e t i n ct h ec o a i n g d e e x x l i n gs y n t a x 枷 i n t e r f a c ed e s c r i p t i o np r i n c i m l sw h i l er i ov i d e oo b j e c ts o g m e n t a t i o nn l e i i l o d $ 蹴s p e c i f i e d i nt h em e t i m e , t l e n l a l l t t j cv i d e oo b j e c t sa mw i d e l ya p p l i e di n 曲口s c o p e ss u c h 罄v i d e os u r v e i l l a n c ea n dp a t t e r nr e c o g n i t i o n 删畋e f f e c t i v e l ya n de f f i c i e n t l ye x t r a c t i gt h ev i d e oo b j e c t sf r o mt h ev i d e os e q u e n c e si s ak e y s u p p o r t i n gt e c h n i q u ef o r0 1 日t - b i s 酣v i d e op l 谯翳s i n g ，a a dr e s e a r c h e so nv i d e oo b j e c ts e g m e n t a t i o nh a v e g l c a ta c a d e m i ci m p o r t a n c e 锄da p p n c 栅ys i g n i f i c a n c e t h ed e f i n i l i o ma n d f u n d a m e n t a l s o f v i d e oo b j e c ts e g m e n t 甜o n 越b r i e f l yi n t r o d u c e di nt h i s d i s s e r t a t i o n , f o l l o w e db yt h es t a t u sq u oo f t h er e s e a r c h e so i lt h i ss u b j e c tt h r o u g h o u tt h ep l a n e t a m o n ga l l t h ew o i k sa n da e h i e v 目a e r l t s , s p a t i a l - t e m p o r a lv i d e o 曲6 e c ts e g m e n t i n gm e t h o d so u t p e r f o r mo i l i e rm e t h o d s f o ri t sc o m b i n i n gt h es p a l i a li n f o r m a t i o n 衄dt h et e m p o r a li n f o r m a t i o n t h i ss o r to f m e t h o d st a l l i e sw i t ht h e n n t u r a lc o m p r e h e n d i n gp r o c e s so f h u m e y e sa n dh e n c eo b l l l i n sd d i g h t 彻a p p l i c a l o r yp r o s p e c t si nd i v e r s e n l ，p l i e a t i o m n e v e r t h e l e s s 。l ea c e t r a e y , 雠r o b l l s l a n dm er e a l - t i m ep e r f o 皿c eo f t h ea l g o r i t h m sm n o ts os a t i s f a c t o r yt h a tf l l l 恤e l i m p r o v e m e n t sa n de n h m l e e m e n 乜a mn 嚣r yt om a l 恤e a l g o r i t h m s p r a c t i c a l t l 删o r e ，t h ec l a s s i e a is p a t i a l - t e m p o r a lv i d e oo b j e c ts e g m e n t a t i o na l g 硎t l 璐眦s u m r m r i 删 a n da n a l r n 吐a i m i n g 砒i m p r o v i n gt h ea c c u r a c ya n dt h er a p i d i t yo fs o g m e n t a t i o n , as e r i e so ff t 岫盯 r e s e a r c h e sa n de x p e r i m e n t sa r cc o n d u c t e da n dd e m o n s t m m t f i r s t l y , i no r d e rt oa l l e v i a t et h ec o m p u t i n gb u r d e no f t h ec l a s s i c a lm o t i o ns e g m e n t i n gm e t h o db a s e d0 n h i g h e ro r d e rs t a l i s t i c sa n dt os o l v et h eo v e r - s e g m e n t a t i o nm o b l mo ft h ec l a s s i c a lw a t e r s h e ds e g m e n t i n g a l g o r i t h m , as p a t i a l - t e m p o r a ls e g m e n t a t i o na l g o r i t h mb a s e d o nb l o c k h i g h e r o r d e rs t a t i s t i c sa n d m o r p h o l o g i c a l 丘i t c r i l l gi sp r o p o s e d ：( 1 ) i nt h et e m p o r a ls e g m e n t i n gp h a s e , b l o c kh i g h e ro r d e r $ 1 1 1 删t si s p r e s e n t e dt oo b l l l i l ll l a ef o r e g r o u n dm o t i o nr e g i o nw i t h 戤b o u n d a r y t h ec o a 糯m a s ki s 旭f i 】 1 e db r a d a p t i v el h r 世h o l dv i ai n t o r e l a s sv a r i a n c e 怕x i m i z 甜i o n a f t e rt h ep o s t - p r o c e s s i n g , as a t i s f a c t o r yt e m p o r a l s e g m e n t i n gm a s ki sa v a i l a b l e ( 2 ) i nt h es p a t i a ls e g m e n t i n gp h a s e ，b a s e do n 廿l ci d e ao f e m p h a s i z i n go l t it h e e l l l i l c t yw h i l ew 翻l 【e n i i 唱t h ed e t a i l s ，a i mr , e q t t e n t i a lf i l t e r i n gb y 砌e t i o ni sa p p l i e d t h e i n e - 惝o f t h ew a t e r s h e ds e g m e n t a t i o r lt h i sh e l p st og e ts a t i s f a c t o r ys p a t i a ls e g m e n t i n gr e s u l t s w i t h o t t tc o m p l i c a t e da mm 廿她t h ee x p e r i m e n t a lr e s u l t sv a l i d a t e dt h i sa l g o r i t h ma n dd e m o n s t r a t e dt h a t 雠a l g o r i t h m 锄e f f e c t i v e l ya n de f f i c i e n t l yc 柚f a c t 伽ev i d e oo b j 嘶w i t h 撤i 蛐她b o u n d a r yw h i l e a v o i d i n gc o m p l i c a t e da l e am e r g i n ga n dt h a ti tw o r k sw e l l0 1 1v i d e os e q u e n c e sw i t hs t i l lb a c k g r o u n do f g l o b a l - m o t i o n - c o m p e n s a t e db a c k g r o u n a s e c o n d l y , 血e2 - dm e s h - b a s e ( 1v i d e oo b j e c ts e g m e n t i n gm e t h o d sh a v er ne x c 2 l l e r af e a t u r eo f as m a l l e o m p u l i i ，gl o a da n dw o i i i i l ge f f i c i e n c y b u t 也ec l a s s 虹i im e s l i - l x l s e dm d i 的出h a v eab o u n d a r y 如幡妇科 印o “m f o t t h e s 妇a f 如曲盯c d 嘲赫喀恤辅掣幛埘i 嘎l 和s o l v m g l i l e p d a ni m p r o v e d2 - dm i 卜b a s e d m 东南大学博士学位论文 m o t i o na n a l y s i sv i d e oo b j e c ts e g m e n a n ga l g o r i t h mi sp r o p o s e d a f t e rt h e2 - dd e l m ym e s h 慨t h e o r i g i n a lf i n i t ei m a g ei so b t a i n e dv i am a c h i n el e a r n i n gf a s ta l g o r i t h m , n i g h e ro r d e rs t a t i ：出c sm o t i o n a n a l y s i si sa p p l i e do nt h es e l e c t e dc o m e rp o i n t sa n dl a t e rt h ep i x e l si n s i d et h ec o a 嘲b o u n d a r yl a y e r a n d h e n c e 锄i n i t i a lm o t i o nd g t c c t i o nm a s ki sg o t n e x tt ot h ep o s t - p r o c e s s i n g , t h ef i n a ls e g m , m 虹gm a s ki s q m c l 【l yo b t a i n e d a n df i i l a l l yt h ev i d e oo b j c c ti se f f e c t i v e l ye x t r a 眦t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e da l g o r i t h mc o m b i n e st h em e r i t so fm e s h - b e s e ds e g m e n t i n ga l g o r i t h m sa n dp i x e l - b a s e d s e g m e n t i n ga l g o r i t h m s ，h e r e b y a c h i e v e s s a t i s f a c t o r ys u b j e c t i v e a n d o b j e c t i v ep e r f o 咖w i n l 6 d m m a t i c a l l yi n c r e a s i n gt h es e g m e n t i n gs p e e d a n dt h es e g m e n t e db o u n d a r yi so 啊e 妯t 砌雠刚o n e 1 l l i s a l 印珊皿w e d s w e l l m s e q u e n c e sw i t hs t i l lb a c k g r o u n do f g l o b a l m o t i o n - c o m p e n s a t e db a c k g r o u u , t t h i r d l y , a i m i n ga ta u t o m a t i c a l l yd e t e r m i n i n ga l la p p r o p r m t es i z eo ft h es c u c t u r a le l e m e n tf o rt h e w a e 幅h e ds e g m e n t a t i o nb a s e do l la l t e r n a t es e q u e n t i a lf i l t e r i n gb y 聘q 坞口删伽a n ds o l v i n gt h e b a c k g r o u n db u r r s p r o b l e mc a u s e db ys m a l lr e g i o n so fl o c a lg r a d i e n te 】c i 心m a ，an o v e l 越i t 口岫m i cs p l 雠啪 s e g m e n t i n gs t r a t e g yi sp r e s e n t e d t h ei t e r a t i o no fm o r p h o l o g i c a lo p e n 啦g = c l o s i n gb yr e c o n s t r u c t i o nw i t h g r a d i i a i l ye x p a n d i n gs t r u c t u r a le l e m e n t sg u a r a n t e e st h er e d u c t i o no ft h ew a t e r s h e ds c g l n c m e dr e g i o n s w i t h o u ta 魄m e r g i n g b e s i d e s t h ei t e r a t i o nm a k e si te a s i e rt od i s t i n g u i s ht h eg r a d i e n to ft h ee d g ep i x e l s a n dt h e o ft h ep i x e l si i l s i d et h ep l a t e a u s w h i c hf a c i l i t a t e sr e m o v i n gt h es m a l l 心g i o 璐o fl o c a lg r a d i e n t e x t r e m ab y8 d a 硼v ot h r e s h o l dv i ai n t e r c l a s sv a r i a n c em a x i m i z a t i o n t h u s , s a d s f a c t o r ys p s f i a ls e g m e n t i n g r e s u l t sc 飘b ee f f e c t i v e l yo b t a i n e d ，e x p e r i m e n tr e s u l t ss h o wt h a tv i d e oo b j e c t sw i t ha c c u r a t eb o u n d a r i e s 啪b ee f f e c t i v e l ye x t r a c t e db ym e r g i n gt h es p a t i a ls e g m e n t i n gr e s u l t sb yr i d ss t r a t e g yi n t os o m e a p p r o p r i a t et e m p o r a lm o t i o nm a s k s b e s i d e s ，t h ep r o p o s e ds t r a t e g ya u t o m a t i c a l l ya l c t c r m i n 龉t h es i z eo f s t r u c t u r a le l e m e n ta n dt h et h r e s h o l dv a l u es ot h a ti ti m p r o v e s 恤ev e r s a t i l i t ya n du s a b i l i t yo f t h es e g m e n t i n g a l g o r i t h m f i n a l i y | m o r d , r t oe x t r a c t t h e i n i t i a l v i d e o o b j e c t a u t o m a t i c a l l y ，p r o m p t l ya n d p r o p e r l y , a n o v e l i n i t i a l v i d e oo b j e c te x 昀c t i 仰a l g o r i t h mb a s e d0 1 1m o t i o nc o n n e c t i v i t yi sp r o p o s e d m o v i n go b j e c t s 瓣h 蛐 c o n n e c t e da n ds t m e t u r i z e d w h i c hm a k e sm o t i o nc o n n e c t i v i t y 蜘a d v a n c e df e a t u r ef o rs e g m e m a t i o n a f 时 s h a l pn o i s ee l i m i n a t i o n , t h ec u m u l a t e dd i f f e r e n c ei n l a g e ，w h i c he x h i b i t s 曲ec o h e r e n tm o t i o no f t h em o v i n g o b j 毗i sa d a p t i v e l yt h r e s h o l d e d t h e nt h em a x i m a lc o n n e c t e dr e g i o ni sl a b e l e d p o s t - 删a n d o u t p u h e da st h ef i n a ls e g m e n t i n gm a s k h e n c et h ei n i t i a lv i d e oo b j e c ti se f f e c t i v e l ye x l r a c , t e d c o m p a r a t i v e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sa l g o r i 血ma c h i e v e si d e a ls u b j e c t i v ea n do b j e c t i v ep e r f o r m a n c za n d w 幽w e l lo n s e q u e n c e sw i t hs t i l lb a c k g r o u n do rg i o b a lm o t i o nc o m p e n s a t e db a c k g r o u n d k 胛o r d s ：v i d e oo b j e c ts e g m e n t a t i o n , b l o c kh i g h e ro r d e rs t a t i s t i c s , a l t e r n a t es e q u e n t i a lf i l t e r i n gb y r e c o n s t r u c t i o n , w a t e r s h e d , f e a t u r ed e t e c t i o n , 2 - dm e s h , a d s p t i v et h r e s h o l d , m o t i o nc o n n e c t i v i t y ，c u m u l a t e d 妇ed i f f e r e n c e i v 拥田精单 圈1 1 图1 2 圈1 3 图1 4 圈1 5 图1 6 圈2 i 图2 2 图2 3 图2 4 圈2 5 圈2 6 厢2 7 圈2 8 圈3 1 圈3 2 圈3 3 图3 4 图3 5 图3 6 图3 7 图3 8 圈3 9 圈3 1 0 图3 1 1 图3 1 2 圈3 1 3 图3 1 4 图3 1 5 图3 1 6 图3 1 7 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图4 7 图4 8 图4 9 图4 1 0 图5 i 视频的场景和镜头分割 视频对象平面与视频对象 插图清单 视频对象分解示例5 m p e g - 4 的对象基编码结构 m p e g - 4 的对象基解码结构 人脸识别系统框图 视频对象分割方法分类 分水岭算法思想示意图。 测地距离示意图 测地影响区示意图2 6 r n 。和y 的三种包含关系 从五到以+ 的迭代过程示意圈。 基于对比度增强的分水岭分割方案h 。勰， 基于形态梯度的分水岭分割方案2 9 阙值化帧差灰度直方图示意。3 4 算法框图3 5 静止区域的选择3 6 重建滤波器的结构3 9 用结构元素半径n = 4 ，8 的交变序列重建滤波器对a l d y o 的第3 帧进行处理的结果4 0 形态学图像分割流程示意。 基于a s f b r 的分水岭分割流程4 l s o b c l 算子求取二维梯度4 l a k i y o 序列第3 帧的运动检测结果4 2 b h o s 算法与经典h o s 算法结果比较( 后处理前) 。4 3 本章算法与基于f 分布的运动检测算法比较( 后处理后) 4 4 基于交变序列重建滤波的分水岭分割算法对a k i y o 序列第3 帧进行处理的结果4 5 基于交变序列重建滤波的分水岭分割算法实验结果。 4 5 时域运动信息与空域分割结果的融合4 7 应用本章算法对c l a i r e 序列进行分割的实验结果 本章算法与c o s t 2 1la m 分割算法作用于a k i y o 序列客观性能比较。4 9 本章算法对运动背景序列f o r e m a n 第8 6 帧的分割实验结果5 l 二维网格分割结果边缘与前景对象实际边缘不一致示例5 4 受限最大对比度路径搜索方法”删中出现的分歧和偏离问题示意5 4 算法框图 f a s t 算法示意5 6 c l a i r e 序列第1 5 2 帧实验结果6 0 a i d y o 序列第3 帧实验结果6 2 本章算法与c o s t 2 11a m 算法作用于a k i y o 序列的客观性能比较6 3 本章算法与第3 章算法作用于a k i y o 序列客观性能比较6 3 文献 1 7 5 1 算法和本章算法处理m & d 序列相同帧的对比结果。6 4 本章算法对运动背景序列f o r e m a n 第8 6 帧的分割实验结果。6 6 前景背景“合并”问题示例 东南大学博士学位论文 圈5 2 图5 3 图5 4 图5 5 图5 6 图5 7 图5 8 图5 9 图5 1 0 图5 1 l 圈s 1 2 图5 1 3 图5 1 4 图6 1 图6 2 图6 3 圈6 4 圈6 5 图6 6 圈6 7 图6 8 图6 9 圈6 1 0 “背景毛刺”问题示例 卯 一维梯度阈值变换示意7 0 空域自动分水岭分割策略框图7 l 对c l a i r e 第15 2 帧进行基于人工交互确定结构元素大小的a s f b r 的分水岭分割结果7 2 a s f b r 对图像梯度的作用示例7 3 交变序列重建滤波迭代过程中自适应阈值判别结果示倒。7 4 c l a i r e 第1 5 2 帧实验结果与比较7 5 a k i y o 第3 帧实验结果与比较a 7 5 网格基运动分析与空域自动分割策略相结合的视频对象分割算法框图7 6 c l a i r e 序列第1 5 2 帧对比实验结果 a k i y o 序列第3 帧对比实验结果。 算法客观性能对比 平均空间准确率对比。 运动连通性示意 基于运动连通性的初始对象分割算法框图。 。7 9 7 9 背景噪声估计静止匡彗选择8 5 本章算法应用于c l a i r e 序列的实验结果。 c l a i r e 首帧的静止区域墨 8 7 。8 8 没有尖锐噪声消除的分割结果8 9 对比实验结果i s 9 对比实验结果 算法空间准确率对比9 l 本章算法对运动背景序列f o r e m a n 的分割实验结果一9 2 表格清单 袭i 1 衰1 2 袁3 i 表3 2 表4 1 表4 2 表5 1 表格清单 集成电路技术的发展l 视频编码技术的发展2 经典h o s 算法和本章所提出的时域分割算法处理一帧的平均时间对比( 后处理前) 4 3 基于a s f b r 的分水岭分割算法对a k i y o 序列第3 帧进行处理后所得分割区域数目4 5 经典h o s 算法和本章算法处理同一帧的时间对比( 后t 处理前) 。6 1 初始运动检测模板获取时间对比。“ 基于a s f b r 的分水岭分割算法所得分割区域数目7 2 i x 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果尽我所知，除了文中特别加以标注和致谢的地方外。论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意 研究生签名：日期： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本入所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名： 第l 章络论 第1 章绪论 本幸介绍了祝蒴时象分割的基拳概岔，讨论了视囊时象分割在视频编码描述视频监控及模式 识剐等领域的应用背景及意义，翱逮了目前固一l 外视频对象分羽技术的研究现状和发展走势，从不 同的角度对视频对象分割方法进行了分类，曩后给出了论文的研究意义和内客结构安排 1 1 引言 随着超大规模集成电路技术、计算机技术和多媒体通信技术的迅猛发展，数字化科技日益深劾 地影响着人们的日常生活人们对信息的需求已不仅仅局限于传统的电报电话业务，甚至文件传输、 电子邮件等传统数据业务也己不能满足人们日益多样化的需求人们现在提出了更多方面和更深层 次的需求，期望更高品质的集视频、图像、声音、文字为体豹多媒体应用服务高清晰度电视 ( 阳) 1 v ) 系统、视频电话系统，视频会议系统、视频监控系统、视频点播系统、医疗和军事领域 的目标自动检测与识别系统等的发展归根结底都取决于数字视频技术，因此，视频处理与分析技术 的进步是当今信息时代高速发展的重要基础。 然而，数字视频与图片、语音相比，数据量巨大，对处理器性能、存储嚣容量、数据传输信道 带宽等都提出了相当高的要求。因此，视频数据的高效压缩是降低存储成本，缓解网络带宽，突破 存储空问和处理器主频限制的关键技术，对其进行研究意义重大对于视频压缩编码的研究虽然早 在二十世纪四十年代就已经开始。但视频压缩编码技术的实用化与产业化一直到二十世纪九十年代 才得以实现这主要有两方面的原因。一方面，视频压缩编码技术的发展受到硬件发展水平的制约， 只有在硬件的数字处理功能足够强的时候，视频压缩编码算法才可能由理论变为现实通常，在一 块c p u 芯片上集成的晶体管数目越多，c p u 芯片的运算处理能力就趋强，表i i 显示了单个芯片上 集成的晶体管数目的增长，反映了集成电路技术发展的过程 表1 1 集成电路技术的发展 年代 发展规模 1 9 7 1 年 第一块微处理器4 0 0 4 。大约3 0 0 0 个晶体管 l 舛4 年 8 位微处理器8 0 8 0 ，大约9 0 0 0 个晶体管 1 9 7 8 年1 6 位微处理器8 0 8 6 ，大约5 万个晶体管 1 9 8 6 年3 2 位微处理器8 0 3 8 6 ，5 0 万个晶体管 1 9 8 9 年 微处理器8 0 3 8 6 ，1 2 0 万个晶体管 1 9 9 3 年 n t e l 高性能p e n t i u m 微处理器，3 1 0 万个晶体管，包括m m x 指令集 1 9 9 7 生i n t e lp e n t i u m1 1 微处理器，7 5 0 万个晶体管 1 9 9 9 矩i n t e lp e n t i u mi i i 微处理器，2 4 0 0 万个晶体管，包括s s e 指令集 2 0 0 0 焦 i n t e lp e n t i u m4 微处理器，4 2 0 0 万个晶体管，包括s s e 2 指令集 2 0 0 3 在 第一块6 4 位微处理器a m d a t h l o n6 4 ，大约1 0 6 0 0 万个晶体管 2 0 0 6 年 i n t e lc o r e2d u o 双核微处理器，大约2 9 1 0 0 万个晶体管，包括改进s s e 3 指令集 东南大学博士学位论文 另一方面视频编码技术本身由发展到成熟是一个长期的过程如表1 2 所示到t - - 十世纪 九十年代，随着以d c t 变换、帧问预测、熵绽码为特征的混合编码技术逐渐成熟以及高性能数字处 理芯片的发展，数字视频通信才得以走向实用 ， 表1 2 视频编码技术的发展 年代发展情况 1 9 4 8 玺 提出电视信号数字化 5 0 、6 0 年代 对帧内预测、亚采样复原算法进行研究 1 9 6 8 燕 提出变换编码 1 9 6 9 年 进行线性预测编码的实验 7 0 年代对帧间预测进行研究 8 0 年代对运动补偿进行研究 1 9 9 0 年 通过h 2 6 1 视频编码标准 1 9 9 2 矩 通过m p e g 1 视频编码标准 1 9 9 4 年 通过m p e g 2 视频编码标准 1 9 9 6 年 通过h 2 6 3 视频编码标准 1 9 9 9 年 通过m p e g - 4 视频编码标准 2 0 0 1 年 通过m p e g 7 多媒体内容描述接口标准 2 0 0 3 龟 通过h 2 6 4 ( m p e g 4a v c ) 视频编码标准 2 0 0 5 芷 通过a v s 视频编码标准 传统视频编码方法依据信源编码理论的框架将图像作为随机信号利用其随机特性来进行压 缩，这种方法本身未能考虑信息获取者的主观意识和事物本身的特性，如具体含义、重要性以及后 果等等而人类视觉信息处理主要是基于比较抽象的、能够直接有效地进行记忆和处理的方式。可 以说是基于一定层次的对象个体( 或内容) 表征的i s o i e c 的运动图像专家组( m o t i o n p i e t t m e x p e r t g r o u p , 蛐q ) 提出和制定的新一代多媒体压缩标准m p e g - 4 1 1 2 l 提出了视听对象( a u d i o v ：s u a l o b j e c t ，a v o ) 的概念和方法，利用人眼的视