（信号与信息处理专业论文）视频监控系统中基于子带dct的h264编码及hmm人脸识别研究.pdf

视频监控系统中基于子带d c t 的h 2 6 4 编码及h m m 人脸识别研究 摘要 近年来，数字化、网络化的视频监控系统优势愈发明显，其高度的开放性、 集成性和灵活性，为整个安防产业的发展提供了更加广阔的发展空间，而智能 视频监控则是网络化视频监控领域最前沿的应用模式之一。 所谓“智能 是相对传统监控方式而言，系统可以自动对拍摄到的图像序 列进行分析，对监视场景中出现的异常目标或现象及时做出反应，并根据当前 状态对将要发生的事件进行预测，提醒值守人员注意相关监控画面以提前做好 相应准备，将损失降到最小。智能视频监控系统克服了传统监控方式中需靠人 力日夜值守、被动录像事后处理等诸多不足，充分发挥了其实时、主动、全天 候、可防范于未然等优势，从而可以协助人甚至代替人来完成监视或控制任务， 大大减轻了工作人员的负担，同时也降低了监控成本。因此，智能视频监控系 统在安全防范、交通控制、军事安全、火灾报警、人群控制等诸多领域都有着 广泛的应用前景。 在智能视频监控系统中，包含着五种关键技术，分别是：数字视频压缩技 术、数字视频网络传输技术、高效的大容量视频存储和检索技术、监控场景中 运动检测与告警信息处理技术以及监控场景中物体识别与跟踪技术【l 】。国内外 大批学者也对该领域进行了广泛而深入的研究，并取得了大量的成果c 2 - 1 3 】。本 文是在这些成果的基础上，针对智能监控系统中的数字视频压缩技术和人脸识 别技术进行研究。主要工作如下： 1 在视频数据压缩方面，研究和分析了新一代视频编码标准h 2 6 4 技术u 4 ， 并根据h 2 6 4 中4 4 块残差系数的分布特征及d c t 系数的能量分布特性，提出 一种基于d c t 系数子带划分的快速算法。该算法提出划分d c t 系数子带的判断 标准，在d c t 和量化前预判出为零的d c t 系数，仅计算非零的d c t 系数，相应 地也减少量化( q ) ，反d c t ( i d c t ) ，反量化( i q ) 的计算。实验结果表明，本算 法在保持图像质量和码率的同时，极大地节省了d c t ，q ，i q ，i d c t 的计算量，提 高了h 2 6 4 的编码效率。 2 在人脸识别方面，提出一种基于提升小波和隐马尔可夫模型的人脸识别 算法。该算法利用d 9 7 提升小波对归一化人脸图像进行变换，分别提取低频平 滑，水平细节和垂直细节三个子图的小波特征，将提取的小波特征聚类为观察 向量，使用一维离散隐马尔可夫模型进行训练，并把优化后的模型参数用于人 脸识别。该算法充分地利用人脸小波子图的判别信息，对于光照、姿态和表情 均具有良好的鲁棒性。在o r l 人脸库中的实验结果表明本文算法运算复杂度低， 识别效率高。 本文对智能视频监控中的两大关键技术进行研究，对改善监控系统性能、 提升监控系统功能，提高视频监控系统的智能化水平和网络化程度作了有益的 尝试。 关键字：智能视频监控系统，h 2 6 4 编码，子带d c t ，人脸识别，d 9 7 提升小 波，小波子图，维隐马尔可夫模型 r e a r c ho fh 2 6 4b a s e do ns u b b a n dd c t a n df a c e r e c o g n i z i t i o nb a s e d o nh m mi nv i d e om o n i t o r i n g s y s t e m a b s t r a c t i nt h e s ed a y s ，v i d e om o n i t e r i n g s y s t e mh a sd e p e n d e dm o r eo nd i g i t a la n d n e t w o r k ，w h i c hp r o v i d eaw i d e rd e v e l o p i n gs p a c ef o r t h ew h o l es e c u r i t y a n d p r o t e c t i o ni n d u s t r y w h a t sm o r e ，i n t e l l i g e n tv i d e om o n i t o r i n gs y s t e mh a sb e c o m e o n eo ft h et h em o s ti m p o r t a n ta n da d v a n c e da p p l i c a t i o ni n t h es e c u r i t ya n d p r o t e c t i o na r e a c o m p a r e dw i t ht h et r a d i t i o n a lm o n i t e r i n gs y s t e m ，t h ei n t e l l i g e n tm o r n i t o r i n g s y s t e mc a nn o to n l yc a p t u r et h ev i d e os e q u e n c eb u ta l s oa n a l y s e i t a sar e s u l t ，t h e m o n i t e r i n gs y s t e mc a nr e s p o n s et ot h ea b n o r m i t yt a r g e ta sw e l la st h ep h e n o m e n ai n s c e n e ，a n da l s oh a st h ea b i l i t yt of o r e c a s tw h a tw o u l dh a p p e nn e x t ，w h i c hc a ng i v e t h eg u a r daw a r n i n gt op r e p a r ew e l lf o rt h ea b n o r m a ls i t u a t i o na n dm i n i m i z et h e l o s t a si ti sk n o w n ，t h et r a d i t i o n a lm o r n i t e r i n gs y s t e mh a st h ef o l l o w i n gl a c k s ， s u c ha sw a t c h i n ga l lt h et i m eb yg u a r dd a ya n dn i g h t ，a l lt h es o l u t i o nc a no n l yb e e n t a k e no u ta f t e rt h ea c c i d e n t sp a s s i v e l y h o w e v e r ，t h ei n t e l l i g e n tm o r n i t o r i n gs y s t e m c o q u e r s t h e s e s h o r t c o m i n g s ，w h i c h i sr e a l t i m e ，a u t o m a t i c ，a l lt i m e a n d p r e v e n t i v e s oi tc a nh e l pe v e nr e p l a c ep e o p l ei nt h em o r n i t e r i n ga n dc o n t r o l l i n g t a s k s w h i c hc a nl i g h t e np e o p l e sb u r d e na sw e l la sr e d u c et h ec o s t c o n s e q u e n c e l y ， t h ei n t e l l i g e n tm o r n i t o r i n gs y s t e mh a sb e e nw i d l yu s e di na l lt h e s ea r e a ss u c ha 8 s e c u r i t ya n dp r o t e c t i o n ，t r a f f i cc o n t r o l ，m i l i t a r ys a f e t y ，f i r e a l a r ma n dp e o p l e c o n t r o la n ds oo n i nt h ei n t e l l i g e n tm o r n i t o r i n gs y s t e m ，t h e r ea r ef i v ek e yt e c h n i q u e s ，s u c h a s ：v i d e oe n c o d i n gt e c h n i q u e ，v i d e on e t w o r kt r a n s m i s s i o nt e c h n i q u e ，v i d e os t o r a g e a n ds e a r c h i n gt e c h n i q u e ，m o t i o nd e t e c t i o na n dw a r n i n gt e c h n i q u ea sw e l la so b j e c t r e c o g n i t i o na n dt r a c kt e c h n i q u e 1 1 al o to fr e s e a r c h e sh a v eb e e nd o n ei nt h i sa r e a a n da g r e a t o fa c h e i e v e m e n t sh a v eb e e nm a d e i nt h ea c a d e m i cw o r l d 2 _ 1 3 1 f o l l o w i n go nt h o s er e a r c h e s ，w e h a v em a d es o m er e a r c ho nt h ev i d e o e n c o d i n gt e c h n i q u ea n dt h ef a c er e c o g n i t i o nt e c h n i q u ei nt h i sp a p e r t h em a i nw o r k i sa sb e l o w ： 1 i nt h ev i d e oe n c o n d i n ga r e a ，t h en e wv e d i oe n c o d i n gs t a n d a r d h 2 6 4 t e c h n i a u eh a sb e e ns t u d i e da n da n s l y s e d 14 1 f a s td c t i so n eo ft h ek e yi s s u e si n h 2 6 4 ，a c c o r d i n gt ot h ep r o p e r t i e so fd c tc o e f f i c i e n t s e n e r g yd i s t r i b u t i o na n d t h e c h a r a c t e r i s t i c so f “z i g z a gs c a n ”，o n ef a s td c ta l g o r i t h mi sp r o p o s e db a s e do n d i v i d e ds u b b a n d si nt h ep a p e r d i s c r e t ec o s i n et r a n s f o r m ( d c t ) c o e f f i c i e n t so ft h e p r e d i c t i o nr e s i d u e ( z e r oq u a n t i z e dd c tc o e f f i c i e n t s ，z q d c t ) a r es e t z e r o p r e d i c t a b l yb e f o r ei m p l e m e n t i n gd c t a n dq u a n t i z a t i o n ( q ) ，a n dt h e nt h er e d u n d a n t c o m p u t a t i o n sa r ed e d u c e dg r e a t l y o n ea d a p t i v es c h e m ei sa l s op r e s e n t e dw i t h m u l t i p l et h r e s h o l d st od i v i d et h es u b b a n d s b yt h i ss c h e m e ，o n l yt h ed c t c o e f f i c i e n t sw i t h o u tz q d c tw i l lb ec o m p u t e d t h ee x p e r i m e n t a lr e s u l t ss h o wt h a t t h ep r o p o s e da l g o r i t h mo u t p e r f o r m so t h e ra p p r o a c h e si nl i t e r a t u r e ，a n da c h i e v e st h e b e s tp e r f o r m a n c ei nr e d u c i n gc o m p u t a t i o n si nt h ec a s eo ft h es a m ep i c t u r eq u a l i t y a n dt h es a m ec o m p r e s s i o nr a t i ob yt h et r a d i t i o n a la l g o r i t h m si nh 2 6 4 2 i nt h ef a c er e c o g n i t i o na r e a ，an e wa p p r o a c hb a s e do nl i f t i n gw a v e l e t t r a n s f o r mf o rf a c er e c o g n i t i o ni sp r e s e n t e d t h ed a u b e c h i e s9 7 l f t i n gw a v e l e t t r a n s f o r m ( d 9 7l w t ) i se m p l o y e dt op r e p r o c e s st h en o r m a l i z e df a c e sa n dt h r e e g r o u p so fw a v e l e tf e a t u r e s ：a p p r o x i m a t i o ns u b i m a g e ，h o r i z o n t a ld e t a i ls u b - i m a g e a n dv e r t i c a ld e t a i ls u b i m a g e ，a r eo b t a i n e dr e s p e c t i v e l y n e ww a yo fe x t r a c t i n ga n d u s i n go b s e r v a t i o ns e q u e n c ef r o mt h et h r e ew a v e l e ts u b - i m a g e sf o rr e c o g n i t i o ni s i n t r o d u c e d t h eo b s e r v a t i o ns e q u e n c ei st h e nm o d e l e db y u s i n g1d d i s c r e t eh i d d e n m a r k o vm o d e l ( 1 d d h m m ) t h ee x p e r i m e n t a lr e s u l t so nt h eo l i v e t t ir e s e a r c h l a b o r a t o r y ( o r l ) f a c ed a t a b a s es h o wt h a t t h ep r o p o s e dm e t h o dh a sah i g h r e c o g n i t i o nr a t ew i t hr e l a t i v e l yl o wc o m p l e x i t y ，a n di ti sa l s of a i r l yr o b u s tt ot h e v a r i e t yo fd i f f e r e n ti l l u m i n a t i o nc o n d i t i o n ，f a c ep o s ea n de x p r e s s i o n i nt h i sp a p e r ，w eh a v es t u d i e dt h et w ot e c h n i q u e so ft h ei n t e l l i g e n tm o r n i t e r i n g s y s t e m ，w h i c hc a ni m p r o v et h es y s t e mp e r f o r m a n c e ，p r o m o t et h em o r n i t e r i n g s y s t e m sf u n c t i o n ，a n de n h a n c et h es y s t e m s l e v e lo ft h e i n t e l l i g e n c ea n d n e t w o r k i n g i no n ew o r d ，t h ew o r k ，i nt h i sp a p e r ，h a sas h o ta tt h ei m p r o v e m e n to n t h ei n t e l l i g e n tm o r n i t o r i n g s y s t e m k e yw o r d s ：t h ei n t e l l i g e n tm o r n i t o r i n gs y s t e m ，h 2 6 4v e d i oe n c o d i n g ，s u b b a n d d c t ，f a c er e c o g n i t i o n ，d 9 7l w t ，w a v e l e ts u b i m a g e ，1d h m m 插图清单 图卜1 视频监控系统框图1 图卜2m p e g 一2 与h 2 6 4 两种编码标准的编码性能对比3 图卜3h 2 6 4 编码系统6 图2 一lh 2 6 4 编码原理框图1 1 图2 2f o r e m a n 序列第1 帧1 2 图2 34 4 块预测样本和8 种预测方向示意图1 3 图2 4 相邻4 4 亮度块a 、b 和c 的关系图1 4 图2 5h 2 6 4 帧间七种分块模式1 5 图2 6 当前和邻近分割( 相同尺寸)1 6 图2 7 当前和邻近分割( 不同尺寸)1 6 图3 - 1 系数尸( 以访分布2 3 图3 2 系数尸( 以d 分布2 9 图3 - 3z ig z a g 排序i 2 9 图3 4 子带划分示意图2 9 图3 5 各子带系数2 9 图3 6 高斯分布概率曲线图3 0 图3 7 = 0 ，仃= 1 时高斯分布概率曲线图3 0 图3 8s il e n t 序列第一帧3 4 图3 9f o r e m a n 序列第一帧3 4 图3 一1 0s t e n f a n 序列第一帧3 4 图4 1 小波提升方案3 7 图4 2d 9 7 小波提升方案3 8 图4 - 3 缸和球的试验4 0 图5 1 人脸比例剪裁图4 6 图5 2 原始人脸图像4 7 图5 - 3 归一化标准脸像4 7 图5 4 小波分解图像4 7 图5 - 5 小波分解示意图4 7 图5 6 动态聚类算法流程图4 9 图5 7 人脸h m m 模型示意图5 0 图5 8 人脸识别的h m m 训练流程图5 1 图5 1 人脸比例剪裁图4 6 图5 - 2 原始人脸图像4 7 图5 - 3 归一化标准脸像4 7 图5 4 小波分解图像4 7 图5 5 小波分解示意图4 7 图5 6 动态聚类算法流程图4 9 图5 7 人脸h m m 模型示意图5 0 图5 8 人脸识别的h m m 训练流程图5 1 图5 9 人脸识别的算法流程图5 2 表格清单 表2 14 4 模式及其预测方向1 3 表2 21 6 1 6 亮度预测模式预测关系1 3 表2 38 8 亮度预测模式预测关系1 4 表2 4h 2 6 4 中编码器的量化步长2 0 表2 5h 2 6 4 中的m f 值2 1 表3 1t v ) 的取值3 2 表3 2q p ：3 0 ，t v 1 的取值3 2 表3 3s i le n t c i f 图像序列实验比较结果3 4 表3 4f o r e m a n c i f 图像序列实验比较结果3 4 表5 1 使用提升小波实验对比5 2 表5 2 小波子图的权值与识别率5 3 表5 3 相关方法对比：5 3 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰 写过的研究成果，也不包含为获得 盒胆三些太堂或其他教育机构的学位或证书而使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 学位论文作者签字：卢车二 签字日期p 斫年弓月弓j 日 学位论文版权使用授权书 本学位论文作者完全了解 金蟹工些盘堂 有关保留、使用学位论文的规定，有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人 授权金g 曼王些太堂可以将学位论文的全部或部分论文内容编入有关数据库进行检 索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者签名： 览钰 ， 签字日期：7 俸准弓月3j 日 学位论文作者毕业后去向： ：f ：作单位： 通讯地址： 导师签名： 签字日 电话： 邮编： 锣月弓日 致谢 值此学位论文完成之际，谨向一直给予我支持和关爱的家人、辛苦教导我 的师长、帮助我的同学和朋友们，表达我最诚挚的谢意! 大学四年级的时候，我十分荣幸地进入合肥工业大学计算机与信息学院d s p 实验室。依然清晰记得初次参加实验室的例会时情形，自己的紧张心情在老师 们的鼓励和师兄师姐们善意的目光下顿时放松了很多，第一次见识了师兄师姐 们为了学术问题的激烈讨论，感受大家在讨论中取长补短，共同进步的精神。 我为自己将来能够在这样一个积极上进的大集体学习感到骄傲。 转眼之间我将结束在实验室的生活，由衷感谢尊师蒋建国教授在学习和生 活上给予我的巨大帮助。蒋老师一丝不苟的治学态度、渊博的知识、谦虚和蔼 的处世态度深深刻入我的心里。我在老师的教导下不仅学会了如何做学问，更 加学会了如何做人。我会永远记得科技楼五楼蒋老师办公室那扇敞开的门，即 使在节假日和周末时，蒋老师常常为了工作放弃休息的机会。老师，您辛苦了! 读研期间，齐美彬老师几乎每天都与我们共同呼吸实验室的空气。齐老师 手把手教我做项目，让我们和老师零距离接触。他细致耐心的教导使我终生受 用。齐老师对于技术精益求精、一丝不苟，对于每一个问题，哪怕是一个很小 的问题，齐老师都认真、细心的研究，为我以后的工作树立了榜样。从齐老师 那里我学会了永不放弃的学习精神。 感谢詹曙老师，在我学习人脸识别的过程中给予我的无私帮助。当我对于 学习中的困难不知所措的时候，是詹老师给我指明了学习的方向，解决了我心 中得疑惑，使我及时调整了方向，取得了进步。同时感谢詹老师在生活上给予 我的帮助。詹老师渊博的知识、广阔的学术思路、谦逊和蔼的为人态度都给我 留下深深的印象。感谢詹老师帮助我成长! 同时感谢实验室的夏娜老师，吴从中老师，李小红老师，尤小泉老师，在 实验室的学习中，他们都给予了我无私的帮助和关怀。谢谢你们。 感谢实验室已经毕业的师兄师姐们：常传文、王德宝、蒋庆汝、吴琼、尹 翔、安宝磊、刘扬、操龙敏、王倩、宣曼、张锐等，谢谢他们对我的帮助和鼓 励。 谢谢我的同学们，他们是：常虹、郭艳蓉、郝世杰、施志萍、张前进、张 乐、李湘涛、李莉、项磊，这几年的共同生活使我们情同手足，谢谢大家。 感谢我的父母和姐姐，谢谢你们一直以来对我无私的支持和关爱，我们是 相亲相爱的一家人，以后我会通过自己的努力工作给我们家带来更多幸福。 作者：卢晓红 2 0 0 9 3 3 第一章绪论 1 1 论文的背景 当今社会是一个人口密集、高度复杂的社会，人类的活动范围越来越大， 面临的突发事件和异常事件越来越多，监控的重要性和难度也就越来越突出， 完全靠人力来进行监视的传统监控方式越来越难以满足当前的监控要求。然而， 目前大多数用于安全监控等领域的摄像机的主要作用只是代替了人眼，简单地 将结果记录下来，还未能代替人脑发挥实时、主动的分析监控功能。如何使传 统的监控系统具有“智能性”，如何把人从繁重枯燥、长时间的监视作业中解 放出来对当前的监控技术提出了更高的要求。智能视频监控系统1 , 1 5 , 1 6 】，就是 在此背景下“应运而生”的。智能视频监控系统较传统监控系统的主要优势就 在于其“智能性。简单而言，其不仅用摄像机代替了人眼，而且用计算机协 助人甚至代替人来完成监视或控制任务，从而大大减轻了人的负担。 智能视频监控技术采用计算机视觉、图像处理和模式识别等方法，在几乎 不需要人为干预的情况下，通过对摄像机拍摄到的图像序列进行自动分析来检 测场景中的运动目标，进而进行识别与跟踪，并在此基础上分析和判断目标的 行为。 智能监控系统能够在异常情况出现时及时做出反应，将损失降到最小，而 不再只是事后做“亡羊补牢”式的补救。 智能视频监控系统不仅应用于安全防范领域，在交通、军事、金融、工业 等领域也有着广泛的应用前景和巨大的潜在经济价值，因此，已经受到学术界、 产业界和相关管理部门的广泛关注。 通常情况下，视频监控系统由摄像前端( 摄像机，镜头，编码器，云台， 架，防护罩等) ，传输系统( 有线，无线) ，监控中心( 矩阵主机，多媒体主机) ， 终端( 监视器，录像机) 四大部分组成【l7 】。如图卜1 所示。 图1 - 1 视频监控系统框图 摄像前端是视频监控的前沿部分，是整个系统的“眼睛”，它安放在监控 现场的某一部分，其视角能覆盖每一个角落。 从系统角度来看，摄像头是整个系统的信源，监控场景通过它转化为图像 信号，直接通过网络传输或先进入编码器进行压缩后再传输。 传输部分是系统的图像、声音、控制信号的通路，主要用于传输摄像机前 端采集的视频信号和控制中心发出的控制信号。 监控中心，即信号处理部分，也是整个系统的监控部分，主要负责视频信 号的放大和分配，监控参数的设置，图像信号的校正和补偿，图像信号的切换， 摄像机和其他辅助设备的控制等等。 终端部分，一般是通过一台或多台专业显示设备对经过处理的图像信号进 行成像，以及对图像信号的记录和备份等。 在智能视频监控系统中，包含着以下五种关键技术：数字视频压缩技术、数 字视频网络传输技术、高效的大容量视频数据存储和检索技术、监控场景中运 动检测与告警信息处理技术以及监控场景中物体识别与跟踪技术。本文主要 研究数字视频压缩技术和监控场景物体识别与跟踪技术，下面分别对这两大关 键技术进行介绍： 1 数字视频压缩技术 众所周知，未经压缩数字视频信号其数据量相当的大，例如假设传输2 5 帧 秒的c i f ( 3 5 2 2 8 8 ，4 ：2 ：2 ) 格式的图像信号，那么一秒钟的数据量是： 3 5 2 2 8 8 8 2 2 5 = 4 0 5 5 0 4 0 0 b i t 在视频监控系统中，既要对视频数据进行存储和检索，同时又要在网络上 进行传输，对如此大数据量的视频如果不进行压缩，无论是存储、检索还是传 输都是不可能的。 2 监控场景物体识别与跟踪技术 智能视频监控系统最主要的发展方向是在传统的视频监控系统中加入带有 人工智能的自动影像捕捉识别及跟踪功能，也即能够自动识别出监控场景的物 体尤其是人，并加以跟踪锁定。近年来这方面的各种技术得到了广泛的研究和 深入的探索，在这其中，人脸识别技术具有非接触式、直接、友好的优势，以 其实用、高效、准确等特点成为最有发展潜力的技术。 针对智能监控系统的这两大关键技术，本文深入研究了新一代的视频编码 标准一一h 2 6 4 技术以及人脸识别技术。下面分别介绍相关领域的研究情况。 1 2h 2 6 4 编码技术概述 1 2 1h 2 6 4 标准的提出 智能视频监控系统中，视频服务器从图像采集设备得到数据是y u v 格式的视 频数据，其数据且比较大，如果不经压缩而直接在网络中传输的话，将会占用 大量的带宽，同时也不利于存储。针对这个问题，使用数据压缩技术是行之有 效的解决方法，通过数据压缩，可以将视频信息的数据量降下来，以压缩的形 式存储、传输，既节约了存储空间，又提高了传输效率。 长久以来，关于视频压缩有i s o i z c $ 0 定的m p e g - x ( 活动图像编码专家组) 2 和i t u t ( 视频编码专家组) 制定的h 2 6 x 两大系列标准。该组织于2 0 0 3 年颁布了 最新的视频编码国际标准i t u th 2 6 4 m p e g 一4p a r t1 0a v c ( 简称h 2 6 4 ) 【1 8 】【1 9 2 0 2 1 1 。 h 2 6 4 编码标准与现有的视频编码标准比较，有了明显的改进【2 2 1 。在相同 视觉感知质量上编码效率比m p e g 2 提高了一倍左右，并且有更好的网络友好 性。如图1 2 表示了m p e g 2 与h 2 6 4 两种编码标准的p s n r 对比。 h 2 6 4 不仅具有优异的压缩性能，而且具有良好的网络亲和性，这对实时 的视频通信是非常重要的。由于h 2 6 4 着重于解决压缩的高效性和传输的高可 靠性，因此，其应用面非常广泛，在高清晰度电视、卫星电视、存储媒体、无 线多媒体应用等方面显示出了巨大的应用潜力。 图卜2m p e g 一2 与f 1 2 6 4 两种编码标准的编码性能对比 1 2 2h 2 6 4 的关键技术 h 2 6 4 a v c 支持的比特率和范围和图像大小非常广泛，适于从手机和电话 拨号的极低码率、低码率、像邮票大小的图像分辨率的应用，直到具有娱乐功 能的标准清晰电视和高度清晰电视服务。标准为编码视频提供了灵活的系统接 口，使得视频内容的使用几乎适合于所有的网络和信道环境。同时标准在技术 方面主要着重于两个目的：一个是高编码效率；另一个是网络环境下对于传统 矩形图像和摄像头视频内容的编码健壮性要求。 为了提高编码效率，在h 2 6 4 的标准中采用了很多新技术，主要有： ( 1 ) 多模式的帧内预测技术 帧内预测【2 3 】是h 2 6 4 标准的重要特性之一，它利用了相邻像素的相关性， 根据相邻已编码过的块来预测当前块的象素值，并且只对预测差值进行变换编 码，以消除空间冗余。尤其是在变化平坦的区域，利用帧内预测可以用较少的 比特数来表达像素块信息，提高了编码效率。 为了提高帧内预测的质量，h 2 6 4 提供了三种帧内预测模式：基于4 x 4 的亮 度块帧内预测、基于16 16 的亮度宏块帧内预测和基于8 x 8 的色度宏块帧内预 测，并且为每一种预测方式提供多种预测模式。 ( 2 ) 多种块模式的帧间预测技术 3 与先前的视频编码标准类似，h 2 6 4 也使用了块匹配的帧间预测【2 4 】以消除 视频序列的时域冗余。 为了更准确的描述宏块的运动细节，h 2 6 4 中定义了7 种不同尺寸和形状 的宏块和亚宏块分割，分别为：1 6 1 6 ，1 6 x 8 ，8 x 1 6 ，8 x 8 ，8 x 4 ，4 x 8 ，4 x 4 ， 通过率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n ) 来选择不同的块尺寸。这样对于 一个宏块，在不同的块模式下，可以用1 个或最多1 6 个运动矢量来描述，并且 块的形状可以是正方形或矩形的。这种更小的、更多形状的宏块分割，可以改 善运动补偿的精度，更好的实现运动隔离，提高图像质量和编码效率。 ( 3 ) 1 2 、1 4 和1 8 精度的运动估计 运动估计【2 4 】是利用视频图像的时域相关性，产生相应的运动矢量，尽可能 准确的描述对象( 块或宏块) 的时域运动。数字图像是通过周期的对模拟图像 抽样所得到的，由于抽样间隔的原因，物体运动可能不是整象素倍的位移，而 是1 2 或者1 4 个象素倍的位移，因此提高运动矢量的精度，运动估计的残差 越小，这样在降低编码效率的同时提高重建视频质量。h 2 6 4 支持亮度分量的 1 4 象素和色度分量的1 8 象素的运动估计，利用6 抽头滤波器产生1 2 分数象 素，线性插值产生1 4 分数象素，4 抽头滤波器产生最高1 8 分数象素。 ( 4 ) 支持多参考帧 h 2 6 4 标准吸收了h 2 6 3 + + 中的多参考帧技术【2 4 1 ，在对快速的周期性运动、 背景相互切换、物体存在遮蔽现象等情况进行预测时，多参考帧可以提供更好 的预测效果。图像中的物体运动，会对背景造成遮挡，当物体运动过去后，背 景依然不变，此时参考己编码的前面几帧，会得到比只参考前面一帧的效果更 好。对于快速的周期性运动和背景相互切换等情况，也有同样的效果，使得在 p 、b 帧预测时预测误差更小。另外，h 2 6 4 中的b 帧也可以作为其他图像的参 考图像。 ( 5 ) 4 4 整数变换及量化 与先前视频编码标准有所不同，h 2 6 4 引入了d c t 整数变换。其基本编码 特性与4 4 点的二维d c t 变换相似，将二维整数变换分解为一维整数变换， 先对行进行整数变换，再进行列整数变换。在变换过程中系数均为整数保证了 编解码端的数据可以精确匹配。这样大大简化了计算的复杂度，保证了运算精 度，并且在解码端有严密的反变换过程，能够减少块效应和振铃效应。而且整 数变换是和量化紧密结合在一起的，在整数变换过程中所有的系数都会扩大相 应的倍数，结合量化可以减少复杂度。量化参数q p 每增加6 ，量化步长加倍， 提高了码率控制能力。 在图像编码中，变换编码和量化从原理上讲是两个独立的过程。但在h 2 6 4 中，将两个过程中的乘法合二为一，并进一步采用整数运算，减少了编解码的 运算量，提高了图像压缩的实时性。 4 ( 6 ) 去块滤波器 基于块的视频编码系统在低码率时无法回避的一个问题就是块效应【2 5 1 ，为 了降低由高压缩比产生的明显的块失真效应，h 2 6 4 标准中引入了基于内容的 去块滤波器。在视频编码器中加入去方块滤波器的方法有两种：后置滤波器和 环路滤波器。后置滤波只处理编码环路外的显示缓冲中的图像数据，所以它不 是标准化过程中的规范内容，在标准中只是可选项。与此不同，环路滤波器处 理编码环路中的数据。在编码器中，被滤波的图像帧作为后续编码帧的运动补 偿的参考帧；在解码器中，滤波后的图像显示输出。这样要求解码器和编码器 所使用的滤波器保持同步。 滤波过程：所有宏块按照逐行扫描顺序，基于对宏块的每个4 4 块边界 进行滤波。去块滤波器应用在图像重构后。根据宏块中每一个块的位置和量化 参数的不同，对不同块边界设置不同的滤波强度( s t r e n g t h ) ，自适应地调整滤 波效果。 ( 7 ) 熵编码 熵编码是整个视频编码的一个重要环节，它的实质是将最常出现的信息用 短码表示，不常出现的消息用长码表示，以使平均码长尽可能的短，达到无损 压缩的目的。h 2 6 4 标准中使用了两种熵编码方法 2 6 】：基于上下文的自适应变 长编码( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ，c a v l c ) 和基于上下文 的自适应二进制算术编码( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ， c a b a c ) 。 c a v l c ：通过根据已编码句法元素的情况，动态调整编码中使用的码表， 取得了极高的压缩比。利用相邻已编码符号所提过的相关性，为所要编码 的符号选择合适的上下文模型。利用合适的上下文模型，就可以大大降低 符号间的冗余度。 c a b a c ：通过对概率表中的值估计当前字符的概率，当前字符处理后， 需要重新刷新概率表。 1 2 3h 2 6 4 的分层结构 随着通信技术和计算机技术的飞速发展，特别是互联网和移动通信网在世 界各地的兴起和普及，编码视频的传输网络变得越来越复杂。如何增强编码视 频的网络适应性，扩展视频编码标准的应用范围日益成为人们关注的焦点。为 此，h 2 6 4 标准在设计上将整个编码系统分成视频编码层v l c ( v i d e oc o d i n g l a y e r ) 和网络提取层n a l ( n e t w o r ka b s t r a c t i o nl a y e r ) 两个具有不同概念的 层次，如图1 - 3 所示。 i 视频压缩编码层视频压缩解码层 jt l 网络提最编码层网络提取织码层 jt ih ，船磨l h ，z o m n 盯i m p e 。- z i 网络 图卜3h 2 6 4 编码系统 视频编码层v l c 主要负责对数字视频进行高效编解码，提供具有高质量、 高压缩比、健壮性、可分级等特性的视频编码流。这一部分也是整个h 2 6 4 视 频编码标准的核心部分，但是对于不同的传输网络和传输协议，视频编码比特 流不具有普通的适应性。为此，h 2 6 4 标准在视频编码层的外部定义了网络提 取层n a l 。 网络提取层n a l 主要负责将视频编码层v l c 产生的视频编码数据正确 的、恰当的映射到不同的传输网络中去。当v l c 产生的编码视频比特流将在某 种特定网络中传输时，n a l 针对这种网络及其传输协议的特性，对v l c 的编 码比特流进行封装，来适合该网络及其传输协议。这样h 2 6 4 就可以在面向不 同的传输网络时，灵活的提供不同的封装方式，增强了网络的适应性。n a l 的 产生不但使得h 2 6 4 对目前现存的各种不同网络有很强的网络友好性，而且使 它对未来的网络同样具有很强的适应性。 1 2 4h 2 6 4 的编码格式 h 。2 6 4 a v c 规定了三个编码档次( p r o f i l e ) ：基本档次( b a s e l i n ep r o f i l e ) ，主 要档次( m a i np r o f i l e ) ，以及扩展档次( e x t e n d e dp r o f i l e ) 4 1 。每个档次都定义了 不同编码技术以实现不同的功能。 1 基本档次：利用i 片和p 片支持帧内和帧间编码，支持利用基于上下文 的自适应的变长编码进行熵编码( c a v l c ) 。主要用于可视电话、会议电 视、无线通信等实时编码环境。 2 主要档次：支持隔行视频，才用b 片的帧间编码和采用加权预测的帧内 编码；支持利用基于上下文的自适应的算术编码( c a b a c ) 。主要用于数 字广播电视与数字视频存储。 3 扩展档次：支持码流之间有效的切换( s p 和s i 片) 、改进误码性能( 数 据分割) ，但不支持隔行视频和c a b a c ，主要应用于流媒体中。 1 3 人脸检测和识别技术概述 随着视频监控系统的普及和广泛应用，用户对其有了更多及更高的要求， 6 近年来国内外也开始了新一代视频监控系统的研究及开发，而新一代的视频系 统最主要的发展方向是在传统视频监控系统中加入带有人工智能的自动影像捕 捉及识别功能，使固有的视频监控系统从被