（计算机科学与技术专业论文）嵌入式音视频压缩与传输技术的研究.pdf

国防辩学技术大学研究生陵学位论文 摘要 多媒体技术盼发袋檄大溅撼动了人类社会盼谶步，图像处理技术聋露媒体传输技术魑瓣 裁多媒体镁域鹤龌令磺究热点，势在曩攀擞产、黛港皲攀攀领域褥到了广泛灏激羯。隧薄 务琴孛漱气、辍擞产菇缒鬻辘纯，嵌入式技术褥溺了飞逡瓣发鼹，嵌入姣系绞嚣缝渗透滋章土 会各个领敞a 戮j 蹴，农嵌入式环境下遴行阁像她溅釉媒体俺输成为一个缀露意义的研究方 起。 本文驻嵌入式强臻下浆阗像处璞粒媒体健输波瘸系绫巍鬻疑，獗究了浆掰变换编礴f l 奄 翮像的威爨提升技术、媒体传输技术、以及爽时系统的任务调发技术，并设计鄹实现了嵌 入残实餮搴蠢溅额簸羧系统。 本文首先研究了采用变换编码的图像的质量提升技术。利用d c f ( d i s c r e t ec o s i n e t r a n s f o r m ) 进行图像压缩时由于d c t 的块变换特性，会造成块效应，从而影响压缩图像 的质量。本文设计了一种简单有效的方法来消除块效应。该方法在不对图像清晰度产生明 显影响的情况下，较好的削弱了块效应。 本文然后研究了媒体传输技术。主要研究了在i n t e m e t 上进行媒体传输的q o sf q u a l i t y o f s e r v i c e ) 保证机制，分析了基于r t c p 统计信息进行视频编码码率调节的技术，设计了 一种基于客户端缓冲区预警的速率控制机制，在不造成网络拥塞的前提下，提高媒体传输 质量。 本文还对单处理器实时系统的任务调度机制进行了研究。分析了单处理器实时系统的 任务模型以及几类比较典型的任务调度算法，在此基础上提出了一种基于d m s ( d e a d l i n e m o n o t o n i cs c h e d u l i n g ) 和e d f ( e a r l i e s td e a d l i n ef i r s t ) 的多任务混合调度算法，用于解决 实时系统中多类任务的混合调度问题。 本文还介绍了嵌入式实时音视频监控系统的设计和实现。给出了系统的总体结构设计 以及各个子系统的设计与实现过程，并对系统中的d c t 算法实现使用d s p 专有指令进行 了优化，解决了数据压缩和媒体传输对共享数据的访问同步问题。 关键词：嵌入式系统，实时，数据压缩，媒体传输，任务调度 a b s t r a c t t h ed e v e l o p m e n to fm u l t i m e d i at e c h n o l o g yh a sg r e a t l ya d v a n c e dt h es o c i e t y , i m a g e p r o c e s s i n ga n dm e d i at r a n s m i s s i o na r et w ok e yt e c h n o l o g i e si nt h ed o m a i no fm u l t i m e d i a ，a n d h a v eb e e nw i d e l yu s e di nd a i l yl i f e ，i n d u s t r ya n dm i l i t a r ya f f a i r s w i t ht h ei n t e l l i g e n t i z a t i o no fa l l k i n d so fe l e c t r i c a la n dm e c h a n i c a lp r o d u c t i o n s ，t h ee m b e d d e dt e c h n o l o g yh a sm a d eg r e a t p r o g r e s s ，a n de m b e d d e ds y s t e m sc a nb es e e ne v e r y w h e r e 。t h e r e f o r e ，i tw i l lb ev e r yp r o m i s i n gt o r e s e a r c hi m a g ep r o c e s s i n ga n dm e d i at r a n s m i s s i o nb a s e do ne m b e d d e ds y s t e m s i nt h i st h e s i s ，t h eq u a l i t yl i f t i n gt e c h n i c so ft r a n s f o r m c o d e di m a g e sa r ec o n s i d e r e d 。 r e s e a r c h so nm e d i at r a n s m i s s i o na r ea l s oi n c l u d e d 。a f t e r w a r d s ，t a s ks c h e d u l i n gt e c h n i c si n r e a l - t i m es y s t e m sa r er e s e a r c h e d f i n a l l y t ，t h i st h e s i si n t r o d u c e st h ed e s i g na n di m p l e m e n t a t i o n o fe m b e d d e dr e a l t i m ea u d i oa n dv i d e om o n i t o r i n gs y s t e m 。 w h i l ec o m p r e s s i n gi m a g e sw i t hd c t ( d i s c r e t ec o s i n et r a n s f o r m ) ，b l o c k i n ge f f e c t sw i l l c o m eu p ，w h i c hr e d u c et h eq u a l i t yo fi m a g e s i nt h i st h e s i s ，as i m p l ea n de f f i c i e n ta l g o r i t h mi s d e s i g n e dt od i s p o s et h eb l o c k i n ge f f e c t sw i t h o u tb l u r r i n gt h ei m a g e 。 q o s ( q u a l i t yo fs e r v i c e ) g u a r a n t e em e c h a n i s m w h i l et r a n s m i t t i n gm e d i ad a t ao v e ri n t e r a c ti s r e s e a r c h e d aw a yt oa d j u s tt h eb i t r a t eo fv i d e oe n c o d e ra c c o r d i n gt oi n f o r m a t i o nf e db a c kb y r t c pi sa n a l y z e d t h e n ，ar a t ec o n t r o lm e c h a n i s mb a s e do nt h ee n d u s e r sd e v i c ec o n s t r a i n t si s i n t r o d u c e d ，w h i c hc a l li m p r o v et h eq u a l i t yo fm e d i at r a n s m i s s i o nw i t h o u tc a u s i n gn e t w o r k c o n g e s t i o n a f t e ra n a l y z i n gs e v e r a lt y p i c a lt a s ks c h e d u l i n ga l g o r i t h m si nu n i p r o c e s s o rr e a l t i m es y s t e m ， t h i st h e s i s g i v e s am u l t i t a s ks c h e d u l i n g a l g o r i t h mb a s e do nd m s ( d e a d l i n em o n o t o n i c s c h e d u l i n g ) a n de d f ( e a r l i e s td e a d l i n ef i r s t ) ，w h i c hi se f f i c i e n ti ns c h e d u l i n gs e v e r a ld i f f e r e n t t y p e so ft a s k s f i n a l l y ，t h ed e s i g na n di m p l e m e n t a t i o no fe m b e d d e dr e a l t i m ea u d i oa n dv i d e om o n i t o r i n g s y s t e ma r ed i s c u s s e d 。t h i st h e s i sg i v e st h et o p l e v e ls t r u c t u r eo ft h es y s t e ma n dd e t a i l so f s u b s y s t e m si n i t i nt h es y s t e m ，d c ti m p l e m e n t a t i o ni so p t i m i z e dw i t hd s p sc u s t o m o p e r a t i o n s t h i st h e s i sa l s oi n t r o d u c e st h es y n c h r o n i z a t i o nm e c h a n i s mb e t w e e nd a t ac o m p r e s s i n g m o d u l ea n dm e d i at r a n s m i s s i o nm o d u l ew h i l ea c c e s s i n gs h a r e dd a t a ， k e y w o r d s ：e m b e d d e ds y s t e m ，r e a l - t i m e ，d a t ac o m p r e s s i n g ，m e d i at r a n s m i s s i o n ，t a s k s c h e d u l i n g i l 国防科学技术大学研究生院学位论文 图阏录 图2 - 1 多媒体图像编码的分类6 灏2 2 峻麓琰溺7 图2 3 变换编码系统构成图8 围2 - 4 图像中不同像索块对应的e 值1 2 鞠2 - 5 计算遘疆中选取翡豫索差。1 2 阁2 6 图像中像素块的计算顺序1 3 豳2 7 篾化蛇e 。计算过程选取的像素差。1 4 图2 8 测试图像对魄1 5 网3 1 视频直播系统框架结构图2 0 黼3 2 缓冲嚣阕篷设莲示意爨+ 2 2 阁3 3 网络状态分析模块2 4 阁4 - l 优先级倒置一2 9 黼一2 俊先级继零瓣决铙先缀翻耋3 0 阌5 1 嵌入式实时鬻视频处理系统框图3 7 图5 2 系统顶层框架流程图4 1 图5 - 3 视频采集程序的建立过程一4 3 图5 - 4 音频采集程序的建立过程4 4 图5 5 调用编码器进行压缩的工作模式一4 8 图5 6a s f 对象4 9 图5 - 7 高层a s f 文件结构4 9 图5 - 8 压缩过程流程图5 2 图5 - 9 改进后的一维d c t 实现流程5 5 图5 1 0 共享缓冲区结构图5 8 图5 一l l 基于s o c k e t 的客户n 务器模型6 1 图5 1 2 处理用户请求的流程图6 2 图5 1 3 响应用户请求的子任务工作流程6 3 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示谢意。 学位论文题目：遨耋童塑麴压缠刍篮捡撞盎煎堡壅 学位论文作者签名：g 盒垒遮 日期： 枷f 年1 2 月群日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：蛊厶盛童塑题压缱皇篮煎垫鲞鲍盟究 学位论文作者签名： 筮釜边 储指捌币戳：鸶- 华 日期：2 ，乃牛年l 己月斟日 日期：劢千年j 2 月2 争日 国防科学技术大学研究生院学位论文 第一章绪论 1 1 课题研究背景 随着多媒体和网络技术的发展，数据压缩技术和媒体传输技术的研究与应用得到了迅 速的发展。 我们既然已经进入到了信息社会，雨信息社会在有了电子计算机之矗就其有数字他的 特点。数字化了的信息带来了“信息爆炸”，这给信息的存储和传输带来了极大的不便。 解决这一阍题竣方法，擎鳃瘸扩大移镶器容塞、缮鸯蟊逶臻线路的鼗簸率鲍办法是不褒安稳。 数据厩缩技术怒个行之有效的方法，通过数据压缩手段减小信息的数据量，以压缩形式存 储和传输，既紧缩节约了存储空间，又提高了通信线路的传输效率，同时也使计算机可以 实露楚理音频、褫菝售惑，使疆敖蠢蒺量戆毫氅频、音鬏节嚣藏为哥耗。 人们已经提出了很多有效的视频音频压缩算法，并得到了广泛的应用。虽然这些算法 可能存在着一些不足，但是随着对它们的不断改进，这些算法逐渐趋于成熟，很多算法已 经被多媒体压缩编码标准所采用。 视频音频压缩算法虽然大大减小了信息量，但是有可能造成信息的丢失，从而造成图 像和声音质量的下降。如何在压缩信息量的同时保持较高的图像和声音质量，成为一个比 较重要的研究课题。 随着网络宽带化的发展趋势，人们不再满足于信息高速公路中仅有文本、图像和声音 这一类简单的信息，而越来越希望更直观、更丰富的新一代信息的表现形式，这促进了媒 体传输技术的发展。 互联网是一个基于包交换的通信网，初期的设计目标是要解决网络的连通性和高可靠 性，并没有对实时性进行较多的考虑。为了在包交换网络上提供有服务质量保证的多媒体 传输，人们设计了一些多媒体传输协议，并提出了一些拥塞控制机制来满足媒体传输的实 时性要求。 如何设计一种好的流媒体拥塞控制算法是当前多媒体领域的一个研究热点。 数据压缩技术和媒体传输技术在现在的军用和民用领域都得到了广泛的应用。在民用 领域，比如v o d 系统、视频会议系统、远程教育系统等：在军用领域，比如战场侦察、 战场通信等。 随着数字化时代的到来，越来越多的领域开始掀起一场数字化革命。在监控领域，数 字监控正在逐步取代传统的模拟监控，它代表了监控系统的发展潮流，正在被越来越多的 工业、商业及其他部门所使用，经济效益和社会效益巨大。而在具体的数字监控技术中， 多媒体压缩技术和媒体传输技术是其中的关键。 第i 页 爵前有程多般控系统瑟于p c 枫开发，这种监控系统的缺点是体积较大，而且无法斑用 在野外环境中，因此具有一定的局限性。随着商性能d s p 芯片性能的提高和嵌入式技术的 发展，开发嵌入式实露警亳凳叛蕊控系绞藏为一个强然憝势。宅豫钤了基于p c 辊夔整控系 统的不足，具有广阔的应用前景。 + 2 国内争| 、研究袋获 现在，人们融经提出了很多视频膏频压缩方法。基予统计盼编码方法蠢p c m 、鬃纯、 预测编码、交换编码、子带编码、小波交换编鹃、晗夫辍编码、弊术编码、游程编码簿。 基于重要性和基于内容的编码方法衡滤波、子采样、比特分配、物体提取、物体形状编码、 纹理缡码等。 其中些趋于成熟的编码方法融经被国际标准采用，如变换编码、哈夫曼编码、摄化 等。m p e g 组织( m o t i o np i c t u r ee x p e r tg r o u p ) 和n 1 u t ( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o n s u n i o n - t e l e c o m m u n i c a t i o ns e c t o r ) 是嚣髑定了m p e g l 、m p e g 2 、拱p e 薛、m p e g 7 、 + 2 6 1 、 h 2 6 3 等一系列标准。 很多人针对备种视频鬻频压缩方法提出了一些改进，如d c t 冀法。尽镑d c t 赢被 视为各耱不露类鍪的强稼琚缩标准鞠视频压缩标准酌拣荐使弼鹃变换编褥方法，并且d c t 与小波变换相比也存在着运算量更少的优势，但是，利用d c t 做图像压缩时由于d c t 的 块变换特性，会造成块效敷，扶聂影嚷压缩翳馕题矮量，在超低魄特率款壤黟下更是懿鼓。 为了斑服块效应，1 9 8 9 年m a l v a r l l l f 2 】提出通_ 过对d c i 饔换系数进行后光滑处理，从而建立 了一炎熏叠式离散变换。1 9 9 4 年，j d m c d o n n e l ，r n s h o n t e n t 3 1 提出了一种基于边缘提 取戆嚣处理方法。1 9 9 8 霉，m a l v a r 4 l 送一步爨壅一蘸双菱交鹄重爨式交换，它麓得裂透磐 的压缩图像质擞。 流媒体的拥塞控制技术是当前媒体传输领域的个研究热点。人们提出了各种拥塞控 制方法。基于速率的单播拥塞控制协议有速率自适应协议r a p 、基于丢失延迟的自适应 算法l d a + 、基于模型的t c p 友好速率控制协议t f r c p 、t c p 友好速率控制协议t f r c 等，二项式捅塞控制算法b c c a 是目前唯一的基于窗口的单播拥塞控制协议。基于速率的 组播拥塞控制协议有基于树的可靠组播协议t r a m 、接收端的t c p 仿真t e a r 、接收端驱 动的分层拥塞控制r l c 等，基于窗口的组播拥塞控制协议有随机监听算法r l a 、组播t c p 、 基于被提名者的拥塞避免n c a 等。没有任何一种拥塞控制协议在所有情况下都是最优的， 每种算法都有最适合自己的任务，在很大程度上，依赖于网络特征和发送应用的通信量要 求。 以视频音频压缩技术和媒体传输技术为基础的嵌入式实时音视频处理系统的研究在国 外起步较早，并处于领先水平，已经有了成熟的产品。例如，索尼公司于2 0 0 2 年推出配 备1 0 b a s e t 的l a n 端口的、可以通过l a n 发送影视的网络摄像机“s n g v l m n ，。另 第2 页 国防科学技术大学研究生院学位论文 井还有松下k x h c m l 3 0 、三星s n c 1 0 0 p 、寝特a n t - n w c l 0 5 0 1 0 0 、瑞典a x i s 的 a x l s 2 x x x 系列等。 霆内在这方瓣懿研究越步较晚，发震永乎墩不裹，大秘分还箨凝奁o e m 蕊层次，不便 于产品的升级，也有的厂窳开发自融的产品，但在性能上与国外同炎产品有一定差距。 。3 澡蘧研究酶主要内容 本课题主要研究在嵌入式环境下避行音频视频压缩与媒体传输的技术。主要内容包括： ( 1 ) 研究主要的音频视频编弱技术，针对宙d c t 编稻导致静浚效应，搀掇一静清躲图 像块效应的简单有效的方法； ( 2 ) 疆究在弼绥上进幸亍多媒侮传竣的技术，嗷及使躅r t c p 统诗傣怠进行嫒频缡鹤疆翠 调节的技沭。重点研究流媒体的拥塞控制方法，提出一种熬于客户端缓冲区预馨的 速率控制机制； ( 3 ) 舔究实露系统孛懿经务潺度按零，分辑攀处理器爽簿系统戆侄务摸黧，鞋及当蔫常 见的各种任务调度算法，提出一种基于d m s 和e d f 的多任务混合调度算法，解决 实时系统中多类任赘的混合调度阕题； 本课题基于m p e g 4 压缩技术和媒体传输技术，设计和实现了嵌入式实时音视频处理 系统。对系统设计与实现过程中的以下技术进行重点研究： ( 1 ) 采用d s p 专有指令对d c t 算法实现进行优化； ( 2 ) 压缩子系统和传输子系统对共享缓冲区数据的访问同步问题： ( 3 ) 系统中多个任务之间的通信与调度问题； ( 4 ) 数据量和媒体质量的自适应调整机制。 1 4 论文结构安排 本文共分6 章，结构安排如下： 第一章：绪论。主要介绍了课题的研究背景和发展现状，说明了课题研究的具体工作， 是对整篇论文的总体介绍。 第二章：图像质量提升技术。研究了目前应用比较广泛的几种压缩编码技术，然后针 对由d c t 编码导致的块效应，提出了种消除图像块效应的简单有效的方法。 第三章：视频传输技术。研究了网络上的的视频传输技术，以及使用r t c p 统计信息 进行视频编码码率调节的技术。重点研究了流媒体的拥塞控制方法，提出了一种基于客户 端缓冲区预警的速率控制机制。 第四章：实时系统任务调度技术研究。研究了实时系统中的任务调度技术，分析了单 处理器实时系统的任务模型，以及当前常见的几种任务调度算法，最后提出了种基于 第3 页 国防科学技术大学研究生院学位论文 d m s 和e d f 的多任务混合调度算法，用于解决实时系统中多类任务的混合调度问题。 第五章：嵌入式实时音视频处理系统的设计与实现。介绍了系统的总体结构设计、各 个子系统的设计与实现、以及子系统之间的接口定义，菇详细阐述了设计过程中技术难点 的解决方法。 第六章：结束语。对全文内容进行了总结，并提出了工作展望。 潮貊科学技术大攀研究黛院学佼论文 第童耄图像矮量撬舞技术 2 + 携叛蓬缩技术凝遮 僚蠢没有逮祥一个穰念? 数字诧了鹣信惑靛数鬈蠢多大? 我们霹淤傲一个糇酶瓣绫 计。跑翻对予数字鼠浚强豫，魏蘩我桶莱麓s l 】胃s o u r c ei n p u tf o r m a t ) 格式、n t s c 潮、彩色、 4 ：4 ：4 采榉，搦么每帻的数撼爨为3 5 2 * 2 4 0 m 3 = 2 s 3 撼，每秒数捺擅( 使攀) 为 2 5 3 * 3 0 = 7 。6 0 3 m b s ，每片6 5 0 m b 躲c d r o m 霹激移德豹骥教为6 5 彰0 。2 5 3 = 1 2 2 6 k 椟，t 缓 裁楚说簿冀这样的光焱镌够存储的节罄时阊为( 6 5 0 7 6 0 3 ) 6 0 = 1 a 2 分。黼攀实上我们现在 缀常看到鲍v c d 毙盘，郝影片一般嚣张醭片藏够了。拔照潮绣+ 箨蠢采靛每张光焱l ，4 2 分镑诗舞，熬暴我嚣】慧嚣一帮粥分镑魏惫彩，光癸走盎懿钱麓委大笔了。 事实上邀体现了多媒体技术发鼹中灏一个非常赫手的瓶颈闯题，解决这阍题的办法， 擎缝瘸扩大移德嚣餐蠢、增鳓邋蕊干线的传羧率的办法燕不联实酌。数撵匿缩技零跫个行 之露效瓣方法，遴5 遘数据蘧缭手凝把僖懑懿数据爨莲下策，戳惩缭形式存键秘镥输，既瑟 缩节约了存罐空间，又提离了邋髂干线的传竣效率，阕时愈傻计算机霹激实辩处理音频、 援频僖惑，饶搔放黉威鬃静援频、音频节嚣成为可麓。多媒体数据嚣缭不仅楚必要的嚣虽 也是可能的，因为，多媒体文本、声音、静态图像、视频图像等信源数据有极强的相关性， 也就是说有大量的冗余信息。数据压缩就是将庞大数据中的冗余信息去掉( 去除数据之间 的相关性) ，保留相互独立的信息分量，以静态图像画面为例，图像像素点在空域( x ，y 坐 标系) 中的灰度值和色差信号值，除了边界轮廓外，都是缓慢变化的，比如一幅头肩入像 图，背景、人脸、头发等处的灰度、颜色都是平缓改变。相邻像素的灰度和色差值比较接 近，具有强的相关性。如果直接用采样数据( p c m 码) 表示灰度和色差，信息会有较多的冗 余。但是如何先排除冗余信息，再进行编码，使表示每像素的平均比特数下降，这就是通 常所说的电视图像的帧内编码，即通过减少空域冗余进行数据压缩。同时电视图像是沿时 间轴方向的一个帧序列，其帧间图像的相关性也很强，通常用减少帧间传送帧的数目即降 低帧率，以减少时域的冗余信息，这可以通过运动估计和运动补偿来实现。 虽然音视频压缩可能会降低图像或声音的质量，但是由于人是图像或声音的接收者， 人的眼睛和耳朵都局限在一定的感觉区域内，因此可以利用人对图像或声音的某些特性不 敏感的特点实现音视频的高压缩率。比如，人的视觉系统具有两条特性，是人眼对色度 信号的敏感程度比对亮度信号的敏感程度低，利用这个特性可以把图像中表达颜色的信号 去掉一些而使人不易察觉；二是人眼对图像细节的分辨能力有一定限度，利用这个特性可 以把图像中的高频信号去掉丽使人不易察觉。 第5 页 国防科学技术大学研究生院学位论文 2 2 视频髓缩编码技术 褫频压缩编碣技术耱炎繁多，筑大静方稀分可戳分为冗余度援缭葙演蕊缩两大炎，下 面给出个分类图示。在这里不再一赘述，仅研究几个比较常用的数据腿缩技术，这些 方法爨现在用予压缩编码的最基本的方法，也是最精髓盼方法。 丽研 l 塑割曼鲢j 卜碉 i 二二二 卜一睦竺蚴 网嚼碉 l 。，。，一 。一 r 戛下丙磊l i ! 婴然! i 一一 l 臣聂司j；裟 1 一。j 】1 ，一 2 2 1 预测编码 网一 一 一曩焉翮浮飘闻 晕琏 参数编码j 图2 - t 多媒体图像编码的分类 预测编码属于无损压缩，是数据压缩理论的一个重要分支。它根据离散信号之间存在 着一定关联性的特点利用前面的一个或多个信号对下一个信号进行预测，然后对实际值 和预测值的差( 预测误差) 进行编码。如果预测比较准确，那么误差信号就会很小。这样 一来，在同等精度要求的条件下，就可以用比较少的数掘进行编码，达到压缩数据的目的。 比较典型的预测编码压缩方法有d p c m 、a d p c m 等，较适合用于声音、图像数据的压缩。 因为这些数据均由采样得到，相邻采样值之问的差不会相差很大，可以用较少的位来表示 第6 页 茵 雪 一圜一圈一豳圈 国防科学技术大学研究生院学位论文 麓值。 2 。2 。1 1 蒺分脉冲编码调制( d p c m ) 在p c m 系统中，原始的模拟信号首先经过时间采样，然后对每一采样值都进行量化， 作为数字僚号传输。为了减小数据量，可以不对每采样馥都进行量化，面是预测下一聚 群值，并鬃亿实舔蕊与预瓣佼之闯静差，这就是熬分脉冲编码调裁( d p c m ) 的罄本点。 d p c m 系统的基本原理是，它对已知的采样值和由预测器得到的预测憾之间的差进行量化， 达到压缝媳露豹e 锻压时也搜爝疑榉的鞭测器，著褥这一琰潮擅积存德的已量能鼹差擅鞠 施，产生黩j 近似的原始信号，潦本恢复原始数据。 2 。2 。 ，2 羧闫蔟测 如果说d p c m 利用的是图像的空间相关性，那么帧间预测则是利用运动图像的连续帧 之间的时间相关性。帧问预测的原理如图所示。 图2 - 2 帧间预测 比较常用的帧间预测技术就是运动补偿技术。画面上的运动部分在帧与帧之间必然有 连续性，运动补偿预测法根据这一特性，将当前的图像画面看作是前面某时刻图像的位移， 位移的幅度和方向在图像画面的各处可有不同。因此，利用反映运动的位移信息和前面某 时刻的图像，可以预测出当前的图像。 由于m p e g 对视频信号作随机存取的重簧要求，又因为通过帧间运动补偿可有效的压 缩数据位数，m p e g 采用了三种类型的图像：帧内图( i n t r a p i c t u r e s i ) ，预测图( p r e d i c t e d p i c t u r e s ，p ) 和插补图，郎双向预测图( b i d i r e c t i o n a l p r e d i c t i o n ，b ) 。帧内图可提供随机 存取的存取位置，但压缩比不大；帧间插补可减少时域的冗余信息。帧间预测编码时，要 用到先前的图( 帧内图或预测图) ，当前的预测图通常又作为后面的预测图的参考值；双 向预测图的数据压缩效果最显著，但是它在预测时需要先前和后续的信息，另外，双向预 测图不能作为其他图的预测参考图。在两个参考图之间出现双向预测图的频度，是可选择 的。当增加参考图之间双向预测图的数目时，将会减少双向预测图与参考图之间的相关性。 下面给出了一个视频序列中帧图显示顺序的例子，该序列时间为1 秒，第二行表示输入舫 第7 页 国防科学技术大学研究生院学位论文 图的编号，第一行表示帧图属性一帧内图( i ) 或预测图( p ) 或双向预测图( b ) 。 i b b p bbpbbpb b pbb ib b pb b pb b pb b pb b 12 3 4 56 78 9 1 0 1 1 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 2 0 2 12 2 2 3 2 4 2 5 2 6 2 7 2 8 2 93 0 两幅b 图位于两幅参考图像之间，每隔1 5 帧插入一幅i 图像。共3 0 帧图，其中包括 两幅帧内图，8 幅预测图，2 0 幅双向预测图。 由于i 图、p 图、b 图三者之间存在因果关系。如第4 帧的p 图是由第1 帧的i 图预测； 第1 帧i 图与第4 帧p 图共同预测出它们之间的双向预测b 图，所以接收端解码器的输入( 发 送端编码器的输出) ，不能按照上面给出的顺序，而是按照下面的排列顺序： 14 237 56 1 089 1 3 1 1 1 2 1 6 1 4 1 5 i p b b p b b pb b p bb ib b 在m p e g 的运动补偿单元中选择1 6 x 1 6 的宏块，这是综合考虑运动信息的编码增益和 编码代价的结果。每个包含运动信息的1 6 x 1 6 宏块，相对于前面相邻块的运动信息作差分 编码，得到的运动差值信号除了物体的边缘处外，其他部分都很小。对运动差值信息再作 变长码编码，可进一步压缩数据。 2 2 2 变换编码 变换编码不是直接对空域图像信号编码，而是首先将空域图像信号映射变换到另一个 正交矢量空问( 变换域或频域) ，产生一批变换系数，然后对这些变换系数，进行编码处 理。系统构成图如图所示。 厂 厂 广 广 广_ 1 i ! 塑! 型卜1 兰兰卜- 1 竺兰竺苎堡h 兰些兰竺卜- 1 1 竺竺竺竺i 叵母 至卜区卜 丑j 图2 - 3 变换编码系统构成图 数字图像信号经过变换后为什么能够压缩数据量呢? 因为图像信号在转换到变换域或 频域后，描述图像的系数中出现了大量的零和近似于零的系数，其相关性下降，数据冗余 度减少，对压缩数据有显著效果。常见的正交变换编码方法有；k - l 变换、d c t 变换、傅 立叶变换、哈尔变换、w a l s h h a d a m a r d 变换等。 2 2 3 统计编码 统计编码是根据消息出现概率的分布特性而进行的压缩编码，它有别于预测编码和变 换编码。这种编码的宗旨在于，在消息和码字之间找到明确的一一对应关系，以便在恢复 时能准确无误地再现出来，或者至少是极相似的找到相当的对应关系，并把这种失真或不 对应概率限制至可容忍的范围内。统计编码中常用的编码有h u f f m a n 码、s h a n n o n f a n o 码、 国防科学技术大学研究生院学位论文 算术编码等。 h u f f m a n 编码是根据变长编码的理论。在变长编码中，输出的码字的字长是不相等的。 基本原理是对于出现概率或频率较高的信息赋予较短的字长，对于出现概率或频率较低的 信息赋予较长的字长。可以证明，按照概率出现大小的顺序，对输出码字分配不同码字长 度的变字长编码方法，其输出码字的平均码长最短。h u f f m a n 码字长度和信息符号出现概 率大小次序正好相反，即大概率信息符号分配码字长度短，小概率信息符号分配码字长度 长。 2 2 4 行程编码 在此格式中，任何重复的字符序列可被一个短格式取代。因此，该算法适用于任何重 复的字符。一组r 1 个连续的字符c 将被c 和一个特殊的字符代替。 在视频压缩中，行程编码和d c t 变换及h u f f m a n 方法一起使用。对分块做完d c t 变 换及量化后的频域图像数据做“z ”形扫描，然后进行行程编码，对其结果再做h u f f l n a n ( 变长) 编码。 2 2 5 量化 量化是数字信号的基本特征之一。连续的模拟信号在定义域上的离散化叫做采样，而 在值域上的离散化就叫做量化。数据压缩编码中的量化处理，不是指a d 变换后的量化， 而是指以p c m 码作为输入，经正交变换、差分或预测处理后，熵编码之前，对正交变换 系数、差值或预测误差的量化处理。量化处理总是把一批输入，量化到一个输出级上，所 以量化处理是一个多对一的处理过程，是不可逆的。量化分为均匀量化、最佳量化、压扩 量化、矢量量化等几类。 在视频编码中较多应用量化的过程是对二维d c t 系数的量化处理，由于对于信号矩阵 实施正交变换后，系数的能量分布一般比较集中，如二维d c t 变换后的系数矩阵，能量 集中在左上角，从而可想办法对于能量或能量差分重新量化以达到信息压缩的目的。在这 里，量化时对于人眼最敏感的空间频率及能量分布比较大的系数分配较多的比特数。 2 3 变换编码中图像“块效应”的消除算法 变换编码中的d c t 变换虽然不是理论上最优的一种变换算法，但是由于它具有计算复 杂度适中、可分离性等特点，而且与最优变换误差较小，因此得到了广泛的应用，m p e g 、 h 2 6 1 、j p e g 等压缩标准中均采用了d c t 变换技术。 理论上d c t 变换属于无损压缩，但是由于在实际应用中通常采用分块d c t 变换，然 第9 页 国防科学技术大学研究生院学位论文 后对变换后的系数块进行量化的方法，如果量化较粗糙，就会在重建图像中看到各个块之 间出现明显的不连续的情况，称为“块效应”。 另外，在码率比较低的情况下，由于对d c t 块内高频系数的粗糙量化，导致许多高频 系数被量化为0 ，在频域内形成锐截止。经过反变换后，较大的量化误差就会在图像的强 边缘附近形成所谓的“振铃现象”。随着码率的降低，这种现象将会越来越明显。 有一种传统的消除“块效应”的方法是通过将相邻的两个块重叠，然后用一种特定的 窗口加权去除块之间的不连续性，但是这种方法运算量比较大，而且效果不是很理想。另 外有一种方法是设计一个低通滤波器去除“块效应”【”，但是简单的线性移不变滤波器在 消除“块效应”的同时，也损害了图像的细节。 在这里提出了一种相对简单且有效的算法来消除重建图像后出现的“块效应”和“振 铃现象”，将这种算法应用在解码重建图像的过程中，可以收到较好的效果。 2 3 1 “块效应”的产生原因 在采用d c t 变换的压缩标准中，通常将视频数据分成8 * 8 的像素块，然后针对每一个 像素块进行d c t 变换，得到6 4 个d c t 系数。变换过程如下： c 沁时一占。汪( r ) 号薹薹，“，) c o s l l l i 等c o s 垦笱竽 其中n = 8 ；x ，u = 0 ，1 ，n - 1 ； y ，v = 0 1 n 一1 ； 荆= 瞥菇。州咖心二i 。 以j p e g 为例，变换得到的系数矩阵将进行加权后量化，表示为 c u ，v ) = ，v ) c ( u ，v ) ，经过量化后的系数可以表示为加权后的系数和量化噪声之和： c c ( “，v ) ；c 。0 ，y ) + 8 0 ，v ) 。 在重建图像的过程中，反量化之前要进行反加权，得到重建系数为 c 。( h ，v ) = c ( u ，v ) + e ，v ) w ，v ) 因此，在经过反向d c t 之后，量化噪声e 0 ，v ) w ( u ，v ) 就会分散在整个块内。由于在不同 的块内将会叠加不同的量化噪声，就会在相邻块的边缘处出现不连续的情况，导致所谓的 “块效应”。见下式： 触小万2 ”五- i , 驴v t 脚脚c o s 产c o s 产+ 号羹蓑器嚣c o s 号产c o s l ( 2 y + r i ) v z 第l o 页 国防科学技术大学研究生院学位论文 2 3 2 “块效应”的表现形式 在图像域内随着图像内容的不同，“块效应”有着不同的表现。区分不同类型的噪声并 相应用不同的方法进行处理十分重要。 梯形噪声：出现在图像的强边缘处。在低码率情况下，d c t 的很多高阶系数被量化为 零，结果与强边缘有关的高频分量在变换域内不能被完全体现。又因为每个块被分别处理， 不能保证穿过块边界的强边缘的连续性，导致了在图像边缘处出现了锯齿状噪声，称这种 噪声为“梯形噪声”。 格形噪声：多出现在图像的平坦区域，在变换域内d c 分量体现了该块的平均亮度， 而这个分量包含了该块的大部分能量，所以在平坦区域亮度的变化很小。但是如果在平坦 区域有亮度的递增或递减，可能会导致d c 分量越过相邻量化级的判决门限，造成在重建 图像中块边界处出现亮度突变，表现为在平坦区域内出现的片状轮廓效应，称这种噪声为 “格形噪声”。 纹理噪声：多出现在图像的纹理区域，是“梯形噪声”与“格形噪声”的综合。由于 人眼的“掩蔽效应”，这部分噪声主观感觉不明显。 2 3 3 消除“块效应”的一种算法 一般情况下，幅图像内的大部分地方颜色及亮度变化不是很明显，可以称为平坦区 域；而有一小部分地方变化比较明显，比如人脸的轮廓部分，可以称为边缘区域。 如果针对这两种区域采取相同的低通滤波方法进行处理，会在消除“块效应”的同时 损伤图像的细节，影响了清晰度。 为了能够较好的消除“块效应”，同时又不对图像的清晰度产生明显影响，我们将各个 块按照块内图像变化的剧烈程度分为三类：平坦区域、弱边缘区域和强边缘区域。然后针 对这三种类型的块采取不同的处理方法来消除“块效应”。在进行分别处理之前，为了消 除相邻块的边界像素的明显差异，采用了一种块边界滤波的方法。 2 3 3 1 块的分类算法 为了将图像内的8 + 8 像素块分为平坦区域、弱边缘区域和强边缘区域三类，我们认为 如果该块内平滑像素的个数大于某个阂值s 1 ，则认为该块属于平坦区域；如果平滑像素的 个数小于某个阈值s 2 ( s 2 e d 。如果 嚣d 赶k 较，j 、，谖镄浃效应滋较疆显；翔粟疗磊较大，鬃滋裙袋效藏不是缀麓嚣。蠢魏，我 们根据 ( 1 ) a 鼢l 】； ( 2 ) l i m 口= 0 5 ： e dj e ，帅n ( 3 ) l i ma = 1 磁 。m 的原则设计系数a ：a = 0 5 + 0 5 日e o 。 构造平滑值p 3 = a ，p 1 * ( 1 a ) 4 p 2 ，p 4 = a + p 2 + ( 1 一a ) 4 p l ，然后用p 3 替换p 1 ，p 4 替换p 2 ，这 样就实现了相邻块的相邻像素的平滑处理，在一定程度上消除了块效应。 在前面提到的方法中，对于e c 的计算选取了各个方向的全部边界点。为了简化计算， 提高效率，如果按照如下图所示从左到右、自上而下的块顺序进行计算，那么对于每一个 块，就可以只考虑该块左边界和上边界的像素。这样，最左上角的块就无需计算e c 和e d ， 而对于图像中第一行和第一列的其它块，e 。计算公式中的c 值由原来的2 4 变为8 ；图像 中其它块的c 值变为1 6 。通过这种方法，不仅图像中任意两个块之间的边界均得到了平滑 处理，而且相比原来的方法简化了计算，提高了效率。 图2 - 6 图像中像素块的计算顺序 对于e d 的计算，前面的方法考虑了块内的每个像素点，共需要做( 1 4 + 4 9 2 ) 次像素差的 平方运算。虽然计算结果比较精确，但是运算量比较大。为了简化计算，我们令相邻的每 四个像素为一个子块，每个子块中的相邻像素做差运算，如下图所示，然后将所有的结果 求平方和，再取均值，将得出的结果作为e d 。这种方法牺牲了一部分精确性，但是简化了 需要进行的运算，提高了效率。 第1 3 页 国防斟学技术大学研究生院学位论文 娜榷孵孵 ( 2 * - o0 o 0 娜辫辩辩 6 + o0 旬o b 一燃辩孵 ( 5 一i - - ( 50 6 6 0 辩辨辩孵 图2 7 简化的e d 计辣过程选取的像素羞 2 3 3