（模式识别与智能系统专业论文）基于IP网络的MPEG—2视频传输.pdf

摘要 ( 随着计算机技术，通信技术，大规模集成电路技术及图像压缩编 码技术的发展，近年来图像通信取得了飞速的发展，出现了各种各 样丰富多彩的图像通信瓶业务。数字图像通信技术的研究和应用已 经成为当今最热门的话题之一。在通信领域发展更为迅猛的是， i n t e m e t ，与i n t e r a c t 相结合已经成为数字图像通信发展的必然趋势 本文从数字图像编码的角度出发，对基于ip 网络的m peg 一2 视频传输中的一些关键问题进行了深入研究，其主要内容如下： 简要回顾了图像通信的现状和发展趋势。分析、总结了图像编码 的各种不同算法和图像编码的国际标准。 鉴于目前对基于ip 网络的高质量视频传输有着强烈的需求，本 文研究了适合于基于ip 网络的m p e g - 2 视频传输方案。 由予干扰、噪声的影响及p 网络中数据包的丢失等，通信错误 不可避免，为提高图像通信的质量，一般可以从通信系统本身、图 像压缩编解码以及它们的组合这三方面来考虑，从图像解码的角度 主要有两种方法，即在信源端采用对误码不敏感的图像编码算法， 在信宿端采用错误恢复技术，尽量降低误码对图像质量的影响。这 是本文研究的重点。 通过分析不同情况下的错误对图像质量的影响，指出在图像通信 中必须对一些重要的信息加以保护，一个有效的方法是实现图像的 分层编码。通过对m p e g 2 分层编码方法及其特点的研究，本文研 究了基于均值金字塔的分层编码方法。( 仿真结果表明，在不增加额 外码字的情况下，在相同的误码率下，图像通信的鲁棒性有了较大 的提高。尸。 在图像通信中。利用其特点来进行错误检测和恢复是一个值得研 究的课题。本文完善了基于m p e g 2 图像编码中特有的数据结构的 语法结构的检错和纠错方法。本文还对双向预测帧( b 帧) 在错误 隐藏中的作用进行了研究。将上面的研究结果应用到基于ip 网络 的m p e g - 2 视频传输的错误隐藏中。仿真结果表明，它不需要增加 额外的码字，也不需要对编码器进行改动，具有很强的实用性。，k 7 7 关键词： 数字图像通信，话动图像专家组。视频编解码，口网络，运动估计，图像分层编码 错误恢复，错误隐藏 n 口s t r a o t w i t l lt h ed e v e l o p m e n to fe l e c t r o n i ct e c h n o l o g y ，c o m p u t e rs c i e n c e ， t e l e c o m m u n i c a t i o n ，v l s i a n d t h e o r y o f i m a g ec o m p r e s s i o n ，r a p i d p r o g r e s s h a sb e e ns e e ni n i m a g e c o m m u n i c a t i o n r e s e a r c ha n d a p p l i c a t i o no f d i g i t a i i m a g ec o m m u n i c a t i o nh a v eb e c o m e o n eo f t h em o s t p o p u l a rt o p i c s i n t e m e ti st h em o s t d e v e l o p m e n t i nm o d e m c o m m u n i c a t i o nf i e l d t h ec o m b i n a t i o no ft h e d i g i t a li m a r e c o m m u n i c a t i o na n dt h ei n t e m e ti st h ef u t u r et r e n d i nt h i s p a p e r ， p r o f o u n dr e s e a r c hw o r k h a sb e e nm a d ef o rs o m ek e yp r o b l e m si nd i g i t a l i m a g ec o m m u n i c a t i o n w i t hf o c u so nd i g i t a li m a g ec o d e c t h em a i n r e s e a r c ha r ef o u o w s ： t h ec u r r e n ts i t u a t i o no f i m a g ec o m m u n i c a t i o na n di t sf u t u r et r e n da r e b r i e f l yr e v i e w e d a l s o ，w em a k ea n a l y s i so f d i f f e r e n ta l g o r i t h m sa n dt h e i n t e r n a t i o n a ls t a n d a r df o ri m a g e c o d i n g w i t ht h ed e m a n do ft h et r a n s m i s s i o no fh i 幽q u a n t i t yv i d e oo v e rt h e i pn e t w o r k ，t h ep l a no fs u i tt ot r a n s m i th i g hq u a n t i t yv i d e oo v e rt h ei p n e t w o r ki ss t u d i e di nt h i sp a p e r b e c a u s eo ft h ed i s t u r b a n t e 。n o i s ea n dp a c k e tl o s si ni pn e t w o r k ， c o m m u n i c a t i o ne r r o rc a n n o tt o t a l l yb ea v o i d e d g e n e r a l l y ，i m p r o v e m e n t c a nb em a d ei nc o m m u n i c a t i o ns y s t e mi t s e l f , i m a g ec o d e ca n dt h e c o m b i n a t i o no ft h e s ei no r d e rt oi n c r e a s et h e q u a l i t y o f j m a g e c o m m u n i c a t i o n i ni m a g ec o d e c ，t h e r ea r et w op o s s i b l ea p p r o a c h e sw h i c h o n ei st oa p p l yr o b u s ti m a r ec o d i n ga l g o r i t h m sw i t hc o m m u n i c a t i o ne r r o r a tt h ef o u n t a i n h e a d t h ea n o t h e ri st oa d o p te r r o rr e s i l i e n c et e c h n o l o g ya t t h ee n dt or e d u c et h ei n f l u e n c eo fe r r o r i ti so n eo ft h ek e yr e s e a r c h f o c u s e sf o rt h i sp a p e r b ya n a l y z et h ei n f l u e n c eo fe r r o ro ni m a g ea u a l i t yu n d e rv a r i o u s c o n d i t i o n w ec o n c l u d et h a ta ne f f e c t i v es o l u t i o ni st ou s es c a l a b l ei m a g e c o d i n g i no r d e rt o p r o t e s t s o m e i m p o r t a n t i n f o r m a t i o ni n i m a g e c o m m u n i c a t i o n t h es c a l a b l ec o d ea n di t sa p p l i c a t i o na r e ai nm p e g 2a r e d i s c u s s e d a f t e rt h a tt h em e a nt o w e rs e a l a b l ec o d i n gi ss t u d i e d t h er e s u l t o ft h es i m u l a t i o ns h o w st h a t ：u n d e rt h es a m ee r r o rr a t ei td o e sn o tr e q u i r e a n y o t h e rb i t sa n dt h ec o d i n gr o b u s ti si m p r o v e d e r r o rc h e c ka n dr e s i l i e n c eb a s e do nt h ec h a r a c t e r i s t i c so ft h ei m a r ei s ac h a l l e n g i n gp r o b l e mi nv i d e oc o m m u n i c a t i o n i nt h i s p a p e r ，a ne r r o r c h e c ka n dc o r r e c t i o na l g o r i t h mb a s e do nt h es p e c i a l c o m p r e s s e dv i d e o d a t aa n ds y n t a xs t r u c t u r eo fm p e g - 2a r ec o n s u m m a t e d t h ee f f e c t i v eo f t h ebf l a m ei ne r r o rc o n c e a l m e n ti sa l s os t u d i e di nt h i s p a p e r t h e s e r e s u l ti sb e e nu s et ot h ee r r o rc o n c e a l m e n to ft h ev i d e ot r a n s m i s s i o no v e r t h ei pn e t w o r k t h e s em e t h o d sp r o v e dt ob ee f f e c t i v ef o r i td o e sn o t r e q u i r e da n y o t h e rb i t so rm o d i f i c a t i o n st ot h ee n c o d e r s i m u l a t i o nr e s u l t s i i s h o wt h a ti ti se f f e c t i v ea n d p r a c t i c a b l e k e y w o r d s ： d i g i t a li m a g ec o m m u n i c a t i o n ，m p e g ，v i d e oc o d e c ，i pn e t w o r k ， m o t i o ne s t i m a t i o ns c a l a b l ec o d i n g ，e r r o rr e s i l i e n c e ，e r r o rc o n c e a l m e n t 1 1 i 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子舨， 允许论文被查阅和借阅。本人授权上海交通大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在_ ：年解密后适用本授权书。 本学位论文属子 不保密似 ( 请在以上方框内打“4 ”) 学位论文作者签名：能小t 、7 指导教师签名：余字众魈 日期：知讼年产月三 目日期：汩舜厂月3 臼 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不包含任何其他个人或集体己经发表或撰写过的作品成果。对本 文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。 本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：何辔j 、叫 日期：立肿毋年一月。夕日 上海交通大学颀士学位论文 第一章绪论 本章是对本硕士论文“基于1p 髓络的m pe g 一2 视频传输”的简单介绍。本章首 先回顾了图像通信的现状及其发展趋势，分析图像通信的发展机遇及面临的挑战。在本章 的第二部分阐述了本文的研究背景。本章的最后部分为本文的导读。 1 1 引言 当今社会已经进入信息时代，信息的获取与处理在人类社会中正变得越来越重要。从 人类由自然界获得信息的统计来看。由视赏获取的信息约占全部信息的6 0 ，听觉获取的 信息约占2 0 ，触觉获取的信息约占1 5 ，味觉和嗅觉获取的信息各占3 和2 。视觉信 息即图像信息在人类对自然的认知中所占的地位由此可见一斑。同时，图像所携带的信息 量远大于语音和教据并具有确切，直观，具体生动，商效等特点，这就决定了圈像通信将 成为人类最重要的通信手段之一。而数字图像通信更具有数字通信的一系列优点，如：可 以多次复制丽不会造成噪声及非线性失真的累积，便于加密便于用v l s l 实现，便于与 计算机联网等。既然数字髑像有如此多的优点，为什么过去没有得到更早的应用与推广? 这主要是因为数字图像的数据置非常巨大。 现以路符合c c i r 6 0 l 标准的电视信号为例，数字化后的图像分辨率为7 2 0 * 5 7 6 ，每 秒2 5 帧，亮色比取y ：u ：v 一4 ：2 ：2 ，8 比特取样，图像的数码率高达l65 9 m o p s ! 如以6 4 k b p s 作为一路数字话路，如不加压缩，为传输一路电视信号祷占用2 5 9 2 个 有效数字话路。如用一个容量为1 g - b 的硬盘或用容量为6 5 0 m b 的c y - r o m 来存储这样 的数据的话，也只能存储不到1 分钟的图像同时，其所需的高速数据吞吐率是普通硬盘 及c d r o m 难以达到的。而一路h d t v 视频信号的数码率更高达1 c , - b p s ，处理，传输， 存储如此高的数码率非常豳难，这使得图像通讯的发展受到制约。因此对图像数据进行压 缩非常必要，它是实现图像通信的一个关键。 从图像信息本身来讲，数据的压缩也是可能的。首先，原始图像数据是高度相关的， 存在大量的冗余。图像内大多数相邻象数之间由很强的相关性，这称之为空闽冗余。序列 图像的相邻帧之闯有较强的相关性，这称之为时间冗余。其次。图像中符号出现的概率是 不同的，用相同码长表示不同概率的符号会造成比特的浪费，这称之为符号冗余。再次， 在多数情况下人眼是图像信息的最终接收者( 信宿) ，而人类的视觉系统( h v s ) 是有缺陷 的，对某些失真是不敏感的，难以察觉，这称之为视觉冗余。最后，在某些场合可以利用 先验知识为编码对象建立模型，提取模型参数，对模型参数进行编码而非对图像进行编码 这里利用了知识冗余。 随着计算机技术，通信技术电子技术及图像压缩编码技术的发展，近年来图像通信 取得了飞速的发展。会议电视，视频电话，v o d ，w e b t v s t b ，d v b ，h d t v 等图像 通信业务快速发展。而j p e g ，j p e g 2 0 0 0 ，h 2 6 1 ，h 2 6 3 ( h 2 6 3 + ， 1 2 6 3 h ) ，m p e g - l ， m p e g - 2 ，m p e g - 4 ，m p e g - 7 ， m p e g - 2 1 等图像和视频方面的压缩国际标准的制定为图 像通信业务的迅猛发展创造了条件。可以预见不久会出现各种各样的图像通信新业务。数 字图像通信技术的研究已经成为当今最热门的话题之一，典型的图像通信系统模型如图1l 所示f b l 9 4 。 由予图像通信构某些需要，常常需要对图像信号作某些预处理，比如去噪声的平滑处理， 箜= 兰竺丝一一 提高对比度的增强处理，减少几何失真的几何校正处理等。图像信源编码器用来去除或减 少图像中的冗余，压缩图像信号的带宽，降低其数码率，以实现经济地传输，存储的耳的。 经过压缩的图像信号，由于采用了帧闻预测和变长编码技术等原因，往往其抗干扰性较差t 为了增强其抗干扰能力，通常可适当增加必要的保护( 纠错码) 。经过这样处理过的图像数 字信号，往往数码率较低，又有一定的抗干扰性，比较适宜在倍道中传输。当然，图像信 号在送入信道前，往往还要经过调制过程，把信号变成更适宜子在信道中传输的形式。 图典型的图像通信系统方框圈 f i 9 1 1f r a m e w o r k o f i m a g e c o m m u n i c a t i o ns y s t e m 数字图像压缩编码技术经过近2 0 多年的发展，已经从过去单纯学术研究逐步走上高度 的商业化的道路，它使得有效地存储和传输图像成为可能，其应用已经渗透到透信，广播 电视和计算机网络等各个领域。 1 2 圈像通信的现状及发展趋势 1 2 1 田蠢遥信的现状 在以数字化为中心的信息时代发展浪潮的推动下，数字图像通信已得到长足的发展， 并在广播电视，通信，娱乐，医疗卫生，天气预报，卫星遥感，工业监控。军事，教育， 金融，新闻出版等领域褥到了广泛的应用。它已经渗透到经济，社会和人们生活的各个方 面。数字图像通信技术充分地展示了其确切，直观，具体生动效率高，保密性好，融合 性强，应用广泛等优势，目前已经成为国际社会竞争的一个焦点。主要包括可视电话，会 议电视，视频点播，交互式电视，w e b 电视，机顶盒，数字视频广播，高清晰度电视等。 机璜盒( s e tt o pb o x ，s t b ) 在国外已经开始大量进入家庭，到1 9 9 8 年，欧洲有1 1 0 万户家庭安装了机顶盒。近年来随着广播电视节目的数字化以及i m 咖。t 的迅速普及，机 顶盒的功能也变得越来越强，机顶盒的作用从单一的解密收费发展到成为集结压缩，i n t e m e t 浏览，解密收费交互控制为一体的数字化装置。由于这一领域可能成为未来十年甚至更 长时问计算机与消费类电子产品的主流，包括m m ，i n t e l ，s t ，s y p l d i p s 和m i c r o s o t t 等在内的许多世界大公司已经进入这一领域。一些国际或地区性的组织也纷纷制定相应的 标准和建议。我国为实现由模拟电视向数字电视的过渡，也已经开始了s t b 的研究及开发， 并取得了一些进展。在上海，北京这样的大城市，已经有少量的产品开始进入家庭。 视赣点播( v i d e o o i ld e m o 以，v o d ) 是一种受用户控制的视频分配业务，它使得每一 个用户可以交互的访问远端的视频服务器所存储的丰富剧目。也就是说，它使得人们在家 壁可以随时点播自已想看的有线电视台里存储的电影和文艺节目，实现了人与电视系统的 2 上海交通大学硕士学位论文 直接对话。人们选择电视节目的过程就像在饭馆里点菜一样的简单，方便；她还可以提供 图文信息和综合服务，也可以对各种播出的节目进行控制及收费。这种按稻付费的v o d 系统，按其交互性的程度分为真视频点播( t v o d ) 和准视频点播( n v o d ) 。国外开展v o d 的历史较早，在7 0 年代末和8 0 年代初期，美国就进行了交互电视系统的试验，当时这些 系统可以提供信息服务( 如新闻，体育比赛的结果) 游戏，交易和一些传统电视节目所缺 少的一些消息。1 9 9 2 年以后，国外涌现了一批v o d 试验系统。目前，v o d 系统主要应用 在宾馆，娱乐业，大规模的进入家庭尚需假以时日。 数字电视广播( d i 鲕8 lv i d e ob r o a d c a s t i n g ) ：从1 9 9 3 年起，短短的几年问已经由2 3 0 多个公司即组织，3 0 多个国家和地区参与了d v b 的标准制定，产品研究，开发和利用。 d v b 是当今世界广播电视的一种发展趋势，1 9 9 8 年8 月s t 公司在北京通过c c t v 展示了 其d v b t 产品，并受到好评。目前我国对直接接收卫星节目及其他方面的限制正在放宽， 随着付费电视，电视购物等多种服务方式的发展，d v b 接收机的前景更加明朗。 离清晰度电视( h i 出d e f i n i t i o n t e l e v i s i o a ，h d t v ) 是继黑自电视，彩色电视之后的新 一代电视，世界各国已经把高清晰度电视的研制和开发视为电视工业界的一次革命。9 0 年 代初，美国提出四套全数字的h d t v 方案，经过几年时间的发展，数字h d t v 广播便以其 不可比拟的技术先进性和可以进行地面广播而迅速取代各种旧的模拟方案。特别是1 9 9 3 年 5 月美国成立了大联盟( t h ec m m da l l i a n c e ，g a ) ，开始从竞争走向合作，彻底清除了人 们对发展数字h d t v 的不安和疑虑。在1 9 9 6 年1 2 月，美国联邦通信委员会( f c c ) 通过 了a t s c 标准，成为电视技术发展史上的又一个里程碑，标志着电视广播将进入数字化的 新时代。由于h d t v 技术涉及广播电视，通信，计算机和微电子等诸多领域，集现代电子 技术，通信技术和信息加工技术等各方谣的成就为一体，因而必将对较宽范围的工业领域 带来深远冲击，并推动整个电子信息技术及相关产业的发展。西方发达国家正在加紧研制 高清晰度电视，美国已于1 9 9 8 年开始数字电视的地面广播。而我国在发展数字电视方面取 得了举世瞩目成就。中国的h d t v 样机诞生于1 9 9 8 年9 月，我国广播电视行业的一个焦 点是我国成功研制第一台全数字高清晰度电视系统，成为世界上第四个自行研制成功数字 离清晰度电视地面广播传输系统的国家。在国庆5 0 周年时成功地进行了试播。上海也于2 0 0 0 年进行了数字电视的试播。 1 2 2 豳像通信的发晨趋势 随着通信技术的发展，使得原有的通信网、计算机喇和广播电视嘲的性能大幅度增强， 其功能早已超出了原来的范围，它们的界线也变得越来越模糊，三网会聚的趋势已十分明 朗。商比特率数字用户线( h d s l ) 和非对称数字用户线( a d s l ) 因其传输速率高，较好 地解决了宽带通信系统最后一公里的接入问题，这些为在电话网上实时传输视频图像铺平 了道路。双向有线电视网的成功应用，使得有线电视网只能以广播的方式传输电视信号的 事实成为历史。同时，i n t e m e t 网的迅速发展，又为图像通信的发展开辟了广阔的天地，通 信带宽的提高，新的口协议( i p v 6 ) 、实时传输协议( r e a lt i m ep t o u ，c o | , r t p ) 、资源预留 协议等的出台，使得在i r r t e m e t 网实时传输图像成为可能。移动通信，特别是第三代带宽 移动通信，已把图像通信等多媒体业务作为其主要的目标来实现。 综上所述可见，目前圈像通信的发展方向是： 多样化 充分利用现有的各种通信资源和图像通信终端，满足人们对图像通信的各种不同需求， 使人们既可以通过可视电话看到对方的形象，也能享受到高清晰度电视带来的更清晰的图 像、更通真的色彩、更优美的音乐。 3 笙二兰堕丝一一 以人为本，实现图像通信的交互 随着生活水平的提商，人们对被动地接受电视感到越来越不满足，希望实现人与电视 系统的直接对话，在家里即可随时点播自己想看的各种电影、新闻、文艺节目等。 传输方式趋向数宇化、综台化 数字传输具有抗干扰性强、便于压缩编码和处理、易于加密等系列优点，在图像传 输中获得了广泛应用。宽带综合业务数字网b - - i s d n 是未来理想的通信网，也是图像通信 的理想通信网，由于采用综合方式传输，使传输费用显著下降，维护管理更加方便一 多媒体化 集计算机技术、声像技术和通信技术于一体的多媒体技术已应运而生，这种新技术除 具有以上三种技术各自的优点外，还具有以下优越性，它将大大丰富人们的文化生活，为 日常生活提供极大方便，一台多媒体计算机除具有现有的家用电器功能外，还具有一个声 像图书馆的功能，人们可欣赏各种声像赉料，订购多种节目：它可提高办公自动化程度， 提高教学质量，实现可视通信；可提供更方便的科研工具，使计算机辅助设计( c a d ) 更 直观、形象。 通信终端智能化 图像通信系统中相当广泛地引入了计算机，这就使图像通信终端的智能化程度得到了 很大的提高。通过用户的可编程性，业务提供者可灵活地及时地为用户提供大量新业务， 无需对已有网络硬件和用户设备作大的改动，如机顶盒已从单一的解密收费发展成为集解 压缩、i n m m e t 浏览、解密收费、交互控制为一体的数字化装置。 1 2 3 豳像通信发晨的机遇与挑战 图像通信是兼有“千里眼”和“顺风耳”两大功能的理想的通信方式，但是长期以来 发展缓慢，一囊未能普及，直到最近十年，情况有了很明显的变化，归纳起来主要有以下 几点； 首先，图像压缩编码理论方法和技术实现已经成熟达到实用化水平。基于运动补偿，帧 间预测+ d l 玎+ 量化+ 熵编码的经典图像压缩编码方法因其压缩比高，重建i 銎像质量好， 算法的v l s l 实现可行，已被许多图像压缩国际标准所采用，这些都极大地推动了图像通 信的发展。同时，矢量量化、子带编码、模型编码、基于图像内容的编码等各种新的图像 编码方法不断取得新的突破，图像压缩编码将不再是制约图像通信发展的瓶颈。 第二，国际标准化问题已经得到解决。近1 0 年来，图像压缩国际标准的制定工作进展 迅速，图像压缩的标准体系正在形成，如表1 ，1 所示。同时，对于图像通信系统，国际标 准化组织也颁布了一些标准，如基于i s d n 的可视电话h 3 2 0 系列标准，基于电话线的可 视电话h3 2 3 系列标准等。标准的建立将带动集成电路的大规模生产，成本的大幅度降低， 并解决了不同厂家产品的兼容性问题，所有这些都极大地推动了图像通信的广泛应用。 第三，由于超大规模集成电路技术的迅速发展，目前市场上不仅有多种通用的高速处 理芯片问世，如1 1 公司的t m $ 3 2 0 c 8 0 、t m s 3 2 0 c 6 x x x 、i n t , 1 公司的p m t i u mm 5 5 0 姗i z 和a 尬公司的k 一7 系列等，同时还出现了许多专用芯片，如i b m 公司的m p e g - - 2 视频编码 芯片$ 4 2 2 ，l g 和s t 公司的单片f i d t v 解码芯片等，从而使图像编解码嚣的价格大幅度下降。 晟后，宽带数字通信两络正在形成。数字通信具有通信质量高、易于处理、易于加密 等优点，数字通信线路的大发展已成为必然趋势，宽带综合业务数字网( b - - i s d n ) 也已被 公认为全世界通信的发展方向，现在不仅交换、干线通信数字化已经实现，用户环路的数 字化也发展得十分迅速，这种趋势就为数字图像通信的传输网络提供了有利条件。 4 上海交通大学硕士学位论文 表11 图像压缩国际标准 1 标准组织颁布组织标准主要用途标准通过时间 ih2 6 1i t u t 电视电话、会议电视1 9 9 0 年1 2 月 ij p e g i s o 静止彩色图像压缩1 9 9 1 年3 月 im p e g 1i s o 数字存储媒体 1 9 9 2 燕 | m p e g - 2i s o 常规电视和h d t v1 9 9 4 年1 1 月 fh 2 6 3 i s o 可视电话、会议屯视1 9 9 5 年1 2 月 ih2 6 3 +l s o h 2 6 3 的增补版1 9 9 8 仨 i m p e g - 4i s o 网络、视频交互等1 9 9 8 年草案 lj p e g 2 0 0 0i s o 网络，远程医疗等2 0 0 0 年左右 数字图像通信所具有的魅力和感染力是不古而喻的。为了实现高质量的图像通信，我 们还有许多工作要做，必须解决以下几个问题： 高质量的图像压缩编码算法，特别是在现有的图像压缩国际标准框架下，最优的图像 编码方法，如最优的运动估计、自适应量化、码率控制、传输缓存控制等。 在图像压缩国际标准框架下，图像压缩编码的v l s i 实时实现。 图像在通信过程中会引入各种干扰和噪声，如随机噪声、脉冲干扰、线性和非线性失 真等。如何降低甚至消除这些噪声和干扰的影响，是图像通信必须解决的个重要问 题。对此，除可以利用通信系统本身来解决外，在图像编码方面还有许多工作要做， 如研究对误码或a t m 信元或包丢失具有鲁棒性的图像编码算法以及在解码端的各种错 误恢复方法等。 1 3 本文的研究背景 1 3 1 需求 m p e g - 2 标准是m p e g - i 标准的扩展t 可以提供广播级质量的视频。目前，已经有许 多基于m p e g - 2 的用户产品投放市场。已经成为市场主流的面向个人电脑的d v d 播放器 同样使用了m p e g - 2 就象高速发展的m 瞻m e t 已经成为数以亿计的人的生活的一部分一 样，高质量的m p e g - 2 视频即将或者说已经成为人们生活的一部分。图像通信与l u ：c e i n e t 的结合是图像通信发展的必然趋势。人们必然希望高质量的视频能够通过i n t e m e t 传送到 它们的个人电脑，这样他们能够获得象电子邮件一样方便的、价格低廉的高质量的多媒体 娱乐和计算机辅助多媒体教育。进行基于ip 两络的高质量视频传输的研究就有了迫切的 需求。 1 3 2 实现的可能性 以前对基于网络的图像通信的应用性研究主要集中在两个方面：基于窄带网的低质量 视频传输的研究，如h 2 6 x ；基于宽带网络的高质量视频传输的研究。主要面向a t m 网络， 如m p e g - 2o v e ra t m 。而基于ip 网络的高质量视频传输的研究却很少。 这是因为前 苎二童堑丝 一 些年i i 哇啪c t 网络所能够提供的带宽比较小，比如前些年，在最后公里( 最后一百米) 上，我们拨号上网使用的是9 6 k 、1 44 k 、2 8 8 k 、5 6 1 ( 的调制解调器；在骨干网上，全国 i n t 鲫僦的出口不过几兆。而图像通信特别是高质量的图像通信，嚣要的带宽都比较高。图 12 是不同类型的视频内容所需要的典型码率。基于ip 网络的高质量视频传输的研究在当 时没有现实意义。 m b d sv i d f i f 射甜船e( m p e g 4 ) b p s v i d e oi naw t n d o w ( m p e ( h ) m b p 略v h $ q u a l i t y r n ( m p e g 2 ) m b p s b r o a d c a s tn t s c ( m p e g - 2 ) m b 呻b r o a d c i 融p a l( m p e 2 ) m b 呻轴d “嘲猷p a l( m p e g - 2 ) m b l 墙a 帕8 出黜lh 【) t v( m p e g 2 ) m b i 疆 m b d s m b p 6 m b m b ：2 譬 d v b a e u l l em u 哪p l l “( m p e g - 2t n m = p o a ) p r o f m m l o n a lh d t v m p e g - 2 ) c o n t r l b u l k mt v m p e g - 2 4 ) c o n l r t l 0 c l t j o r lh d t v r a w n t s c r a w p l r a wc o o u b u u o np a l 1 - 1 5g b l 碡r a wh o t v 图1 2 不同类型的视频内容所需要的典型码率 f i g l2t y p i c a lc o d 证gr b 协m i i 司f o rv m i o u st y p e so f v i d e o c o n t d a t 由于近十年来特别是近五年来在图像通信及计算机网络技术的突破，m p eg 一2o v e r i p 正在成为在i p 两络上传播高质量多媒体的最佳解决方案。首先在通信骨干孵方面， 基于d w d m 的全光网( a l lo l 垴硼ln e t w o r k ，a o n ) 正在飞速发展，目前已经可以提供数 十g 上百g 的带宽，在不远的将来可达到数十个太的带宽。其次，在最后一公里( 最后一 百米) 方面，随着c a b l em o d 。m s 及x d s l 系统的发展，住宅用户接入已经可以非常低廉的 价格获得几个m 比特的网络带竟( 倒如上海目前已经可以获得l m b i t 的带宽，包月费用为 1 3 0 元) ，表l2 为x d s l 的系列对比：而办公室的用户已经习惯于比较经济的1 0 1 0 0 m b i t s 的以太交 表12x d s l 系列对比 名称含义传输速率模式评论 叻s u 蛐d ! ；l 2 高速数据d s l 1s 4 4 m 对称使用2 线对 20 4 8 m 对称使用2 线对 s d s l 单线对d s l 7 鹋k 对称使用l 线对 a d s l 非对称d s l 1 5 8 m 下行使用1 线对 1 6 - 6 4 0 k 上行 r a d s l 自适应速率d s l 1 5 8 m 下行使用1 线对 1 6 - 6 4 0 k 上行能速率适配 c d s l 用户d s l 鉴于目前对基于ip 网络的高质量视频传输有着强烈的需求，研究了适合于基于ip 网络的m p e g 2 视频传输方案。在方案的研究中我们不但考虑了现有的i p 网络的实现 方案，同时还考虑了对新一代i p 网( i p v 6 ) 的适应性。 7 第一章绪论 研究了如何提高图像通信的鲁棒性，指出分层编码是提高图像通信鲁棒性的有效途径。 对基于均值金字塔的分层编码方案进行了仿真研究。这种分层方案在没有提高码率的 基础上对系统的鲁棒性有了较大的提高，具有较强的实用性。 研究了图像通信的错误隐藏方法。对双向预测帧( b 帧) 在错误隐藏中的作用进行了 研究。将上面的研究结果应用到基于ip 网络的m p e g - 2 视频传输的错误隐藏中。这 些错误隐藏方法不增加另外码字对编码器没有作任何改动，有一定的实用价值。 8 圭童奎望查兰堡主笙苎 第二章图像压缩编码的方法及其国际标准 本章对图像压缩编码的方法及其国际标准作了简要的介绍。其安排如下，在本章的第 一部分介绍了图像压缩编码分类和方法。在本章的第二部分对已有的图象编码的国际标准 作了介绍。 2 1图像压缩编码方法概述 图像压缩编码从1 9 4 8 年提出至今已有5 0 多年的历史。在五、六十年代，由于客观条 件的限制，图像压缩编码技术的发展较慢，仅对帧内预测和亚取样内插复原进行了研究， 对视觉特性也作了一些有限的工作。六十年代对比分析了d p c m 和p c m ，并进行了线性 预测编码的实际试验。七、八十年，开始进行帧间预测编码的研究，并进一步研究了作运 动补偿( m c ) 所使用的运动估计( m e ) 方法。特别是近十年来，图像压缩编码技术取得 引人注目的新进展，各种图像压缩编码算法不断涌现，掀起了一股图像压缩编码研究的热 潮。 2 1 1 图像压缩编码的分类 图像压缩编码有许多不同的编码方法，其分类方法也多种多样，如按待压缩图像的性 质分类。按复原的图像是否与原图像一致分类，按所用的方法原理分类等等，下面分别予 以说明： 按待压缩图像的性质分类 有不同的分类方法，如以图像的光学性质分，有单色，彩色，多光谱图像的压缩编码； 以灰度等级分，有二值图，多值图与灰度图像编码：如以动静分，有静止图像与序列 图像编码。在静止图像编码中，只能进行帧内编码，而且人眼对静止图像的失真较运 动图像更为敏感，压缩比就没有运动图像编码来的商，但是运动图像编码对实时性的 要求很高，这是它特有的难点。对不同要求( 无失真，小失真，较大失真) ，不同性 质的图像使用适当的编码方法和参数进行压缩比编码是达到预期目标的关键。 按复原的图像是否与原图像一致分类 可将编码的方法分为两大类：无失真编码和限失真编码。无失真编码又称信息保持编 码( 1 0 s s l e s sc o d i n g ) 或可逆编码。限失真编码又称非信息保持编码( 1 0 s s yc o d i n g ) 或 不可逆编码。编码会造成失真，不过这些失真可以被控制在一定的范围内，不致影响 使用效果。在无失真编码中不可使用量化器，因为量化总会带来不可恢复的失真，无 失真编码的压缩比低，可达到的最高压缩比取决于信源熵。在限失真编码中允许的失 真越大，可达到的压缩比越高，即与量化的粗细有很大的关系。在限失真编码中把失 真控制在视觉阙值以下或控制在可容忍的程度是有效提高压缩比的关键。 按所用的方法原理分类 可将图像编码方法分为基于图像统计特性，基于人眼视觉特性，基于图像特征提取等 方法，在实际的编码中，常常需要同时用到图像的统计特性和人眼视觉特性才能进行 有效的编码，难以把它们截然分开。而有些编码方法的类别还可以进一步细分，如基 9 图像压缩编码方法及其国际标准 r 统计特性的编码方法还可以分为帧内预测、帧间预测、变换编码等。许多新的国际 图像编码标准使用了混合编码方法，即同时用到了帧内、帧间预测和d c t 编码。 为便于理解和叙述，可以把图像的编码方法分为四大类：波形编码，变换编码，模型 编码和拟合编码。它们都是以映射变换的性质为依据进行分类的。 2 1 2 图像压缩方法 图像的压缩编码是去除图像信号的冗余。图像信号最为重要的两种冗余是统计冗余 ( s t a t i s t i c a lr e d u n d a n c y ) 和主观冗余( s u b j e c t i v er e d u n d a n c y ) 【h a s 9 8 。图像的统计冗余 表现为空间冗余，对序列图像还表现在相邻帧图像间的时间冗余。主观冗与具体表现在人 眼的视觉闽值、空间掩盖现象和对快速运动物体的视觉惰性等方面。 目前为国际标准( 如m p e g - - 1 2 ， l 2 6 1 2 6 3 2 6 3 + 2 6 3 + + ) 所采用并得到广泛应用的 传统视频编码核心的算法是：运动估计，帧闯预测补偿+ d c t + 量化+ 熵编码。运动估计帧间 预测补偿用于消除序列图像时间域的相关性；对帧间预测误差进行8 * 8 象素块的离散余弦 变换用以消除空间的相关性；再在d c t 变换域中对系数设置自适应量化器，利用了人眼视 觉特性。量化后的系数迸一步采用h u f f m a n 编码器实现熵编码。 8 0 年代以来，随着计算机等相关技术的发展，其他新的编码方法如雨后春笋般的涌现。 1 9 8 6 年w o o d 和o n e i l 首先把子带编码用于图像通信，和d c t 相比，子带编码无方块 效应，压缩比高。小波变换突破了傅立叶分析的局限在时域和频域上同时具有良好的局 部化性质，对高频成分采用逐步精细的取样步长，从而可以“聚焦”到对象的任意细节上， 被誉为“数字显微镜”，从此掀起了小波变换用于图像，视频编码研究的热潮。目前，基于 小波变幻的语音波形压缩、静止及运动图像压缩已经得到深入的研究并取得初步的应用。 运动图像压缩国际标准m p e g 4 中已经把小波变换列了进去，静态图像压缩标准j p e g 2 0 0 0 是完全使用小波的图像编码方法。基于小波变幻的编码方法能够获得很高的压缩比和良好 的压缩效果，小波变换是对人的视觉系统多频道分解特性的很好仿真。 神经网络理论所建立的新概念和新方法应用于图像编码，为图像编码增添了新的活力。 目前，数据压缩中所使用的神经网络有两种方式，：神经网络直接用于图像压缩和神经网 络间接用于图像压缩( 即将神经网络与传统的图像压缩编码方法相结合) 。然而，到目前 为止尚未寻找到适宜于神经网络应用于图像压缩编码的好的机理及方法，因而还没有获得 优于传统编码方法的成果，其中患有一些基本的理论问题需要解决。神经网络是否适合于 图像压缩编码领域以及如何更好的利用它，都是值得进一步研究的课题。 分形图像编码利用分形几何原理对图像进行压缩编码。其优势在于分形压缩同时考虑 局部与局部，局部与整体的相关性，适合于自相似或自仿射的几何形状，而这些在我们的 周围广泛存在；分形图像压缩能够获得相当高的压缩闭合很好的压缩效果：分形编码是非 对称的，即编码的时间长，但是解码简单，而且分形编码是能放大到任意的尺寸，同时保 持精细的结构，但分形编码只有当图像本身存在明显的整体与局部的自仿射性时，才可能 达到高的压缩比，并且其编解码计算量大，有许多的问题还有待进一步深入的研究。 2 2 图像编码的国际标准 图像编码的方法多种多样，其应用也是方方面面的，因而建立用于图像压缩、表征、 传输等国际标准的必要性为人们所公