（信号与信息处理专业论文）基于tms320c6415的数字电视信源解码器的研究.pdf

摘要 电视系统在近几十年来经历了从模拟黑白电视，模拟彩色电视到数字电视的 变化。目前，电视系统已经进入由模拟电视向数字电视转变的过渡期。庞大的数 字电视市场为数字电视设备的发展带来了巨大的潜在机遇。 数字电视信源解码器的实现方法有两种，一种是使用专用芯片；另一种则是 使用通用芯片，包括f p g a 和d s p 。业界一般采用基于专用芯片组的实现方案。 这种方案的优点是专用芯片组功能强，技术比较成熟，开发周期短，但它缺乏高 度的灵活性和广泛的适应性。f p g a 是一种基于硬件的实现方法，对于整个系统 的实现比较困难。d s p 是一神基于软件的实现方法，一旦d s p 的运算能力达到要 求，我们就可以利用通用d s p 代替专用芯片来实现机顶盒。 本人参与设计并实现了采用通用d s pt m s 3 2 0 c 6 4 1 5 全软件实现系统解复 用、音频解码和视频解码的数字电视信源解码器系统，为通用d s p 进入数字电 视领域进行了技术可行性的研究，为采用通用d s p 实现完全可编程的数字电视 这方向进行了深入的探索，为最终成功研制基于通用d s p 、算法完全由软件实 现、可具有自主知识产权的数字h d t v 信源解码器打下基础。 同时，本文对数字电视信源解码的核心算法一视频解码进行了深入地研究 并给予具体实现。结合m p e g 一2 视频解码标准和流程，合理调度d s p 的资源，充 分利用c 6 4 1 5 片内各种资源的能力。针对c 6 4 1 5 的特殊架构对视频解码程序做 了多方面的优化。特别是对o c t 系数变长解码、i d c t 和运动补偿三个关键模块 人工编写了汇编语言程序、调整了流水线操作。经过优化，显著提高了解码效率。 采用模块化设计提高了视频解码的鲁棒性和可移植性。通过各种技术的综合应 用，高效地完成了视频解码任务。 本系统最终可实时完成s d t v 的信源解码。由于目前c 6 4 1 5 的处理能力的 限制，本系统还不能实时实现数字h d t v 信源解码。但是，随着将来d s p 性能 的进一步提高，单片通用d s p 全软件实现h d t v 信源解码器解决方案是完全可 行的。 关键词：数字电视、信源解码器、通用d s p 、t m s 3 2 0 c 6 4 1 5 、h d t v 、s d t v a b s t r a c t i nr e c e n ty e a r s ，t h et e l e v i s i o ns y s t e mh a sg o n et h r o u g ht h ea n a l o gb l a c k - w h i t e t e l e v i s i o nt ot h ea n a l o gc o l o r e dt e l e v i s i o na n dt ot h ed i g i t a lt e l e v i s i o n 。t h eh u g e d 硒t e lt e l e v i s i o nm a r k e th a sb r o u g h ta ne n o r m o u sp o t e n t i a lo p p o r t u n i t yf o rt h e d e v e l o p m e n to f t h ed i g i t a lt e l e v i s i o ne q u i p m e n t t h e r ea r et w om e t h o d st oi m p l e m e n td i g i t a lt vs o u r c ed e c o d e r o n ei s i m p l e m e n t e db ya s i ca n dt h eo t h e ri sb yg e n e r a - p u r p o s ec h i p ，i n c l u d i n gf p g aa n d d s p , m o s td e c o d e r sa r ei m p l e m e n t e db ya s i c a s i ch a ss t r o n gf u n c t i o n ，a d v a n c e d t e c h n o l o g ya n dl o wp r i c e h o w e v e r ，i th a sl i t t l ei n t e l l e c t u a lp r o p e r t y t ou s ef p g ai s b a s e do nh a r d w a r e ：i ti sd i f f i c u l tt oi m p l e m e n tt h es y s t e m w h i l et ou s ed s pi sb a s e d o ns o i t w a r e ，i th a sm o r ef l e x i b i l i t y ip a r t i c i p a t e di nt h ed e s i g na n di m p l e m e n t a t i o no fac o m p l e t e l yp r o g r a m m a b l e d i g i t a lt e l e v i s i o ns o u r c ed e c o d e rs y s t e mb a s e do ng e n e r i cd s p , t m s 3 2 0 c 6 4 1 5 i n t h i s s y s t e m ，t h eh a r d w a r ei m p l e m e n t a t i o no ft h et r a n s p o r ts t r e a mi n p u t ，v i d e o d i s p l a y i n ga n da u d i op l a y i n gh a sb e e nr e s o l v e d i na d d i t i o n ，h i g h - s p e e d d a t a e x c h a n g eb e t w e e no n - c h i pa n do f f - c h i pm e m o r ys p a c ei si m p l e m e n t e ds u c c e s s f u l l y w i t hh a r d w a r em e a n s m e a n w h i l e ，t h i st h e s i sr e s e a r c h e da n dd e v e l o p e dv i d e os o f t w a r ed e c o d i n g ， w h i c hi st h ek e ya l g o r i t h mo ft h ed i g i t a lt e l e v i s i o ns o u r c ed e c o d e r r e a s o n a b l y u t i l i z i n gt h er e s o u r c e so fc 6 4 1 5a c c o r d i n gt ot h ev i d e od e c o d i n gf l o w c o n s i d e r i n g t h es t r u c t u r eo fc 6 4 1 5a n da d a p t i n gm a n ym e t h o d s ，s e v e r a lo p t i m i z a t i o n sh a v eb e e n m a d e v a r i a b l el e n g t hd e c o d i n g ，i d c ta n dm o t i o nc o m p e n s a t i o na r ec o d e di np a r a l l e l a s s e m b l el a n g u a g e b yt h ei n t e g r a t e du s eo fm a n yt e c h n i q u e s ，t h ev i d e od e c o d i n g e f f i c i e n c yh a sb e e ng r e a t l yp r o m o t e d t h es y s t e mc a ni m p l e m e n tt h ef u n c t i o n so fd i g i t a ls d t vs o u r c ed e c o d e s i n c e t h el i m i t a t i o no ft h ep r o c e s s o r sc a p a c i t y , h d t vs o u r c ed e c o d e rh a sn o tb e e nr e a l i z e d b u tw i t lt h ed e v e l o p m e n to fd s p , t h ec o m p l e t e l yp r o g r a m m a b l es o l u t i o no fh d t v s o u r c ed e c o d e rw i t l ls i n g l ec h i po fg e n e r i cd s pw i l lb ef e a s i b l e k e yw o r d s ：d i g i t a lt e l e v i s i o n ，s o u r c ed e c o d e r , g e n e r i cd s p , t m s 3 2 0 c 6 4 15 h d t v ，s d t v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得叁变盘鲎或其他教育机构的学位或 证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示了谢意。 学位论文作者签名：宵旆球 签字日期：如扩5 年上月纠日 学位论文版权使用授权书 本学位论文作者完全了解叁鲞盘堂有关保留、使用学位论文的规定。 特授权盘鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘a ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 甫谛珠 导师签名： 签字日期：印巧年五月纠日签字日期：。2 硬广年二月纠日 第一章绪论 1 1 数字电视及其分类1 】 第一章绪论 数字电视是继黑白电视与彩色电视之后的第三代电视，是电视发展史上的 一个新的里程碑。 数字电视，顾名思义，是数字化的电视技术。数字电视系统是将活动图像、 声音和数据通过数字技术进行压缩、编码、传输，存储，而实时发送广播或者经 过记录媒体的传播，供观众接收，播放的视听系统。 与传统模拟电视相比，数字电视的优点是十分明显的： 1 ) 电视质量提高，电视画面更清晰，声音更动听，数字电视可以传输立体 声信号，而模拟电视多为单声道。 2 1 频谱利用率高，传输一路模拟电视节目的信道可传输4 路数字电视节目： 数字电视可以满足观众多样化、专业化、个性化的需求，可以以用户为 中心，充分满足特定观众的多样化需求。 3 ) 节目制作可用多种手段，使节目更加丰富多彩，并提高了节目制作效率， 节省了人力。数字电视还可提供各种增值服务。 4 ) 易于实现信号的存储，可以通过各种存储介质( 如硬盘、光盘等) 进行 节目的存储。 5 ) 可灵活的组合多种业务传输，既能进行电视广播，也能进行数据广播等 多媒体广播。 6 ) 很容易实现加密解密和加扰解扰技术，便于专业应用和广播应用。 7 ) 电视广播系统的全面数字化将成为实施国家信息化基础设施建设的最 有效手段之一，并将最终形成电视、电话和计算机三网融合，推动信息 化进程。 目前数字电视信号的传播主要有三种途径：地面开路广播、有线电视网传输 和卫星传输。 地面开路广播是最普及的电视广播方式，用于在地面v h f u h f 广播信道上 传输数字电视节目。地面数字电视广播通过电视台制高点天线发射无线电波，覆 盖电视用户，用户通过接收天线和电视机收看电视节目。地面网必须进行全国统 一频率规划。地面广播的特点是情况复杂、干扰严重和频道资源紧张，同时还面 临加性噪声、多径传输干扰等问题。为了适应数字信号在地面广播时传播条件复 第一章绪论 杂等特点。其调制方式不仅不同于以往的模拟电视，也不同于线缆和卫星传输的 模式。目前国际上地面广播有两种传播制式：v b s ( 残留边带) 调制方式和 c o f d m ( 编码正交频分复用) 调制方式。 随着全频道模拟电视广播信号的光纤宽带传输技术的突破，一个以光纤为 干、同轴电缆为支的树形光纤同轴电缆混合网( h f c ) 在城市得到普遍利用， 并逐渐演迸成脱离地面广播系统而独立存在的有线电视广播网络。有线电视网可 以一城一网，具有企业运营特征，在电视用户端通过有线制式机顶盒和电视机连 接。有线电视传输质量高、节目频道多。有线广播数字电视的调制方式大多采用 q a m ( 正交调幅) 方式，通过有线电视( c a t v ) 系统传送多路数字电视节目。 目前，借助于有线电视技术开通数字电视的交互业务是首选方案。 卫星广播数字电视网络( 简称卫星直播系统) 和地面、有线广播数字电视传 输网络不同。它是把数字电视节目信息集中，经卫星地面发射站用微波发送到离 地面3 8 0 0 0 k i n 高的同步卫星上；同步卫星再用微波转发回地面，用户电视机通 过小型卫星接收天线和卫星制式机顶盒收看卫星数字电视节目。卫星电视广播的 特点是覆盖面广、质量较好，并且资源丰富。在数字化后，利用数字压缩技术， 一颗大容量卫星可以转播1 0 0 5 0 0 套节目，是未来多频道电视广播的主要方式。 世界各国对其调制方式统一采用q p s k ( 四相移键控) 方式。 1 2 世界上现有的数字电视主要标淮f 2 j f 3 】 目前，数字电视传输尚无统一的国际标准。美国、欧洲和日本各自形成三种 不同的标准，如表1 1 所示。 表1 - 1 数字电视的三种标准 a t s c d v b s d b 地面卫星有线地面卫星有线地面卫星有线 8 v s b 2 “8 k分段 调制方式q p s kq a mq p s kq a mq p s kq a m 1 6 v s bc o f d mc o f d m 视频编码m p e g 一2 m p e g 2m p e g 2 音频编码 a c 一3m p e g 2m p e g 2 复用方式m p e g 2 【p e g 2m f e ( 卜2 美国的标准是a t s c ( a d v a n c e dt e l e v i s i o ns y s t e mc o m m i t t e e 先进电视制式 委员会) ；欧洲的标准是d v b ( d i g i t a lv i d e ob r o a d c a s t i n g 数字视频广播) ；日本 的标准是i s d b ( i n t e g r a t e ds e r v i c e sd i g i t a lb r o a d c a s t i n g 综合业务数字广播) 。其 中，前两种标准用得较为广泛。特别是d v b ，已逐渐成为世界数字电视的主流 2 第一章绪论 标准。 在美国，地面电视广播迄今仍占其电视业务的一半以上。因此，美国在发展 高清晰度电视时首先考虑的是如何通过地面广播网进行传播，并提出了以数字高 清晰度为基础的标准a t s c 。1 9 9 6 年底，美国f c c ( 美国联邦通信委员会) 批准 将a t s c 标准作为美国国家数字电视标准。美国h d t v 地面广播频道的带宽为 6 m h z ，调制采用8 v s b 方式。预计美国的卫星广播电视会采用q p s k 调制，有 线电视会采用q a m 或v s b 调制。a t s c 数字电视标准由四个分离的层级组成， 层级之间有清晰的界面。最高层为图像层，确定图像的形式，包括像素阵列、幅 型比和帧频。接着是图像压缩层，采用m p e g 2 压缩标准。再下来是系统复用 层，特定的数据被纳入不同的压缩包中，采用m p e g 2 压缩标准。最后是传输 层，确定数据传输的调制和信道编码方案。 欧洲数字电视首先考虑的是卫星信道，采用q p s k 调制。欧洲地面广播数字 电视采用c o f d m 调制，8 m h z 带宽。其有线数字电视采用q a m 调制。d v b 数 字广播系统利用了包括卫星、有线、s m a t v 、m n d s d 在内的所有通用电视广 播传输媒体。d v b 数字广播系统除传送普通的视频、音频信号外，还需传送接 收i r d 调谐、节目指南，以及图文、字幕、图标等信息。d v b 数字广播系统中 的许多业务都能根据需要，提供某种形式的交互服务，其中，有些业务传送的是 加扰的条件接收信息。d v b 数字广播系统与其他电信网络( 例如p d h 、s d h 、 a t m 等) 的连接扩展了d v b 技术的应用范围，它与这些电信网络的接口实现了 d v b 向电信网络的过渡。从1 9 9 5 年起，欧洲陆续发布了数字电视地面广播 ( d v b t ) 、数字电视卫星广播( d v b s ) 、数字电视有线广播( d v b c ) 的标 准，其中最突出的是d v b s 。d v b s 标准几乎为所有的卫星广播数字电视系统 所采用。我国也选用了d v b s 标准。 日本数字电视首先考虑的是卫星通道，采用q p s k 调制，并在1 9 9 9 年发布 了数字电视的标准i s d b 。i s d b 是日本的d i b e g ( d i g i t a lb r o a d c a s t i n ge x p e r t s g r o u p 数字广播专家组) 制订的数字广播系统标准，它利用一种已经标准化的复 用方案在一个普通的传输信道上发送各种不同种类的信号，同时已经复用的信号 也可以通过各种不同的传输信道发送出去。i s d b 具有柔软性、扩展性、共通性 等特点，可以灵活地集成和发送多节目的电视和其他数据业务。 1 3 中国数字电视的发展概况【4 】 数字电视被认为是2 1 世纪前景最广阔的产业之一，也是国际范围内数字消 费类电子信息产品发展的重点。各国政府都把它视为新的经济增长点，纷纷制定 第一章绪论 发展规划和推进政策。在这种形势下，我国为加快数字电视的发展，先后安排了 近2 0 亿元的国债资金来促进数字电视发展。到2 0 0 8 年北京奥运会时，我国将实 现以数字高清晰度方式向世界转播赛事。 我国早于八十年代末就开始跟踪研究世界数字电视的发展趋势。在“八五” 和“九五”期间，我国在h d t v 技术的科研项目攻关上取得了重大突破。数字 电视产业已列入国家“十五”计划中十二大高新技术工程之一。我国于1 9 9 9 年 成功自行开发研制出了不同制式的h d t v 试验播出系统，承担了在国庆五十周 年庆典中进行了高清晰度电视的转播试验，并取得了成功。在数字电视标准的研 究制定方面，我国也取得了非凡的进展。国家为此专门成立了数字( 高清晰度) 电视标准工作组，组织了系统内外4 0 多位专家专门进行数字屯视标准的研究制 定。标准工作组结合我国国情和盐界数字电视笈展现状，按照数字电视体系，将 标准体制框架分为演播室参数标准、视频编码及复用标准、音频编码标准、信道 编码调制标准和频率规划标准这五大部分。目前，涉及演播室的主要标准已完成 并发布实施；数字电视、音频编码及复用标准己完成两项，另有两项进入征求意 见稿阶段；数字电视广播传输标准卫星标准已发布实施，有线标准尚待批准，地 面标准还处在研究制订阶段；地面电视频率规划参数和规划方法标准也处于研究 制订阶段。 a t s c , d v b 、i s d b 以及我国即将确定的数字电视标准问最主要的区别在于 信道编码部分，而信源编码部分都是以m p e g 2 国际标准为主。由此可见， m e p g - 2 标准对数字电视具有十分重要的意义。 1 4 本文的任务和结构 本人所参加并完成的系统为基于t m s 3 2 0 c 6 4 1 5d s p ( 以下简称c 6 4 15 ) 的 数字电视信源解码器。该系统既可以接收来自码流发生器的m p e g - 2 传送流， 又可以通过1 2 c 总线控制前端，并接收来自前端的传送流。全软件地实现实时传 送流解复用、m p e g 2 音频解码和s d t v 视频解码( m p e g 2m p 国m l ) ，尝试 完成t t d t v 视频解码( m p e g - 2m p h l ) 。输出s d t vy p b p r 模拟视频信号、 h d t vy p b p r 模拟视频信号或v g a 模拟视频信号。此外，在该平台上还可以实 现图像捕获和图像匹配处理机功能。 本人参加了系统硬件方案设计和硬件调试，尤其是在系统输入部分的硬件实 现中做了很多工作。接着独立负责了本信源解码器视频解码部分的全软件实现。 结合m p e g - 2 视频解码标准和流程，合理调度d s p 的资源，进一步优化视频解 码的程序结构，并用拒编语言编写了其中的，l 个模块，最终实现了在本系统上的 码的程序结构，并用汇编语言编写了其中的几个模块，最终实现了在本系统上的 第一章绪论 数字电视全软件视频解码。最后，参加并成功实现了系统的多任务联调。 本文的内容安排如下： 第一章简要介绍了什么是数字电视以及数字电视的发展状况。 第二章先是简要介绍视频压缩算法，然后从语法、语义以及解码流程等方面 详细介绍了m p e g 2 视频算法。 第三章首先对c 6 4 1 5 做简要介绍，接着对提出的数字电视信源解码器的硬 件方案进行论证，最后详细介绍了本系统输入部分硬件的具体实现。 第四章是本文的重点。详细介绍了数字电视信源解码中视频解码的软件具体 实现和代码优化：视频解码时的空间分配方案设计；视频解码的总体方案；视频 解码软件的模块化设计；各模块的具体实现；关键模块的优化思想和具体方法。 第五章对本文的工作进行总结，并给出下一步的研究方向。 兰三兰塑塑塑塑兰望坌望 第二章视频压缩编码算法介绍 本信源解码器系统的设计基础是m p e g 2 标准，本文主要的软件工作是针 对m p e g 2 标准的视频部分，所以本章将对视频压缩编码的基本方法、m p e g 2 标准及其视频部分作简要的介绍。 我们知道，视频通信需要存储和传输大量的信息。这些信息是由空间和时间 两种可视信息组成的。在实际应用中，由于传输带宽和存储空间有限，直接传输 或存储这些信息是不经济的，有时几乎是不可能的。因此，为了更有效和更经济 地利用信道带宽和存储空间，采用减少数据量的视频压缩( 或编码) 技术是必要 的。目前，视频编码标准有很多，也在不断地变化，但是这些视频压缩编码的基 本原理和算法是相通的。 2 1 视频压缩基本方法【5 i 1 7 1 视频数据可以进行压缩，其依据是：首先，原始视频数据存在大量冗余，如 动态视频帧内像素间的空域相关性和帧问像素间的时域相关性都会引起很大冗 余。其次，人类视觉器官具有某种不敏感性，如对亮度信息敏感而对颜色分辨率 弱，基于这种不敏感性可对某些冗余信息进行压缩，从而大幅度提高压缩比。 2 1 1 空间冗余的压缩及其相应的编码方法 电视图像基本上是由面积较大的像块组成，有很大一部分取样点的数值是完 全一样的，这样就产生了空间冗余。差值脉冲编码和帧内预测编码的目的就是要 减少这些空间冗余信息。 差值脉冲编码时，所传送的数据并不是每一样点的取样值，而是按照扫描的 顺序，传输当前样值和前一样值的差值。由于相邻取样点之间的相关性，很多时 候所传送的差值为零或者很小。这时，如果采用零游程编码就可以很大地压缩数 码率。 差值脉冲编码实际上是比较简单的一维预测编码，帧内预测编码是二维预测 编码。它在预测某一样点的数值时，不仅用到当前行前一样点的取样值，还用到 上行相邻样点的取样值，有时还用到上一行相邻样点的前一样点的取样值。目 的是让预测的值和实际出现的样值更接近。显然，图像各样点之间的相关性越强， 预测编码所取得的压缩效果更好。 第二章视频编码算法介绍 2 1 2 时间冗余的压缩及其相应的编码方法 图像数据最大的冗余成分是时间冗余。例如，在帧频为2 5 h z 的情况下，一 秒钟的静止图像相当于传送2 5 帧相同的数据：即使是有很大活动范围的活动图 像，前后帧的画面尽管有很大区别，但移动物体本身在大多数情况下是相同的。 只要知道物体具体移动了多少，就可以在前一帧找到相应的图像内容。很显然， 这部分像块的信息是冗余的，无需再进行传送。 运动补偿预测编码的基本思想是把一幅动态图像看成是由静态部分和动态 部分叠加而成。静态部分可以重复使用上一帧的数据。而对运动部分，人们用运 动矢量来表示物体究竟移动了多少，用运动补偿来表示把参考帧相应的运动部分 填补到新的一帧画面中还需要多大的修正，运动补偿之后再进行帧间预测。帧间 预测某一样点的数值时，不仅可能用到前一样点的数值和上一行相应样点的数 值，还可能用到前、后帧图像中相应位置上的数值。 运动补偿预测编码是目前提高视频压缩效率最有效的编码方法，在现有的视 频压缩标准中得到广泛应用。由于运动补偿预测编码的计算复杂度很大，因此也 成为视频压缩计算中的关键环节与瓶颈。 2 1 3 主观冗余的压缩及其相应的编码方法 由于人眼对图像中的高频分量不敏感，因此，可以对电视图像中的高频分量 进行进一步压缩。 离散余弦变换( d c t ) 是常用的变换域编码方法，它采用非均匀量化的方法 来降低图像中的高频分量。d c t 变换首先将图像分成若干个8 8 ( 以m p e g 2 为例) 像素的小像块，然后对每个像块逐一进行d c t 变换。d c t 变换是一种正 交变换，有如下特点：第一，没有失真，整个过程是可逆的：第二，可以去除大 多的相关性：第三，能量重新分布且集中在左上角，呈现倒三角型分布。 以一个8 8 像素的小像块为例，6 4 个样值经d c t 变换后仍然得到6 4 个样 值，这并没有达到码率压缩的目的。但在量化取整时，量化表符合人眼特性，即 对图像左上角的低频分量设置较细的量化，而对高频分量设置较粗的量化。这时， 网格内大部分系数为零。然后，再用z i g z a g 扫描进行z 字型读出数据后，这一 串数据中只有前面部分数据较大，而其余部分数据较小甚至为零。这时采用零游 程编码就可以让数据率得到有效的压缩。 第二章视频编码算法介绍 2 1 4 熵编码 s h a n n o n 定理证明只要符号速率r 不超过信道的信息容量c ，符号就可以以 任意小的差错率在该信道中传输。信源所含的平均信息量( 熵) 就是进行无失真 编码的理论极限，只要不低于此极限，总能找到某种适宜的编码方法逼近熵。而 信源中含有的冗余度源于信源本身的相关性和信源概率分布的不均匀性。只要去 除相关性或改变概率分布的不均匀性，也就找到了信源熵编码的方法。熵编码的 主要编码方法有h u f f m a n 编码、行程编码和算术编码。 其中，h u f f m a n 编码是熵编码中应用最广泛的一种编码方法，是一种统计编 码，一般人们所说的可变字长编码就是h u f f m a n 编码。该方法完全依据字符出现 的概率来构造码字，可以做到出现概率最大的字符用最短的码来表示，而出现概 率最短的字符用最长的码来表示。h u f f m a n 编码中每一个符号都对应一个码字， 总的形成一个码表。接收端和发送端的码表相同。 在有些场合还用到子带编码、小波编码、亚取样编码、分型编码以及模型编 码等。以上这些编码方法都属于信源编码，一个完整的编码方案还需要综合大量 的可靠性编码方法，用于检错、纠错和掩错。 2 2m p e g 2 概述嘲【9 】 压缩技术自采用以来取得了很大的发展。国际标准化组织i s o 和国际电工 委员会i e c 于1 9 8 8 年成立了一个致力于制定有关运动图像的压缩编码国际标准 的组织m p e g ，m p e g 全称为m o v i n g p i c t u r e e x p e r t g r o u p ( 运动图像专家组) 。 到目前为止，该组织已正式推出如下标准： m p e g 一1 ：可提供最高达1 5 m b p s 的数字视频，只支持逐行扫描。 m p e g - 2 ：支持的带宽范围从2 m b p s 到超过2 0 m b p s ，它后向兼容 m p e g 1 ，增加了对隔行扫描的支持，并具有更大的伸缩性和灵活性。 m p e g 4 ：该标准基于视频对象，通过对象识别提供了空间的可伸缩性。 m p e g 一7 ：多媒体内容描述接口，与上述标准集中在音视频内容的编码 和表示不同，它集中在对多媒体内容的描述。 m p e g 21 ：数字音视频框架协议。 m p e g 标准中最引人注目的还是m p e g 2 ，m p e g - 2 标准包括4 个组成部分： 1 ) 1 3 8 1 8 1 ，系统：定义规范的系统编码。它定义了复合视频和音频数据的 复用结构，以及实时应用中重放同步序列所需定时信息的表示方法。 2 ) 1 3 8 1 8 2 ，视频：定义视频数据的编码表示和重建图像所要求的解码过程。 3 ) 1 3 8 1 8 3 ，音频：定义音频数据的编码需求。 第二章视频编码算法介绍 4 ) 1 3 8 1 8 - 4 ，一致性：定义了一个测试过程，用于确定编码流的特性和测试 使用上述3 个部分时的一致性。 m p e g - 2 在m p e g - 1 的基础上进行了重大的改进，是数字高清晰度电视系统 中视频压缩标准的基础。它具有阻下几个显著的特点： 1 ) 提供演播室级的高画质 m p e g 一2 在数码率取3 - s m b i t s 时，就可以获得当前接收的n t s c 伊a i s e c a m 档次的图像质量。在取8 - 1 0 m b i t s 数码率时，则可以接近原始的复合 c c i r 6 0 1 标准的图像质量。 2 ) 具有可变压缩率的编码技术 m p e g - 2 实际的压缩比取决于节目的内容和所需的重放质量。运动和背景的 变化越大，所获得的压缩就越低。一般而言，m p e g - 2 在数据压缩比为3 0 ：1 时， 就可以提供广播级质量的图像。 3 ) 具备码流的可分级性 m p e g - 2 将所有方面的需求协调成一个单一语法。为避免形成极为复杂的标 准，采取了一种工具箱式的标准，制定了4 级5 类1 1 种单独技术规范。 4 级为： 1 ) 高级。支持4 ：2 ：0 及全部可分级性。 2 ) 高- 1 4 4 0 级。粗略地与每扫描行1 4 4 0 取样的h d t v 对应。 3 ) 基本级。与常规电视对应。 4 ) 低级。类似i r u t h 2 6 1 建议的c i f 或m p e g 1 的s i f 。 5 类为： 1 ) 简单类。除了没有内插图像帧以外，与主类相同，以节省r a m 。 2 ) 主类。没有可分级性，但质量要尽量好。 3 ) s n r 可分级类。一种对主类的改进，给出按信噪比的可分级性。 4 ) 空问可分级类。支持图像空间域分辨率的可分级性。 5 ) 高类。支持4 ：2 ：2 及全部可分级性。 类和等级的组合将有2 0 种不同规格但并非所有的组合都有实际意义。目前 允许使用的组合有1 1 种，而下面的4 种技术规范比较重要。 m f 。 m l ，即主级主类。m p m l 可能的应用包括数字视频广播 ( d v b ) ，数字视盘( d v d ) 、数字有线电视和交互式电视等。 s p m l ，即简单类主级。它将用于数字有线电视和数字录像机。 m p h l ，即主类高级。用于全数字h d t v 。 s s e h 1 4 4 0 ，即空间可分级类高1 4 4 0 级。用于h d t v 。 4 ) 灵活的复用方式 9 第二章视频编码算法介绍 m p e g 2 有两种系统复用方式：传输流( t s ) 和节目流( p s ) 。节目流p s 基本类似于m p e g 1 ，它是由一个或多个p e s 包构成。传输流t s 则由一个或多 个节目组成，可含有一个或多个独立时间基准，其包长固定。 传输流和节目流的界限并不是很清楚，而且不存在子集或超集的关系。两者 还可以互相转换，借用p e s 包的公共交换格式可以从传输流中获取个节目内 容，但并非节目流需要的所有内容都会包含在传输流内。 采用传输流，灵活性大为增强，允许借用再复用模块对码流进行快速重组和 分离。正是传输流具有灵活、多个时基和可变速率的特点，使之可高效、方便地 应用于宽带场合。 5 ) 视频码流具备可调性 为了保证解码器能实现在n t s c p a l s e c a m 显示时，图像用m p e g 2 编码 后可向上兼容h d t v ，向下兼容会议电视，m p e g 一2 采用了分级编码方式。在非 可调句法( m p e g 1 ) 中，只存在有损压缩编码的基层( b a s el a y e r ) 。而m p e g 2 为了达到其兼容要求，还在基层上附加一些增强层( e n h a n c e m e n tl a y e r ) ，这些增 强层采用的是无损压缩算法。基层可以独立解码，而增强层必须结合较低层才能 解码。分级编码方式可分为4 大类：空间可调性( s p a t i a ls c a l a b i l i t y ) 、信噪比可 调性( s n r ) 、时间可调性和数据分区。 6 ) 帧场自适应视频处理 当运动较大时，由于帧的相关性大于场，因此帧处理结果优于场处理，可获 得较大程度的压缩。而在多细节运动区域，场处理的图像质量优于帧处理的。 m p e g - 2 采用的是帧场自适应处理方法，通过对运动特性和图像细节的丰富程 度做出判定来选择采用场处理还是帧处理。 m p e g 2 还具有诸如编辑等能力，这里就不一一赘述了。 2 3m p e g 2 视频部分介绍1 1 0 1 1 ”】 本节主要介绍一下m p e g 一2 标准的视频部分。m p e g 2 的视频编码主要了采 取了2 1 节介绍的压缩方法，其编码方法如下：采用帧内编码帧( i 帧) 、预测编 码帧( p 帧) 和双向预测帧( b 帧) 三种帧结构模式，p 帧和b 帧采用运动补偿 和帧间编码；对帧间预测误差或帧内原始图像数据进行8 8 像素块的d c t 变换； 在d c t 变换域中对8 x 8 的d c t 变换系数设置自适应量化器；采用h u f f m a n 变 字长编码( v l c ) 实现熵编码；此外，对d c t 变换系数进行游程编码，对色度 分量在水平和垂直方向上进行二次取样，并在编码器总体上采纳防止码率上下溢 的编码控制策略。 0 第二章视频编码算法介绍 2 3 1 视频比特流的语法 m p e g - 2 的视频数据编码采用多层结构，它们从高到低为序列层、图像组层、 图像层、s l i c e 层、宏块层、图像块层和基本像素层。每一个比较高级的层包含一 个或多个比较低级的层，如图2 - 1 所示。 图2 - 1 ：m p e g - 2 视频编码分层结构 这种多层嵌套结构使得编出的码流结构明了、易读，便于演播室实现快进、 快退、暂停和插入临时图像组等特技效果。 1 ) 视频序列( v i d e os e q u e n c e ) 视频序列是视频比特流中的最高语法结构。一个视频序列以一个序列起始码 ( 0 x 0 0 0 0 0 1 8 3 ) 开始，以一个序列终止码( 0 x 0 0 0 0 0 1 8 7 ) 结束，中间可选地跟 着一个图像组的头和一个或多个编码帧。 m p e g - 2 支持对视频序列的逐行( p r o g r e s s i v e ) 扫描和隔行( i n t e r l a c e d ) 扫 描。在逐行序列中，每个图像都是一个帧图像，序列由一系列在时间上按帧周期 分开的重构帧组成。在隔行序列中，一帧的两个场可以被分开编码( 场图像) ， 也可以作为一个帧共同编码( 帧图像) ，解码的输出由一系列按场周期分开的重 构场组成。 图像分为帧图像和场图像。一帧包括一个顶场和一个底场。使用帧图像对隔 行序列编码时，该帧的两个场互相交叉，然后整个帧作为单一的帧图像编码。场 图像总是成对出现，共同构成一个编码帧编码，每一场是由该帧的隔行样点组成。 m p e g 2 的图像有三种编码方法，即帧内编码、前向预测编码和双向预测编 码，其编码图像可以为i 图像、p 图像或b 图像。i 图像的解码不依赖于任何相 邻的图像的解码。这使得解码器可以从i 图像开始解码。隔一定时间插入一个i 图像的作用有三点：一是使得随机接入成为可能；二是避免出现严重的误差积累； 三是为相邻图像提供运动补偿的参考。p 图像根据需要包含了两种可能的算法， 第二章视频编码算法介绍 一种是帧内编码，另一种是前向预测的帧间编码。p 图像的引入使得能够使用运 动补偿算法，压缩效果也非常明显。同时，p 图像也可作为其它相邻图像的参考 图像。b 图像与p 图像类似，也采用了帧内编码与帧间编码两种方式。然而它的 预测是前向和后向都有可能的。这样，b 图像相对于p 而言，压缩效果更好。不 过b 图像不能作为相邻图像的参考图像。 由于b 图像是双向预测的，所以当序列中存在b 图像时，编码帧在比特流 中的顺序不同于解码过程输出的重构帧或重构场的顺序，而编码帧在比特流中的 传送顺序就是解码器处理它们的顺序，于是就有了帧重排这个概念。也就是说为 了恢复出正确的图像，在解码端需要对重构图像的顺序重新进行排列。 以一个图组结构为i 】、b 2 、b 3 、p 4 、b s 、1 3 6 、p 7 、b 8 、b 9 、p j o 、b 】、bj 2 的 序列为例，它在编码端输出、编码b e 特流和解码时顺序均为1 1 、p 4 、b 2 、b 3 、p 7 、 b 5 、b 6 、p 1 0 、b 8 、b 9 、1 1 3 、b l l 、b j 2 ，帧重排后在解码器的输出顺序为i l 、b 2 、 b 3 、p 4 、b 5 、b 6 、p 7 、b 8 、b 9 、p l o 、b l l 、b 1 2 。 2 ) s l i c e 一个s l i c e 由一个或多个宏块构成，同一s i c e 的宏块必须在同一个水平行上。 s l i c e 的第一个和最后一个宏块不能是跳过宏块，其它的可以是。 一幅图像是由一些s l i c e 构成的，s l i c e 之间不能有重叠。s l i c e 的作用是减少 在一个图像中间的某些算法的误差扩散，同时当编码图像中间出现误码的时候能 够在下一个s l i c e 起始位置重新开始解码，从而提供了一定程度上的误码保护。 图像中s l i c e 的情况如图2 2 所示。 图2 2 图像中的s l i c e 3 ) 宏块( m a c r o b l o c k ) 宏块既可以指源和解码器的数据，也可以指相应的编码数据单元。宏块由若 干个块组成，块的个数和顺序根据宏块的色差格式而定。宏块有三种色差格式， 即4 ：2 ：0 ( 在水平和垂直方向都进行二次采样) ，4 ：2 ：2 ( 仅在水平方向进行二次采 第二章视频编码算法介绍 样) ，4 ：4 ：4 ( 不进行二次采样) 。进行二次采样是因为在同等情况下人眼对亮度变 化比对色度变化敏感。图2 3 的( a ) 、( b ) 、( c ) 图分别给出了4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 格式时的顺序。 圈田团田田田田 yuvyu v - fhv 匐c b )( c ) 图2 3 不同色差格式时的宏块结构 4 ) 块( b l o c k ) 块既可以指源图像数据和重构数据，也可以指d c t 系数或相应的编码数据 单元。每个块的大小是8 8 ，即每个块中有8 行，每行有8 个样点。 块是进行d c t 编码的单位。m p e g 一2 中有两种不同的d c t 编码方式：帧 d c t 编码和场d c t 编码。关于这两种编码方式，将在第四章视频解码实现中结 合具体的解码流程详述。 2 3 2 视频解码过程 视频解码就是按视频编码的相反顺序把m p e g 一2 编码视频流还原成一系列图 像。m p e g 一2 视频标准对编码过程没有具体规定，只要是和下面描述的解码过程 产生的结果相同的解码过程，都被认为遵从m p e g 2 标准。图2 4 为简化的视频 解码过程的方框图，图中m p e g 一2 标准的二维数组以m m e 【p 【q 表示，其中p 是 水平方向列数，q 是垂直方向行数。 图2 - 4 简化的m p e g 一2 视频解码过程流程图 d e c o d e d s a m p l e s 田田冈田 第二章视频编码算法介绍 如上图所示，首先进行游程解码和h u f f m a n 解码( 即变长解码) ，恢复出量 化后的块的d c t 系数；接着进行反扫描，将之前的“个d c t 系数按一定的反 扫描顺序转换为8 8 系数矩阵值；然后进行反量化计算，得到块的频域数据。 在此基础上，再进行反向离散余弦变换( i d c t ) ，得到块的空间域数据。其中， 进行帧内编码的块得到的是块数据，进行帧间编码的块得到的是预测误差数据。 然后根据解出的运动矢量数据和参考图像块数据，进行运动补偿得到解压效果的 图像数据。最后将图像按显示顺序进行显示，在显示图像前还要根据不同要求做 一些显示预处理的工作。 视频解码的具体过程不在这里详述，而将在第四章视频解码的软件实现中结