[硕士论文精品]空间受限系统中视频解码器的研究与硬件实现

浙江大学硕士学位论文摘要近年来，国际上对数字电视的研究不断出现重大进展，孕育着电视视听技术的一场革命性变化，即从模拟走向全面数字化。2L世纪是数字化的信息时代，数字电视和高清晰度电视成为人们关注的焦点。随着高清晰度电视的普及和数字视频广播系统的进一步推广，人们不但可以享受到高清晰的图像带来的乐趣，还可以进行交互式的双向信息传输，包括节日点播、浏览INTERNET、发送电子邮件、实现网上购物和网上银行等新功能。数字电视的关键技术是MPEG2编解码。MPEG2作为一种国际标准，已经在数字电视、高清晰度电视、多媒体技术领域以及数字视频广播DVB中获得了广泛的应用。本文首先简单介绍了数字电视相关知识和视频压缩基本原理及常用的视频编码标准。然后，详细分析了MPEG2视频编码的关键技术、编码的码流层次及图像类型，以及框架和级别。在第三章中，本文分模块阐述了视频解码器各模块功能的实现，包括变长码解码VLD、弦变换IDCT、运动补偿MC等。反扫描IS和反量化IQ、反离散余在第四章中，本文重点探讨了空间受限系统中视频解码器实现的几种方案及其各自的优缺点，以及外部帧存储器的优化设计。最后，本文总结了所做的工作，并对将来的作提出建议和展望。关键词数字电视，MPEG2，视频解码器，空间受限浙江犬学硕士学位论文ABSTRACTRECENTLY，THEREARREMANYBREAKTTUOU曲SINTHERESEARCHOFDTVDIGITALTELEVISIONWORLDWIDEAUDIOVISUALTECHNOLOGYISNOWUNDERREVOLUTIONARYCHANGETHE21“CENTURYISADIGITALINFORMATIONEPOCHDIGITALTELEVISIONANDHDTV任IGHDEFINITIONTELEVISIONBECOMETHEFOCUSOFATTENTIONWHENHDTVISPOPULARTOPEOPLEANDTHEDIGITALVIDEOBROADCASTINGDVBSYSTEMISEQUIPPED，PEOPLECANENJOYNOTONLYHIGHDEFINITIONPICTURESBUTALSOTHETRANSMISSIONOFBIDIRECTIONALINTERACTIVEINFORMATION，WHICHINCLUDESSOMENEWFUNCTIONS，SUCHASORDERINGPROGRAM，BROWSINGININTERNET，SENDINGEMAILSDOINGESHOPPINGANDCALLINGONEBREAKTHEKEYTECHNOLOGYOFDTVISMPEG2CODINGANDDECODINGASANINTERNATIONALSTANDARD，MPEG一2ISAPPLYINGWIDELYTODIGITALTELEVISION，HDTV,MULTIMEDIATECHNOLOGYANDDVBFIRST，THISPAPERSIMPLYINTRODUCESDIGITALTV,VIDEOCOMPRESSIONPRINCIPLESANDTHESTANDARDSINCOMMONUSETHEN，ITCAREFULLYANALYZESTHEKEYTECHNIQUESOFMPEG一2VIDEOCODINGANDITSCODEDSTREAMSHIBERARCHY，PICTURETYPES，PROFILESANDLEVELSINCHAPTERTHREE，ITEXPMIATESTHEMODULESINTHEVIDEODECODERSEPARATELY，INCLUDINGVARIABLELENGTHDECODINGVLD，INVERSESCANISINVERSEQUANTIZATIONIQ，INVERSEDCT1DCT，ANDMOTIONCOMPENSATIONMCINCHAPTERFOUR,THISPAPERFOCUSONSEVERATSCHEMESONTHEIMPLEMENTATIONOFVIDEODECODERINTHESPACERESTRICTEDSYSTEM，PRESENTSTHEIRADVANTAGESANDDISADVANTAGES，ANDTHEOPTIMIZATIONOFTHEOFFCHIPFRAMESTORAGEFINALLY,ITSUMMARIZESTHEWHOLEPAPERANDGIVESADVICEFORFUTUREWORKKEYWORDSDIGITALTV,MPEG一2，VIDEODEEODER，SPACELESTRIETED2浙江大学硕士学位论文第一章绪论11本文研究背景数字电视是当前蓬勃发展的一个产业，是目前发达国家争夺激烈的一个技术制高点，从一个侧面反映了一个国家IT产业的综合实力。数字电视概念的含义不仅是指我们一般人家中的电视接收机，而是包含了从发送、传输到接收的全过程。由电视台送出的图像及声音信号，经数字压缩和数字调制后，形成数字电视信号，经过空中无线方式或电缆有线方式传送，由数字电视接收机接收后，通过数字解调和数字视音频解码处理还原出原来的图像及伴音。因此，数字电视就是在电视台播出节目和电视机接收节目全过程都采用数字技术进行处理的电视。它与目前的模拟电视系统在传输方式上是完全不同的。电视节目从摄制、编辑、播送、传输、接收到显示的全过程均采用全数字化的技术处理，因此，信号在整个过程中的损失大大减小，接收到的电视节目质量可以达到与演播现场一样的水平。电视信号数字化的好处在于1图像清晰度好，音频质量高，2传输效率高；3数字电路成本低、无需调整、4提供全新的多业务用途。支持51声道的数字环绕声节目源调谐，生产成本降低，维修也较容易；随着数字传输和处理技术的发展数字电视相对于传统模拟电视的优势体现得越来越明显。数字电视接收机中，主要包括信道解调、信源解码、视频后处理三个核心芯片。其中信源解码国际上统一采用MPEG2标准，MPEG2解码芯片也成为当前最有市场开发价值的数字电视核心芯片之一。我国的消费类电子产品如VCD、DVD、数字电视等，其关键芯片和主要设计主要由国外商家提供。因此，虽然国内生产厂家众多，产量很大，但因为没有掌握其中的关键技术和设计思想，产品的技术附加值很低。氏此下去，我国消费类电子产品的生产厂家将继续成为国外芯片厂家的组装厂，整个行业的技术命脉也将牢牢地被国外厂家控制，这样不仅经济上损失惊人，而且巨大的消费市场也将长期被国外厂商垄断。因此自行研制数字电视信源解码芯片，对于打破国外的技术垄断和振兴我国的民族产业都具有极为重要的现实意义。12视频压缩基本原理在信息论中，通过减小冗余而进行的数据压缩处理称为信源编码。视频序列浙江大学硕士学位论文含有三类冗余统计冗余、心理视觉冗余和编码冗余。统计冗余表现为图像信号在时域和空域的高相关性；一心理视觉冗余起源于人跟对某些空间频率的感觉迟钝；编码冗余表现为符号编码平均码长和信源熵之间的偏差。研究视频信号中冗余消除方法，实现信息传输、存储和处理的有效性和可靠性是视频编码的关键问题。按照压缩后的数据是否能够完全还原成原始数据进行划分，信源编码可以分为无损编码和有损编码。无损压缩可以精确地复原原始数据。SHANNON第一定理指出了无损编码中平均码长和信源之间的关系，同时也给出了编码平均码长的极限。无损压缩的常用方法有HUFFMAN编码、游程编码RLCRUN1ENGTHCODING等。但无损编码的压缩比通常比较低，约在2L左右“1，不能达到视频应用对压缩比的要求。例如在DVD上存储两个小时CCIR60】电影，需要将码率降低到5MPBS左右，这就是说，编码的压缩比至少要达到33L，仅采用无损编码技术很难达到这样的压缩比。随着有损压缩编码技术的发展，分形、小波和混合DPCMTDIFFEREMIALPULSECODINGMODULATIONTRANSFONNL的等编码方案已经成功地解决了这个问题“，。不同于无损编码，有损编码采用折衷的方法，以一定的失真换取压缩比的增加。目前，DPCMT是一种主流的有损编码方案，现在所有的视频编码标准都是采用这种方式“”。“”“”“”“，它在使用RLC、HU行耐AIL编码或算术编码消除编码冗余外，还使用DPCM消除视频信号的时域冗余，使用变换消除空域冗余。DPCM的基本原理是基于图像相邻像素之间具有较强的相关性。每个像素可以根据以前已知的像素值预测。因此，在编码中传输的不是像素取样值本身，而是取样值的预测值和实际值之间的偏差。DPCM的实现相对简单，已被各种视频编码标准采纳用来消除视频信号的时域相关性”“7”1【”“啦“”3。经过三十多年的研究历史，变换编码已被证明是一种高效的图像压缩方法，是迄今为止所有有损编码舀际标准的基础，它可以有效消除图像数据之问的空间相关性。基本的变换编码是把图像分割成块，逐块进行二维正交变换、量化，最后对量化后的系数进行编码。常见的变换有，DFTDISCRETEFOURIERTRANSFORM、DCT、HADAMARD和HART“变换。其中DCT在相邻像素间的相关系数逼近1时有类似于KLTKARHUNENLOVEVTRANSFORMFIQ特性“。除了H264采用了近似的DCT变换整型变换外，其它所有视频编码标准都是采用DCT”。“帅“。DCT能够提供25L的压缩比而视觉效果没有明显降低”3。其它编码方式如分形编码能够提供较高的压缩比，但处理复杂度高，而视频处理有严格的速度要求，实际应用并不广泛。近来，随着小波技术的进展，它已在许多应用中崭露头角，山于篇幅关系，本文将不对它们作进一步阐述。淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文13常用视频编码标准目前，通常采用的视频压缩编码的技术是建立在DPCM和变换编码基础上的有损编码。压缩编码的发展历程实际是以香农信息论为出发点不断完善的过程。标准化是产业化活动成功的前提，基于不同的应用刊期和不同的压缩编码技术，国际标准化组织相继制定了JPEG1994年2月、MPEG11993年8月和MPEG21994年，这三种压缩编码国际标准主要采用了第一代压缩编码方法，如坝测编码、变换编码和运动补偿“。其中MPEG2是一种非常成功的国际标准，广泛应用于点播电视VOD、多媒体终端等众多领域“。1999年1月，MPEG组织公布了MPEG4标准。作为一种甚低码率的视频压缩系统，MPEG一4标准可实现高效、高性能的视频数据的存储和传输“”。在MPEG4之后，MPEG组织制定JMPEG7“多媒体内容描述接口”。2000年3月成立的MPEG21工作组还在酝酿制定MPEG21标准，其核心目标是使数字多媒体信息资源能被大范围的网络和设备透明和增值地使用。表11列出了一些主要的视频编码标准及其应用。”3。主要的视频编码标准及其应用。”“。表11视频编码标准及其应用码率应用MPEG1视频08KBPS一15MBPSVCD，CDROM，INTENLET3MBPS10MBPSMPML数字广播，16MBPS50MBPSMPHLDVDD。VHSMPEG2视频50MBPS_LOOMBP3专业视频处理422PMLHIMPEG10KBPP384KBPSCELLAR,INLERNET标准SPL1I2310KBPS2MBPSCPLL2MPEG4视频2MBPS38MBPS史互式电视MPL2L3L450MBPS_一1200MBPS视频剪辑STUDIOLI，23NH26164KBPS15MBPS视频电话ISDNITUTH262与MPEG一2视频相同标准视频电话PSIN，TI26310KBPS_384KBPSINTEMETJ淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文上述各种视频标准之间的发展关系如图11所示。MPEG编码技术是从H261视频编码技术不含音频编码发展而来的。图11H26XITII和MPEGIS0IEC标准MPEG在H26L视频编码算法的基础上改进、发展，而且向后兼容，可处理经H。261处理过昀数据。改进算法工具如图12所示。H26I16X16运动补偿，8X8DCTMPEGI_卜B帧。半象素运动补偿MPEG2隔行扫描LMPEG48X8运动补偿，AC预糍视频对象，形装编羁图L2H26XITU和NPEGISOIBC标准编码工具比较下面就按时间的顺序对各个视频编码标准作简单的介绍。淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城淅江大学硕士学位论文131H261从1948年最早提出电视和声音信号的数字化以后，积40年研究成果，于1988年10月，国际电视电话会议电视咨询委员会CCITT即现在ITUT，提出了LI261建议，主要应用于PX64KBPSP1，30ISDN上的视频会议和可视电话。H261定义了视频编码算法，如帧内图像、帧间误差预测、运动孙偿、DCT、变字长编码等技术都是在H261中使用了的，它为后来的诸如MPEG。1和MPEG2的视频压缩标准提供了基础。在此之外，H261还提供了两个重要的特性1指定了最大编码延迟为150MS。因为主要针对双向视频通信应用，超过150MS的延迟会给用户带来视频失真的印象。2能够用廉价的VLSI超大规模集成电路实现，以便实现视频会议和可视电话设备的商业化。但它也存在不足，它不适用于不同信道或传输或存储的应用，误码率允许范围小不大于L10“，而且不含声音编码算法。132MPEG一11991年儿月MPEG运动图像专家组制定MPEG1标准。MPEG1标准是将数字视频信号和与之相伴的音频信号在一个可以接受的质量下，能被压缩到位率约15MBITS的一个MPEG单一流。MPEG1标准只规定了码流语法和解码过程，用户可以很好地利用这个语法的灵活性来设计非常高质量的编码器和非常低成本的解码器。编码器的设计中一些重要参数，如运动估值、自适应量化和码流速率控制等可以由用户自由确定。为了满足应用需要，MPEGL提供了以下特性1随机存取。这移位着存在可随机存取的单元，在质量不下降的前提下，随机存取时问大约可达05S。2快速正向逆向搜索。对压缩数据流可进行扫描，和利用合适的存取点来显示所选择的图像，以实现正向和逆向快速搜索。3逆向重播。交互式的应用优势需要视频信号能够逆向重播。4视听同步。视频信号应该准确地与相关的音频信号同步。5容错性。要求编码方案对残存的未被校JF的误差有强的鲁棒性。6编码解码延迟。传输质量和延迟在一个相当的范围内式可以折中考虑的，延迟时间被看作一个闽值参数来设定。如上所述，MPEG标准是在H261视频编码算法的基础H改进并发展的。MPEG1改进的主要内容是增加了B图像帧双向预测和图像组GOP，这淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城渐江大学硕士学位论支些改进具有更高的压缩比，同时定义了编码算法中各工具层的语法，使视频的可操作性更灵活。133MPEG一2H2621993年11月MEPG提出MPEG。2建议草案，其中视频编码部分即H262。MEPG一2主要是针对49MBIFFS运动图像及其伴音的编码标准。MPEG2是个非常成功的国际标准，它开发了通用的压缩编码方法，定义的不同PROFILE和LEVEL，可满足不同的图像分辨率及相应的存储成本和处理速度的需要，并且为比特流交换、兼容性等提供了可能性。因此，MPEG。2标准能广泛应用于存储媒体、会议电视可视电话、数字电视、高清晰度电视、广播、通信、网络等应用领域。MPEG一2是工业标准DVD的核心标准。它对MPEG1作了重要的改进和扩充1针对隔行扫描的常规电视图像专门设置了“按帧编码”和“按场编码”两种模式，并对运动补偿作了相应的扩充，使其编码效率显著提高。2PROFILE和LEVEL的划分是MPEG一2为适应不同应用而定义各个子集的结果。它们是通过确定码流中相应的标题信息及附加信息中的有关参数来给定的，其中一个主要的组合是MPMLMAINPROFILEMAINLEVEL。MEPG1相当于MPLL。3亮度分量和色度分量的取样比例可由原来的420即YCRCB411扩充为422或444，宏块的定义也相应地扩展，每像素8比特可以增加到IO比特。4系统层的语法也有了改进，数码流分为两类传送数码流TS和节目数码流PS，以适应码流的应用环境。传送数码流的运行环境差，编码中应加强防误码措施，而节目数码流的运行环境则相对安全得多。因此经压缩后的视频数据、音频数据、辅助数据分掰构成数据包的两种基本数据流。此外用包头数据包的开始部分传送编码信息，如音频、视频、矩阵结构、图像类型、是否多声道等压缩特性，使用起来更为方便和灵活。134H263针对甚低码率低于64KBPS的视频会议和可视电话的应用，1995年L1月低数码率LOWBITRATE视频编码的H263建议草案出台。H263的码率为22KBPS。H263标准的视频编码算法与H261相似运动补偿和DCT算法，与H26T相比，H263的主要区别如下1半像素精度运动信值；2重叠运动补偿，以增大运算量为代价得到更密集的运动区域；3。宏块1616运动佶值和块88运动I自值的蜜适应交换；0淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文4支持SUBQCIF格式的码流。H263标准的测试模型TMN8TESTMODEL8在低于64KBPS码率时，PSNR值比H26I提高了34DB。H263标准可以作为将来甚低码率编码算法和编码标准性能评估的一个里程碑。135MPEG4如上所述，MPEG一1和MPEG2的应用相对单一，主要的目的是提高压缩比，并改善音频、视频质量，采用的技术主要是基于信息论的波形编码理论。MPEG4的目标定义大致考虑两个方面一是极低比特率下的多媒体通信；二是多媒体通信的融合，主要有通信业、计算机业、消费类电子业和娱乐影视业。因而，一方面，MPEG4要求有高效的压缩编码方法；另一方面，MPEG一4要求有独立于网络的基于视频和音频对象A、，的交互性。1998年IL月MPEG提出了低数码率视频音频编码和多媒体通讯的MPEG4建议草案。MPEG4能够支持QCIF格式的视频数据以满足低码率传输的要求。QCIF格式的视频数据亮度分量为176144，色度分量为8872，帧率7530帧秒。其主要特性如下1基于内容的交互性基于视频对象VO而不是视频帧的编码方案。2，高效的压缩编码算法。编码效率高优于MPEG一1和MPEG2；码率范围大从10KBPS到1200MBPS；形状灵活包括矩形和任意形状。3通用性。增强了误码性和基于对象的时空可分级性。MFEG4的应用广泛，这一新的工业标准至少可以应用于以下场合实时监控；极低比特率下的移动多媒体通信；基于存储和检索的多媒体系统；INTEMEFFINTRMAET上的视频流与可视游戏；基于面部表情模拟的虚拟会议；DVD上的交互多媒体应用基于计算机网络的可视化合作实验室场景应用；演播室和电视的节目制作等。136MPEG7为快速方便地搜索节目，MPEG制定了一个新标准MPEG7，它是多媒体内容描述接口MULTIMEDIACONTENTDESCRIPTIONINTERLACE。MPEG。7可快速且有效地搜索出用户所需的不同类型的多媒体资料，主要用于解决以下问题1需要搜索MPEG一4编码信息中的某套节目时，柬自不同领域的一些要求。2在MPEG一4语法中对搜索功能适当支持的一些术语。3MPEG4编码信息搜索引擎通用工具规格。MPEG一7的应用很广泛，既可以用于存储在线或离线，也可以用于流式应用如广播、将模型加入INTEMET等，它可以在实时或非实时环境下应用，在教育、新闻、导游信息、娱乐、研究业务、地理信息系统、医学应髑、购物等等淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文各方面具有潜在的应用能力1137MPEG一2L2000年3月成立的MPEG。21工作组在酝酿制定MPEG21标准，其核心目标是使数字多媒体信息资源能被大范围的网络和设备透明和增值地使用。2000年10月，MPEG21专家组提出创造一个能够共同使用的多媒体信息框架。需要完成以下任务1框架的各成分之间如何关联。2整合现有系统中的各种标准以支持多媒体管理的各种协调技术。3开发新的规范使得能够通过网络存取和使用多媒体内容实现多个交易模型保证服务模型及收费；保障内容用户的隐私权。1,4本文的章节安排本文的章节安排如下第一章为绪论部分，简单介绍数字电视相关知识、视频压缩基本原理、及常用的视频编码标准；第二章详细分析了MPEG一2视频编码的关键技术、编码的码流层次及图像类型，以及框架和级别。；第三章分模块阐述了视频解码器各模块功能的实现，包括变长码解码VLD、反扫描IS和反量化IQ、反离散余弦变换IDCT、运动补偿MC等第四章重点探讨了空间受限系统中视频解码器实现的几种方案及其各自的优缺点，以及外部帧存储器的优化设计；第五章对全文作出总结，对未来的研究方向提出了展望。淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城堂兰查兰塑兰堂堡垒壅第二章MPEG2视频压缩标准MPEG2广泛应用于卫星广播业务BBS、电缆电视CATV、数字电视地面F播DTTB，包括美国的用于HDTV的GA系统和欧洲的DVB等、点播电视VOD、数字音频广播DAB、多媒体终端、网络数据库业务、双工通信等众多领域。MPEG一2标准特别适用于广播级的数字电视的编码和传送，被认定为SDTV和HDTV的编码标准。21MPEG2标准组成MPEG一2标准目前分为9个部分，各部分的内容描述如下“”第L部分，系统SYSTEM，描述多个视频、音频和数据基本码流合成传输码流和节目码流的方式。第2部分，视频VIDEO，描述视频编码方法。第3部分，音频AUDIO，描述与MPEG1音频标准反向兼容的音频编码方法。第4部分，符合测试COMPLIANCE，描述测试一个编码码流是否符合MPEG2码流的方法。第5部分，软件SOFTWARE，描述了MPEG一2标准的第1，第2，第3部分软件实现方法。第6部分，数字存储媒体命令与控制DSMCC，描述交互式多媒体网络中服务器与用户间的会话信令集。第7部分，非向后兼容的音频，规定不与MPEGL音频反向兼容的多通道音频编码。第8部分，10BIT视频，现已停止。第9部分，传输码流的实时接口。以上各部分均已获得通过，成为正式的国际标准，并在数字电视等领域中得到了广泛的实际应用。因为MPEG2压缩是“有损耗”的，信号被压缩的越多，质量就越差。到一个程度，MPEG压缩技术最大化压缩信号的质量，通过引介降级，其最不可能被观众察觉到。使用这些技术，信号能被大量的压缩而图像质量没有退步，但是为了保鳕带宽，有时需要更大的压缩，这时牺牲的是节目质量。MPEG2标准允许在图像质量和比特率之间灵活调节，以适应一个很大范围的质量要求和带宽可用性。MEPG2定义了几种不同的框架和级别，允许广播者决定压缩和质量的比率，以最佳地适用于他们的应用1UO淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文22MPEG关键技术221离散余弦变换如图21所示，离散余弦变换DCT是一种可逆反的空间变换，介于普通的2D图像表示方法和频域上包含同样信息的表示方法之问，在MPEG2中DCT以8X8的块为单位进行，生成的是88的DCT系数数据块。在图中的块中，系数越向下表示越高的垂直频率，越向右表示越高的水平频率。88CYCLESPERPICTUREHEIGHT图21DGT变换对DCT变换本身不会直接减少用于表示一个块信息的比特数。实际上，对于一个8比特像素的88的图像块，DCT变换至少会产生一个11比特系数的88块才能保证变换的可逆性。能够导致编码比特数下降的原因是，在普通的原始图象中系数的分布是不规则的，而经过DCT变换后，块中的能量集中在低频系数上，而很多高频系数趋向于零。比特率的下降正是通过不传送接近于零的系数并且对余下的数据做下述的编码而达到的。有许多种变换方法都是被发明用来减少比特率的，其中最好的方法是那些可以把一个图像块中的能量集中在某小部分数据上的。DCT变换是最好的方法之一，它之所以被选择还有一个重要的原因是DCT变换在数字信号处理中较容易被实现。选择8X8大小的图像块为单位进行变换是一种折中，它即照顾了使用较大的块可以更好的把能量集中起来，也考虑到了图像巾不同的块之间内容差异可能较大因此趋向于使用小块“”1。222系数量化量化是针对DCT变换系数进行的，量化过程就是以某个量化步长去除DCT系数。量化步长的大小称为量化精度，量化步氏越小量化精度就越细，包含的信淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文息越多，但所需的传输频带越高。不同的DCT变换系数对人类视觉感应的重要性是不同的，因此编码器根据视觉感应准则，对一个88的DCT变换块中的64个DCT变换系数采用不同的量化精度，以保证尽可能多地包含特定的DCT空间频率信息，又使量化精度不超过需要。DCT变换系数中，低频系数对视觉感应的重要性较高，因此分配的量化精度较细高频系数对视觉感应的重要性较低，分配的量化精度较粗。通常情况下，一个DCT变换块中的大多数高频系数量化后都会变为零。223之型扫描、游程编码和变长码编码DCT变换产生的是一88的二维数组，为进行传输还须将其转换为一维排列方式。有两种二维到一维的转换方式，或称扫描方式之型扫描ZIGZAG和交替扫描。其中之型扫描是最常用的一种，如图22所示。由于经量化后大多数非零DCT系数集中于88二维矩阵的左上角，即低频分量区之型扫描后，这些非零DCT系数就集中于一维排列数组的前部，后面跟着长串的量化为零的DCT系数，这些就为游程编码创造了条件。乃GZAGSCANNINGHORIZONTA图22之型扫描游程编码中，只有非零系数被编码。一个非零系数的编码出两部分组成前一部分表示非零系数前的连续零系数的数量称为游程，后一部分是那个非零系数。这样就把之型扫描的优点体现出来了。因为之型扫描在大多数情况下出现连零的机会比较多，游程编码的效率就比较高。当一维序列中的后部剩余的DCT系数都为零时，只要用一个块结束”标志EOB来指示就可结束这一88淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城渐江大学硕士学位论文变换块的编码，产生的压缩效果是非常明显的。量化仅生成了DCT系数的一种有效的离散表示，实际传输前，还须对其进行比特流编码，产生用于传输的数字比特流。简单的编码方法是采用定长码，即每个量化值以同样数目的比特表示。但这种方法的效率较低。而采用变长码编码VLC可以提高编码效率。变长码编码是基于编码信号的统计特性，使得平均比特率下降。游程和非零系数既可独立的，也可联合的作变长码编码。变长码编码中使用较多的一种是霍夫曼编码，MPEG2视频压缩系统中采用的就是霍夫曼编码。霍夫曼编码中，在确定了所有编码信号的概率后生成一个码表，对经常发生的大概率信号分配较少的比特表示，对不常发生的小概率信号分配较多的比特表示，使得整个码流的平均长度趋于最短。在MPEG一2中，一个VLC码表是在通常情况下使用的，而另外还有一个码表被用在一些特殊的图像中。DC系数在某些模式下与其他系数区另对待。所有的VLC码字都设计成不是其他码字的前缀这也是霍夫曼编码的一大特点，这样解码器才可以识别一个变长码码字从哪里开始到哪里结束。对于一些不常用的游程和非零系数的组合，编码中没有相应的变长码来表示他们，而是使用了换码编码，用一些较长的定长码来表示。224缓存和反馈由于采用了变长码编码，产生的比特流的速率是变化的，随着视频图像的统计特性变化。但大多数情况下传输系统分配的频带都是恒定的，因此在编码比特流进入信道前需设置信道缓存“。信道缓存是一缓存器，以变比特率从变长码编码器向里写入数据，以传输系统标称的恒定比特率向外读出，送入信道。缓存器的大小，或称容量是设定好的，但编码器的瞬时输出比特率常明显高于或低于传输系统的频带，这就有可能造成缓存器的上溢出或下溢出。因此缓存器须带有控制机制，通过反馈控制压缩算法，调整编码器的比特率，使得缓存器的写入数据速率与读出数据速率趋于平衡。缓存器对压缩算法的控制是通过控葡DCT系数的量化步长实现的，当编码器的瞬时输出速率过高，缓存器将要上溢时，就使量化步长增大以降低编码数据速率，当然也相应增大了图像的损失；当编码器的瞬对输出速率过低，缓存器将要下溢出时，就使量化步长减小，以提高编码数据速率。图23表示了一个基本的缓存器控制框图，图中缓存器的占有率就是通过控毒IJDCT系数的量化过程来实现的。淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文BUFFEROCCUPANCYCONBO圈23缓存器控制ELILPUT225运动补偿的帧问预测运动补偿的帧间预测是指，计算出被压缩图像与参考图像的相对位置上的宏块间的位置偏移，并以偏移位置后的宏块作为参考的一种帧间预测方式，它可以大大降低需要编码的数据量。如图24所示。NPREVIOUSFRAME图24运动补偿的帧间预测淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硬士学位论文计算出对应宏块的位置偏移的过程称为运动估计。运动估计的准确程度对帧间编码的压缩效果非常重要。如果估计作的好，那么被压缩图像与估计图像相减后只留下很小的值用于传输。这种位置偏移是以运动矢量来描述的，一个运动矢量代表水平和垂直两个方向上的位移。运动估计在一定的搜索范围内进行，如图25所示，显然搜索范围要足够大以保证在相应宏块在这个范围内可能的运动，但是如果搜索范围过于大则会引起许多不必要的计算量来寻找匹配的宏块。SEARCHBLOCKMACROBLOCKSEARCHBIOCKISREFERERCESEARCHARESSEARCHBIOCKMOVEDGROUNDSEARCHAREATOFINDBESTMATCH图25运动估计和搜索范围23MPEG2视频编码231MPEG一2编码码流层次MPEG一2的编码码流分为6个层次，从上至下依次为视频序列层SEQUENCE；图像组层GOP；GROUPOFPICTURE；图像层PICTURE；组块层SLICE；宏块层MACROBLOCK；块层BLOCK。除宏块层和块层外，上面四层中都有相应的起始码STARTCODE，可用于因误码或其它原因收发两端失同步时，解码器重新捕捉同步。因此一次失同步将至少丢失个组块的数据。序列指构成某路节目的图像序列，序列起始码后的序列头中包含了图像尺寸，宽高比，图像速率等信息。序列扩展中包含了些附加数据。为保证能随时进入图像序列，序列头是重复发送的。淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江犬学硕士学位论文序列层下是图像组层，一个图像组由相互间有预测和生成关系的一组I、P、B图像构成，但头帧图像总是I帧。GOP头中包含了时间信息。图像组层下是图像层，分为I、P、B3类。PIE头中包含了图像编码的类型和时间参考信息。图像层下是组块层，一个组块包括一定数量的宏块，其顺序与扫描顺序一致。MPME中一个组块必须在同一宏块行内。组块层下是宏块层。MPEG一2中定义了3种宏块结构420宏块，422宏块和444宏块，分别代表构成一个宏块的亮度块和色度块的数量关系。这3种宏块结构实际上对应于3种亮度和色度的抽样方式。宏块层之下是块层，块是MPEG2码流的最底层，是DCT变换的基本单元。MPML中一个块由88个抽样值构成。232MPEG2图像类型MPEG2中编码图像被分为三类分别称为I图、P图和B图。如图26所示。、，、一_V图26WLPGG一2圈像类型I图采用帧内编码方式。该帧主要用于接收机的初始化和信道的获取，以及节目的切换和插入，压缩倍数相对较低。I图是周期性出现在图像序列中的，出现频率可由编码器选择。P图和B图采用帧闻编码方式，即同时利用了空问和时间上的相关性。P图只采用前向时间预测，可以提高压缩效率和图像质量。P图中可以包含帧内编码的部分，即P图中的每一个宏块可以是前向预测，也可以是帧内编码。B图采用双向时间预测，可以大大提高压缩倍数。值得注意的是，由于B图采用了未来帧作为参考，因此MPEG一2编码码流中图像帧的传输顺序和显示顺序是不同的。24MPEG2框架和级别MPEG2的视频标准拟成为一个通用的应用于较“范围的比特率、分辨率、质量和服务的标准。除了其他应用，MPEG2的视频标准至少还应涉及数字存储媒体、电视广播和通信。在创建这一标准的过程中，考虑到了各个典型领域的应用要求，制定了必要的算法元素，并将其综合为一个单一的语法体系。因此，这一标准可以使得各种应用系统中的数据交换变得很容易。淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城淅江大学硕士学位论文考虑到实现这个标准的完整语法体系的实效，我们通过“框架”和“级别”的方法来约定有限数目的语法子集“。框架是MPEG一2标准定义的完整比特流语法的一个子集。在给定某框架所规定的语法范围后，比特流参数的各种取值仍可使编码和解码过程有很大变化A例如可以指定帧大小近似为2“个像素点宽和2“个像素点高。目前实现一个能够处理任意大小的帧的解码器仍是不实用且不经济的。为了解决这个问题，在每个框架中又定义了“级别”。级别是一个对比特流各参数进行限定的集合。这些限定可能是一些简单的数字上的约束，也可能是以几个参数的算法组合的形式提出的例如I陨宽与帧高及帧速的乘积的约束。如下表21列出了MPEG一2中的框架和级别的。表21MPEG一2框架和级别PROFFIQANDMAXIMUMTOLALBITRATEMBIUSMAXIMUMDENSITYHMFSNRSPATIALLYSAMP；ES1M纠OMELNSCSLABLESCALABLEHIGHHIGHMPHLH响HL192011152J6080HLBTLB100MK如LO、神RLAYERGHLGH一1140卜PF赶一14SPTH14HPH一14F144011S2一60MBI【，S60MBITS80MBITFSIOWORLAYERSIOWSRJLTYCRSGM9INSPMLMP矗MLSNRMLHPML317205763015MBIFFS15MBIT；S】5MBWS20MBITSIOERFAERSIOWERAYERS一MPNLSNRLL352280304MBITS4MBILS旧011172一MPE备11858MB；眚|JS简单框架不存在B图像，因此没有后向预测，也没有图像重排的要求。这样的框架适用于低延迟的应用，例如视频会议等。主框架增加了B图像，出此在给定的比特率下提高了图像质量也增加了延迟。目前，大多数的MPEG一2视频解码器芯片都支持主框架。SNR框架；增加了对在增强层中使用信嗓比SNR来改进DCT系数的支持。空域框架增加了对在增强层中使用空域可分级工具来传送更高分辨率的图像的支持。高框架增船了对422采样的视频的支持。此外，所有的MPEG一2解码器都要求可以解码MPEG一1的图像。淘宝网购物HTTP/WWW521TAOBAOCOM/淘宝网购物商城浙江大学硕士学位论文25本章小结由于支持了很大范围内的应用、比特率、图像质量和服务，MPEG在制定视频压缩标准方面已经相当成功。这些标准都基于个灵活的有效降低比特率的工具包。规范只定义了码流的语法和解码的过程，编码的过程并没有规定，一个编码器的性能也因很多因素而不同，比如运动矢量测量方法的质量和预测模式选择的过程等。本章首先介绍了MPEG2标准的各组成部分，然后详细阐述了MPEG2标准中的各关键技术，随后又对编码的码流层次和图像类型进行了说明，最后介绍了框架和级别的定义。经过MPEG2编码器编码后的图像质量很大程度上取决于图像本身的内容，但是随着MPEG2编码技术的F1渐成熟，对于给定图像质量情况下需要的比特率也相对在减少。浙江大学硕士学位论文第三章视频解码器的模块分析和实现31视频解码的任务划分MPEG一2视频解码的过程是上述视频编码过程的逆过程，其简化的解码过程示意如图31所示N61。圈31倾化的视频解码过程对于一个高性能的视频解码器，它的实时性要求是第一位的，必须提供高于任务要求的计算处理速度才能使解码顺利进行下去。在系统的时钟频率给定的情况下，提高解码速度的关键是对任务进行并行处理。并行处理可分为以下两类O”空间并行处理通过重复设置多个独立的处理单元或操作部件，让这些操作部件并行工作来提高性能。这里的每个处理器单元或操作部件都属于相同类型。时闻并行则是在并行性中引入了时问的因素，其方法是把任务按功能分割成若干个相互关联的部分，每一部分由专门的处理器或专用处理单元来完成，然后按流水线或数据流原则把各个部分的处理过程在时闻上进行完全或部分重叠，使所有部件依次完成同一任务。判断对任务采用时闻并行还是空闻并行处理主要基于以下几方嚣魄考虑；1任务之间的相互关系。两个任务或多个任务之间会有各种各样的关系，比如因果关系、并列关系、包容关系等。例如因果关系就体现了任务之间在时渊L的先后顺序，因此对它们采用时间并行处理比空间并行更合理。2任务的时间分配。空间并行处理对任务的同步要求比时间并行处理商，因此采用空间并行的各个任务的处理时间必须非常接近。3任务的运算性质。通常用柬处理相同任务的处理器或专用处理单元是相同或相似的，可以对它们采片J空间并行处理。浙江大学硕士学位论文上述的两种并行性之F刮既有很大的区别，又存在密切联系。它们之间可以相互包含和嵌套。这样，一个复杂的任务可以根据其内部的并行关系被分成多级子任务，即复杂任务可以看成是以子任务为节点而组合成的树型网络。每个节点可以根据以上二种并行性被继续细化。图31中的各种算法任务在处理数据、解码性质、处理的顺序上都有很大的差异。根据其各自的特点和相互之间的联系，可以将视频解码分成时间并行的四大任务L、变长码解码VLD该任务主要完成码流中各种头部信息的解码、变长码字的解码等，以查表、移位、条件转移等操作为主。2、反扫描和反量化IS1Q该任务包含大量的存储器访问操作和乘法运算。3、反DCT变换IDCT该任务通常使用快速算法，它包括矩阵转置、乘法和加法运算等。4、运动补偿MC该任务需要大量读取外部存储器的数据，计算以加法任务为主。其中的任务2、3、4具有运算规整性较高、运算舰模较大的特点，占到整个解码任务的90左右，对它们的研究重点是如何提高运算速度，减少解码瓶颈。而任务L的特点则是不规整，运算规模较小，占解码任务的10左右，对其的研究重点是如何在少占用硬件资源的前提下实现并行解码“”。本文的对视频解码器的研究是根据以上的任务分类来分模块实现的，下文就按照不同模块对其进行分析并论述其实现方法。32变长码解码321变长码并行解码的必要性和可行性变长码解码存在的主要阃题在于哈夫曼变长码常常表示成个码树结构，故变长码的结构和编码规则决定了解码时通常需要逐位分析比较才能确定出一个码字，从而得到码字长度和解出系数。这样，一方而一个时钟解一位码效率太低，可能无法达到实时解码；另一方面由于解码时每一个码字长度不一，无法按定时钟节律进行像素处理，从而在进行解码系统控制时将非常复杂“。整个视频解码系统的时钟一般设计成比最高像素速率略高，所以在对一个块内像素进行处理时要求每个时钟至少能提供1个像素数据。对于DCT系数的变跃码，虽然大多数像素没有编码，但是变长码的解码却不能只考虑在一个平均码流速度上进行，而是需要考虑最不利的情况，即每个DCT系数都被编码的可能。于是要求变长码的解码必须存每个时锌内能够解出1个码字。浙江大学硕士学位论文这个看似简单的要求在实际实现时却相当困难变长码的码树结构本来就要求将所有位逐位比较后才能得到解码码字，这需要将码字进行串行的输入和处理。这样，1个码字的解码往往需要多个时钟。树搜索算法是一种串行解码方案，比较适合对低数据率的视频码流进行解码。采用这种方法来对MPEG2的变字长码进行解码，平均每个码字的解码需要占用58个时钟周期。因此时钟频率必须非常之高，才能完全满足VLD解码的要求。只有摆脱码树结构的限制，进行并行解码才有可能达到实时解码的要求。变长码的码字长度在未解码时无法确定，所以下一个码字的位置不能得到，因而并行解码的意思只能是对某一个变长码字的多个位进行，而不是对多个变长码同时解码“。对变字长码进行并行解码必需满足1解码器必须在每个时钟周期读入多个比特位，并对多个比特位同时进行判断以确定变字长码是否和码表中给出的相符2由于码长不能事先确定，所以在解出码值的同时必须对下一个码字进行定位。下面我们通过对一个典型的变字长码表表31的分析，来研究变字长解码的并行性。表中，“变字长码”域给出了码流中可能出现的变字长码字。而“码值”域给出了与变字长码所对应的DCSIZE的值。为了便于分析，我们对表31作了改进，得到表32。该表增加了“序号”、“变字长码长度”、“定义域”等三个域。定义域BN的定义是VCIFRCSNTHELLCEBN对于码流中的10BIT码字BIFFBBNTHENVALUECN通过表32，我们建立了定义域BN与变字长码CN之间的映射关系。这样，只要判断10BIT码字B属于哪个区间即可求出码值。通过一些组合逻辑电路，完全可以在一个时钟周期内完成这种判断。对于必要条件2，可以用当前变字长码的长度来确定下一个变字长码的位置。在表32中，这部分信息由“变字长码长度”域给山。浙江大学硕士学位论文表31色度信号的直流系数变字长码采变字长码码值DCTDCSIZEEHROMINANCE00O01110211031110411LLO511111061111110711111110811111111091111111110LO111111111JFI表32改进后的变字长码表序号变字K码CN码值VN变字长定义域BNNDCT_DCSIZE_CHROMINANEE码起始码SN结束码EN蚝度LN100020000000000OOLL1111LL20IL201000000000111LLLI11310221000000000J011LJLLLL411033I【00000000110111111L51110441110000000LLL0LLLL1161111O55J11I0000001111011111711111066LLLL1000001L“10LL11811111077LJ】11000011L】110LL】91111111088111I111000111L111011_10LLL】1LLL099JJLLLIL】00】LJ111L01】1111LLLLL1010101111111L1011