（检测技术与自动化装置专业论文）基于davinci的图像压缩编解码与网络传输.pdf

北方：r 业大学硕士学位论文 h 2 6 4 视频压缩标准是i t u t i s o 在2 0 0 3 年推出的新一代视频压缩编码标准，与 以往的视频压缩标准，如与h 2 6 3 或咿e g _ 4 相比，在同样质量下，码率能降低5 0 左 右。h 2 6 4 分为三种档次：基本档次、主要档次和扩展档次，每种档次都对应不同的应 用场合。目前，h 2 6 4 已经开始获得广泛应用。 为了实现h 2 6 4 编解码标准，一般采用嵌入式平台来实现编解码算法，如专门的 h 2 6 4 的编解码芯片或者自己使用d s p 来完成算法，本论文使用t i 新推出的d m 6 4 4 6 处 理器芯片，其内部集成了a r m 和d s p 双内核。它具有高性能、低功耗、内部有专用的视 频图像处理器和视频处理子系统、大存储容量和外设众多等特点，对于实现h 2 6 4 算法 是较合适的选择。 本文研究了h - 2 6 4 的编解码算法，分析了帧内预测、帧间预测、c v 1 c 、c a b a c 和 n a l 层和阴p r t c p 协议等内容，在对j m l o 2 代码的剖析的过程中，特别针对指数哥伦 布编解码和c a v l c ( 基于上下文自适应的可变长编码) 进行了实例分析，也对n a l ( 网 络提取层) 、r t p 协议进行了深入的代码分析，同时讲述了d a v i n c i 的软件架构。 为了构建硬件系统，本文使用c a d e n c e 公司的c a p t u r e 软件设计了基于d m 6 4 4 6 为 系统核心的原理图，并使用c a d e n c e 公司的a l l e g r o 软件设计了p c b ，制作了基于 d m 6 4 4 6 的硬件系统。软件方面，使用了v c 6 编写了完整的i t 2 6 4 编解码和网络传输程 序。实验表明， l2 6 4 算法在提高压缩率、保证图像质量、以及网络适应性方面具有很 大的优势。 关键词：d a v i n c i ，h 2 6 4 ，编解码，网络协议 e 方工业人学硕士学位论文 i m a g ec o m p r e s s i o nc o d e c a n dn e t w o r kt r a n s m i s s i o nb a s e do n d a v i n c i a b s t r a c t t h eh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r di san e w g e n e r a t i o no f v i d e nc o m p r e s s i o nc o d i n g s t a n d a r di n t r o d u c e db y1 t u - t i s oi n2 0 0 3 c o m p a r e dw i t hf o r m e rs t a n d a r d so f t h i sk i n ds u c h a sh 2 6 3o rm p e g - 4 , t h er a t eo f e r r o rc a nb er e d u c e d b ya b o u t5 0p e r c e n tw h e nu s i n gh 2 6 4 m e a n w h i l em a i n t a i n i n gt h es u l l eq u a l i t y h 2 6 4 伽1b ed i v i d e di n t ot h r e ep r o f i l e ：b a s e l i n e , m a i na n de x t e n d e d ，e a c ho n ea i m e da tad i f f e r e n ta p p l i c a t i o no c c a s i o n n o wh 2 6 4h a s b e g u nt o l e c e i v ee x t e n s i v ea p p l i c a t i o ni nm a n yf i e l d s i no r d e rt or e a l i z et h eh 2 6 4c o d e c s t a n d m d ，t h ec o d e ca l g o r i t h mi sg e n e r a l l y a c h i e v e d b y u s i n g e m b e d d e d p l a t f o r m s u c h a ss p e c i a l i z e d h 2 6 4 c o d e c c h i p s o r d s p - b a s c d a l g o f i t l m a ，i nt h i sd i s s e r t a t i o nw e t h ed m 6 4 4 6p r o c e s s o rc h i pw h i c hi sn e w l yp r e s e n t e db y 1 1 w i ma ni n t e r n a ld o u b l e - c o r ei n t e g r a t e da r ma n dd s p t h i sc h i pi st h em o r ea p p r o p r i a t e c h o i c ei nr e a l i z i n gh 2 6 4a l g o r i t h mg i v e ni t sc h a r a c t e r i s t i c so f h i g hp e r f o m m e e , l o wp o w e r c o s t , as p e c i a l i z e dv i d e oa n di m a g ep r o c e s s o ra sw e l la sav i d e op r o c e s s i n gs u b s y s t e m , l a r g e m e m o r yc a p a c i t ya n dn u m e r o u sp e r i p h e r a le q u i p m e n t ， t h i sd i s s e r t a t i o ni se n g a g e di nt h eh 2 6 4c o d e c a l g o r i t h m , i n c l u d i n gt h ea n a l y s i so f i n t r ap r e d i c t i o n ，t h ei n t e r - f l a m ep r e d i c t i o n , c a v l c ，c a b a c ，n a ll a y e ra n dr t p r t c p p r o t o c o l ，e t e i nt h ep r o g r e s so f d i s s e e t i n gt h ec o d e so f j m l o 2 ，e s p e c i a l l yw ec o n d u c ta n a l y s i s 蚰c o n c r e t ee x a m p l e st a r g e t e d0 1 1e x p - g o l o m bc o d e ca n dc a v l c ( c o n t e x t - b a s e da d a p t i v e v a r i a b l el e n g t hc o d i n g ) a f t e rt h o r o u g h l ya n a l y z i n gt h ec o d e so f n a l ( n e t w o r ka b s t r a c t i o n l a y e r ) a n d r t p p r o t o c o l ，w ea l s or e p r e s e n tt h es o f t w a r es t r u c t u r eo f d a v i n e i b a s e do na l lt h ea b o v er e s e a r c h , i no r d e rt ob u i l dt h eh a r d w a r es y s t e m 1 1 1 i sd i s s e r t a t i o n d e s i g a e dt h et h e o r e t i c a lg r a p ho f t h ed m 6 4 4 6 - b a s e ds y s t e mt h r o u g hc a p t u r es o f t w a r e d e v e l o p e db yc a d e n c ec o m p a n ya n dd e s i g n e dp c bb yu s i n ga l l e 掣os o f t w a r ea l s od e v e l o p e d b yc a d e n c e f u r t h e r m o r e , w ea l s od e s i g n e dt h eh a r d w a r es y s t e mw i t hd m 6 4 4 6i t sc 0 1 七i n s o f t w a r e , w ec o m p l e t e dt h ei n t a c th 2 6 4c o d e ca n dn e t w o r kt r e n s n a i s s i o np r o g r a mw i t h v c 6 0 e x p e r i m e n t ss h o w e dt h a th 2 6 4a l g o r i t h mh a di r c m e n d o u sa d v a n t a g e si nr a i s i n g c o m p r e s s i o nr a t , e n s u r i n gi m a g eq u a l i t y , a n dn e t w o r ka d a p t a b i l i t ya 8w e l l k e yw o r d s ：d a v i n e i , h 2 6 4 ，e o d e c s ，n e t w o r kp r o t o c 0 1 3 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北方工业大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名 袄必签字日期： 年月日 学位论文版权使用授权书 本学位论文作者完全了解j 友王些盔堂有关保留、使用学位论文的规定， 有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查 阅和借阅。本人授权韭友王些拦可以将学位论文的全部或部分内容编入有 关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位 论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：硖f 苏 签字日期：年月日 学位论文作者毕业后去向： 工作单位； 通讯地址： 导师签名： 签字日期： 电话： 邮编： 陆1 眵孳年 北方r 业大学硕士学位论文 第1 章绪论 数字视频技术在通信和广播领域获得了日益广泛的应用，特别是2 0 世纪9 0 年代以 来，随着i n t e r n e t 和移动通信的迅猛发展，视频信息和多媒体信息在i n t e r n e t 和移动 网络中的处理和传输技术成为了当前我国信息化的热点，如数字v c d 、数字d v d 、数字 摄像机、数字录像机、数字调制解调器、数字电视机顶盒、数字点播电视( v o d ) 、数 字交互电视( i t v ) 、网络电视( i p t v ) 、手机电视、数字加密电视等等。众所周知， 视频信息具有一系列优点，如直观性、确切性、高效性、广泛性等等。但是视频信息的 信息量太大，要使视频得到有效的应用，必须首先解决视频压缩编码问题，其次解决压 缩后视频质量保证的问题。这两者是相互矛盾，是矛盾的两个方面。我们的任务是既要 有较大的压缩比，又要保证一定的视频质量。 对于以往的视频编码标准，从h 2 6 1 视频编码建议，到h 2 6 2 、h 2 6 3 、h 2 6 3 + ， 以及m p e g - 1 、m p e g - 2 、m p e g - 4 等视频编码标准都有一个共同的不断追求的目标， 即在尽可能低的码率下获得尽可能好的图象质量。2 0 0 3 年3 月，i t u - t i s o 正式公布了 h 2 6 4 视频压缩标准，由于其具有比以往标准更出色的性能，被人们称为新一代视频编 码标准。具体讲，与h 2 6 4 或者m p e g - 4 相比，在同样质量下，其码率能降低一半左 右；或者说在同样码率下，其信噪比明显提高。这样一来，h 2 6 4 标准在国际上受到了 广泛地重视和欢迎。 1 1 1 视频编解码的发展历程 1 9 8 4 年c c i t t 第1 5 研究组发布了数字基群电视会议标准h 1 2 0 建议。1 9 8 8 年 c c i t t 通过了“p x 6 4 k b i t s ( p = 1 ，2 ，3 ，4 ，5 ，3 0 ) ”视频标准h 2 6 1 建议，被称 为视频压缩编码的一个里程碑。从此，i t u - t 、i s o 等公布的基于波形的一系列视频编码 标准的编码方法都是基于h 2 6 1 中的混合编码方法。 1 9 8 6 年，i s o 和c c i t t 成立了联合图象专家组( j p e g ，j o i n tp h o t o g r a p h i c e x p e r t sg r o u p ) ，研究连续色调静止图象压缩算法国际标准，1 9 9 2 年7 月通过了j p e g 标准。 1 9 8 8 年i s o i e c 信息技术联合委员会成立了活动图象专家组( 婶阱，m o v i n g p i c t u r ee x p e r tg r o u p ) 。1 9 9 1 年公布了m p e g - 1 视频标准，码率为1 5 m b i t s ，主要 北方1 ：业大学硕士学位论文 应用于家用v c d 的视频压缩；1 9 9 4 年1 1 月，公布了m p e g 一2 标准，用于数字视频广播 ( d v b ) 、家用d v d 的视频压缩及高清晰度电视( h d t v ) 。码率从4 m b i t s 、 1 5 m b i t s 直至1 0 0 m b i t s 分别用于不同档次和不同级别的视频压缩中。 1 9 9 5 年，1 1 1 j - t 推出h 2 6 3 标准，用于低于6 4 k b i t s 的低码率视频传输，如p s t n 信道中的可视会议、多媒体通讯等。1 9 8 4 年和2 0 0 0 年又分别公布了h 2 6 3 + 、h 2 6 3 + + 等标准。 1 9 9 9 年1 2 月份，i s 0 i f _ ：通过了“视听对象的编码标准”m p e g 一4 ，它除了定 义视频压缩编码标准外，还强调了多媒体通讯的交互性和灵活性。 2 0 0 3 年3 月，i t u l 和i s o i e c 正式公布了h 2 6 4 视频压缩标准，不仅显著提高了 压缩比，而且具有良好的网络亲和性，加强了对i p 网、移动网的误码和丢包的处理。 有人将h 2 6 4 称为新一代的视频编码标准。 1 1 2 视频编解码的现状 m p e g ( m o v i n g p i c t u r ee x p e r t sg r o u p ) h 垂动图像专家组成立于1 9 8 8 年，专门从事运动 图像和伴音编码的标准制定。m p e g 最初的三个任务是制定1 s m b s ，1 0 m b s ，4 0 m b s 的压缩编码标准，即m p e g - 1 、m p e g - 2 、m p e g - 3 ，后因m p e g - 2 的功能使m p e g - 3 多余，故m p e g - 3 被撤消。m p e g - 4 于1 9 9 4 年开始制定，其目的是实现甚低码率的音 视频压缩编码。 m p e g - 1 是1 9 9 1 年1 1 月提出草案，1 9 9 2 年1 1 月通过，1 9 9 3 年8 月公布的。它适 用于1 5 m b s 速率的数字存储媒体的运动图像及伴音的压缩编码。m p e g - i 追求高的压 缩比，去除图像序列的时间冗余度，同时满足多媒体等随机存取的要求。它的图像类型 有三种：i 图像，采用内部编码，不参照其他图像，亦称内部编码图像；p 图像，采用 预测编码，参照前一幅i 或p 图像作运动补偿编码，亦称预测编码；b 图像，采用双向 预测编码，参照前一幅和后一幅i 或p 图像作双向运动补偿编码，亦称双向预测图像。 m p e g - 2 制定于1 9 9 4 年，其设计目标是高级工业标准的图像质量以及更高的传输 率。它进一步提高了压缩比，改善了音频、视频质量，采用的核心技术是分块d c t 和 帧间运动补偿预测技术。m p e g - 2 所能提供的传输率在3 1 0 m b s 之间，在n t s c 制下 的分辨率可达7 2 0 x 4 8 6 ；可提供广播级的视像和c d 级的音质；向下兼容m p e g - 1 ，使 得大多数m p e g - 2 解码器可播放m p e g 1 格式的数据，如v c d ：m p e g - 2 除了作为 d v d 的指定标准外，还可以用于为广播、有线电视网、电缆网络以及卫星直播提供广 播级的数字视频；m p e g 2 可提供一个较广范围的压缩比，以适应不同画面质量、存储 容量以及带宽的要求。 2 北方 ：业大学硕士学位论文 m p e o - 4 是对数字音视频数据进行压缩、通信、存取和操作管理等的新标准，并为 各种通信环境提供一种通用的技术解决方案。m p e g 专家组深入分析了信息领域中计算 机、通信以及以电视为代表的消费电器即3 c 交叉融合的方式后，认为m p e g - 4 应提供 用于通信的新方式，其中心是基于内容的a v 信息存储、处理与操作，支持交互性、高 压缩比以及通用存储性等功能。在其结构上应具有适应性与可扩张性，以适应软、硬件 技术的不断发展，及时融合新的技术。由于m p e g - - 4 的中心是基于内容与交互性的，它 就不再对低码率范围做出特别要求。 、 m p e g - 4 在通信信息描述中，首次提出了对象的概念，如视频对象v o ( v i d e o o b j e c t ) 、音频对象a o ( a u d i oo b j e c t ) 等，这是一个新的飞跃。在编码方案上， m p e g - 4 仍是以块为基础的混合编码。m p e g 4 标准主要应用于视频电话、视频电子邮 件和电子新闻等，其传输速率要求较低，在4 8 6 4 k b s 之间，分辨率为1 7 6 x1 4 4 。 m p e g - 4 利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以最少数据获得最 佳图像质量。，e g _ 4 更适用于交互a v 服务以及远程监控。 m p e g 一7 由m p e g 委员会于1 9 9 8 年1 0 月提出提议，2 0 0 1 年9 月正式成为国际标 准，又称为“多媒体内容描述接口( m u l t i m e d i ac o n t e n td e s c r i p t i o ni n t e r f a c e ) ”，其目标 是建立对多媒体信息内容的标准化描述，试图规范不同种类多媒体信息的描述而不受表 达形式的限制。这些描述要与信息内容直接相关以便用来快速有效的查询、访问各种多 媒体信息。 m p e g - 7 的应用范围广泛，既可以应用于存储，也可用于流式应用( 如广播、将模 型加入i n t e r n e t 等) 。它可以在实时或非实时环境下应用，如数字图书馆、多媒体编辑 等。另外，m p e g - 7 在教育、新闻、导游信息、娱乐、研究业务、地理信息系统、医 学、购物、建筑等各方面均有较深的应用潜力。 h 伊e g - 2 l 是基于多媒体框架( m u l t i m e d i af r a m e w o r k ) 标准的，其最终目的是建 立一个多媒体框架，以通过预购网络和设备使多媒体资源在用户之间透明方便的使用。 m p e g - 2 1 的基本框架要素包括数字项目说明、内容表示、数字项目的识别和描述、内 容管理和使用、知识产权管理和保护、终端和网络、事件报告等。它支持的功能有：通 过网络存储，使用并交互操作多媒体对象；实现多种业务模型，包括对版权和交易的自 动管理；对内容进行隐私的尊重等。目前，这一标准仍处于开发当中。 1 9 8 4 年国际电报电话咨询委员会的第2 3 研究组建立了一个专家组专门研究电视电 话的编码问题。经过研究与努力，1 9 8 8 年形成草案，1 9 9 0 年1 2 月通过m 7 - 1 的h 2 6 1 建议。 3 北方工业大学硕士学位论文 h 2 6 1 是n u _ t 针对可视电话和会议、窄带i s d n 等要求实时编码和低延时应用提 出的一个编码标准。它允许采用p x 6 4 k b i t 的图像业务的图像编解码”，因而h 2 6 1 简 称p x 6 4 。其中p 是个整数，取值范围为1 3 0 ，对应比特率为6 4 k b s 1 9 2 m b s 。它 建议采用中间格式c i f ( c o m m o n i n t e r m e d i a t e f o r m a t ) 和q o f ( q u a r t e r o f ) 解决不同 制式通信的矛盾；解决了编码算法问题。h 2 6 1 采用了运动补偿预测和离散余弦变换相 结合的混合编码方案，获得很好的图像压缩效果。 1 9 9 5 年，在h 2 6 1 的基础上，玎u t 总结当时国际上视频图像压缩编码的最新进 展，针对低比特率视频应用制定了h 2 6 3 标准。它提高了运动补偿的精度，常用于超低 速率的图像传输，被公认为是以像素为基础的采用第一代编码技术的混合编码方案所能 达到的最佳结果。之后，r 兀m 又对其进行了补充，以提高编码效率，增强编码功能。 补充修订的版本有1 9 9 8 年的h 2 6 3 + ，2 0 0 0 年的h 2 6 3 + + 。h 2 6 3 采用第一代编码技 术，在低速率视频传输质量，抗误码能力方面有明显提高，在视频业务传输中得到广泛 应用。 与h 2 6 1 只能工作在c i f 、q c 砸两种格式不同，h 2 6 3 的信源编码器可以工作于5 种图像格式：q o f 、s u b - q o f 、c i f 、4 c i f 、1 6 c i f 。另外，h 2 6 3 还在h 2 6 1 基本编码 算法的基础上提供了四种可选编码模式：非限制运动矢量模式、基于语法的算术编码模 式、高级预测模式以及p b 帧模式。由于仅限于五种固定图像大小、形状和时钟频率， 它应用的灵活性较低。 h 2 6 3 + 即u - t 在1 9 9 8 年通过的h ，2 6 3 第二版，增加了1 2 个新的高级模式，修正 了第一版中的非限制运动矢量模式。修订版首先在视频格式多样性上做了改进，还提出 一些新技术：如附加增强信息模式和增强参考帧再采样模式，进一步扩大适用范围，支 持图像冻结和快照，以及多分辨率视频的应用，同时还增加了一些新技术来增强抗误码 的能力：如分片结构模式、增强参考帧选择模式等，使视频信号经过压缩编码后能够在 具有较大噪声干扰的窄带信道p s t n ( i n t e g r a t es e r v i c e sd i g i t a ln e t w o r k ) 和无限移动信 道等上传输。通过使用去方块效应滤波器，降低分辨率更新模式和修正量化模式等新技 术，重建图像的主观质量显著提高。由于h 2 6 3 + 的高级模式有些不能同时使用，有些需 结合使用，如何选择合适的编码模式结合，对使用者来说很困难，因此r r u 玎于2 0 0 0 年1 1 月提出了h 2 6 3 + + ，称为h 2 6 3 的第三版。它在h 2 6 3 + 的基础上增加了三个高级 模式。 h 2 6 l 标准是r r u - t 和i s o 也c 联合制定的最新的图像压缩编码标准，它最先由 m j - t 的v c e g 于1 9 9 7 年提出的，它的目标是提出一种更高性能的视频质量有实质性 - 4 北方工业大学硕士学位论文 提高的视频编码标准。该标准于2 0 0 3 年3 月完成，在u - t 中被称为r e c o m m e n d a t i o n h 2 6 4 而在i s o f l e c 中成为m p e g - 4 标准的第l o 部分( i s o i e c1 4 4 9 6 - 1 0a v c ，简称 n 口e g - 4 - 1 0 ) 。 h 2 6 l 的一个基本概念是引入了两个不同的层次：视频编码层( v c l ：v i d e o c o d i n gl a y e r ) 以及网络适配层( n a l ：n e t w o r ka d a p t e rl a y e r ) ，前者负责对视频进行 高效的压缩，后者则负责根据网络的传输需要进行编码数据的打包。h 2 6 l 相对于其他 标准有以下的特点：低码率、高质量、可达到比h 2 6 3 + 提高一倍以上的编码效率；广阔 的应用范围，既可用于严格时延限制的实时通信，又可用于对时延要求不高的其他应 用；稳健性，在网络中传输时，有较强的抗误码性能；对各种网络的友好性，提供了友 好的网络接口。 1 3 视频编解码的趋势 当前的视频编解码技术根据采用的信源模型，可分为两大类：基于波形的编码和基 于内容的编码。基于波形的编码：如果采用“一幅图象由许多像素构成”的信源模型， 这样信源模型的参数就是每个像素的亮度和色度的幅度值。基于内容的编码：如果采用 一个分量有几个物体构成的信源模型，这种信源模型的参数就是各个物体的形状、纹理 和运动。 从国际数据压缩技术的发展尤其是归e g 的发展可以看出，基于内容的图像压缩编 码方法是未来编码的发展趋势。它不仅能满足进一步获得更大的图像数据压缩比的要 求，而且能够实现人机对话的功能。另外，任意形状物体的模型建立的关键问题还没有 解决，这严重影响其应用的广泛性。因此，视频编码将朝着多模式和跨模式的方向发 展。 通过元数据进行编码也是今后编码的发展方向。元数据是指详细的描述音视频信息 的基本元素，利用元数据来描述音视频对象的同时也就完成了编码，因为此时编码的对 象是图像的一种描述而不再是图像本身。从另一个角度来说，进一步提高压缩比，提高 码流的附属功能( 码流内容的可访问性、抗误码能力、可伸缩性等) 也将是未来的编码 的两个发展方向。 1 2 课题的内容及研究意义切。嘲 1 2 1 研究意义 研究基于d a v i n c i 的图象、视频压缩编解码和网络传输，应用h 2 6 4 标准，通过 h 2 6 4 压缩编解码算法和网络通信功能来为以后进行运动图象的分析打下基础。近年 5 北方t 业大学硕士学位论文 来，对于图象、视频的压缩编解码的应用越来越广泛，如可视电话、v o d 、视频会议、 i p 上的视频服务、数字图象监控、数字电视等，而这些都与图象的压缩编码有密切的关 系，研究本课题从工程应用角度也有非常实用的意义。 h 2 6 4 是u - t 和i s o i e c 于2 0 0 3 年公布的视频压缩标准。除了优化了压缩编码效 率外，在h 2 6 4 标准中又增加了一个网络提取层n a l ( n e t w o r k a b s t r a c t i o n l a y e r ) ，考 虑到了与具体应用网络的连接和接口问题。h 2 6 4 的的应用领域非常广泛，可应用到视 频通信领域、数字广播电视领域和视频存储播放领域。 ( 1 ) 在视频通信领域中的应用 由于 l2 6 4 是在h 2 6 l 的已有成果基础上由j v t 完成标准最后制定的，而h 2 6 l 首 先就是针对视频实时通信应用的，例如，会议电视、可视电话等应用，因此，h 2 6 4 在 视频实时通信领域首先得到了应用，到2 0 0 4 年2 月为止，国外声称已经可以提供基于 h 2 6 4 的会议电视产品的公司有p o l y c o m 、t a n d b e r g 、v c o n 、s o n y 等。 ( 2 ) 在数字广播电视领域中的应用 m p e g 已经完成了基于m p e g - 2 系统兼容h 2 6 4 码流内容的标准“a m e n d m e n t3 ： t r a n s p o r to fa v cv i d e od a t ao v e ri t u - tr e c h 2 2 2 0i s o i e c1 3 8 1 8 一l s t r e a m s ”的制定，这就为h 2 6 4 标准在数字广播电视领域和视频存储播放领域中的应 用打下了基础。据数字视频广播( d v b ) 标准组“编码组主席k e nk i c c a n n 说，欧洲已经 考虑修订当前的数字视频广播标准，将m p e g - 4 音频和h 2 6 4 视频同时列为基于i p 视频 传输的候选选项。可以预计，随着h 2 6 4 将来在数字广播特别是高清电视领域中的应 用，用户可以看到更高质量的视频图像节目、可以选择更多的电视节目频道。 ( 3 ) 在视频存储播放领域中的应用 在2 0 0 3 年1 1 月1 9 日于日本千叶县幕张会展中心开幕的“2 0 0 3 年国际广播电视设 备展”上，不少公司和用h 2 6 4 咿e g 一4a v c 编解码器进行了录像播放演示，编解码器 的形态各种各样，从f p g a 等芯片到电脑软件应有尽有。在d v d 等视频存储播放领域应 用中，h 2 6 4 将是最好的选择，并且对于高清晰度d v d ( h dd v d ) 应用来说，更加需要 具有高压缩效率的视频压缩标准。 由于h 2 6 4 的压缩性能比之前的视频压缩标准h 2 6 1 、h 2 6 3 、m p e g - 2 、m p e g - 4 等 都较优，因此，i t u - t 、即e g 标准组织分别批准了h 2 6 4 标准，基于h 2 6 4 标准的产品 纷纷面世，并且，其应用前景非常广阔。 6 北方 ：业大学硕士学位论文 1 2 2 课题内容 图1 1 编解码框图 h 2 6 4 的编码器采用的是变换和预测的混合编码方法，在 l2 6 4 的标准中并不明确 规定一个编解码器如何实现，而是规定了一个编码的视频比特流的句法，和该比特流的 解码方法，各个厂商的编码器和解码器在此框架下应能够互通，这样在实现就具有了较 大的灵活性。h 2 6 4 新的特点：( 1 ) 块的大小可变，在运动估计时，可以灵活地选择块的 大小。( 2 ) l 4 像素精度的运动估值。( 3 ) 多参考帧运动估值。( 4 ) 增加了帧内预测。( 5 ) 增加了网络提取层。( 6 癌用更好的熵编码算法c a v l c ( 基于上下文自适应的可变长编 码) 和c a b a c ( 基于上下文自适应二进制算术熵编码) 。循环内的消除块效应滤波 器。参见h 2 6 4 的编解码结构图1 1 ，本课题内容为： ( 1 ) 研究h2 6 4 的编解码算法，深入分析编解码中的关键组件如帧内预测、帧间预 测、c a v l c 、c a b a c 和n a l 层等，同时结合j m l o 2 中的编解码代码进行代码级剖析，最 终编写实现 l2 6 4 的编解码程序； 由于 l2 6 4 视频编解码的目的之一是通过网络传输视频码流，所以本课题内容 包括对r t w g r c p 协议的研究。 一7 北方_ t 业大学硕七学位论文 ( 3 ) 由于t i 新推出的d m 6 4 4 6 是a r m 和d s p 双核的处理器，它有一系列特点：高性 能、低功耗、内部有专用的视频图像处理器和视频处理子系统、大存储容量和外设众多 等。所以我们采用了这个d m 6 4 4 6 为核心作为h 2 6 4 的硬件平台。基于d a v i n c i 的h 2 6 4 编解码芯片的硬件框图如图1 2 ，本论文将设计以d m 6 4 4 6 为核心的硬件系统原理图，并 设计相关的p c b 。要设计的原理图应具备如下功能：首先，通过视频d e c o r d e r 芯片 t v p 5 1 4 6 把模拟的视频信号变为数字的i t u - t6 0 1 或6 5 6 格式的数据，送给d m 6 4 4 6 芯 片，经编码后的数据通过l x t 9 7 1 a l c 网络接口芯片打包输出。其次，d m 6 4 4 6 通过网络接 口芯片接收h 2 6 4 编码码流，从h 2 6 4 的n a l 层提取编码数据，然后进行解码，经解码 后的视频流通过内部的d a c 部分在本地以c v b s 或者s - v i d e 0 送出显示。 l d d r 2s d r a m p c ：lt v p i 1 4 6i 摄。i i n o r _ f l a s h p 1 1c ： l x t 9 7 1 a l c d m 6 4 4 6 i n a j q d f l a s h p 一一c v b s s - v i d e o 输出显示 i s r a m p 图1 2i ) a v i n c i 硬件平台框图 8 北方工业大学硕士学位论文 第2 章h 2 6 4 编解码原理与r t p r t c p 协议 2 1 编解码过程嗍 2 1 1 编码过程 h 2 6 4 编码器采用的是变换和预测的混合编码方法。编码器的框图如图2 1 。 图2 1 编码器框图 编码器的编码过程如下：当前输入的帧或者场e 以宏块为单位被编码器处理，如果 采用帧间预测编码，预测值p 是由当前片中的已编码的参考图像经过运动补偿 ( 眦) 后得到的，其中参考图象用只一，表示。为了提高预测精度，从而提高压缩 比，实际的参考图像可在过去或未来已编码解码重建和滤波的帧中进行选择。预测 值p 和当前块相减后，产生一个残差块d ，经块变换、量化后产生一组量化后的变 换系数x ，再经熵编码，与解码所需的一些片信息( 如预测模式量化参数、运动矢 量等) 起组成一个压缩后的码流，经n a l ( 网络提取层) 传输或存储。为了提供 进一步预测用的参考图像，编码器在把量化后的变换系数x 经过反量化、反变换后 得到的d 。与预测值p 相加，得到“f ，为了去除编码解码环路中产生的噪声，提高 参考帧的图像质量，设置了一个环路滤波器，滤波后的输出既为重建图像，可用 作参考图像。 9 北方工业大学硕士学位论文 2 1 2 解码过程 图2 2 解码器框图 从图2 2 所示，h 2 6 4 的解码过程为：从n a l 层得到码流，经统计编码( 熵解码和 重排序) 得到量化后的一组变换系数x ，再经反量化、反变换，得到残差，利用从 该码流中解码出的头信息，解码器就产生一个预测块p ，它和编码器中的原始p 是 相同的。当该解码器产生的p 与残差相加后，就产生u f 。，再经滤波后，最后就得 到重建的，这个c 就是最后的解码输出图像。 2 2h 2 6 4 编解码主要内容。旷嘲 2 2 1 帧内预测 在帧内预测模式中，预测块p 是基于已编码重建块和当前块形成的。预测分为对亮 度和色度的预测，对于亮度预测，帧内预测可分为4x4 和1 6x1 6 两种预测方式， 其中4x4 方式有9 种可选的预测模式，1 6x1 6 方式有4 种可选的预测模式；而 i 编码方式是作为这两种方式的替代方式，它允许编码器不经过预测和变换编码过_pcm 程，而是直接把编码的抽样值传送过去。对于色度预测，只有一种8x8 预测方式，它 的预测模式有4 种。下面我们来具体看一下亮度和色度的几种模式。 亮度的预钡4 方式： ( 1 ) 4x4 帧内预测，9 种预测模式如下： 图2 3 使用a l 进行a v 预测图 1 0 fgh 北方工业_ 人学硕士学位论文 如图2 3 为4x4 亮度块，它的上方和左方像素a m 为已编码并重构的像素，用作编 解码器中的预测参考像素。a p 为待预测像素，利用a m 和9 种模式实现，如表2 1 。 表2 14 x 4 帧内预测 模式描述 模式0 ( 垂直)由a 、b 、c 、d 垂直插补推出相应像素值 模式1 ( 水平)由i 、j 、k 、l 水平插补推出相应像素值 模式2 ( d c )由a d l 及i l 平均值推出所有像素值 模式3 ( 下左对角线)由右上到左下4 5 度方向像素插补得出相应像素值 模式4 ( 下右对角线)由左上到右下4 5 度方向像素插补得出相应像素值 模式5 ( 右垂直)由垂直向右2 2 5 度方向像素插补得出相应像素值 模式6 ( 下水平)由水平向下2 2 5 度方向像素插补得出相应像素值 模式7 ( 左垂直) 由垂直向左2 2 5 度方向像素插补得出相应像素值 模式8 ( 上水平)由水平向上2 2 5 度方向像素插补得出相应像素值 ( 2 ) 1 6x1 6 帧内预测，4 种预测模式如表2 2 。 表2 21 6 x 1 6 帧内预测 模式描述 模式0 ( 垂直)由上边像素推出相应像素值 模式1 ( 水平)由左边像素推出相应像素值 模式2 ( d c )由上边和左边像素平均值推出所有像素值 模式3 ( 平面)由上面和左侧的抽样值插补 1 6x1 6 预测方式是基于在1 6x1 6 块的基础上，用语对图像中的相对不变的部分进 行编码。4 种预测模式如表2 2 为：垂直预测方式、水平预测方式、直流预测方式和平 面预测方式。 ( 3 ) 色度的预测方式：8x 8 帧内预测，4 种预测模式类似于帧内1 6x1 6 预测的4 种预 测模式，只是模式编号不同。 如表2 - 3 表2 38 x 8 预测方式 模式描述 模式0 ( d c ) 由上边和左边像素平均值推出所有像素值 模式1 ( 水平)由左边像素推出相应像素值 模式2 ( 垂直) 由上边像素推出相应像素值 北方工业大学硕士学位论文 2 2 2 帧间预测 帧间预测是利用先前已编码帧的图像作为参考图像对当前图像进行预测的一种方 式。它把参考图像的抽样点通过运动矢量的补偿作为当前图像抽样值的参考值。 h 2 6 4 a v c 标准中使用了从h 2 6 1 标准发布以来主要标准中使用的块结构运行补偿。然 而，它与早期标准最大的区别在于：( 1 ) 支持多种块结构的预测；( 2 ) 运算精度能精确到 1 4 像素。 在h 2 6 4 a v c 标准中还使用了h 2 6 3 标准中曾使用过的多帧预测的方法，主要思想 是增加运动矢量中时间轴的估计参考帧数。在宏块的级别上，允许选择一个或几个前面 的视频帧作为参考帧。用于运动补偿的多帧预测方式在大多数情况下会明显改善预测增 益。 帧间预测用于降低图像的时域相关性，通过采用多帧参考和更小运动预测区域等方 法，对下一帧进行精确预测，从而减少传输的数据量。每个亮度宏块被划分成形状不等 的区域，作为运动描述区域。其划分方法有1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x8 共4 种。 当选8 x 8 方式时，可以进一步划分成8 x8 、8 x 4 ，4 x8 和4 x 4 共4 个子区域。每 个区域包含自己的运动向量，每个运动向量和区域选取信息必须通过编码传输。因此， 当选用较大区域时，用于表示运动向量和区域选取的数据量减小，但运动补偿后的残差 会增大；当选用小区域时，残差减小，预测更精确，但用于表示运动向量和区域选取的 数据量增大。大区域适合反映帧间同质部分，小区域适合表现帧间的细节部分。 在h 2 6 4 中，运动预测的精度也有所改进，对q c w 格式的图像，使用l 4 像素精 度；对c i f 格式的图像，使用l 8 像素精度。其中，1 4 像素插值是先使用一个6 抽头滤 波器进行水平和垂直滤波得到半像素插值点，然后对其进行线性插值。而l 8 像素插值 是直接使用一个8 抽头滤波器进行水平和垂直滤波。 h 2 6 4 除了支持i 帧、p 帧和b 帧外，还提供了一种新的图像类型s p 帧，s p 帧也 是预测编码帧，根据需要可以改变用于该帧预测的图像。s p 帧可用于信道速率的改变、 视频比特流的切换和码流随机接入等操作，在时变无线信道上的视频通信和流媒体传输 中有广泛的应用前景。 ( 1 ) 树结构的运动补偿 1 2 北方工业大学硕士学位论文 h 2 6 4 采用了不同大小和形状的宏块分割与亚分割的方法。一个宏块的1 6x1 6 亮度 值可以按照1 6 x 1 6 、1 6 x 8 、8 x 1 6 或8 x 8 进行分割，而如果选择了8 x 8 分割，还 可以按照8 x 8 、8 x 4 、4 x 8 或4 x 4 进行亚分割，如图2 3 和图2 a 。 1 68 8 口田田口 图2 4h 2 6 4 运动补偿中的宏块分割 844 口田田口 图2 5h 2 6 4 运动补偿中的亚宏块分割 这些宏块分割与亚分割的方法将会使得每个宏块中包含有许多大小不同的块。利用各种 大小的块进行运动