（通信与信息系统专业论文）h264视频压缩熵编码和网络传输的研究.pdf

h 2 6 4 视频压缩熵编码和网络传输的研究 摘要 h 2 6 4 是国际电信联盟i t u t 和国际标准化组织i s o 联合开发的新一代视频 压缩编码标准，由于其具有较高的压缩比、很好的分层结构和网络适应性，在未 来的数字视频和存储领域有着广阔的应用前景。本文以此为背景，对h 2 6 4 中熵 编码原理进行了研究，并用f p g a 实现了其中的三个核心模块。同时本文在分析 了h 2 6 4 网络适应性的基础上，提出了一种基于a v r 单片机和网络控制芯片 r t l 8 0 1 9 a s 的编码器网络接口的软硬件设计方案。 h 2 6 4 采用了先进的编码技术，包括新的熵编码技术，提高了压缩比。在相 同的重建图像质量下，h 2 6 4 比h 2 6 3 平均节约5 0 左右的码率。 h 2 6 4 中的熵编码包括三种：e x p g o l o m b 、c a v l c 和c a b a c 。本文主要研 究了应用在b a s e l i n ep r o f i l e 中的e x p g o l o m b 和c a v l c ，在此基础上结合e d a 技术，基于a l t e r a 公司的c y c l o n e i i 系列f p g a 芯片，用v e r i l o g h d l 语言设计了 其中三个核心模块e x p g o l o m b 编码模块、4 4 变换系数块幅度值编码模块和 变长码字拼接模块，利用q u a r t u s i i 软件进行了逻辑综合，最后利用仿真工具 m o d e l s i m 进行了验证。 h 2 6 4 引入了分层的编码技术，它把所有和传输相关的部分放在网络抽象层 ( n a l ) 中，因而具有更好的网络适应性，非常适合网络传输。在此背景下本文 提出了一种基于a v r 单片机a t m e g a l 2 8 和以太网控制芯片r t l 8 0 1 9 a s 的低成本 编码器网络接口的设计方案，详细介绍了硬件电路的设计原理。同时结合实时多 任务操作系统g c o s i i 和嵌入式轻型网络协议栈g l p ，在上述硬件系统上搭建了 多任务的网络开发平台，详细分析- j g c o s i i 和g l p 的移植，编写了r t l 8 0 1 9 a s 的驱动程序，并且利用v c + + 6 0 编写的测试程序对系统的网络性能进行了测试， 利用网络分析软件分析了其最高的t c p 及u d p 传输速率。最后经验证，达到了 传输低码率h 2 6 4 视频流的带宽要求。 关键词：熵编码网络接口实时多任务操作系统网络协议栈 r e s e a r c hint h ee n t r o p yc o d in ga n dn e t w o r kt r a n s p o r tin g o fh 2 6 4v i d e oc o d i n gs t a n d a r d a b s t r a c t h 2 6 4i st h en e wv i d e o c o d i n gs t a n d a r d w h i c hi sd e v e l o p e dj o i n t l yb yi t u ta n d i s o h 2 6 4h a sag o o dp e r s p e c t i v ei nt h ed i g i t a lv i d e oc o m m u n i c a t i o na n ds t o r a g e a p p l i c a t i o n sb e c a u s eo fi t sh i 曲c o m p r e s s i o nr a t i o ，a d v a n c e dm u l t i 。l a y e rs t r u c t u r ea n d g o o dn e t w o r ka d a p t a b i l i t y d u et ot h ea b o v eb a c k g r o u n d ，t h i st h e s i sd o e sr e s e a r c ho n t h et h e o r yo f t h ee n t r o p yc o d i n go f t h eh 2 6 4 ，a n dh a si m p l e m e n t e dt h r e ec o r em o d u l e s o fi t se n t r o p ye n c o d e ru s i n gf p g a m e a n w h i l e d e p e n d i n go nt h e a n a l y s i so fi t s n e t w o r ka d a p t a b i l i t y , t h i sp a p e rp r e s e n t sad e s i g no fn e t w o r ki n t e r f a c ef o rh 2 6 4 e n c o d e r u s i n g a v r m c u a n d r t l s 0 1 9 a s n i c c o m p a r e d 丽t i lh 2 6 3 h 2 6 4c a na v e r a g e l ys a v e5 0 d a t ar a t ew i t ht h e c o m p a r a t i v eq u a l i t yo ft h er e b u i l ti m a g e t h ee n h a n c e m e n to fc o m p r e s s i o nr a t i oi n l 2 6 4i sm u c hr e l a t e dw i t hi t sm o r ea d v a n c e de n c o d i n gt e c h n o l o g i e s ，i n c l u d i n gn e w e n t r o p yc o d i n gt e c h n o l o g y t h e r ea r et h r e ek i n d so fe n t r o p yc o d i n gt e c h n o l o g yi nh 2 6 4 ：e x p g o l o m b 、 c a v l ca n dc a b a c t h i sp a p e rm a i n l yd o e sr e s e a r c ho nt h ee x p g o l o m ba n d c a v l cu s e di nt h eb a s e l i n ep r o f i l eo fh 2 6 4 ，a n dc o m b i n i n gw i t ht h ee d a t e c h n i q u e ， i m p l e m e n t si t st h r e ec o r em o d u l e sb yv e r i l o gh d lu s i n gt h ec y c l o n ei if p g ac h i po f a l t e r ac o m p a n y t h e s em o d u l e sa r ee x p - g o l o m bc o d i n gm o d u l e ，4 x 4c o e f f i c i e n tb l o c k l e v e lc o d i n gm o d u l ea n dv a r i a b l el e n g t hc o d ep a t c h i n gm o d u l e t h e s em o d u l e sa r ea l l l o g i c a l l ys y n t h e s i z e db yq u a r t u si i 。a n df i n a l l ye m u l a t e db yt h em o d e l s i m i 2 “, i t l “lm t r o d u c e dt h = m , , d t i l a y e rc o d i _ n _ gt e e h n l o n e ；w h i c hp u t sa l lt h ei s s u e s r e l a t e dw i t ht h et r a n s m i s s i o ni n t ot h en e t w o r ka b s t r a c t i o nl a y e r t h e r e f o r e ，i th a s m u c hb e t t e rn e t w o r ka d a p t a b i l i t y b a s e do nt h i sb a c k g r o u n d ，t h i sp a p e rp r e s e n t sa l o w - c o s td e s i g ns c h e m eo f n e t w o r ki n t e r f a c ef o rt h ee n c o d e ru s i n gt h ea t m e g a l 2 8a n d r t l s 0 19 a s c o m b i n i n gw i t hi _ t c o s - i ia n dp i p , t h i sp a p e rc r e a t e sam u l t i t a s k f r a m e w o r kt od e v e l o pn e t w o r ks o f t w a r eo nt h ea b o v eh a r d w a r ep l a t f o r m ，d e s c r i b e st h e p o r t i n go fp c o s - i ia n dp i pi nd e t a i l ，t e s t st h ee n t i r es y s t e mw i t ht h et e s t i n gp r o g r a m d e v e l o p e db yv c + + 6 0 a n da n a l y s e si t st c pa n du d pt r a n s m i s s i o ns p e e dl i m i t a t i o n b yn e t w o r ka n a l y s i n gs o f t w a r e t h er e s u l to ft h et e s ti n d i c a t e st h a tt h ea b o v ed e s i g n m e e t st h en e e do f b a n d w i d t h r e q u i r e db yl o wd a t ar a t eh 2 6 4v i d e os t r e a m k e yw o r d s ：e n t r o p yc o din gn e t w o r kin t e r f a c er t o st o p ips t a c k i i 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含未获得 ( 适；垫遗直基他盂蔓挂别直盟 丝! 奎拦卫窒2 或其他教育机构的学位或证书使用过的材料。与我一同工作的同志对本研 究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名 魏；该 签字日期：汐。缉j ，月) 妇 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并向国家有 关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权学校可以将学 位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手 段保存、汇编学位论文。( 保密的学位论文在解密后适用本授权书) 学位论文作者签名：巍7 乞 导师签字巷做 签字目期：b 16 年土月谚日 签字日期：7 。m 石年j ，月6 日 学位论文作者毕业后去向： 工作单位：凑约寡同彳兄斜才安有限公司 通讯地址：畜纫印高巍医礴州、1 眵c 习马 电话：办岁z ，腑7 口加9 9 邮编) 6 6l 驴j h 2 6 4 视频压缩熵编码和网络传输的研究 0 前言 0 1 视频压缩编码技术的基本概念 1 8 9 5 年电影的诞生第一次将人类带入奇妙的视频世界。二十世纪三十年代电 视的发明和普及把视频信号带入了千家万户，深刻地改变了人们的生活。今天随 着i n t e r n e t 网络的迅速发展，视频的应用越来越广泛，视频点播、可视电话、视 频会议等应用形式不断涌现，视频信息正在对人类的生活方式和社会发展起着越 来越重要的作用。早期的视频信号主要是模拟的，随着数字化进程的推进，数字 视频技术得到了迅速发展。然而模拟视频的数字化会产生巨大的数据量，比如未 经压缩的电视质量数字视频信号的数据量高达2 1 6 m b p s 。这对存储空间和传输带 宽构成了巨大的挑战，直接存储或传输如此高的数据量在现阶段是不现实的，事 实上也是没有必要的，因为原始的视频数据有很大的信息冗余，这就需要视频压 缩编码技术对其进行压缩。视频编码系统如图o 1 所示川。 图0 1 视频编码系统 视频压缩是在香农的信息论的基础上发展起来的，是通过去除视频数据中的 冗余信息来完成的。视频信号的冗余有很多种【2 】，根据不同的角度大体分为：空 间冗余二维图像相邻像素之间具有的相关性：时间冗余相邻运动图像之 间存在的相关性；视觉冗余人眼视觉感知不敏感的某些图像特征，比如色度 变化的高频分量、像素在时间和空间域变化的高频分量等：信息熵冗余由于 携带信息的符号熵大于信息熵而使数据中存在的统计冗余。为了消除以上冗余， 一个视频压缩编码器一般包括三个主要的功能单元：时间域模块、空间域模块 图0 - 2 视频压缩编码器的结构 h 2 6 4 视频压缩熵编码和网络传输的研究 和熵编码模块，如图0 - 2 所示。其中时域模块的功能是在相邻的视频帧之间去除 时间域冗余信息，通常是通过对视频帧进行预测来实现。接下来通过空间域模块 除去空间相关性，使图像得到进一步的压缩，再用变换编码把图像变换到另一个 域中，例如傅立叶变换或离散余弦变换d c t 使图像变换到频域，在变换域中图像 信息是以变换系数来表示的。接下来变换系数经过量化去掉视觉冗余，这样图像 就得到了进一步的压缩。空间域模块的输出是一系列经过量化的变换系数。时域 模块得到的参数( 运动向量) 和空间域模块得到的变换系数被送到熵编码器，通 过去除统计冗余信息进行最后的压缩。 0 2 国内外视频压缩编码的发展及现状 当前的视频压缩编码领域国际上有两大标准化组织：一个是国际标准化组织 ( i s o ) 和国际电子技术委员会( m c ) 下属的运动图像专家组( m p e g ) ，m p e g 隶属于联合技术第l 委员会下的第2 9 分委会的第1 l 工作组，所以官方称为 i s o i e c j t c l s c 2 9 ，w g l l ，其制定的视频标准称为m p e g 系列；另一个组织是国 际电信联盟的电信标准分部( i t u t ) 子分组1 6 ( s g l 6 ) 的视频编码专家组v c e g ， 其制定的视频标准称为h 2 6 x 系列。另外这两大标准化组织于2 0 0 1 年1 2 月成立 了联合视频组( t ，j o i n t v i d e o t e a m ) 来共同研究新的视频编码标准h 2 6 4 a v c 。 我国也于2 0 0 2 年6 月由国家信息产业部科学技术司批准成立了数字音视频编解码 技术标准工作组，专门来制定中国的国家音视频编码标准a v s ( a u d i oa n dv i d e o c o d i n gs t a n d a r do f c h i n a ) 。上述三大组织推出的一系列视频编码标准时间表如图 0 3 所示。 图0 3 视频压缩标准年表 h2 6 4 视频压缩熵编码和网络传输的研究 o 2 1a v s 音视频编码标准 a v s 视频标准是为了适应数字电视广播、数字存储媒体、因特网流媒体、多 媒体通信等应用中对运动图像压缩技术的需要而制定的。2 0 0 3 年1 2 月1 9 日a v s 视频部分定稿。当前，a v s 视频主要面向高清晰度电视、高密度光存储媒体等应 用中的视频压缩【3 】。 a v s 标准借鉴了国际上最先进的m p e g 4 a v c h 2 6 4 的框架，采用了一系列 技术来达到高效率的视频编码，包括帧内预测、帧间预测、变换量化和熵编码等。 a v s 主要包括以下关键技术 4 】【5 】： 帧间预测使用基于块的帧间运动 i 偿编码，采用1 6 1 6 ，1 6 x 8 ，8 1 6 和8 x 8 的块模式和1 4 像素精度进行运动补偿。 帧内预测用相邻块的像素预测当前块，采用代表空间域纹理方向的多种预测模 式。a v s 亮度和色度帧内预测都是以8 8 块为单位的。亮度块采用5 种预测 模式，色度块采用4 种预测模式，而这4 种模式中又有3 种和亮度块的预测模 式相同。 a v s 采用8 x 8 整数变换与6 4 级量化方案，有利于硬件实现，并且能够满足不 同的应用对码率和质量的要求。 a v s 熵编码采用自适应变长熵编码技术。在a v s 熵编码过程中，所有的语法 元素和残差数据都是以指数哥伦布码( e x p g o l o m b ) 的形式映射成二进制比 特流，并且根据编码元素的概率分布灵活地确定指数哥伦布码编码的阶数。对 预测残差的块变换系数，经扫描形成( 1 e v e l 、r u n ) 对串，幅值l e v e l 和游程r u n 不是独立事件，存在着很强的相关性。在a v s 中l e v e l 、r u n 采用二维联合编 码，并根据当前l e v e l 、r u n 的不同概率分布趋势，自适应改变指数哥伦布码的 阶数。 0 2 2i t u th 2 6 x 系列视频压缩标准 nh 2 6 1 【6 】【1 2 】 h 2 6 1 的全称是“v i d e oc o d e cf o r a u d i o v i s u a ls e r v i c e sa tp x 6 4 k b i “s ”，主要应 用于i s d n 网上的视频会议系统，公布于1 9 9 0 年，是第一个采用现代编码算法的 通用视频编码标准，其后许多标准的形成都受到了h 2 6 1 的很大影响。h 2 6 1 又 称为p x 6 4 k b i t s s 标准，是指它的应用主要针对6 4 k 的整数倍信道，p 取值在1 到 3 0 之间。 h 2 6 4 视频压缩熵编码和网络传输的研究 在技术上，h 2 6 1 采用了基于块匹配的运动补偿方法，只支持整像素精度的 运动补偿和单向的单帧参考，即参考帧只能使用前一帧图像。h 2 6 1 使用8 x 8d c t 变换对原始图像或者预测残差进行变换。 h 2 6 1 只规定了解码的语法和程序，而对于编码中的许多关键问题没有做详 细的规定，例如码率控制以及如何进行运动估计等等。这样做既保证了不同生产 厂家的设备编码出来的码流完全兼容，同时也给各厂家发挥自己在关键技术上的 优势留下了很大的空间。此种做法在之后的视频编码标准中一直被沿用。 2 1h 2 6 3 【7 】【1 2 】 h 2 6 3 的全称是“v i d e oc o d i n gf o rl o wb i tr a t ec o m m u n i c a t i o n ”，它的目标 应用是低码率的视频电话，目标网络是p s t n 、i s d n 以及无线网络。 由于公用电话网( p s t n ) 和无线网络上的传输速率仍然有限，而且误码率较 高，因此，i t u t 后来又提出了h ，2 6 3 的改进版本h 2 6 3 + 【8 1 和h 2 6 3 + + 【9 】，以满 足高压缩效率和强信道容错能力的应用要求。改进版本新增加的特性以附录选项 的形式加入到h 2 6 3 中。 h 2 6 3 系列标准中首次提出的许多概念，例如可变块大小的运动估计、初始 运动矢量预测、无限制运动估计、多参考帧运动补偿等都被其后的许多标准采纳。 0 2 3i s 0m p e g 系列视频压缩标准 1 1m p e g 1 1 0 0 2 m p e g - 1 的全称是“c o d i n go f m o v i n gp i c t u r e sa n da s s o c i a t e da u d i of o rd i g i t a l s t o r a g em e d i aa tu pt oa b o u t1 5 m b i t s ”，主要是为了视频存储媒体( 如v c d ) 而 制定的。该标准的主要目的是在1 1 5 m b i t s 的情况下，提供3 0 帧秒的c i f ( 3 5 2 2 8 8 ) v h s 质量的图像编解码。 m p e g 1 中有两个比较重要的特性：双向运动补偿技术以及1 2 像素精度的 运动补偿。双向运动补偿允许将前帧和后帧均作为参考帧，因此，在m p e g 1 中 有三种类型的帧：i 帧( 帧内编码帧) 、p 帧( 普通帧间编码帧) 、b 帧( 双向帧间 编码帧) 。采用双向运动补偿可进一步降低输出码流的码率，但是需要对序列图像 进行重排序，这在视频通信中是不能允许的。因此这种技术只应用于面向视频存 储媒体的非实时场合。 1 2 像素精度运动补偿的引入也是m p e g 1 的一个进步。具体的方法是根据 整像素的值经过内插计算出相应亚像素位置各点的亮度和色度值，然后再进行运 动估计。这虽然提高了编码器的性能，但也增加了编码器的运算复杂度。 需要说明的是，视频编码的标准仅仅是m p e g 1 中的一部分，除此之外， m p e g 1 中还包含完整的音频、系统以及一致性测试的规范。v c d 的广泛流行表 4 h2 6 4 视频压缩熵编码和网络传输的研究 明了m p e g 1 的成功。 2 1m p e g 2 h 2 6 21 1 1 1 1 2 1 m p e g 一2 标准是由i s o i e c 和i t u t 联合制定的第一个国际标准，全称是 “g e n e r i cc o d i n go fm o v i n gp i c t u r e sa n da s s o c i a t e da u d i o ”。m p e g - 2 的目标是在 3 m b p s 3 5 m b p s 的传输速率下，提供高质量的多媒体信号，并提供质量、时间和 空间上的可伸缩性。与m p e g 一1 相比，m p e g 一2 加入了两项新技术：对隔行扫描 的支持和可伸缩性编码。 普通的电视信号采用隔行扫描的方式，一帧分为两场进行扫描。在一帧图像 中相邻的行属于不同的场，在景物存在快速垂直运动时，相邻行的相关性降低， 会影响编码的效率。为了尽可能提高编码的性能，m p e g 2 允许以场为单位进行 运动补偿和变换编码。 可伸缩性，顾名思义，就是根据实际的需要( 如可利用的信道宽度、解码终 端的处理能力等) 在编码质量和码流大小之间取得折中。m p e g 2 支持4 种可分 级编码模式：数据划分、s n r 分级、空域分级以及时域分级。 m p e g 2 从编码到传输的体系十分完善，并且支持的码率范围大，应用领域 十分广阔，涵盖了卫星广播服务、有线电视、有线广播、数字地面电视、电子影 院、家庭影院、互动媒体、远程视频监控等方面。大家所熟悉的d v d 就是基于 m p e g 一2 标准。m p e g 2 可以说是目前为止最成功的视频编码标准。 3 、m p e g 4 1 1 2 1 1 3 】 m p e g 4 的全称是“c o d i n go fm o v i n gp i c t u r e sa n da u d i o ”，其目标应用包括 因特网多媒体、交互式视频游戏、个人通信、多媒体邮件、网络数据库服务、远 程视频监控、无线多媒体等。 目前，m p e g 4 共包含1 0 个部分，依次为系统、视频、音频、一致性测试、 参考软件模型、传输多媒体集成框架、m p e g 一4 工具软件、基于口架构的m p e g - 4 、 参考硬件描述、以及高级视频编码( a d v a n c e dv i d e oc o d i n g ，简称a v c ) 。其中 a v c 即为i t u t 和i s o 联合制定的h 2 6 4 视频编码标准，也是本文的研究对象， 将在下文中进行详细的介绍。 m p e g 4 革命性的贡献是在视频编码中引入了基于对象的思想。m p e g 4 以 v o ( v i d e oo b j e c t ) 的概念来实现基于内容的表示。v o 的构成依赖于具体应用和 系统实际所处的环境：在要求超低比特率的情况下，v o 可以是个矩形帧，与传 统的标准兼容。v o 也可以是场景中某一物体或某一层面，为画面中被分割出来 的不同物体。每个v o 由三类信息来描述：运动信息、形状信息、纹理信息。 除此之外，m p e g 4 还第一次引入了许多其它的引人注目的技术，例如视频 中的小波变换、s p r i t e 编码、零树扫描等等。 h2 6 4 视频压缩熵编码和网络传输的研究 但另一方面，m p e g 4 中的许多工具例如基于对象的视频处理等由于运算复 杂度的限制，在实际中应用的不是很广泛。 0 2 4h 2 6 4 视频压缩标准 i t u - t 于1 9 9 7 年提出的一个长期的视频标准化项目h 2 6 l 1 4 1 ，其目的是进一 步提高编码效率并应用到更广阔的领域。1 9 9 9 年8 月柏林会议推出该标准的第一 版测试模型，并于2 0 0 1 年6 月通过了i s o i e cm p e g 的测试，被确认为当前最 先进的视频压缩编码方法。2 0 0 1 年1 2 月，i s o i e cm p e g 和i t u t 组建了联合 视频工作组( t ，j o i n tv i d e ot e a m ) ，在h 2 6 l 的基础上开发新的视频编码标准。 2 0 0 3 年3 月，通过了最终的视频编码标准草案，正式命名为h 2 6 4 a v c1 1 5 。 h 2 6 4 a v c 标准是一套兼顾广播和电信、覆盖从低码率通信到高清晰电视的广域 标准。在i s 0 i e c 中，该标准的正式名称为m p e g 4a v c ( a d v a n c e dv i d e o c o d i n g ) 标准，作为m p e g 一4 标准的第十部分；在i t u t 中的正式名称为h 2 6 4 标准。 h 2 6 4 a v c 相对以前的编码方法，主要有以下特性1 1 6 ： 可变块大小运动补偿：选择运动补偿大小和形状比以前的标准更灵活，最小 的亮度运动补偿块可以d , n4 4 。 1 4 采样精度运动补偿：以前的标准最多1 2 精度运动补偿，1 4 采样精度运 动补偿首次出现在m p e g 4 第二部分高级类部分，但h 2 6 4 ，a v c 大大减少了 内插处理的复杂度。 循环去块效应滤波器：基于块的视频编码在图像中存在块效应，主要来源于 预测和残余编码。自适应去块效应滤波技术是非常著名的技术，能有效消除 块效应，改善视频的主观和客观质量。 小块变换：以前的标准变换的块都是8 8 ，h 2 6 4 a v c 主要使用4 x 4 块变换， 使编码器表示信号局部适应性更好，更适合预测编码，减少“铃”效应。另 外图像边界需要小块变换。 分级块变换：h 2 6 4 ，a v c 通常使用小块变换，但有些信号包含足够的相关性， 要求以大块表示，h 2 6 4 a v c 有两种方式实现。低频色度信号可用8 8 ，对 帧内编码，可使用特别的编码类型，低频亮度信号可用1 6 x 1 6 块。 基于上下文的熵编码：h 2 6 4 a v c 使用三种熵编码方法，e x p - g o l o m b ( 指数 哥伦布编码) 、c a v l c ( 上下文自适应的可变长编码) 和c a b a c ( 上下文自 适应二迸制算术编码) ，其中后面两种都是基于上下文的熵编码技术。 6 h 2 6 4 视频压缩熵编码和网络传输的研究 参数集结构：h 2 6 4 a v c 参数集结构设计了强大、有效的传输头部信息。在 以前的标准中，如果少数几位关键信息丢失，可能解码器产生严重解码错误。 h 2 6 4 a v c 采用很灵活、特殊的方式，分开处理关键信息，能在各种环境下 可靠传送。 s l i c e 任意排序：因为每个s l i c e 几乎可以独立解码，所以s l i c e 可以按任意顺 序发送和接收，在实时应用中，可以改善端到端的延时特性，特别适合于接 收顺序和发送顺序不能对应的网络中，如使用i n t e r n e t 网络协议的应用。 分层结构：h 2 6 4 整个系统由视频编码层( v c l ) 和网络抽象层( n a l ) 组 成，v c l 层的主要功能是视频数据的压缩编解码；n a l 层则对编码数据进行 打包封装并通过制定网络进行传输。 正是采用了上述这些先进的技术方法，h 2 6 4 标准在支持的视频输入格式、 压缩效率、网络适应性方面的性能均优于其他编码标准。因此，本文选择h 2 6 4 压缩标准作为研究对象。 0 3 视频压缩数据的传输 视频压缩编码的一个很重要的应用就是视频流传输，比如视频会议、可视电 话、i p t v 以及远程监控等。根据视频数据的特点，视频流传输对传输系统主要有 以下几方面的要求7 】： 传输带宽：由于不同的应用对视频质量的要求不同，所要求的压缩比和传输 带宽也不同。比如h d t v 要求的传输速率在1 5 3 4 m b p s 之间，而视频会议的 带宽要求可以低到3 2 k b p s 。 错误率：应该说压缩后的数据流比非压缩数据流对错误更加敏感，因为错误 会影响到后续的解码。但现在的视频压缩标准一般都采用了差错控制的方法， 如果发生了错误，可以很快从错误中恢复回来，因此对错误率的要求不是特 别高。 实时性：为了同步重现视频信息，视频流传输对实时性要求很高，比如h d t v 质量的网络传输延时不应超过5 0 m s ，视频会议质量的不应超过4 0 0 m s 。 目前常用的视频压缩数据的传输方式主要有以下三种： 1 、u s b ( 1 8 】 u s b 是通用串行总线u n i v e r s a ls e r i a l b u s 的缩写，是由c o m p a q 、i b m 、i n t e l 、 m i c r o s o f t 、n e c 等厂商共同制定的一种通用的外部设备总线规范。u s b 发展到今 h2 6 4 视频压缩熵编码和网络传输的研究 天，总共有三种标准：1 9 9 6 年发布的u s b l 0 ，1 9 9 8 年发布的u s b l 1 以及最新 标准u s b 2 0 ，此三种标准最大的差别就在于数据传输率方面，在其它方面也有不 同程度的改进。总体来说，就目前的u s b 2 0 而言，已经十分完善了，其传输速 率可以达到4 8 0 m b p s ，通过级联的方式可以连接1 2 7 个设备。u s b 数据线由两对 线组成，一对数据线，一对电力线，通过电力线可以为u s b 设备提供5 v 电压， 允许通过最大电流为5 0 0 m a 。u s b 的缺点是传输距离短，最长为5 米，而且由于 采用非同步的传输方式，容易产生严重的延时现象。 2 ) i e e e1 3 9 4 1 1 9 1 i e e e1 3 9 4 又称作“f i r e w i r e ”，即火线，是由苹果公司最早提出的，并于1 9 9 5 年由i e e e 正式制定的总线标准。由于i e e e l 3 9 4 的数据传输速率相当快，因此有 时又叫它“高速串行总线”。比之u s b 总线，i e e e l 3 9 4 的速度显然要高出一大 截，最新的p 1 3 9 4 b 标准的速度高达8 0 0 m b p s ，而将来更是会达到1 6 g b p s 。 1 e e e l 3 9 4 最多可以级联6 3 个设备。l e e e l 3 9 4 传输线中有三对线，其中两对为双 绞线，用于数据传输：还有一对为供电线，可以提供8 4 0 v 电压，最高电流可达 1 5 a 。i e e e l 3 9 4 的传输距离同样很短，最长仅为4 5 米，而且目前支持的设备还 很少。 3 ) 基于i p 的网络传输 自2 0 世纪9 0 年代以来，基于i p 的i n t e r a c t 网络得到了飞速发展【2 0 1 。i n t e m e t 加速了全球信息革命的进程，正在改变着我们的工作和生活。可以毫不夸大地说， i n t e m e t 是自印刷术以来人类通信方面最大的变革。基于i p 的网络的优点有： 不需要铺设专用的通信介质，只需借助现有的互联网基础设施就能将信息传 送到任何需要的地方： 有比较完善的t c p i p 协议支持，而且通信协议和实现协议的软件都是开放 盎勺、标准化的； 传输速度快，随着千兆甚至万兆以太网和光网络的迅速发展，传输带宽不断 增加： 传输距离大，几乎可以传遍世界每个角落。 随着i p 网络的迅猛发展，越来越多的人开始考虑将i p 网络作为视频传输的 媒介，这主要有以下四个原因：一是采用i p 网络可以实现视频和数据的共网传输； 二是与基于数字电缆的传输方式相比，可以实现更高的上行传输速率；三是i p 网 的基础设施已日趋完善，且带宽资源不断增加，这也就意味着采用i p 网络传输视 频的带宽升级更便利；四是i p 网络现有的交换技术可以很好地满足不论是广播还 是点播等多种视频服务模式的需要。 用口网络传输视频数据首先要解决的就是视频系统与口网络的接口问题， h2 6 4 视频压缩熵编码和网络传输的研究 因此，本文把视频数据的网络传输接口作为本文的主要研究对象。 o 4 课题研究意义 h 2 6 4 a v c 视频压缩编码标准代表了当前业界最先进的视频压缩技术，这首 先体现在其压缩效率的显著提高。在相同的重建图像质量下，h 2 6 4 比m p e g 4 平均节约了大约4 0 的码率，比h 2 6 3 平均节约了大约5 0 2 1 】。h 2 6 4 获得优越 性能的代价是计算复杂度的大幅增加，用一般的处理芯片难于达到实时编解码的 要求。由于现场可编程门阵列( f p g a ) 具有可重复配置、集成度高、运算速度 快等优点，非常适合视频压缩算法的实现，用f p g a 来实现h 2 6 4 压缩编码逐步 成为了研究的焦点，具有很高的研究和实用价值。 另一方面，综观数字电视、视频会议、新一代移动通信、宽带网络通信、家 庭消费电子等蓬勃发展的高技术产业群，其共性技术集中在以音视频为主要内容 的多媒体通信技术。在广播数字化、网络宽带化、通信无线化、存储高密化的大 趋势下，多媒体技术正在进入流媒体的新时期，这也对视频压缩编码提出了新的 要求网络适应性。由于h 2 6 4 引入了网络抽象层的概念，从而具有很强的网络 适应性，非常适合网络传输。因此结合嵌入式i n t e m e t 技术，为h 2 6 4 编码器提 供一个网络传输接口，具有广阔的应用前景。 0 5 本文的主要研究工作及内容安排 本文的研究工作主要分两大部分：h 2 6 4 熵编码及其f p g a 实现的研究和 h 2 6 4 编码器网络接口的软硬件设计。 首先，本文第一章研究了应用在h 2 6 4b a s e l i n ep r o f i l e 中的熵编码技术u v l c 和c a v l c 在此基础上结合e d a 技术，基于a l t e r a 公司的f p g a 产品c y c l o n e i i 芯片，用v e r i l o gh d l 语言实现了其中三个核心模块的设计一一指数哥伦布 ( e x p g o l o m b ) 编码模块、4 x 4 变换系数块幅度值编码模块和变长码的拼接模块， 利用q u a r t u si i 进行了逻辑综合，并利用仿真工具m o d e l s i m 进行了验证。 本文在第二章中提出了一种基于a v r 单片机a t m e g a l 2 8 和网络控制芯片 r t l 8 0 1 9 a s 的低成本编码器网络传输接口的设计方案。同时结合实时多任务操作 系统g c o s i i 和嵌入式轻型网络协议栈p i p ，在上述硬件系统上搭建了多任务的 网络平台，编写了r t l 8 0 1 9 a s 的驱动程序，并利用v c + + 6 0 编写的测试程序对 系统的网络传输性能进行了测试。 最后一章是对本文研究工作的总结和展望。 h 2 6 4 视频压缩熵编码和网络传输的研究 1 h 2 6 4 熵编码及其f p g a 实现的研究 1 1 h 2 6 4 熵编码原理 由香农的无失真编码定理可知，在无干扰条件下，存在一种无失真编码方法， 使编码的平均长度与信源熵任意地接近，即无失真编码的平均码长存在一个下限 2 2 1 0 因此无失真编码又叫做熵保持编码，简称熵编码。通俗的来讲，熵编码就是 用较短的码字来表示经常出现的符号，而用较长的码字来表示不经常出现的符号， 以此来达到数据压缩的目的，因此又称为可变长编码。 h 2 6 4 中主要采用了三种熵编码技术刚! 在b a s e l i n ep r o f i l e 和e x t e n d e dp r o f i l e 中，对4 x 4 残差变换系数采用的是基于上下文的自适应可变长编码c a v l c ( c o n t e x t b a s e d a d a p t i v e v a i l a b l e l e n g t h c o d i n g ) ，而对其他的语法元素，如运动 矢量、量化系数差量、宏块类型、编码块模式c b p 、参考帧索引等都采用指数哥 伦布( e x p g o l o m b ) 编码；在m a i np r o f i l e 中采用的是基于上下文的自适应二进 制算术编码c a b a c ( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t l u n e t i cc o d i n g ) 。其中 c a b a c 采用的是算数编码，编码效率比前两种要高，但计算复杂度比前两者大 1 2 4 】1 2 5 】，不利于硬件实现。前两种熵编码用在几乎不收专利费2 6 1 的b a s e l i n ep r o f i l e 中，编码复杂度小口”，容易f p g a 实现，目前研究的也最多，因此下面只介绍前 两种熵编码的原理。对于c a b a c 的相关内容，可参考文献 2 8 、 2 9 】。 1 1 1 e x p g o l o m b 指数哥伦布编码e x p o o l o m b 是一种有固定结构的通用可变长编码 u v l c 3 0 】f 3 l l ，它使用一个有规律的可无限扩展的码字集，而不是为每一个编码元 素分配一个编码表。表1 - i 列出了e x p g o l o m b 编码表的前九个码字。 表i - 1 ：e x p g o l o m b 编码表 c o d en u mc o d e w o r d 01 l0 1 0 2 o l l 30 0 1 0 0 40 0 1 0 1 5 0 0 1 1 0 60 0 1 1 1 70 0 0 1 0 0 0 80 0 0 1 0 0 1 h 2 6 4 视频压缩嫡编码和网络传输的研究 从上面表中我们很容易看出e x p g o l o m b 的编码规则 【mz e r 0 s 【1 】【i n f o 】 ( 式1 1 ) 首先是m 位个前导0 ，接着一个比特固定为l ，然后是m 位的信息域i n f o 。 第一个码字没有前导0 和后缀信息域。每个码字的长度为( 2 m + 1 ) 位。其中m 和1 n f o 与待编码符号数的关系如下式： m = f l o o r ( 1 0 92 ( c o d e n u m + 1 ) )( 式l - 2 ) i n f o = c o d e n u m + 1 2 “( 式1 3 ) e x p g o l o m b 解码规则也很简单： 1 1 读出以l 为结束符的m 个o ； 2 ) 读出后面m 个i n f o 信息； 3 1 解出的c o d e _ n u m 为：i n f o 一1 + 2 ”： h 2 6 4 中的参数在进行e x p 。g o l o m b 编码之前必须先要映射到箩o d e n u m 。 h 2 6 4 中定义了三种映射的方式，如表1 2 所示，其中v 为要编码的参数。 表1 - 2 ：e x p - g o l o m b 映射方式 映射方式说明 无符号映射，c o d en u m = v ，用于宏块类型、参考帧索引等 一种将短码字截断的指数哥伦布码 有符号映射，用于运动矢量残差、q p 增量等。映射关系为( 如表1 - 3 所示) ： c o d e _ n t