（信号与信息处理专业论文）avs视频编解码标准的研究及其在dsp上的实现.pdf

北京邮电大学硕士学位论文摘要 a v s 视频编解码标准的研究及其在d s p 上的实现 摘要 数字视频多媒体技术由于其较高的质量和较强的抗误码性能，越来 越受到人们的欢迎。但数字视频多媒体的数据量巨大，网络有限的带宽 无法支持。需要首先对其进行压缩编码，然后才能进行存储和传输。因 此，视频编码技术在数字视频多媒体技术领域起着至关重要的作用。 a v s 作为我国自主研发的音视频编解码标准，是目前最先进的音视频压 缩编解码标准之一。它具有性能高、计算复杂度低、专利授权费用低等 优点，有广阔的应用前景。 d s p 作为一种专用的数据处理芯片，以其开发周期短、使用灵活、 代码可更新升级等特点，在视频编解码技术领域得到了广泛的应用。 b l a c k f i n 系列d s p 作为a d i 公司与i n t e l 公司联合开发的高性能的定点d s p 产品，特别适合应用于对功耗、运算能力等方面要求比较高的音频、视 频和通信领域。 将a v s 先进的编解码技术和稳定的d s p 处理器相结合，达到高效的 视频压缩性能，具有很高的工程意义和市场价值。本课题正是在这样的 背景下提出的。 本文首先对视频编码的基本理论和相关标准进行了介绍，然后重点 研究了a v s 视频编解码标准，包括a v s 视频标准主要技术、a v s 视频标 准与其他主流视频编解码标准的对比、a v s 视频标准的知识产权状况及 a v s 标准的发展前景等。同时对b l a c k f i n 系列d s p 的特点、结构和软硬件 开发环境等也做了简单介绍。 本文在详细研究b l a c k f i n 系y o d s p 和a v s 视频编解码标准特点的基 础上，以a d s p b f 5 6 1 评估开发板为核心完成编解码器硬件平台的设计。 并在嵌入式u c l i n u x 操作系统和b l a c k f i n 交叉编译环境下完成a v s 视频解 码算法在a d s p b f 5 6 1 上的移植。 本文以解码器优化为主线，针对a d s p b f 5 6 1 平台的软硬件特点， 对移植后的a v s 视频编解码算法进行了一系列的优化，包括编译器优 化、d m a 优化、算法流程优化、存储结构优化和汇编指令优化等。由于 核心解码模块的优化是解码器速度提高的关键，因此本文针对a v s 解码 器的特点，对a v s 视频解码器中的子像素插值、整数( 反) 变换、去块 效应滤波等核心功能模块进行了重点地分析和优化。测试结果表明，本 文所做优化工作大大提高了解码器效率，且解码图像主观质量良好，达 北京邮电大学硕士学位论文摘要 到了本课题预期的要求。 关键字：视频编解码a v sb l a c k f i nd s p 移植优化 北京邮电大学硕士学位论文 r e s e a r c ho fa v s d e 0e n c o d i n g d e c o d i n g s t a n d a r da n dr e a i i z 矧0 nb a s e do nd s p a b s t r a c t t h ed i g i t a lv i d e om u l t i m e d i at e c h n o l o g yr e c e i v e si n c r e a s i n ga t t e n t i o n f o ri t sh i g hq u a l i t ya n dh i g he r r o rr e s i l i e n c e b u ti tc o n t a i n se n o r m o u sd a t a a n dc o u l d n tb es u p p o r t e db yc u r r e n tn e t w o r kb a n d w i t h c o m p r e s s i o nm u s t b ed o n et om e e tt h er e q u i r e m e n t so fs t o r a g ea n dt r a n s p o r t s ov i d e oc o d i n g t e c h n o l o g yi sak e yi nt h ed i g i t a lv i d e om u l t i m e d i at e c h n o l o g yf i e l d a v si s av i d e o a u d i o e n c o d i n g a n d d e c o d i n g s t a n d a r d d e v e l o p e db yc h i n a i n d e p e n d e n t l y , a n di t i so n eo ft h em o s ta d v a n c e dv i d e oc o m p r e s s i o n s t a n d a r d st h a ta r ea v a i l a b l e i th a sm a n yg o o da d v a n t a g e s ，i n c l u d i n gg o o d p e r f o r m a n c e ，l o wc o m p l e x i t ya l g o r i t h m ，l o wp a t e n tl i c e n s i n gf e e sa n d s oo n w eh a v er e a s o nt of o r e c a s tt h a ta v sc a nf i n dm a n ya p p l i c a t i o nf i e l d s a so n ek i n do fs p e c i a ld a t ap r o c e s s i n gc h i p e s ，d s ph a sb e e nw i l d l y u s e di nv i d e oe n c o d i n g d e c o d i n gt e c h n o l o g yf i e l df o ri t ss h o r te x p l o i t a t i o n p e r i o d ，f l e x i b i l i t ya n du p d a t a b l ef e a t u r e s b l a c k f mf a m i l yd s p , w h i c hi s d e v e l o p e db ya n a l o gd e v i c e si n c a n di n t e lc o r p o r a t i o n ，i saf i x e d p o i n t d s p p r o d u c tw i t hh i g hp e r f o r m a n c e ，a n di ti sd e s i g n e ds p e c i f i c a l l yt om e e t t h eu p p e rc o m p u t a t i o n a ld e m a n d sa n dp o w e rc o n s t r a i n to fa u d i o ，v i d e oa n d c o m m u n i c a t i o n sd o m a i n i t i s s i g n i f i c a n ti nb o t he n g i n e e r i n ga p p l i c a t i o na n dm a r k e tv a l u et o c o m b i n ea d v a n c e d t e c h n i q u eo fa v sa n ds t a b l e d s pt o g e t h e rw h i c h a c h i e v e sab e t t e rv i d e oc o m p r e s s i o np e r f o r m a n c e t h i sp r o j e c ti s p u t f o r w a r di nt h i sb a c k g r o u n d t h ed i s s e r t a t i o nb e g i n sw i t ht h ei n t r o d u c t i o no ft h eb a s i ct h e o r i e sa n d r e l a t i v es t a n d a r d so fv i d e oc o d i n g a n dt h e ni tm a i n l yr e s e a r c h e sa v sv i d e o c o d i n gs t a n d a r d ，i n c l u d i n g m a i n t e c h n o l o g y o fa v sv i d e o s t a n d a r d ， c o m p a r i s o nb e t w e e na v sv i d e os t a n d a r da n do t h e rv i d e oc o d i n gs t a n d a r d s ， t h ei p r ( i n t e u e c t u a lp r o p e r t yr i g h t s ) s t a t u sa n dt h ed e v e l o p m e n tp r o s p e c to f a v sv i d e os t a n d a r d ，e t c i ta l s oi n t r o d u c e st h ep r o p e r t i e s ，s t r u c t u r ea n d d e v e l o p m e n te n v i r o n m e n to fb l a c k f i nf a m i l yd s p i i i 北京邮电大学硕士学位论文 e m p l o y i n ga d s p b f 5 6 1e z k i tu 【t ee v a l u a t i o nb o a r da n da v s v i d e os t a n d a r d ，t h ed i s s e r t a t i o nd e s i g n st h ec o d e c ( c o d e r - d e c o d e r ) h a r d w a r ep l a t f o r m r e l y i n go ne m b e d d e du c l i n u xo s ( o p e r a t i n gs y s t e m ) a n db l a c k f mc r o s sc o m p i l i n ge n v i r o n m e n t 。斟sv i d e oc e d e c a l g o r i t h mi s t r a n s p l a n t e dt oa d s p b f 5 6 1p l a t f o r m a c c o r d i n gt ot h ep r o p e r t i e so fa d s p b f 5 61 ，t h ed i s s e r t a t i o no p t i m i z e s t h ea v sv i d e oc o d e ca l g o r i t h mi n v o k i n gc o m p i l e ro p t i m i z a t i o n ，d m a o p t i m i z a t i o n ，a l g o r i t h mf l o wo p t i m i z a t i o n ，s t o r a g es t r u c t u r eo p t i m i z a t i o n a n da s s e m b l yi n s t r u c t i o n so p t i m i z a t i o n t h eo p t i m i z a t i o ni sc o n c e n t r a t e do n d e c o d e ro p t i m i z a t i o n b e c a u s et h eo p t i m i z a t i o no fc o r ed e c o d e rm o d u l ei sa k e yt oi m p r o v et h es p e e do fd e c o d e r t h ed i s s e r t a t i o nm a i n l ya n a l y z ea n d o p t i m i z et h ec o l em o d u l e so fd e c o d e r , i n c l u d i n gs u b - p i x e li n t e r p o l a t i o n ， i n t e g e rt r a n s f o r m ( i n v e r s et r a n s f o r m ) ，d e b l o c k i n gl o o p f i l t e r , e t c t e s tr e s u l t s s h o wt h a tt h e o p t i m i z i n g m e t h o d sp u tf o r w a r di nt h i sd i s s e r t a t i o n s i g n i f i c a n t l yi m p r o v et h ee f f i c i e n c yo f 黼sd e c o d e ba n dt h es u b j e c tq u a l i t y o fd e c o d e di m a g ei sg o o d i ta l s om e e t st h er e q u i r e m e n t so ft h ed e s i g n k e yw o r d s ：v i d e oe n c o d i n g d e c o d i n ga v sd s p t r a n s p l a n t o p t i m i z a t i o n w 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师的指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献 均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 杨：硅 日期： 2 1 2 z ：三：箪 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借阅；学 校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段 保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论文 注释：本学位论 本人签名： 导师签名： 勿厍 菇缘锡 用本授权书。 日期：2 丝星：三：兰笙 日期：堕星：! ：! 北京邮电人学硕士学位论文a v s 视频编解码标准的研究及其在d s p 上的实现 准中，双向预测帧b 帧都只有一个前向参考帧和一个后向参考帧，而前向预测帧p 帧 则只有一个前向参考帧。h 2 6 4 a v c 标准充分地利用视频图像之间的时域相关性， 允许p 帧和b 帧有多个参考帧，最多可以有3 1 个参考帧1 1 3 | 。多参考帧技术在提高压 缩效率的同时也将极大地增加存储空间与数据存取的开销。a v s 视频编解码标准与 h 2 6 4 a v c 标准一样采用了多参考帧技术。所不同的是，a v s 视频编解码标准中p 帧 可以利用至多2 帧的前向参考帧，而b 帧采用前后各一个参考帧。 a v s 的p 帧有5 种预测模式：p is k i p ( 1 6 x 1 6 ) 、p 11 6 x 1 6 、p i1 6 x 8 、p 18 x 1 6 和 p 18 x 8 。对于后4 种预测模式的p 帧，每个宏块由2 个候选参考帧中的1 个来预测，候 选参考帧为最近解码的i 帧或p 帧。对于后4 种预测模式的p 场，每个宏块由最近解码 的4 个场来预测。 a v s 的b 帧的双向预测使用了对称模式( s y m m e t r i cm o d e ) 、直接模式( d i r e c tm o d e ) 和跳过模式( s k i pm o d e ) 。使用对称模式时，码流只需要传送前向运动矢量，后向运 动矢量可由前向运动矢量导出，从而节省后向运动矢量的编码开销。对于直接模式， 当前块的前、后向运动矢量都由后向参考图像相应位置块的运动矢量导出，无需传 输运动矢量，因此也可以节省运动矢量的编码开销。跳过模式的运动矢量的导出方 法和直接模式的相同。采用该模式编码的块，其运动补偿的残差也均为零，即该模 式下宏块只需要传输模式信号，而不需要传输运动矢量、补偿残差等附加信息。 3 2 4 子像素插值 a v s 视频编解码标准帧间预测与补偿中，亮度和色度的运动矢量精度分别为1 4 和1 8 像素，因此需要相应的亚像素插值。 虽然a v s 视频与h 2 6 4 a v c 标准都采用了1 4 像素精度的运动补偿技术，但 h 2 6 4 a v c 标准采用6 抽头滤波器进行半像素插值并采用双线性滤波器进行1 4 像素 插值。而a v s 采用4 抽头滤波器进行半像素插值和1 4 像素插值，在不降低性能的情 况下减少插值所需要的参考像素点，减小了数据存取带宽需求，这在高分辨率视频 压缩应用中是非常有意义的。同时，采用这种滤波器也避开了h 2 6 4 a v c 的专利技 术。 3 2 5 环路滤波 基于块的视频编码有一个显著特点，就是重建图像存在块效应，特别是在低码 率的情况下。a v s 视频编解码标准定义了自适应环路滤波器来消除方块效应，改善 重建图像的主观质量，同时可提高编码效率。自适应环路滤波器对亮度块和色度块 的边界进行滤波，而图像和条带边界不滤波。根据块边界两侧的块类型先确定块边 界强度b s ( b o u n d a r ys t r a a g t h ) 值，然后对不同的b s 值采取不同的滤波策略。 由于a v s 变换和最小预测块的大小都是8 x 8 ，因此环路滤波的块大小也是8 x 8 。 1 5 北京邮电大学硕十学位论文 a v s 视频编解码标准的研究及其在d s p 上的实现 与h 2 6 4 的4 x 4 环路滤波块相比，a v s 块边界数量大大减少。另外，b s 值和改变的像 素值的数量也都有所减少1 7 1 。h 2 6 4 a v c 标准的环路滤波器滤波时使用边界左右各4 个像素( 共8 个像素) ，而a v s 视频标准只使用左右各3 个像素( 共6 个像素) ，实现复杂 度低于h 2 6 4 的环路滤波器。 3 2 6 熵编码 在典型的视频编解码技术中，运动估计和补偿技术用来减少视频图像的时间冗 余，变换和量化技术用来去除视频图像的空间冗余，而使用熵编码技术的目的是为 了进一步去除编码码字的统计冗余度。 a v s 视频编解码标准中，所有语法元素码均基于指数哥伦布码或定长码而构造。 定长码用来编码具有均匀分布的语法元素，而指数哥伦布码用来编码可变概率分布 的语法元素。a v s 中指数哥伦布码编码所有可变分布的语法元素，而h 2 6 4 a v c 标 准中指数哥伦布码编码变换系数以外的可变分布的语法元素。 采用指数哥伦布码的优势在于：一方面，它的硬件复杂度比较低，可以根据闭 合公式解析码字，无需查表；另一方面，它可以根据编码元素的概率分布灵活地确 定以k 阶指数哥伦布码编码，如果燃得恰当，则编码效率可以逼近信息熵。 a v s 采用基于上下文的2 d v l c ( v a r i a b l el e n g t hc o d e ，变长编解码) 来编解码 8 x 8 块变换系数，基于上下文的意思是用已编码的系数来确定v l c 码表的切换。在 之前的视频编解码标准m p e g 2 4 等中，已用到2 d v l c ，对不同类型的变换块分别 用不同的v l c 码表编码，例如有帧内块的码表、帧间块的码表等。然而，块中的变 换系数映射成z i g - z a g 扫描后i 拘( 1 e v e l ，r u n ) 序列时，l e v e l 、r u n 不是独立事件，而存在 着很强的相关性。a v s 视频编解码标准充分利用了上下文信息，l e v e l 、r u n 采用二维 联合编解码，并根据当前l e v e l 、r u n 的不同概率分布趋势，自适应改变指数哥伦布码 的阶数，以达到最佳的编码效率。 3 3a v s 视频编解码标准与国际主流视频编解码标准技术对比 上小节介绍了a v s 视频编解码标准的主要技术，本小节将对a v s 视频编解码标 准关键技术进行汇总整理，并与h 2 6 4 a v c 、m p e g 2 标准做一简单的技术对比，如 表3 3 所示： 表3 3a v s 视频编解码标准与h 2 6 4 a v c 、m p e g 2 标准的技术对比 ： m p e g - 2 视频 h 2 6 | | a v c a v s 视频 技术点 只在频域内进行d c 基于4 4 块，9 种亮度基于8 8 块，5 种亮度 帧内预测 系数差分预测 预测模式，4 种色度预预测模式，4 种色度预 1 6 北京邮电人学硕士学位论文a v s 视频编解码标准的研究及其在d s p 上的实现 测模式测模式 多参考帧预测 只有1 帧最多1 6 帧最多2 帧 1 6 1 6 ， 1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 ，1 6 x 1 6 ，1 6 x 8 ，8 x 1 6 可变块大小运动补偿 1 6 x 8 ( 场编解码) 8 x 8 ，8 x 4 ，4 x 8 ，4 x 4和8 x 8 仅在半像素位置进行 1 2 像素位置采用6 拍1 忽像素位置采用4 拍 子像素插值滤波，1 4 像素位置线滤波，1 4 像素位置采 双线性插值 性插值用4 拍滤波、线性插值 4 x 4 整数变换，编解码 8 x 8 整数变换，编解码 8 x 8 浮点d c t 变换，端都需要归一化，量化 端进行变换归一化，量 变换量化化与变换归一化相结 除法量化与变换归一化相结合， 合，通过乘法、移位实 通过乘法、移位实现 现 单一v l c 码表，适应 自适应2 d v l c ，编码 熵编码 c m ，c c a b a c 块系数过程中进行多 性差 码表切换 基于4 x 4 块边缘进行， 基t - 8 8 块边缘进行， 滤波强度分类繁多，滤 简单的滤波强度分类， 环路滤波无滤波时使用边界左右 波时使用边界左右各 各3 个像素( 共6 个像 4 个像素( 共8 个像素) 素) 3 4a v s 标准知识产权状况分析与研究 3 4 1 国际主流视频编解码标准知识产权状况 从2 0 0 2 年发生的d v d 专利收费事件，到日本厂商在媒体上透露的数码相机专利 收费意向，再到国际上欧洲厂商向韩国企业征收g s m 系统专利费，都在提醒我们关 注国内数字音视频产业的潜在风险。 如前所述，国际上视频编解码标准主要有m p e g 系列标准和h 2 6 x 系列标准。 m p e g 各主要标准专利费用及收费单位如表3 4 所示。 表3 4 m p e g 各标准专利费用及收费单位 标准名称专利收费模式收费单位 m p e g 1不收费无 2 0 0 2 年之前，家电设备6 美元台，解码设备4 美元台。2 0 0 2 1 9 9 6 年6 月1 日以后， m 田e g 2 年之后，家电设备2 5 美元台，解码设备2 5 美剐台。 由m p e g l a 收费。 m p e g 一4 目前规定每台解码没备需要交给m p e g - l ao 2 5 美元，编 咿e g l a 1 7 北京邮电大学硕士学位论文a v s 视频编解码标准的研究及其在d s p 上的实现 码解码设备还需要按时间交费( 4 美分天= 1 2 美元月 = 1 4 4 美元年) ，以后如何收费还是个未知数。 对于终端产品制造厂商，每个编码器、解码器或编解码器 的费率为0 2 0 美元台。视频节目运营商提供符合 h 2 c v h 2 6 4 a v c 的视频节目，需要支付加盟费，即根据节目、 n 心e g l a 订户和本地发射台数等参数来对运营商收费，每个运营商 v i a 每年3 5 0 万美元封顶。 m p e g l a 与m p e g 组织无关，是一家代表m p e g 专利持有人的意愿代理专利收 费的标准许可代理公司。它于1 9 9 6 年成立，1 9 9 8 年1 2 月通过美国司法部审议认可( e c c o m f o r tl c t t 哪。1 9 9 7 年，m p e g l a 启动m p e g - 2 许可业务。表3 5 列举了目前m p e g 一2 的主要持有者及其所属国家和所持有的专利数。 表3 5m p e g 2 的主要持有者及其所属国家和所持有的专利数 公司名公司所在国家专利数 s o n y日本1 3 0 t h o m s o nl i c e n s i n gs a 美国 9 9 p h i l i p s荷兰 8 8 g et e c h n o l o g yd e v e l o p m d 、i t 美国 5 6 m i t s u b i s h l日本5 0 m a t s u s h l l a日本3 6 v i c t o rc o m p a n yo f j a p a n ，l i m i t e d ( j v c )日本 3 2 g e n e r a l 【n s t r u m e n tc o r p o r p 盯i o n美国 2 1 s a m s u n ge l e c t r o n i c sc o ，l t d韩国 1 4 s c i e n t i f i ca t l n t a美国1 3 注：该表统计的是整个m p e g 2 标准( 包括系统、视频、音频等部分) 的情况。 在对m p e g 2 收费取得成功的情况下，2 0 0 2 年，m p e g l a 启动了m p e g - 4v i s u a l 和m p e g 4s y s t e m 许可业务，对m p e g 4 标准制订了新的收费模式：每台解码设备 0 2 5 美元，同时还要需要按时间交费( 2 美分d , 时) 。这意味着每个用户如果每天看 两个小时的节目，每年需要缴纳约1 5 美元。此举一出，全球哗然。美国在线时代华 纳代表媒体运营商率先反对；日本在选择移动电视接收标准时，明确表示由于专利 收费问题，不选择m p e g - 4 标准。因此，m p e g - 4 由于收费问题，成了一个濒临死亡 的标准。 随着h 。2 6 4 a v c 标准的制定，m p e g l a 一直在筹划其收费模式。虽然抗议之声 不断，但是情况未得到根本改观。2 0 0 3 年1 1 月1 7 日，m p e g l a 宣布h 2 6 4 a v c 的必 要专利权人就联合许可条款达成了协议。根据这一政策，需要缴纳专利费的厂商有 两种类型：编解码产品制造商和视频节目运营商。对于终端产品制造厂商，每个编 码器、解码器或编解码器的费率为0 2 0 美_ 元台。视频节目运营商提供符合h 2 6 4 a v c 的视频节目，需要支付加盟费，即根据节目、订户和本地发射台数等参数来对运营 商收费，每个运营商每年3 5 0 万美元封顶。 m p e g l a 的收费政策对广播界不啻是当头一桶凉水。欧广联( e b u ) 随后发表 1 8 北京邮电大学硕士学位论文 a v s 视频编解码标准的研究及】在d s p 上的实现 2 0 0 3 年度第9 6 号声明，表示“对m p e g l a 关于a v c 的收费政策十分失望 ，声明表 示“尽管数字广播领域目前采用的是m p e g - 2 ，但a v c 一直被期望为第二代数 字电视标准，以满足高清晰度电视和通过u m t s ( u n i v e r s a lm o b i l e t e l e c o m m u n i c a t i o n ss y s t e m ) 或a d s l ( a s y m m e t r i cd i g i t a ls u b s c r i b e rl i n e ) 提供的 非传统视频服务的要求。”“十分遗憾的是，e b u 看到a v c 的许可条款对广播商是极 端不合理的。该声明宣称，如果坚持这种收费政策，e b u 将建议各成员不采用 h 2 6 4 a v c 标准，建议d v b 标准中不提及任何有关h 2 6 4 a v c 的内容1 1 0 1 对于中国的广播电视系统来说，近两千家电视台和大大小小的有线电视网需要 缴纳的专利费总额十分庞大，特别是对于p p v ( p a y p e r - v i e w 按收视次数收费) 等新 兴的数字电视业务来说，3 5 0 万美元的封顶费对中国正在起步的媒体运营商来说几 乎没有意义。中国数字电视运营产业选择h 2 6 4 a v c 标准仍将面临巨大负担。 从以上的分析可以看出，音视频编解码标准需要综合考虑制造商、运营商和用 户三个方面的利益，对音视频产品制造商和媒体运营商的过高收费都是难以接受 的。m p e g 一2 标准已经制定十年，而且收费较高( 2 5 美元) ，不久会退出历史舞台。 各种新标准对设备的收费降低了一个数量级，这对音视频制造业来说是一个好消 息。但是，开始对运营商征收可观的许可费必将引起新的争议。 表3 6 是各典型视频标准的专利涉及的国家地区及其专利数量。从表中可以看 出，美国、日本、韩国、德国和法国等是所有专利池中拥有专利数量最多的国家； m p e g 2 涉及的专利数量最多，地域最复杂，m p e g - 4 次之。但一种观点认为，随着 h 2 6 4 a v c 的推广和实施，新的专利池和主张权利的公司会逐渐增多，目前 h 2 6 4 a v c 的专利池只是冰山一角，最后很可能的结果是：h 2 6 4 a v c 专利最多， m p e g 4 次之，m p e g 2 最少。 表3 6 典型视频标准的专利涉及的国家地区及其专利数量 1 9 北京邮电大学硕士学位论文a v s 视频编解码标准的研究及其在d s p 上的实现 3 4 2a v s 标准知识产权状况 一般的专利许可分为4 个层次： 第一层是不许可，即要成为国标就不可能采用一个不被许可的技术； 第二层是专利的公平非歧视性原贝j j ( r a n d ) ，在公平非歧视条件下的合理许可 是国际标准知识产权政策的底限； 第三层是进入“专利池 的打包许可，即所有入池专利均以最有竞争力的价格 获得整体许可，至于权利人如何分享利益，则由专利入池框架的内部协商解决； 第四层是r a n d 的免费许可，有竞争力的许可费用原则将使许可具有国际同类 标准的竞争优势。 基于m p e g 2 标准的应用，1 个机顶盒或1 个内置m p e g 2 的电视机收费2 5 美元。 m p e g - 4 和h 2 6 4 a v c 不仅要收软硬件的专利费，还要收取节目点播费。而我们的 a v s 音视频编解码标准对节目提供商和运营商免费，只对a v s 编解码产品收费。额 度为每台设备1 元人民币左右，为国际数字音视频市场提供了更好的选择。 据有关资料，音视频编解码的市场规模( 包括高清和标清数字电视、网络电视、 多媒体通信、移动视频、口t v 等产业) 将在3 0 0 0 亿元以上，而目前我国音视频领域 被m p e g 2 、m p e g - 4 、h 2 6 4 a v c 等国外技术垄断，如果继续采用这些标准，蛩j 2 0 1 5 年电视数字化完成，相关企业将累计缴纳不少于6 亿美元的专利使用费，其他总计 费用将达1 5 亿美元，而采用a v s 标准专利费则少得多1 1 2 1 0 可见，中国的音视频行业如果采取“洋标准”作为技术标准，则欧美及同韩企 业会通过专利费遏制中国音视频产业的发展，可能导致另一场类似2 0 0 2 年d v d 事件 的专利战。 a v s 作为具有我国自主知识产权的第二代数字音视频信源编解码标准，采用的 是本领域的主流技术混合编码方案。a v s 制定之初就认真分析了国内外标准和 知识产权领域的经验教训，特别是标准制订和专利授权割裂的弊端，走出一条技术、 标准、知识产权协调发展的道路。其基本原则为：为保证标准的先进性，a v s 标准 不排斥专利技术，但专利进入a v s 标准必须遵守一定的条件，将专利的利益索求限 制在一个合理的水平，以保证标准的公益性。这一原则奠定了a v s 将来的市场基础。 a v s 通过开放的。一站式入池 许可策略，具有实际贡献的专利技术、愿意加入专 利池者或免费许可者只要“入池一，即可实现知识产权保护1 1 4 1 。 从目前a v s 视频编解码标准的工作进展来看，面对视频编解码这样专利丛生的 领域，制定知识产权自主的标准仍然是可能的。之所以能做到这一点，原因在于： 1 技术进步过程是长期的，对视频编解码的研究已经五十多年，而专利只保 北京邮电大学硕士学位论文a v s 视频编解码标准的研究及其在d s p 上的实现 护2 0 年内的发明，也就是说，我们至少有3 0 年的公共知识可以使用，而这 些公共知识通常提供了标准所需要的平台性技术； 2 即使是2 0 年内的新技术也要一分为二；很多新技术也是可使用的开放技术， 并非专利； 3 对于仍在2 0 年保护期的专利技术，则有四种处理方案：a ) 专利不一定是有 效专利，如果可以找到更早的公开文献；b ) j i i 果专利权人愿意以免费方式 或加入a v s 专利池统一许可，则可以采用；c ) 要解决同样问题，基于公开技 术很多时候可以找到更好的方案或替代方案，并形成自主专利；d ) 剩余专 利很多是技术贡献不大的“小专利”，在标准中可以不采用，以免因小失大 ( 使得标准许可代价过高) 。而采纳了很多“小专利正是目前国际标准遇 到许可障碍的主要原因( 因为国际标准的基本原则是r a n d 原则即合理非 歧视原则) 1 1 2 1 。 a v s 标准是我国科研机构和企业的集体创新。在a v s 视频标准制订过程中，共 收到各种技术提案2 0 0 多项。为了形成优化的技术方案，视频专题组设定了详细的 评估条件，准备了反映各种典型情况的测试序列，评估的基本依据是技术提案对编 码效率的贡献、实现复杂度和知识产权情况等。经过详细地讨论、分析、对比测试， a v s 视频标准最终稿包含了从2 0 0 多个提案中选出来的4 2 个提案，这些提案分别来自 9 个成员单位，包含了我国一批自主技术1 。 数字音视频编解码技术标准工作组知识产权调查组( 以下简称知识产权调查 组) 就a v s 标准所含技术的知识产权状况做了深入的调查分析，并完成了专利分析 报告。a v s 视频标准的定位是，立足国内，走向世界。因此，在专利问题上知识产 权调查组分别考虑了a v s 在中国使用时的专利授权问题和a v s 在全世界使用时的专 利授权问题，在如下三个层面展开工作： 1 a v s 视频标准在中国的专利现状分析； 2 a v s 视频标准在世界的专利现状分析； 3 设计a v s 专利池规则，采用“专利池”对a v s 标准用到的必要专利提供简单 和低价的授权途径，以保证a v s 标准可以被顺利推广。 知识产权调查组在参考包括信息技术先进音视频编解码第二部分：视频 ( 送审稿) 、a v s 工作组会员单位历次会议的提案、相关国际标准m p e g 和j v t ( h 2 6 4 ) 及其提案与专利报告、本领域公开发表的论文以及专利文献等资料的基础 上，重点分析了与a v s 标准覆盖的技术领域相关的中国以及全球范围内的专利及已 公布的专利申请情况。 通过对国际相关专利的认真仔细的调查分析，知识产权调查组我们认为a v s 标 准视频部分相关技术在知识产权问题上可大致分为以下四种类型： 1 a v s 采用了完全自主的技术，如运动矢量预测等； 2 l 北京邮电大学硕士学位论文 a v s 视频编解码标准的研究及其在d s p 上的实现 2 a v s 采用了自主的技术和公开发表的技术，如双向预测编码等； 3 a v s 采用的技术与某些专利有交叉，但也拥有自主技术，如环路滤波等； 4 a v s 采用了a v s 工作组以外的专利技术，如缓冲区管理等。 知识产权调查组对a v s 标准视频部分各项技术的国际专利情况总结如表3 7 所 示。从表中可以看出，a v s 标准与在隔行视频编码、子像素插值、多参考帧预测、 帧内预测、环路滤波、缓冲区管理、传输解码和显示顺序等领域的部分专利存在交 叉，但为数不多。在另外的一半技术类别中，a v s 标准采用了完全自主或开放技术。 从总体上看，自主技术占据明显优势。也就是说，a v s 视频标准作为国际标准，掌 握技术主动权，在全球范围内应用推广时，虽然面临的一定专利许可障碍，但有构 建“专利池”的良好基础。 表3 7a v s 视频编码标准专利情况( 国际) 技术领域调查专利数结论 a v s 采用了自主技术、更早的公开发表技 双向预测编解码1 5 术和过期专利技术 a v s 采用的技术与某些专利有交叉，但也 隔行视频编解码 2 9 拥有自主技术，并可找到更早的公开技术 运动欠鼍预测 5 a v s 采用了完全自主的技术 子像素插值 4 a v s 拥有自主技术，但与某些专利有交义 多参考帧预测 3 a v s 拥有自主技术，但与某些专利有交叉 可变块大小预测 5 公开发表的技术 帧内预测 2 a v s 拥有自主技术，但与某些专利有交叉 变换和量化 6 a v s 采用自主技术和公开发表的技术 a v s 拥有自主技术，也与某些专利有交叉， 熵编解码 8 但所涉及的专利即将过期 环路滤波 1 6 a v s 与某些专利有交叉 缓冲区管理 4 a v s 与这娑专利有交义 图像组头 l a v s 采用了完全自主的技术 防伪开始码2a v s 采崩了完全自主的技术 传输解码和显示顺序 1a v s 采朋的技术与某衅专利有交叉 时间参考索引 l 公开发表的技术( h 2 6 1 ) 合计1 0 2 同时，为了全面调查所有可能相关的专利，知识产权调查组也对视频编解码领 域的所有中国专利进行了“拉网式”检索、调查和分析，所用检索系统为国家知识 产权局知识产权出版社提供的“中外专利信息服务平台 ，得到的a v s 标准视频部分 的中国专利情况总结如表3 8 所示。 表3 - 8a v s 视频编码标准中国专利情况 专利权人授予公开专利个数设计技术内容备注 双向预测、运动估计、 中科院计算所 2 4 子像素插值、变换、 熵编码、环路滤波 北京邮电大学硕士学位论文a v s 视频编解码标准的研究及其在d s p 上的实现 清华大学6隔行扫描、视频结构 运动估计、子像素插 浙江大学 1 2 值、变换、熵编码 华中科技大学 5 环路滤波 北京工业入学 6 环路滤波、帧内插值 华为 4 帧内编码 上广电集团 3 起始码 帧内预测、子像素插 其他 7 值、环路滤波、隔行a v s 国际会员 扫描 合计 6 7 通过对国际、国内相关专利的认真仔细的调查分析，知识产权调查组认为“a v s 自主专利技术和公开技术构成了a v s 标准的主体。a v s 视频标准作为国家标准，我 国在知识产权方面具有明显的技术主动权。在国际范围内，a v s 自主技术也优势明 显，具有在国际范围内推广应用的良好基础，国际上本领域的重要跨国企业均已参 j j i a a v s 工作组，他们拥有的专利技术愿意加入a v s 专利池进行许可。州1 0 在2 0 0 3 年1 2 月2 0 同在北京举办的“中国数字音视频标准与产业论坛”上，m p e g 主席1 2 m a d o 先生明确表示，音视频标准面临的障碍主要有两个：一是收费组织苛刻 的许可政策扼杀了新的标准( m p e g _ 4 甚至a v c ) ，而标准制订组织无能为力；二是 数字媒体版权保护技术跟不上( 例如m p 3 ) ，影响了内容提供商的利益。基于这一点r 他认为a v s 有很大的历史性机会，而且中国快速发展的市场和可控的专利管理政策 为a v s 的壮大提供了土壤。 3 5a v s 标准发展前景 a v s 是一套适应面十分广阔的技术标准，其特色是在同一编码框架下，针对有 明显不同的应用制定不同的信源压缩标准，尽可能减少技术的冗余，从而降低a v s 视频产品的设计成本、实现成本和使用成本1 1 1 1 0a v s 标准是第二代音视频编解码标 准的上选，其优越性主要表现在以下几个方面： 1 a v s 是基于我国创新技术和公开技术的自主标准，技术方案简洁，芯片实 现复杂度低，达到了第二代标准的最高水平，可节省一半以上的无线频谱 和有线信道资源； 2 a v s 通过