（机械电子工程专业论文）avsh264数字视频解码soc芯片中视频后处理系统的设计与研究.pdf

西华大学硕士学位论文 a v s h 2 6 4 数字视频解码s o c 芯片中 视频后处理系统的设计与研究 机械电子工程专业 研究生龚迪军指导教师刘建新 数字电视，特别是高清晰度数字电视，是电视接收系统的发展潮流。我国 计划于2 0 1 5 年前完成对现有的3 2 亿台模拟电视接收机进行数字化改造的工 作，或加装数字机顶盒、或置换为数字电视接收机。数字视频解码芯片是数字 电视等视听设备的核心器件，目前绝大多数仍依赖国外进口。为了打破国外的 技术垄断，推动具有中国自主知识产权的音视频编解码标准a v s ( a u d i ov i d e o c o d i n gs t a n d a r d ) 的发展，并且为了兼容目前最先进的视频编解码标准h 2 6 4 ，本 文结合中科院计算所宁波分所研发a v s h 2 6 4 数字视频解码s o c 芯片的需要， 对视频后处理子系统的设计进行深入研究。 本文以视频后处理系统的研究为立足点，对外部数据存储系统设计与1 2 c 总线控制器的设计做了重点研究。 视频后处理系统设计中，提出了一种硬件成本低、抗混叠性好、视频缩放 效果好的算法，实际运用到图像缩放模块中；设计了为电视用户提供良好的界 面和更灵活的人机交互的视频屏幕显示单元2 d 图像加速器，方便用户选择 节目表、节目信息、频道、音量、播放模式等，取得了很好的效果。 在外部数据存储系统设计中，以宏块为单位的帧缓存组织形式是针对视频 解码以宏块为单位进行运算的特点设计的，相比按像素行的存储方式，节省了 8 7 1 的s d r a m 激活和关闭次数，有效降低了访存延时，从而提高了访存效 率，满足s o c 对大量数据的需求。 1 2 c 总线控制器设计中，根据1 2 c 总线的时序标准，对不同显示模式向 a d v 7 3 0 3 a 单向发送不同的1 2 5 个字节配置信息，实现了a d v 7 3 0 3 a 亮度和色度信 号数模转换的功能。 我们设计的视频解码s o c 芯片在主时钟频率1 3 3 m l t z 下，支持a v s 视频基准 西华大学硕士学位论文 档次6 0 级别和h 2 6 4m a i np r o f i l e ，支持分辨率为1 9 2 0 1 0 8 0 每秒3 0 帧的高清实 时解码，并能在视频后处理系统处理下，满足对视频图像进行缩放和显示的实 时性要求。 关键词：视频解码视频后处理系统s d r a m 控制器a v s h 2 6 4 图像加速 器 西华大学硕士学位论文 r e s e a r c ha n dd e s i g no nv i d e op o s t - p r o c e s s i n g s y s t e mi na v s h 2 6 4d i g i t a lv i d e od e c o d i n gs o c c h i p m e c h a t r o n i c se n g i n e e r i n g p o s t g r a d u a t eg o n gd i j u ns u p e r v i s o rl i uj i a n x i n d i g i t a lt v , e s p e c i a l l yh i 曲一d e f i n i t i o nd i g i t a lt v , i sad e v e l o p i n gd i r e c t i o ni n t e l e v i s i o nr e c e i v e rs y s t e m t h ee x i t i n g3 2 0m i l l i o na n a l o gt v ss e t sw i l lb er e p l a c e d b yd i g i t a lt vs e t so rn e e dd i g i t a ls e t t o pb o x e st or e c e i v et h ed i g i t a lp r o g r a m si n c h i n ab e f o r ey e a r2 015 d i g i t a lv i d e oe n c o d i n ga n dd e c o d i n gc h i p ，o n eo ft h eb a s i c c o m p o n e n t so fd i g i t a l - v i d e od e v i c e s ，i ss t i l lr e l y i n go ni m p o r t i no r d e r t ob r e a kt h e m o n o p o l yo ff o r e i g nt e c h n o l o g ya n dp r o m o t et h ed e v e l o p m e n to fc h i n e s ea u d i o a n dv i d e oe n c o d i n g d e c o d i n gs t a n d a r da v s ( a u d i ov i d e oc o d i n gs t a n d a r d ) w i t h i n t e l l e c t u a lp r o p e r t yr i g h t s ，a n db ec o m p a t i b l ew i t ht h em o s ta d v a n c e dv i d e o e n c o d i n gd e c o d i n gs t a n d a r dh 2 6 4 i nt h i sp a p e r , w eh a v ed o n ee x t e n s i v er e s e a r c h o nd e s i g no fv i d e o p o s t - p r o c e s s i n gs u b s y s t e m f o ra v s h 2 6 4d i g i t a lv i d e o d e c o d i n gc h i ps o cd e v e l o p e db yi n s t i t u t eo fc o m p u t i n gt e c h n o l o g yo fn i n g b o b r a n c hi nc h i n e s ea c a d e m yo fs c i e n c e s i nt h i sd i s s e r t a t i o n ，w ef o c u so nt h ed e s i g no fe x t e r n a ld a t as t o r a g es y s t e m s a n di z cb u sc o n t r o l l e ro nt h eb a s i so fd i g i t a lv i d e op o s t - p r o c e s s i n gs y s t e m i nd e s i g n i n gt h ed i g i t a lv i d e op o s t - p r o c e s s i n gs y s t e m , w ep o s ta na l g o r i t h m w h i c hc a l la c h i e v ef i n es c a l a ri m a g eq u a l i t yw i t hl o w e rh a r d w a r ec o s tw h i c hh a s b e e nu s e di nt h ei m a g e s c a l i n gm o d u l ef o rh 2 6 4a n da v sv i d e od e c o d i n gc h i p ；w e d e s i g nu s e f u li n t e r f a c ef o rt v u s e r sa n dr e a l i z em a n - m a c h i n es c r e e nd i s p l a y ，w h i c h a r ec a l l e d2 dg r a p h i c sa c c e l e r a t o r , i ti se a s yf o rt vu s e rt oc h o o s ep r o g r a ml i s t i n g s ， p r o g r a mi n f o r m a t i o n ，c h a n n e ls e l e c t i o n ，v o l u m ec o n t r o l ，c h a n n e lm o d ea n ds oo n 1 1 1 西华大学硕士学位论文 a n da c h i e v eg o o dr e s u l t i nd e s i g n i n gt h ee x t e r n a ld a t as t o r a g es y s t e m s ，t h es t r u c t u r eo ft h ef r a m eb u f f e r i so r g a n i z e dw i t hm a c r o - b l o c ka st h eu n i tb e c a u s em a c r o - b l o c ki sa d o p t e da st h e v i d e od e c o d i n gu n i t c o m p a r e dw i t ht h ep i x e l l i n es t o r a g es t r u c t u r em o d e ，t h e p r o p o s e ds t r u c t u r es a v e s8 7 1p e r c e n ts d r a ma c t i v a t i o nd e l a yw h i c hm a k e sf u l l u s eo ft h em e m o r yb a n d w i d t ha n di m p r o v e st h ee f f i c i e n c yo fm e m o r ya c c e s s i nd e s i g n i n gt h e1 2 cb u sc o n t r o l l e r ，i ts e n d sd i f f e r e n tc o n f i g u r a t i o ni n f ow i t h u n i d i r e c t i o n a l12 5b y t e st ot h ea d v 7 3 0 3 ac h i pa c c o r d i n gt ot h es t a n d a r do f i z cb u s t i m es e q u e n c eb e c a u s eo fd i f f e r e n td i s p l a ym o d e ，a n da c h i e v e sa d v 7 3 0 3 ac h i p s f u n c t i o no fd i g i t a lt oa n a l o gs i g n a lw i t hl u ma n dc h r o m as i g n a l t h ed e s i g n e dv i d e od e c o d i n gs o cc h i ps u p p o r t sa v sv i d e os t a n d a r dp r o f i l e 6 0l e v e la n dh 2 6 4m a i np r o f i l ew i t ht h eh i g h - d e f i n i t i o nr e s o l u t i o n19 2 0b y10 8 0 ， 3 0f r a m e sp e rs e c o n da tm a x i m u m , a n dm e e t st h en e e do fr e a lt i m eo f v i d e oi m a g e s s c a l i n ga n dd i s p l a y i n gi nt h ep o s t - p r o c e s s i n gs y s t e m k e y w o r d s ：v i d e od e c o d i n g ，v i d e op o s t p r o c e s s i n gs y s t e m , s d r a mc o n t r o l l e r , a v s h 2 6 4 ，g r a p h i c sa c c e l e r a t o r i v 西华大学硕十学位论文 声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经 发表或撰写过的研究成果，也不包含为获得西华大学或其他教育机构的学位或 证书而使用过的材料。与我同工作的同志对本研究所做的任何贡献均已在论 文中作了明确的说明并表示谢意。 本学位论文成果是本人在西华大学读书期间在导师指导下取得的，论文成 果属西华大学所有，特此声明。 f 日 j 日月月 勿移 年年 钾0 哆 卅7 簪圬 修搭 前习 ： - 名名签签者师作导 西华大学硕士学位论文 西华大学学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和 借阅，西华大学可以将本论文的全部或部分内容编入有关数据库进行检索，可 以采用影印、缩印或扫描等复印手段保存和汇编本学位论文。 本学位论文属于 1 、保密口，在年解密后适用本授权书； 2 、不保密口，适用本授权书。 ( 请在以上口内划4 ) 学位论文作者签名：亥乡咨 日期：1 易 指导教师签名：事f 庭私 日期： 砂7 ki | 西华大学硕+ 学位论文 1 绪论 数字电视作为未来广播电视系统的发展方向，一直深受业界和媒体的广泛 关注。部分发达国家的广播电视从模拟到数字的过渡已经全面开展，正在从部 分( 单机设备) 数字化向全系统( 节目制作、信号传输、发射和接收) 数字化 方向发展。我国计划到2 0 1 5 年全面实现数字化，将现有的3 2 亿台模拟电视接 收机都要完成数字化改造，或加装数字机项盒、或置换为数字电视接收机。数 字视频解码s o c 芯片是数字电视等视听设备的核心器件，目前绝大多数仍依赖 国外进口。数字视频解码s o c 芯片的成功研制，需要多个领域研究工作者的共 同努力，这对我们提出了很高的要求。 2 0 0 7 年4 月，宁波中科集成电路设计中心( 中国科学院计算所宁波分所) 承 接了国家火炬计划“高清数字音视频解码芯片( 2 0 0 7 g h 0 1 0 1 2 0 ) ”“凤芯 二号l i f v i e w 0 2 ”的研制工作，该芯片能解码国家自主标准a v s t i 】及主流国际标 准h 2 6 4 t 2 】的视频标准，具有高性能、低功耗、高灵活性等特点。凤芯二号主要 技术特点： 1 高清晰度：按图像清晰度分类，数字电视包括数字高清晰度电视( h d t v ) 、 数字标准清晰度电视( s d t v ) 和数字普通清晰度电视( l d m 三种。h d t v 的图像 水平清晰度大于8 0 0 线，图像质量可达到或接近3 5 m m 宽银幕电影的水平；s d t v 的图像水平清晰度大于5 0 0 线，主要是对应现有电视的分辨率量级，其图像质量 为演播室水平；l d t v 的图像水平清晰度为2 0 0 3 0 0 线，主要是对应现有v c d 的 分辨率量级。数字高清晰度电视具有空前完美的大屏幕显示画面和5 1 声道音响 系统，巨大的信息容量和传输能力；其技术外延和内涵，几乎可以包容人类已 广泛使用的种种信息技术，如电视( 含数字化电视) 技术、计算机技术、通讯 技术、网络技术及与之相关的伺服技术、光机电技术等等。这对大范围地开发 广播电视的增值增项服务，进而改变社会传媒体系结构具有重要作用。 2 多模：目前市场上主流视频压缩编码技术有m e p g 2 t 3 1 、m p e g - 4 t 4 1 、h 2 6 4 、 a v s 等多种标准。一方面，标准的不统一意味其中孕育着巨大的商机；另一方 面，也给产品的未来发展带来了一定的风险。解决这个难题的唯一出路，就是 采用能够兼容多种标准、多种格式的视频编解码芯片。采用这种“多模”芯片， 不仅能够为整机厂商提供足够的灵活性，而且能够为整机客户带来很多好处： ( 1 ) 采用多模芯片的d v d 光盘播放机，可以“通吃 各种格式的光盘； 西华大学硕十学位论文 ( 2 ) 采用多模芯片的机顶盒或数字电视机，可接受各种格式的电视节目； ( 3 ) 采用多模芯片的数字录像机，可以存储更多的电视节目，而且可以灵活 选择多种存储格式和接收格式； h ) 采用多模芯片的移动电视手机客户，可以自由往来于采用不同视频编码 标准的地区之间，而不必担心信号不兼容的问题； ( 5 ) 采用多模芯片的专业设备，可以选择多种格式的制作和传输，且能进行 不同格式节目之间的转码； ( 6 ) 采用多模芯片的军用设备，可以在显著提高传输效率的同时保证原有格 式视频信息的收发，从而节约大量资源。 3 为不同的目标市场定制s o c ：s o c 芯片设计是目前i c 设计技术的主流发 展趋势，采用s o c 方案，不仅可以大大提高芯片的集成度，大幅度削减整机厂 商的产品制造成本，而且可以加快系统厂商的产品面市时间。依托已有的技术 积累，凤芯系列产品拥有数字视频解码芯片的核心技术，在此技术上可面向不 同的目标市场定制各类s o c 芯片。 1 1 数字视频压缩技术 数字视频信号可以看作由很多幅图像组成，每一幅图像由大量像素点组成。 像素点的色彩信息采用彩色信号的分量表示法，比如r g b 分量表示和j v 分量 表示。视频的数字化表示带来的一个问题就是数据量巨大，一个1 0 8 0 i 格式的高 清晰度数字电视信号，分辨率为1 9 2 0 x 1 0 8 0 ，每秒3 0 帧，8 位取样精度，其数据 量为： 每秒数据量：1 9 2 0 x1 0 8 0 x 3 x 3 0 = 18 6 6m b 一片d v d r o m ( 容量4 7 g b ) 可存储的节目时间仅为2 5 秒。 这么大的数据量非常不利于存储和传输，仅依靠增加存储介质容量，扩大 通信带宽很难解决这个问题，而且成本代价非常大。数字视频压缩技术应运而 生，压缩率可以达至j j 3 0 倍以上，保存和传输压缩的视频数据，需要使用时再通 过解压缩复原视频数据，以计算复杂度的提高和图像质量的降低作为代价，减 少数据存储和传输方面的要求。 数字视频压缩主要基于下面两个基本事到5 】： ( 1 ) 视频数据中有许多冗余的数据，冗余的数据可以分为很多类，如空间冗 两华大学硕士学位论文 余、时间冗余、统计冗余等。空间冗余即同一帧图像内部数据有较强相关性， 时间冗余即连续图像之间数据存在较强相关性，统计冗余即数据表示方法上的 冗余。 ( 2 ) 视频的接受者是人，人的眼睛也是一个信号处理系统，它对图像各个组 成部分敏感程度不同。图像信息中不同部分对主观质量的影响权重是不同的， 所以可以把视频信息中人眼不敏感的部分弱化，尽量保证人眼敏感部分的质量。 目前国际上流行的视频编解码技术主要有两套标准：一是国际标准化组织 ( i s o ，i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ) 1 6 j 和国际电工委员会( i e c ， i n t e r n a t i o n a le l e c t r ot e c h n i c a lc o m m i s s i o n ) 【7 】联合制定的m p e g 系列标准，包括 m p e g 1 1 引、m p e g 2 、m p e g - 4 等；另一个是国际电信联盟( i t u ，i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ) 1 9 的h 2 6 x 系列标准，包括h 2 6 1 10 1 、h 2 6 3 t 11 1 、h 2 6 4 等，这两个大的标准制定组织还联合制定一些标准，比如h 2 6 4 m p e g _ 4p a r t1 0 ， 整个数字视频编解码标准的演变进程如图1 1 所示。 1 i t u t h 2 6 lh 2 6 1 h 2 6 3h 2 6 3 +卜l 2 6 3 + + ( v e r s i o n1 i( v e r n o n2 s t a n d a r d s 、 j o i n t 卜2 | h 2 “m p e g - 4 肌 、弋u j7 m p e g s t a n d a r d s m p e g 4n m p e g 4 m p e g m p e g 1 ( v e r s i o nl i v e r s i o n2 j s t a n d a r d s li iii ilillj 1 9 明1 9 9 01 9 9 21 9 9 41 9 9 61 9 9 82 0 0 02 0 0 22 0 0 4 f i 9 1 1d e v e l o p m e n to fi n t e r n a t i o n a lv i d e oe n c o d e rs t a n d a r d 图1 1 国际视频编码标准发展进程 当前的数字视频压缩主要以m p e g 2 为基础，这是一个已经使用了十多年 的旧标准，已经达到了它的压缩效率的极限。h 2 6 4 是新一代的视频压缩标准， 它能够提供更高的数据压缩率：在同等的图像质量条件下，h 2 6 4 的数据压缩 率是h 2 6 3 和m p e g 2 的2 倍，是m p e g - 4 的1 5 倍。 然而，这些国际标准基本掌握在国外公司手中，国外公司通过专利和标准 两华大学硕士学位论文 的垄断地位，向其它公司收取巨额的专利费。m p e g 2 规定每个编解码器专利 收费为2 5 美元。如表1 1 所示，h 2 6 4 尽管为了尽快推广应用，采用了相对于 m p e g 2 的低价策略，但总量仍然是一笔不菲的费用。 表1 1h 2 6 4 收费标准 t a b l 1h 2 6 4l i c e n s ef e e 专利许可项h 2 6 4 许可费用 机顶盒( 编解o 一1 0 万单位年：无许可费用 码器) 厂商专利超过lo 万单位年：o 2 美元单位 费 超过5 0 0 万单位年：0 1 美元单位 每年最高许可费用( 封顶费用) ： 2 0 0 5 2 0 0 6 ：3 5 0 万美元年 2 0 0 7 2 0 0 8 ：4 2 5 万美元年 2 0 0 9 2 0 10 ：5 0 0 万美元年 由终端用户支付按编解码时间收费无 的费用 按次付费( 点播)1 2 分钟以内的内容：无许可费用 1 2 分钟以上的内容： 终端用户付费的2 或0 0 2 美 元内容次，取两者中较低者 订购付费( 包月)0 1 0 万用户年：无许可费用 1 0 万2 5 万用户年：2 5 万美元 2 5 万5 0 万用户年：5 万美元 5 0 万1 0 0 万用户年：7 5 万美元 超过1 0 0 万用户年：1 0 万美元 每年最高许可费用( 封顶费用) ： 2 0 0 5 2 0 0 6 ：3 5 0 万美元年 2 0 0 7 2 0 0 8 ：4 2 5 万美元年 2 0 0 9 2 0 10 ：5 0 0 万美元年 2 0 0 2 年著名的“3 c ”、“6 c ”d v d 专利收费事件以后，国外专利联盟要求国 产的每台d v d 机交纳专利费2 0 美元以上，每年要交纳的专利费总额在1 亿美元 4 西华大学硕士学位论文 以上。因为专利费的打压，我国d v d 产业现大为萎缩。 为了打破外国公司在技术和标准上的垄断地位，数字音视频编解码技术标 准工作组( a u d i oa n dv i d e oc o d i n gs t a n d a r dw o r k g r o u po f c h i n a ，简称a v s i 作组) 由国家信息产业部科学技术司于2 0 0 2 年6 月批准成立。工作组的任务是：面向我 国的信息产业需求，联合国内企业和科研机构，制定数字音视频的压缩、解压 缩、处理和表示等共性技术标准，为数字音视频设备与系统提供高效经济的编 解码技术，服务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多 媒体通讯、互联网宽带流媒体等重大信息产业应用。2 0 0 6 年2 月2 2 日，国家标准 化管理委员会颁布通知：信息技术先进音视频编码第二部分视频于2 0 0 6 年3 月1 日起开始实施，a v s 正式成为中华人民共和国国家标准。 a v s 视频【12 j 是我国具有自主知识产权的视频编码标准，编码效率是 m p e g 2 的2 倍，与h 2 6 4 相当，实现复杂度低于h 2 6 4 ，具有广阔的应用范 围。a v s 已经成功被国际电信联盟列为i p t v 国际标准框架中的重要组成部分， 中国网通已经决定在i p t v 中采用a v s 。由于市场前景明朗，对a v s 视频编解 码器的研究是我国多媒体技术领域的一个重点。 1 2 主要的视频编解码标准的发展简介 19 8 4 年，c c i t t 第l5 研究组发布了数字基群电视会议编码标准h 12 0 建议。 1 9 8 8 年，c c i t t 通过了“p x 6 4 k b p s ( p = l ，2 ，3 ，4 ，5 ，3 0 ) ”视像编码标 准h 2 6 1 建议，被称为视频压缩编码的一个里程碑。从此，i t u t 、i s o 等公布 的基于波形的一系列视频编码标准的编码方法都是基于h 2 6 1 中的混合编码方 法。 1 9 8 6 年，i s o 和c c i t t 成立了联合图像专家组( j p e g ，j o i n tp h o t o g r a p h i c e x p e l sg r o u p ) ，研究连续色调静止图像压缩算法国际标准，1 9 9 2 年7 月，通过 了j p e g 标准。 1 9 8 8 年，i s o i e c 信息技术联合委员会成立了活动图像专家组( m p e g ， m o v i n gp i c t u r ee x p e r tg r o u p ) 。1 9 9 1 年，公布t m p e g 1 视频编码标准，码率为 1 5 m b p s ，主要应用于家用v c d 的视频压缩：1 9 9 4 年1 1 月，公布了m p e g 2 标准， 用于数字视频广播( d v b ) 、家用d v d 的视频压缩及高清晰度电视( h d t v ) 。 码率从4 m b p s 、1 5 m b p s 直至1 0 0m b p s 分别用于不同档次和不同级别的视频 西华大学硕士学位论文 压缩中。 1 9 9 5 年，i t u t 推出h 2 6 3 标准，用于低于6 4 k b p s 的低码率视频传输，如 p s t n 信道中可视会议、多媒体通信等。1 9 8 4 年和2 0 0 0 年，又分别公布了h 2 6 3 + 、 h 2 6 3 + + 等标准。1 9 9 9 年1 2 月份，i s o i e c 通过了“视听对象的编码标准” - m p e g 4 ，它除了定义视频压缩编码标准外，还强调了多媒体通信的交互性 和灵活性。 2 0 0 3 年3 月，i t u t 和i s o f l e c 正式公布了h 2 6 4 视频压缩标准，不仅显著提 高了压缩比，而且具有良好的网络亲和性，加强了对i p 网、移动网的误码和丢 包的处理，有人将h 2 6 4 称为新一代的视频编码标准。 我们在最近几年开始大力发展视频编解码技术，并于2 0 0 6 年正式颁布了中 国具有自主知识产权的标准a ：v s 视频编解码标准。 1 2 1h 2 6 4 编解码标准简介 h 2 6 4 是最新的国际视频编解码标准【1 3 m p e g 2 视频编解码标准( 也被称作 l t u t h 2 6 2 ) ，作为m p e g 1 的增强版，在十年之前得到发展并颁布，并且已经 得到了广泛的应用，包括标清以及高清电视信号通过卫星、电缆、地面发射的 传送，以及这些高质量电视内容在d v d 上的存储。 但是，高清电视的流行导致了更高压缩效率的需求。并且，其它的一些传 输介质，比如c a b l em o d e m ，x d s l ，以及u m t s ，它们相对于广播频道来说只 能提高较低的数据速率，只有更高的压缩效率才能使高质量的视频内容通过这 些传输介质来传播。 早在1 9 9 8 年，视频编解码专家组( v i d e oc o d i n ge x p e l sg r o u p ，简称v c e g ) i t u ts g l 6q 6 发布了一个叫做h 2 6 l i 程的号召，目标就是将当时的压缩效 率再提高一倍( 这也意味着，在提供相同质量内容的情况下，码率只需要一半) 。 面向新标准的第一份草案在1 9 9 9 年通过。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后i s o 与i t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的 联合视频组( j v t ) ，t 的主要任务就是将h 2 6 l 草案发展为一个国际性标准。 于是，在i s o i e c 中该标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第1 0 个选项；在i t u t 中正式命名为h 2 6 4 标准。 跟以前的视频编解码标准比较来说，一些新的能够增强编码效率的技术得 6 西华大学硕士学位论文 到了应用，例如：更小块的可变大小块运动补偿；四分之一像素精度的运动补 偿；图像边缘外的运动矢量；多参考图像的运动补偿；显示顺序同参考顺序的 分离；图像表达方法同图像可被参考能力的分离；加权预测；增强了的跳过以 及直接模式的运动矢量导出；为帧内编码设计的方向性空间预测；环域去块滤 波。 除了增强了的预测方法之外，其他的一些增强压缩效率的方法包括：更小 块的变换；多层次的块变换：短字长的变换；完全对应的反变换；算数熵编码； 上下文自适应的熵编码。数据错误和丢失的鲁棒性以及在可变网络环境中操作 的灵活性也得到了增强，这些技术包括：参数集结构；n a l 单元语法结构；任 意的片大小；宏块可重排序；任意的片重排序；冗余图像数据；数据划分；s p s i 图像。 1 2 2a v s 编解码简介 a v s 是我国具备自主知识产权的第二代信源编码标准。可以推测，由于技 术陈旧需要更新及收费较高等原因，m p e g 2 即将退出历史舞台。m p e g 4 出台 的新专利许可政策被认为过于苛刻令人无法接受，导致被众多运营商围攻，陷 入无法推广产业化的泥沼而无力自拔，前途未b 。而a v s 是基于我国创新技术 和部分公开技术的自主标准，编码效率h 二m p e g 2 高2 3 倍，与a v c 相当，而且 技术方案简洁，芯片实现复杂度低，达到了第二代标准的最高水平；而且，a v s 通过简洁的一站式许可政策，解决了a v c 专利许可问题死结，是开放式制订的 国家、国际标准，易于推广：此外，a v c 仅是一个视频编码标准，而a v s 是一 套包含系统、视频、音频、媒体版权管理在内的完整标准体系，为数字音视频 产业提供更全面的解决方案。综上所述，a v s 可称第二代信源标准的上选。 2 0 0 5 年4 月3 0 日，a v s 标准视频部分通过公示，在标准道路上迈出决定性一 步。2 0 0 6 年2 月2 2 日，国家标准化管理委员会颁布通知：信息技术先进音视频 编码第二部分视频于2 0 0 6 年3 月1 日起开始实施。a v s 视频部分正式成为国家 标准，成为震动业内外的一件大事，国家和各部委领导纷纷发来贺信和题词， 对a v s 的工作给予了高度评价，并鼓励工作组再接再厉，再创辉煌。接下来， 标准其他部分将继续开展工作，陆续进入标准报批和审核程序。 a v s 产业化的主要产品形态包括： 两华大学硕士学位论文 1 芯片：高清晰度标准清晰度a v s 解码芯片和编码芯片，国内需求量在未 来十多年的时间内年均将达至u 4 0 0 0 多万片； 2 软件：a v s 节目制作与管理系统，l i n u x 和w i n d o w 平台上基于a v s 标准的 流媒体播出、点播、回放软件； 3 整机：a v s 机项盒、a v s 硬盘播出服务器、a v s 编码器、a v s 高清晰度激 光视盘机。 a v s 具备三大特点【1 4 】： 1 我国牵头制定的、技术先进的第二代信源编码标准先进； 2 领导国际潮流的专利池管理方案，完备的标准工作组法律文件一自主； 3 制定过程开放、国际化开放。 1 3 视频后处理的意义和必要性 数字电视作为未来广播电视系统的发展方向，一直深受业界和媒体的广泛 关注。部分发达国家的广播电视从模拟到数字化过渡己经全面展开，正在从部 分( 单机设备) 数字化向全系统( 节目制作、信号传输、发射和接收) 数字化方向 发展。目前，我国处于模拟到数字的过渡时期，为满足消费者对电视图像清晰 度等方面的更高要求，出现多种过渡时期的数字电视，彩电巨头们连续推陈出 新，高清等离子电视、大屏幕液晶电视、d l p ；平板光显背投、c r t 数字高清 背投及c r t 数字高清电视等五大类高端产品进入主流消费。基于数字电视的业 务多样性数字视频后处理成为数字电视产业链中不可或缺的一个重要环节，然 而我国视频后处理芯片的市场被国外公司( 如p h i l i p s 、t r i d e n t 、p i x e l w o r k s 、 g e n e s i s ) 所垄断，如p i x e l w o r k s 公司的p w 3 3 0 0 、p w 2 3 0 0 、p w 2 2 5 0 系列产品【l5 1 ， g e n e s i s 公司的g m 系列产品。研制具有具有自主知识产权的视频后处理芯片对 于打破国外的技术垄断和振兴我国的民族产业都具有极为重要的现实意义。 在国家信息产业部“电子信息产业发展基金”重点支持下，国内很多高校 和i c 设计企业都先后研发出视频后处理芯片，如2 0 0 4 年7 月，西安交通大学研制 出我国第一块具有完全自主知识产权的数字视频处理芯片d t v l 0 0 1 6 1 ；随后， 海信集团研发出具有自主知识产权的一款高质量数字视频后处理芯片“信芯 v p e l x j ；成都威斯达芯片有限责任公司生产的“炎黄一号 w s c l l l 5 【1 8 】视频 扫描格式转换芯片，采用逐行扫描能从现行的模拟p a l 、n t s c 彩色电视信号中 西华大学硕士学位论文 最大限度地去除噪声并提取清晰的图像信号；杭州国芯科技有限公司研制的数 字视频后处理芯片( g x 2 0 0 1 系列) 【l9 】采用了多帧算法和边缘技术实现对数字 视频信号去隔行和帧率变换。 数字后处理芯片要实现的数字处理功能有去隔行技术【2 们、数字视频扫描格 式的转换、运动补偿、自适应降噪、任意比例的图像缩放【2 、多格式帧频变化、 视频图像清晰度增强、色彩瞬态特性改善、电视用户提供良好的界面和更灵活 的人机交互，有必要时在视频图像加入屏幕显示单元( 节目表、节目信息、频道 选择、音量控制，播放模式的选择等) ，随着大规模集成电路工艺的迅速发展， 芯片的集成度也越来越大，s o c 系统中的晶体管数也越来越多。本文将视频后 处理集成到视频信源解码中去，形成一个大规模的s o c 系统，这样既完成了视 频信源解码与视频后处理的功能，又减小了芯片的面积，从而减少了成本，具 有广泛的市场潜力和竞争力。 1 4 本文的研究意义和论文的组织 未来几年是模拟技术向数字技术过渡的关键时期，据预测，我国数字音视 频产业将在2 0 0 8 年超过通信产业，在2 0 1 0 年成为国民经济第一大产业【2 引。a v s 作为数字音视频产业“牵一发动全身”的基础性标准，为我国构建“技术专专 利专标准专芯片与软件专整机与系统制造专数字媒体运营与文化产业产业链 条提供难得机遇。其中，最直接的产业化成果是未来1 0 年，我国需要上亿颗解 码芯片。 中国是世界最大的潜在消费市场，数字消费类产品在中国有广阔的市场增 长空间，这也为国内数字消费类集成电路市场的持续增长提供了前提条件。数 字视频解码芯片是数字电视等视听设备的核心器件，目前仍被l s i 等国外公司垄 断，赚取高额的垄断利润。设计出具有自主知识产权的视频解码芯片，我们就 能打破国外的技术和市场垄断，并且促进中国的消费电子产业的发展。 视频后处理系统是视频显示输出前的最后处理模块。设计出为电视用户提 供良好的界面和更灵活的人机交互的视频屏幕显示单元，保持原有图像清晰性 的视频图像缩放并达到高清实时性，本文针对这两点做了重点的研究，并申请 了一项关于高清视频信号处理方法的专利。 本文具体章节安排如下： 9 西华大学硕士学位论文 第一章：绪论。首先对数字视频压缩技术进行了简单的介绍，然后对主要 的视频编解码标准的发展作了简单的介绍，接下来讨论了视频后处理系统的意 义和必要性，最后阐述了本研究的意义和论文的组织。 第二章：a v s h 2 6 4 数字视频解码s o c 芯片系统架构设计。本章介绍视频 解码流程，然后统计各功能单元的运算复杂度，接下来根据运算量和处理灵活 性的要求对系统进行软硬件划分和硬件模块的划分。 第三章：数据存储系统设计。包括分层存储系统、s d r a m 控制器和帧缓 存设计的讨论。 第四章：视频后处理系统的设计与研究。首先，介绍了视频后处理系统的 系统结构的设计，接下来对2 d 图像加速器模块、图像缩放模块、视频叠加与混 合模块的设计、1 2 c 总线控制器的硬件设计做了详细介绍。 第五章：仿真、验证和综合。数字电路设计中，仿真、验证、综合都是必 不可少的环节。首先，简单介绍了设计流程与仿真，然后重点介绍了模块验证、 系统验证、f p g a 验证等验证，最后简单介绍了“凤芯二号”的后端物理设计 ( 系统综合和布局布线) 。 第六章：总结与展望。总结了全文的研究重点和设计效果评价，并提出了 进一步研究的方向。 l o 两华大学硕士学位论文 2a v s h 2 6 4 数字视频解码s o c 芯片系统架构设计 a v s h 2 6 4 视频解码s o c 芯片整体结构主要由视频解码器与视频后处理系 统两部分组成，视频解码功能是将视频流通过熵解码、反量化、反变换、帧内 预测( 帧间预测) 、环路滤波，最终得到解码后的像素值【2 3 1 ，视频后处理系统 功能是将解码后的像素值根据用户的需要进行图像清晰度增强或进行图像缩 放，最终达到更清晰的视频图像，a v s h 2 6 4 视频解码s o c 芯片整体结构如图 2 1 所示。视频解码器的架构设计是系统硬件实现的首要问题，主要通过对算 法运算复杂度和灵活性的分析，划分软硬件，以及分配硬件各功能模块。对于 软硬件的自动划分【2 4 1 ，虽有一些研究进剧2 5 1 ，但发展不够成熟，高效的软硬件 自动划分工具还没有出现【2 6 j 。所以，基于人工对特定算法进行分析和系统架构 设计是目前最通用和有效的方法【2 7 】。本章首先介绍视频解码流程，然后统计各 解码功能单元的运算复杂度，接下来根据运算量和处理灵活性的要求对系统进 行软硬件划分和硬件模块划分，视频后处理系统在接下来的章节介绍。 f i 9 2 1w h o l ea r c h i t e c t u r eo fa v s h 2 6 4v i d e od e c o d i n gs o cc h i p 图2 1a v s h 2 6 4 视频解码s o c 芯片整体结构图 2 1 解码器的功能框架 解码器解码的基本流程为：视频流e s ( e l e m e n ts t r e a m ) 首先通过v l d 进行 熵解码，得到量化参数和预测模式，将量化参数进行反量化、反变换得到残差， 同时根据预测模式选择帧内预测或运动补偿。将预测值与残差相加，再经过环 路滤波，最终得到解码后的像素值，解码过程如图2 2 所示。各模块的含义和 功能如表2 1 。 西华大学硕士学位论文 f i 9 2 2f u n c t i o na r c h i t e c t u r eo f v i d e o d e c o d e r 图2 2 解码器的功能框架 表2 1 各模块的含义和功能 t a b 2 1d e f i n i t i o na n df u n c t i o no fe a c hm o d u l e 解码步骤含义功能 v l dv a r i a b l el e n g t hd e c o d i n g熵解码 i q i n v e r s eq u a n t i z a t i o n反量化 i ti n v e r s et r a n s f o r m反变换 i p r e di n t r ap r