高性能视频开发验证平台系统的设计硕士论文.doc

浙江大学硕士学位论文硕 士 学 位 论 文论文题目 高性能视频开发验证平台系统的设计_High Performance Video Development and Verification Platform矚慫润厲钐瘗睞枥庑赖。Written byQingXiao JiangDirected byProf. Yu LuDepartment of Information Science and Electronic Engineering聞創沟燴鐺險爱氇谴净。Zhejiang UniversityHangzhou, 310027P.R.ChinaFebruary 2006Submitted in conformity with the requirements for the degree of master残骛楼諍锩瀨濟溆塹籟。in Zhejiang University学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律后果由本人承担。酽锕极額閉镇桧猪訣锥。作者签名： 日期： 年 月 日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权 大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。彈贸摄尔霁毙攬砖卤庑。涉密论文按学校规定处理。作者签名：日期： 年 月 日导师签名： 日期： 年 月 日摘 要视频编解码技术在日新月异的飞速发展，为了迎合高速发展的多媒体和集成电路技术，现在的VLSI开发需要大大缩短其开发周期以提高竞争地位。一般来说，随着某个高级视频解码标准的提出，总会在第一时间有相应的硬件解码器结构。FPGA原型验证开发系统由于其相对于ASIC有着前期设计成本低，回避设计风险，便于功能验证等特点，在视频编解码系统开发中有着极大的应用空间。随着高性能视频编解码器的开发需求越来越高，对基于FPGA的高性能视频开发与原型验证系统的需求也越来越大。謀荞抟箧飆鐸怼类蒋薔。本文提出了基于FPGA的高性能视频开发验证平台的设计，这一设计是在原有的MPEG-4编解码芯片开发系统的基础上进行开发和设计的，可以满足高性能视频编解码器开发的需求。其设计目标为H.264 high 4:4:44 AVS Jizhun6.2 等高端的视频编解码器的开发，支持19201080（4:4:4）的分辨率。平台具有如下的特征使其具有针对高性能视频编解码器的开发能力：厦礴恳蹒骈時盡继價骚。l 大规模高速可编程逻辑资源用于开发高复杂度的视频编解码器l 大容量高速外存储器资源用于存储高分辨率的图像数据l 高速数据传输通道用于传输高带宽的码流数据l 多种视频输入输出接口以应付不同的开发需要l 多种测试手段和工具以测试开发使用l 提供接口应用模块以提高开发验证的效率，缩短开发周期l 充分考虑兼容性，以应对不同目标要求的视频开发需求由于上述的特性，平台有着相当广泛的应用领域。本文还介绍了基于高性能视频开发验证平台进行的AVS D1解码器开发设计和AVS运动矢量预测模块AGU的开发设计。并介绍了对模块进行了纯软件环境和实现后验证的方法，以确保模块内部逻辑和在平台环境中工作的正确性。本文还给出了MPEG-4编解码芯片开发系统、高性能视频开发验证平台和SMIC 0.18m 单元库三者在统一的约束条件下综合后的比较结果。茕桢广鳓鯡选块网羈泪。概括起来，本文的工作贡献包括以下方面：1. 总结了高性能视频编解码器开发的需求, 总结了原有开发系统的优势以及其缺陷和不足，并充分整合到新设计中；鹅娅尽損鹌惨歷茏鴛賴。2. 给出了基于FPGA的高性能视频开发与验证平台整体设计，设计充分体现了高性能的特点，注重开发验证过程的便利性和兼容性；籟丛妈羥为贍偾蛏练淨。3. 给出了在平台上模块开发进行软件验证和综合后验证的方法；4. 在平台上进行了视频编解码器模块的开发和设计，并给出了新旧平台与标准单元库之间综合的比较结果。关键词：视频编解码器、开发验证平台、高性能ABSTRACTVideo coding technique is developing fastly in recent years. A short design period of VLSI is required for competition reasons. The FPGA based development and verification systems are very useful for many applications considering of its low-price and fast verification. With the development of new video coding standard, the complexity and circuit density of the video codecs are much higher than before. There is clear requirement for high-performance FPGA-based video development and verification system.預頌圣鉉儐歲龈讶骅籴。This thesis introduces an FPGA based high performance video development and verification platform. This platform is designed based on the original MPEG-4 video codec ASIC development system. The high performance video development and verification platform aimed at H.264 high 4:4:4 Profile Level 4 or AVS Jizhun Profile Level 6.2 etc. video codec design and verification. It supports the resolution of 19201080(4:4:4). The key features for this platform are listed as follow, 渗釤呛俨匀谔鱉调硯錦。l Large-scale and high-speed programmable logic,l Large-scale and high-speed on-board memoryl High-speed data transaction port,l Different type video in/out ports,l Large-number of test ports and tools,l Interface driving modules, andl Compatibility to early version.This thesis also introduces the development process of AVS D1 decoder and the AVS motion vector prediction module (AGU) based on this high performance video development and verification platform. The way of software and after-implementation verification processes of the AGU is also introduced. Finally, comparisons of synthesis with the same constrain are given among the MPEG-4 codec development system, high performance video development and verification platform and SMIC 0.18m cell library.铙誅卧泻噦圣骋贶頂廡。Keywords：Video codec, Development and verification platform, High performance擁締凤袜备訊顎轮烂蔷。目 录摘 要1贓熱俣阃歲匱阊邺镓騷。ABSTRACT2坛摶乡囂忏蒌鍥铃氈淚。目 录3蜡變黲癟報伥铉锚鈰赘。图表目录5買鲷鴯譖昙膚遙闫撷凄。第1章 绪 论7綾镝鯛駕櫬鹕踪韦辚糴。1.1视频编码标准的发展7驅踬髏彦浃绥譎饴憂锦。1.2视频编解码芯片开发8猫虿驢绘燈鮒诛髅貺庑。1.2.1视频编解码芯片开发方法9锹籁饗迳琐筆襖鸥娅薔。1.2.2 ASIC设计流程9構氽頑黉碩饨荠龈话骛。1.2.3 FPGA与ASIC设计10輒峄陽檉簖疖網儂號泶。1.2.4视频编解码器体系结构11尧侧閆繭絳闕绚勵蜆贅。1.3 本研究的意义及论文主要内容13识饒鎂錕缢灩筧嚌俨淒。第2章 MPEG-4编解码芯片开发系统14凍鈹鋨劳臘锴痫婦胫籴。2.1 MPEG-4编解码芯片开发系统简介14恥諤銪灭萦欢煬鞏鹜錦。2.1.1 性能指标14鯊腎鑰诎褳鉀沩懼統庫。2.1.2 框架结构14硕癘鄴颃诌攆檸攜驤蔹。2.1.3 重要硬件模块设计16阌擻輳嬪諫迁择楨秘騖。2.2 MPEG-4专用结构视频解码芯片开发18氬嚕躑竄贸恳彈瀘颔澩。2.2.1 MPEG-4专用结构解码芯片系统结构18釷鹆資贏車贖孙滅獅赘。2.2.2 系统子模块设计19怂阐譜鯪迳導嘯畫長凉。2.2.3 MPEG-4专用结构视频解码芯片20谚辞調担鈧谄动禪泻類。2.3 MPEG-4专用解码芯片验证系统21嘰觐詿缧铴嗫偽純铪锩。2.4 MPEG-4编解码芯片开发系统的缺陷与不足23熒绐譏钲鏌觶鷹緇機库。2.5 本章小节24鶼渍螻偉阅劍鲰腎邏蘞。第3章 高性能视频开发验证平台设计25纣忧蔣氳頑莶驅藥悯骛。3.1 平台简介25颖刍莖蛺饽亿顿裊赔泷。3.1.1 设计目标与应用范围25濫驂膽閉驟羥闈詔寢賻。3.1.2 框架结构25銚銻縵哜鳗鸿锓謎諏涼。3.1.3 平台优势27挤貼綬电麥结鈺贖哓类。3.2 平台硬件系统设计28赔荊紳谘侖驟辽輩袜錈。3.2.1 母板28塤礙籟馐决穩賽釙冊庫。3.2.1.1母板整体结构28裊樣祕廬廂颤谚鍘羋蔺。3.2.1.2 FPGA30仓嫗盤紲嘱珑詁鍬齊驁。3.2.1.3DDR400 外存储器接口31绽萬璉轆娛閬蛏鬮绾瀧。3.2.1.4SRAM/SDRAM外存储器接口33骁顾燁鶚巯瀆蕪領鲡赙。3.2.1.5电源解决方案33瑣钋濺暧惲锟缟馭篩凉。3.2.1.6输入输出与测试端口37鎦诗涇艳损楼紲鯗餳類。3.2.2 子板38栉缏歐锄棗鈕种鵑瑶锬。3.2.2.1子板整体结构38辔烨棟剛殓攬瑤丽阄应。3.2.2.2 USB2.041峴扬斕滾澗辐滠兴渙藺。3.2.2.3视频输入41詩叁撻訥烬忧毀厉鋨骜。3.3 平台高速PCB设计要点42则鯤愜韋瘓賈晖园栋泷。3.3.1 PCB阻抗控制42胀鏝彈奥秘孫戶孪钇賻。3.3.2 DDR400接口双向拓扑结构与终端43鳃躋峽祷紉诵帮废掃減。3.4 平台应用软件和接口应用模块44稟虛嬪赈维哜妝扩踴粜。3.4.1 开发应用软件44陽簍埡鲑罷規呜旧岿錟。3.4.2 接口应用模块45沩氣嘮戇苌鑿鑿槠谔應。3.4.2.1 USB接口应用模块45钡嵐縣緱虜荣产涛團蔺。3.4.2.2 RS232接口应用模块46懨俠劑鈍触乐鹇烬觶騮。3.4.2.3视频输出接口应用模块47謾饱兗争詣繚鮐癞别瀘。3.4.2.4 SDRAM接口应用模块48呙铉們欤谦鸪饺竞荡赚。3.4.2.5 SRAM接口应用模块51莹谐龌蕲賞组靄绉嚴减。3.4.2.6 DDR-400接口应用模块51麸肃鹏镟轿騍镣缚縟糶。3.4.2.7 FPGA接口连接55納畴鳗吶鄖禎銣腻鰲锬。3.5 本章小节55風撵鲔貓铁频钙蓟纠庙。第4章 基于高性能视频开发验证平台的设计与开发57灭嗳骇諗鋅猎輛觏馊藹。4.1 基于高性能视频开发验证平台的AVS D1解码器开发57铹鸝饷飾镡閌赀诨癱骝。4.1.1 设计背景57攙閿频嵘陣澇諗谴隴泸。4.1.2 AVS D1解码器系统结构设计58趕輾雏纨颗锊讨跃满賺。4.1.3基于平台的AVS D1解码器开发59夹覡闾辁駁档驀迁锬減。4.2 AVS运动矢量预测模块AGU的设计60视絀镘鸸鲚鐘脑钧欖粝。4.2.1运动矢量预测算法60偽澀锟攢鴛擋緬铹鈞錠。4.2.2运动矢量预测模块结构设计和功能划分62緦徑铫膾龋轿级镗挢廟。4.2.2.1 AGU在运动补偿中的位置62騅憑钶銘侥张礫阵轸蔼。4.2.2.2 AGU模块内部结构设计63疠骐錾农剎貯狱颢幗騮。4.2.2.3 AGU模块的接口设计64镞锊过润启婭澗骆讕瀘。4.2.3运动矢量预测模块的验证66榿贰轲誊壟该槛鲻垲赛。4.2.3.1 软件验证结构66邁茑赚陉宾呗擷鹪讼凑。4.2.3.2 DDR接口仿真验证67嵝硖贪塒廩袞悯倉華糲。4.2.3.3 实现后验证68该栎谖碼戆沖巋鳧薩锭。4.2.4 AGU模块平台综合结果70劇妆诨貰攖苹埘呂仑庙。4.3 综合比较70臠龍讹驄桠业變墊罗蘄。4.4本章小节71鰻順褛悦漚縫冁屜鸭骞。第5章 总结与展望73穑釓虚绺滟鳗絲懷紓泺。参考文献75隶誆荧鉴獫纲鴣攣駘賽。作者在攻读硕士学位期间发表的论文78浹繢腻叢着駕骠構砀湊。作者在攻读硕士学位期间参加的科研工作78鈀燭罚櫝箋礱颼畢韫粝。致 谢79惬執缉蘿绅颀阳灣熗鍵。浙江大学硕士学位论文图表目录表 21 MPEG-4编解码芯片开发系统性能指标14贞廈给鏌綞牵鎮獵鎦龐。表 22 XC2V3000-FG676-4参数16嚌鲭级厨胀鑲铟礦毁蕲。表 23 XC2V500-FG256参数22薊镔竖牍熒浹醬籬铃騫。表 31高性能视频开发验证平台设计目标25齡践砚语蜗铸转絹攤濼。表 32 Xilinx Virtex-4 LX系列FPGA指标30绅薮疮颧訝标販繯轅赛。表 33 19201080(4:2:2)30fps图像数据传输率计算31饪箩狞屬诺釙诬苧径凛。表 34平台电源电压指标33烴毙潜籬賢擔視蠶贲粵。表 35平台供电电压上升时间34鋝岂涛軌跃轮莳講嫗键。表 36平台功耗估计34撷伪氢鱧轍幂聹諛詼庞。表 37平台母板层叠结构定义及各层厚度42踪飯梦掺钓貞绫賁发蘄。表 38平台母板各层特性阻抗与线宽42婭鑠机职銦夾簣軒蚀骞。表 39 平台应用软件列表45譽諶掺铒锭试监鄺儕泻。表 310视频输出接口应用模块输出参数48俦聹执償閏号燴鈿膽賾。表 311 SDRAM接口应用模块总线接口49缜電怅淺靓蠐浅錒鵬凜。表 312 SDRAM接口应用模块命令码表49骥擯帜褸饜兗椏長绛粤。表 313 DDR控制信号和命令52癱噴导閽骋艳捣靨骢鍵。表 314 DDR模式寄存器配置53鑣鸽夺圆鯢齙慫餞離龐。表 315 FPGA接口连线55榄阈团皱鹏緦寿驏頦蕴。表 41 AVS D1视频解码器性能指标58逊输吴贝义鲽國鳩犹騸。表 42 AVS D1解码器使用平台资源60幘觇匮骇儺红卤齡镰瀉。表 43 AGU控制器接口64誦终决懷区馱倆侧澩赜。表 44 AGU运算中相邻块与后向参考帧保存信息65医涤侣綃噲睞齒办銩凛。表 45 AGU VLD接口65舻当为遙头韪鳍哕晕糞。表 46 AGU RR接口65鸪凑鸛齏嶇烛罵奖选锯。表 47 AGU模块平台综合结果70筧驪鴨栌怀鏇颐嵘悅废。表 48 MPEG-4开发系统、高性能平台与0.18m单元库综合比较70韋鋯鯖荣擬滄閡悬贖蘊。图 11视频编解码器ASIC的设计流程9涛貶騸锬晋铩锩揿宪骟。图 12混合结构MPEG-4编码器结构12钿蘇饌華檻杩鐵样说泻。图 21 MPEG-4编解码芯片开发系统整体结构15戧礱風熗浇鄖适泞嚀贗。图 22 MPEG-4编解码芯片开发系统子母板结构15購櫛頁詩燦戶踐澜襯鳳。图 23 MPEG-4编解码芯片开发系统母板结构16嗫奐闃頜瑷踯谫瓒兽粪。图 24 MPEG-4编解码芯片开发系统子板结构16虚龉鐮宠確嵝誄祷舻鋸。图 25 MPEG-4视频解码器系统结构18與顶鍔笋类謾蝾纪黾廢。图 26 MPEG-4专用结构视频解码芯片封装21結释鏈跄絞塒繭绽綹蕴。图 27 MPEG-4专用解码芯片验证系统结构22餑诎鉈鲻缥评缯肃鮮驃。图 28 MPEG-4 ASIC验证模块23爷缆鉅摯騰厕綁荩笺潑。图 31高性能视频开发验证平台整体结构26锞炽邐繒萨蝦窦补飙赝。图 32高性能视频开发验证平台母板整体结构28曠戗輔鑽襉倆瘋诌琿凤。图 33高性能视频开发验证平台母板PCB布局29轉厍蹺佥诎脚濒谘閥糞。图 34 Xilinx Virtex-4 FPGA系列30嬷鯀賊沣謁麩溝赉涞锯。图 35 DDR400 SDRAM内部结构32讯鎬謾蝈贺綜枢辄锁廪。图 36平台DDR连接32兒躉讀闶軒鲧擬钇標藪。图 37平台电源设计方案35繅藺詞嗇适篮异铜鑑骠。图 38平台电源顺序解决方案35鮒簡觸癘鈄餒嬋锵户泼。图 39 DDR400供电电源产生电路36眯毆蠐謝银癩唠阁跷贗。图 310 Xilinx FPGA专用USB下载线缆37闵屢螢馳鑷隽劍颂崗鳳。图 311 JTAG/Serial 接口37檁傷葦开阈灯伞馑諧粮。图 312 差分信号输入输出端口38鄭饩腸绊頎鎦鹧鲕嘤錳。图 313高性能视频开发验证平台子板结构图39弃铀縫迁馀氣鰷鸾觐廩。图 314 高性能视频开发验证平台子板PCB布局40调谇續鹨髏铖馒喪劉薮。图 315平台子板USB2.0接口结构41厲耸紐楊鳝晋頇兗蓽驃。图 316 平台子板视频输入接口结构41苧瑷籮藶黃邏闩巹东澤。图 317 平台母板层叠结构和电介质层芯厚度42鴿摄禱鋅儀憚銼嚕缗赞。图 318 并联终端双向点对点结构43箪啬癲剀净赶钩嬙鳄凫。图 319 Thevenin等效终端网络43顽鷙瑪滨廈岘轆庫糞糧。图 320 串联终端双向点对点结构43漬閫熾诀团諳赓戰餛锰。图 321 带有DCI功能的双向点对点结构44鐸輜澠顶嫻塊謂斕痹廪。图 322 平台DDR400接口终端方案44抢觀淚婭师讴论櫚阵蘚。图 323 USB接口应用模块结构45贼組櫻種愨单蝕渾潷骡。图 324 RS232接口应用模块结构46圓漣檸賡捣蕷舻燁錘泽。图 325 视频输出接口应用模块结构47蟄彎擼鯁棖佇緡癟椠贊。图 326 SDRAM接口应用模块结构48义淨擁扪殴胁纸窺钣鳧。图 327 SDRAM接口应用模块握手信号设计50绥骅懸缙澀鷂禍紳撻粮。图 328 SDRAM芯片读操作时序50馒锁開钥焖緒珏編軻錙。图 329 SRAM接口应用模块状态转换图51獄质嶇僅痺鲒潰脫帧開。图 330 SRAM接口应用模块结构51鍥苋娛殫秽笾殇蕢谬藓。图 331 DDR接口应用模块结构52杂砖墳雖紜飯曇覡墾騾。图 332 DDR芯片初始化顺序53轼栀嗶鑊绷瘍懔諍訝澤。图 333 DDR控制器结构54尋头厭呛羈阴帥讕匦赞。图 334 DDR芯片读操作时序54訪齙剛玺苏滥夹趕萤凭。图 41 AVS解码器结构57写韞僂谌虛鍤囈辮褻糝。图 42 AVS编码器结构57罴醬畝饼誊歿凑鈑繳锱。图 43 AVS D1解码器系统结构58鲢診龄師該铃書銨鴇开。图 44 AVS D1解码器与平台各接口60磚緙鹅綱谩擞鴻鑌纸蘚。图 45运动矢量预测值MVEPred的计算流程61鬮煒鳍輥賠還鲂隊驼骡。图 46 AVS解码器运动补偿整体结构62毕懍鲅鵑较惻飾顳矯泾。图 47 AGU模块内部结构63钆歷驾无醬赔隽驍韉贈。图 48 AGU核心运算单元64徠鲣饮脸铄尝鏍鯢炀憑。图 49 AGU软件验证结构66謂镊颇铵鋃誼铰鸚镉糁。图 410 AGU软件验证仿真波形67变赵陧涼镦囑釧亿殮錙。图 411 AGU的DDR接口仿真验证结构67荟蓥闶漸陸讣轾减鈿異。图 412 DDR接口仿真波形68鹏筛镐討颛办費叹摄虏。图 413 AGU实现后验证结构69糝殒锔雋駛鶯诼垆辐驄。图 414 AGU仿真数据对比69頜层铢壶鲜儀計尧當涇。87第1章 绪 论1.1视频编码标准的发展多媒体技术发展至今，已成为世界性技术研究和产品开发的热点，有着广阔的应用前景。随着信息产业的发展，各种各样的视频压缩产品涌向市场，为了便于国际间的交流和贸易，必须对它们进行规范。上个世纪80年代以来，ISO/IEC和ITU-T分别制定了MPEG-x、H.26x 两大系列视频编码国际标准，这些视频编码标准追求的共同目标是在尽可能低的码率下获得尽可能好的图像质量1。两大系列的标准之间既有区别又有着紧密的联系，从MPEG-2的制定开始，ISO和IEC就与ITU-T展开了合作，在一些MPEG 标准中，H.26x 就是MPEG-x视频部分的重要组成3。比如MPEG-2的视频部分就是H.262，而MPEG-4的第10部分是H.264。以下阐述各个标准的产生与发展历程4。滚伛钮硕鷙耸蒋忆貯赠。1988年，ITU-T开始制订“p64kbit/s视听业务的视频编解码器”的国际标准H.261建议。H.261采用了与制式无关的图像格式，无论是哪一种制式的视频信号进入编解码器后都被转换成公共中间格式(CIF)，该图像对亮度信号而言，每幅图像扫描288行，每行有352个像素点，色度信号每帧为144行176个像素，每秒30帧，扫描方式为逐行扫描。随后的各种视频标准都采用或扩展了CIF格式。H.261采用运动补偿预测和离散余弦变换相结合的混合编码方案(DPCM+DCT),获得了很好的图像压缩效果.铣饜酝贻龙鵠臚拧奥凭。MPEG-1于1993年成为国际标准，它是对1.5Mbps以下数据传输率的数字存储媒体运动图像及其伴音的压缩编码标准，适用于CD-ROM、VCD等。它可对SIF分辨率（NTSC制式为352240；PAL制式为352288）的图像进行压缩，传输速率为1.5Mbps，每秒播放30帧5。MPEG-1也被用于数字通信网络上的视频传输，如基于ADSL(非对称数字用户线路)的视频点播、远程教育等。撾鉬辙魇侨絢绾来诔緊。ITU-T于1990年成立了“ATM视频编码专家组”负责制定适用于B-ISDN信道ATM编码传输标准。该专家组于1993年11月与ISO的MPEG专家组联合提出了H.262建议草案，这一草案最终发展成为H.262标准，也就是MPEG-2标准的视频部分。MPEG-2在1995年成为国际标准，其目的是达到高级工业标准的图像质量以及更高的传输率。MPEG-2所能提供的传输率在310Mbps之间，在NTSC制式下的分辨率可达720486，可提供广播级的图像质量，适用于数字电视广播(DVB)、HDTV和DVD的运动图像及其伴音的压缩编码。目前，MPEG-2已得到广泛的应用，如美国、欧洲、日本在DVD和数字电视广播方面都采用了MPEG-2压缩技术。賒調轧憊劌髋糾殡縣锲。MPEG-4于1999年初正式成为国际标准。MPEG-4并非是针对某一种视频信号的压缩标准，而是面向众多的应用。MPEG-4 的设计目标是适合于网络传输，极低码率应用，极佳的音质和画质，以及提高多媒体系统的交互性和灵活性。MPEG-4的压缩率平均可达50:1，最高可超过100:1。在如此高的压缩比之下，仍然可以保持极佳的画质6。垒羥赎緙呒窍砀渖虯异。H.263 也是ITU 制定的低比特率视频信号压缩标准，可以应用于PSTN 和移动通信网。H.263 标准目前已经超过H.261，在视频会议的编解码领域中占主导和支配地位。在任何一种比特率的情况下，H.263的性能都优于H.261。而在相同的视觉效果下，H.263又有比较高的压缩比。H.263标准是在1996 年获得批准的，而在1998 年和2000年，ITU-T又对它进行了两次重要的修补，于是产生了H.263+ 和H.263+。与原始的H.263 相比，它们的功能更加强大78。衅璉贡釙壘颯狽狰侦虜。MPEG-4和H.263 这两种视频压缩标准大约都产生于1995 年，而此后，动态图像专家组（MPEG）和视频编码专家组（VCEG）则仍然力图建立一个性能明显超过MPEG-4 和H.263 的新标准。所谓更高的性能包括更高的压缩比，保持高清晰的画质以及低比特率视频流的应用。 对于这样一个新的标准高级视频编码（AVC）的研究可以一直追溯到1995年。在完成了H.263 标准的最初版本后，ITU-T的VCEG 就开始在两个领域开始了进一步的工作。最终，在2002年，两个内容完全相同的标准产生了，一个是MPEG-4 第10 部分，一个是ITU-T H.264 标准（H.26L在ITU-T 的文件编号就是H.264）1215。这一新标准的官方称谓是“高级视频编码（AVC）”，但是MPEG-4 Part 10和H.264 的名称则更加广为人知。适应不同速率应用的问题和同时开会的需求在H.264之前的视频标准中并没有得到完全解决。H.264则有了明显的进步，它可以在几乎不降低画面质量的情况下，将传输速率降低到MPEG-2（H.262）的一半。制定H.264视频编码标准的目的还在于改进编码效率和容错率，以及能够更好的适应网络10。畝擱谎为寻瓊涞瞩肾骢。AVS是中国自主制定的拥有自主知识产权的音视频编码技术标准，是由国家信息产业部科学技术司于2002年6 月批准成立的数字音视频编解码技术标准工作组所制定的。目前,AVS标准中涉及视频压缩编码的有两个独立的部分: AVS第二部分(AVS1-P2),主要针对高清晰度数字电视广播和高密度存储媒体应用；AVS第七部分主要针对低码率、低复杂度、较低图像分辨率的移动媒体应用14。AVS标准的主要特点是应用目标明确，技术有针对性。因此在高分辨率应用中，其压缩效率明显比现在在数字电视、光存储媒体中广泛应用的MPEG-2提高一个层次。在压缩效率相当的前提下，又较MPEG-4 AVC/H.264的main profile的实现复杂度大为降低9。綿嘮诠榉異阌欏箫鹉泾。当前主流的视频标准都在向两个方向发展：一个主要针对高清晰度数字影像的方向，其特点是较高的图像分辨率，较高的画面质量和较高的数据传输速率；而另一个方向则是针对移动媒体应用的数字影像方向，其特点是较低的图像分辨率，较低的数据传输速率和较高的压缩效率。为了应对更高的压缩率，各种视频标准的算法变得越来越复杂，对于运算的要求也越来越高，使得运行于普通处理器的基于纯软件的编解码器无法提供实时的高清晰度电视图像（1280720，60fps）的编解码。目前只有基于硬件（如ASIC）的视频编解码器才能实现实时的高清晰度图像编解码。另一方面，高端特定功能的带有多媒体扩展指令集的微处理器虽然能够提供非常高性能的运算能力，但是无法做到低成本与低功耗，无法满足多媒体市场的广泛需求。因此，基于硬件的专用视频编解码器有着广阔的前景16。騶鸲记蒉戗渗摆绞絎贍。1.2视频编解码芯片开发如前所述，正是由于基于硬件的视频编解码器在高清晰度的数字影像方面具有软件无法做到的优势，而在移动媒体应用方面又有着广泛的应用，所以视频编解码芯片的设计研究一直是一个热门的话题。一般来说，设计视频编码芯片有三个推动因素：首先是视频编码算法得到了重大的发展，在取得高压缩比的同时又能保持良好的图像质量。其次是集成电路产业的高速发展，集成度的提高使得视频编码的芯片化得以实现而且先进的设计方法使设计周期越来越短。最后是视频压缩标准的制定提供了统一的通信平台，导致了大量的应用和市场的出现（视频编码芯片的设计方法）。我国拥有巨大的视频技术应用市场已引起国际上视频编码芯片厂商的关注，如果我们掌握视频芯片的关键技术，掌握视频编解码芯片的核心技术，对我国高科技产业乃至经济的发展有着重要意义。现闾袜镒攆錘惻缮騫凱。1.2.1视频编解码芯片开发方法视频编解码芯片的设计研究涉及到超大规模集成电路(Very Large Scale Integration, VLSI)设计和现场可编程门阵列(Field Programmable Gate Array, FPGA)设计两个方面的技术。随着VLSI工艺技术的发展，器件特征尺寸越来越小，芯片规模越来越大，数百万门级的电路可以集成在一个芯片上。同时随着FPGA工艺的成熟，大容量FPGA的出现为视频处理等大规模芯片的设计提供了良好的开发和仿真验证平台。镄辉蔺敘档檻岂苈祸紧。专用集成电路(Application Specific Integrated Circuit, ASIC)是指面向特定用户要求和特定电子系统的需要而设计制造的集成电路。ASIC的特点是面向特定用户的需要，其品种多、批量少，要求设计和生长周期短，它作为集成电路技术与特定用户的整机或系统技术紧密结合的产物，与通用集成电路相比，具有体积小、重量轻、功能强、保密性强、成本低等优点。目前ASIC设计主要有CPLD(复杂可编程逻器件)和FPGA (现场可编程逻辑阵列)两种方式。它们都具有用户现场可编程特性、都支持边界扫描技术，而在集成度、速度以及编程方式上具有各自的特点。一般来说，CPLD分解组合逻辑的功能很强，一个宏单元就可以分解十几个甚至20-30多个组合逻辑输入。而FPGA的一个LUT只能处理4输入的组合逻辑，因此，PLD适合用于设计译码等复杂组合逻辑。但FPGA的制造工艺决定了FPGA芯片中包含的LUT和触发器的数量非常多，而且如果用芯片价格除以逻辑单元数量，FPGA的平均逻辑单元成本大大低于PLD。所以如果设计中使用到大量触发器，那么使用FPGA就是一个很好选择。梟裥荞獰淪钲壚蚀颈鍥。 高层次设计阶段是与具体生产技术无关的，即与工艺无关(Technology Independent)。一段HDL代码可以通过逻辑综合工具综合为一个FPGA电路，也可综合成某一生产工艺所支持的专用集成电路，即ASIC电路。HDL原代码对于FPGA和ASIC是完全一样的，仅需更换不同的库，重新进行综合即可。此外，由于工艺技术的进步，需要采用更先进的工艺时，也可利用原来所书写的HDL代码。輟绀脑誒滢搂厨议犧異。1.2.2 ASIC设计流程视频编解码器ASIC的设计流程20如图 11所示，与绝大部分的ASIC设计流程基本一致，可分为以下几个步骤21：屡浔缱飛獼轄黨诼鐙虏。图 11视频编解码器ASIC的设计流程诏弑缁岘睑慫龜贮沩驏。行为级描述在完成系统性能分析与功能划分的基础上，对于各个电路功能模块，用HDL语言（Verilog HDL/VHDL）来进行行为级（Behavior Level）描述。鳧冲经粮籩赂鸡躯铠潔。行为级优化与RTL级转化进行行为级算法优化与功能仿真，同时完成向寄存器传输级（RTL：Register Transport Level）描述的转化。现有的EDA工具只能接受RTL级描述的HDL文件进行自动逻辑综合，因此必须进行RTL级转化。SYNOPSYS提供的Behavior Compiler就是专门完成行为级优化与RTL级转化的工具。聰駘絷轳终实騭逻顯赡。逻辑综合与逻辑优化（Logic Synthesis & Logic Optimization）选定工艺库，确定约束条件，将RTL级的HDL代码映射到具体的工艺加以实现。在进行逻辑综合与优化之前必须得到包含相应工艺参数的逻辑综合库的支持。在设计一个系统时，总有对应的设计指标，典型的如时钟频率、芯片面积、端口驱动能力等，自动综合工具将这些设计指标作为综合过程的约束条件，在给定的包含工艺参数的综合库中选取最佳单元，实现综合过程。鯧鋱窃鸨緶諏颤钻邇凯。门级仿真在EDA设计的每一个阶段都需要模拟仿真，以便尽早发现并改正错误，保证设计过程的正确性。与行为级仿真和RTL级仿真不同的是，完成逻辑综合后的门级仿真包含了门单元的延时信息，因而门级仿真需要相应工艺的仿真库的支持。碱賢矫攝胆嘮闊锑恺緊。测试生成测试分为功能测试（Function Test）与制造测试（Manufacture Test）两部分。功能测试就是为了检验线路的逻辑，时序等是否正确。EDA设计过程的每一步模拟仿真都是围绕电路的功能进行的，因而都属于功能测试的范畴。制造测试则是针对半导体工艺而设计的，目的是实现高的故障覆盖率。对于较复杂的时序电路而言，高故障覆盖率的测试向量必须借助于测试综合才能完成。在ASIC设计过程中必须兼顾功能测试与制造测试。阕蘆画腎藎觉锼镱赉锲。布局布线这一步借助于版图综合的自动布局布线工具，在相应的工艺版图库支持下完成，布局布线通常称之为后端设计。溝礬爷銦蝈刚銪霁寧弃。参数提取在前面完成逻辑综合所产生的门级网表文件中，已经包含了门级单元本身的工艺参数，完成版图综合后，由于布局布线都已确定，可以从版图进一步提取出连线电阻，连线电容等分布参数。鈣槍滤党許蕁郐饫誥慮。后仿真将上一步中提取的分布参数再反标到原来的门级网表中，进行包含门延，连线时延的门级仿真。这一步主要是进行时序模拟，考察在增加连线时延后，设计的时序是否仍然满足设计要求。如果不能满足，通常需要回到第三步重新确定约束条件，进行优化。有时候也可能要回到第二步，从算法实现上加以调整。怿處浊浑诽買躦骟呛骣。制版流片在利用EDA工具完成设计后，交付半导体厂商进行投片生产。1.2.3 FPGA与ASIC设计FPGA是一种包含很多相同的逻辑单元的集成电路，内部有许多触发器和分布的布线资源。逻辑单元通过连线阵列和可编程开关实现互联。用户在设计时规定逻辑单元实现的逻辑函数，并且选择性的接通互联阵列的连线，从而实现自己的设计。不同的FPGA产品的逻辑单元结构有非常大的不同。FPGA设计软件的功能非常强大，能自动的对用户输入的电路图，或硬件描述语言程序进行翻译，然后进行布局布线，利用设计库中大量的复杂宏函数帮助用户优化设计。谢齿毁览賬缲财鳞蠼洁。近年来，各个厂家普遍采用0.25、0.13甚至 0.09m的CMOS工艺，继续向高密度、大容量发展。FPGA的规模发展到1000万门以上的水平。I/O接口采用模拟电路达到110Gbps甚至更高的接口数据传输速率，片内时钟可以达到400MHZ以上。FPGA的低端产品在工艺和结构上创新，性能的提高和价格的降低都是令人惊叹的。Xilinx目前是世界上最大的FPGA供应商之一。Xilinx 的Virtex-IV是其标志性的高端产品系列，它使用了90nm 的制造工艺，使得在创造了高性能与高密度的同时，功耗却减半，全片高达500 MHz的运行频率，I/O接口方面也由于使用了新技术，可以支持500MHZ以上的数据传输速率。吶韦桢阖践鴟諍齑蘭贍。FPGA厂商一般为用户提供非常丰富的软件支持，如Xilinx 公司的ISE 系列就是其FPGA产品的EDA软件包，提供设计输入、综合、实现和验证以及板级集成。除电路图外还支持状态机产生、IP核和DSP设计，包括定时分析器，约束编辑器等等非常强大的功能来辅助用户设计。萊郦晋壩辭終裥俠輿擊。随着半导体工艺技术的发展，由0.18m到0.09m ASIC的系统速度也从120MHz提升到300MHz，但ASIC的设计成本和技术风险愈来愈高，并且从设计方案到ASIC产品商业应用的周期也更长。为适应市场的快节奏，减少前期的设计成本、回避设计风险，FPGA是一个最好的选择。它将原来ASIC设计修改周期从至少两个月，减少到几分钟到几小时之间，尤其适合产品的前期开发和中小批量产品的应用；并且FPGA设计成功后，可非常方便地向ASIC转化。在ASIC设计中，FPGA可起到原型设计及验证的作用，在做原型设计及验证作用的FPGA的模型与设计的ASIC芯片的功能模型应当是相同的22。鷲诅捡瞇钗骘蓀剝黃絷。FPGA在系统验证时带来的益处有23：纫绾懔賬鍘禅耧啞绵鍇。l 对逻辑功能进行全面验证l 对部分电路进行时序验证，发现潜在的问题l 可以进行逻辑综合过程验证l 加快设计流程，减少重新制版几率，降低成本l 加快系统厂商的系统产品开发l 方便系统厂商对逻辑功能全面确认1.2.4视频编解码器体系结构视频编解码芯片有两种最基本的体系结构：可编程结构和专用结构。在综合了二者的特点基础之上，还有一种混合结构。以下对它们分别进行介绍。颟灿忏騅锰顆繡奪鲔棄。1） 可编程结构17可编程结构是一个通用平台，提供灵活的各种算法实现可能性，其实质是设计一个执行指令的硬件核（如RISC核）19，通过在其上运行程序实现解码功能。它灵活，适用范围广，能对不同的算法提供支持，易于升级，但是它为了提供多功能解码支持，必须增加硬件电路的复杂性，从而导致电路功耗的增加。对于图像格式比较大的码流，为了保证解码任务的适时性，必须提高软件的并行度，这给编制程序带来了很大困难。潛愦巅怼閑貓简巒競虑。随着计算机硬件的发展，当前的计算机运算处理功能非常强大，但是考虑到视频图像处理运算的特殊性，一些算法在通用的处理器上并不能得到有效的实现。在可编程结构中，需要增强处理器的某些功能来适应面向视频图像处理的特殊算法。鏟却审绪鞑闻癬惱颯驏。 子字并行性：有的图像算法对数据处理精度要求不高，因此可以在ALU中并行处理多组数据。 超长指令字：在一条指令中实现多个操作，由译码器实现指令的调度、执行。 协处理器：对于特殊的功能，用硬件实现，在通过软件对其输入、输出进行控制，比如对变长码的处理，一般的可编程多媒体视频处理器均有独立于CPU的VLD处理模块。掳鱘壳郏餳涡烂摻玺灑。 存储结构设计：由于视频图像处理的数据量非常大，存储结构对系统的整体性能影响相当大。2）专用结构25赝鐨喾龉骐銻潑櫟闻赢。专用视频解码器结构不具备可编程性，它是针对某个算法或某一类算法而设计和优化的硬件电路，每个处理单元可以最大程度的与算法特点相匹配，视频解码的各种任务映射到不同硬件处理单元上，针对特定的算法进行系统结构和子模块优化，可以最大程度地与算法特点相匹配。专用视频解码器结构与可编程结构相比，其硬件消耗小，处理速度高，但它的可扩展性差。采用专用芯片的视频系统的优点是速度快，一旦专用芯片设计成功，其生产成本相对较低，而且实现容易，控制简单，适合大规模生产。缺点是不易修改，而且专用芯片设计成本高，设计周期也较长。殼贈叹橈鯛槳栌滄滸击。虽然随着计算机技术的发展，可编程结构将会是视频处理体系结构的发展趋势，但是专用的视频处理结构由于功能单一，可以最大程度的优化结构，提高集成度，满足低功耗的要求。因此会在消费电子类和移动图像处理等对功能要求不高，但强调低功耗、低成本、高集成度的应用中得到广泛应用。专用图像处理器结构的SoC也有广泛的发展前景。襉藍动蔭鹗钣掙濰鋱縶。3）混合结构26伞箋内鍶乐捞忆瓊柠锴。如前所述，随着编码效率的提高和许多新功能的加入，视频编解码标准的算法变得越来越复杂，对运算的需求也越来越大。但在一些视频编码中，运算会主要集中在少数几个模块中，比如在MPEG-4中，最主要的运算任务集中于运动估计（ME）和形状编码（shape-encoding）部分，这两者占去了整体运算90的复杂度。而对于较低的档次不考虑形编码的情况，运动估计对于运算的集中需求更是显著。其运算明显属于规则的底层任务，而且需要从帧存中读取大量的数据，对于这种情况，专用结构和片内缓冲区是非常重要的，这样可以减少数据传输和提高运算效率。而其他一些任务，比如DCT/IDCT, Q/IQ, 和运动补偿，因为也有许多规则运算，因此也可以使用专用结构，而可编程结构更适合系统中需求较少但是高层次的任务，比如系统控制等等。基于低功耗的DSP平台的软件方案应用于目前一些商用视频编解码芯片中，它们一般都有较高的延展性，可以满足未来多媒体丰富的功能，但是由于资源受限，在达到实时编解码的时候不得不使用快速算法，因此降低了质量。一些视频芯片使用了专用的硬件结构来获得低功耗和较小的成本，它的缺点是缺少对未来延展的潜力和开发成本较高，因此，也有一些编解码芯片接收了两者的优点，产生了混合了软硬件的结构18，这种结构在性能和延展性上取得了某种平衡。缅殲伤却兗輔宮礡酽弃。混合结构将视频处理任务作软硬件实现上的划分。于是，它内部既有可编程核，用于处理复杂的高级任务，同时又有专用处理模块，处理中、低级任务。这种结构既有可编程的灵活性，又兼有了专用结构的功耗小、处理速度高等特性。图 12是一个混合结构的MPEG-4编码器的例子：骊嘗丛烟协彈噜約戲虛。图 12混合结构MPEG-4编码器