（信号与信息处理专业论文）avs视频标准中去块效应滤波模块的ip核设计.pdf

摘要 摘要 a v s 视频标准中去块效应滤波模块的i p 核设计 学生姓名：魏丹丹导师姓名：邹采荣 东南大学信息科学与工程学院 视频编解码标准是为了适应视频信号信息量大，占用带宽高的特点而逐渐发展起来的。第二代信源编 码技术的发展，使国际数字电视和数字音视频产业的格局再次“洗牌”，我国抓住这次契机，制定了我国 自主知识产权的数字音视频编码标准a v s ( a u d i o v i d e oc o d i n g s t a n d a r d 。a v s ) 。a v s 视频标准代表了当前视 频编解码领域的最新水平，在保证编码效率的前提下，实现复杂度明显比最新的m p e g - 4 a v c 低，在高清 晰度应用方面处于领先水平。 同时，超大规模集成电路技术( v l s 0 、可编程逻辑器件( f p g a 等) 和嵌入式开发平台的迅速发展使 实时视频压缩、传输和操控成为可能。但是，在低码率条件下这类基于图像分块变换编码原理的算法解码 恢复出的图像会产生块效应，严重影响人的视觉感观和实际中的广泛应用。因此本文提出了一种具有可重 用性的去块效应滤波模块的碑核设计 首先，本文介绍了图像压缩技术的发展历史、现状及其应用。然后本文深入研究了a v s 视频编码标准， 并结合a v s 标准，分析了其中导致块效应产生及其消除处理等环节，详细分析了去块效应滤波模块的算法 原理。 在上述分析的理论基础上，本文提出了一种a v s 去块效应滤波模块的硬件实现方法。在设计方法上， 我们采用了自顶向下的设计方法，首先进行系统结构设计，并用c 语言设计了系统模型。参照系统模型， 利用v e r i l o gh d l 硬件描述语言开发了r t l 级代码。并且利用c 模型为以后的仿真提供测试向量，进行仿 真验证，以保证设计的正确性。 根据口软核设计要求，本文对去块效应滤波模块进行了r t l 设计。本文在v i r t e x - 4 和s p a n t a n - 3 系列 上分别进行了f p g a 的验证，结果表明在v t r t e x - 4 系列上，本设计占用的s l i c e 总数为1 0 0 1 个，最高频率 可达到1 8 5 9 6 9 h z 。在s p a n t a n - 3 系列上，本设计占用的s l i c e 总数为9 5 8 个，最高频率可达到7 9 1 9 5 h z 。 本设计也进行了a s i c 综合，使用了g s m c 的o 1 8umc m o s 单元库，用s y n o p s y s 的d e s i g nc o m p i l e r 进行综合，本设计约需要1 5 1 0 0 0 门，最高频率可达1 4 8 5 mh z 。 结果表明，本设计可以满足标准清晰度视频序列实时播放的需求。 关键词：视频编解码；a v s ；去块效应滤波；m 核；f p g a ；a s i c a b s t r a c t a b s t r a c t t h ed e v e l o p m e n to fv i d e oc o d i n gs t a n d a r di sf o rt h ea d a p t a t i o no fs u c hf e a t u r e s 雒m 鹳s i v ev i d e o i n f o r m a t i o nd a t aa n db r o a db a n d w i d t ho c c u p a t i o n d i 丘b r e n ti n t e r n a t i o n a lo r g a n i z a t i o n sd e v e l o p v i d e oc o d i n gs t a n d a r d sa c c o r d i n gt ot h ed i f f e r e n ta p p l i c a t i o n s ，s u c ha s 也em p e gs e r i e sb yi s 0 ，i e c ， t h eh 2 6 ls e r i e sb yi t u - ta n dh 2 6 4 a v cb y t a v sv i d e oc o d i n gs t a n d a r di sc h i n e s e n a t i o n a la u d i oa n dv i d e os t a n d a r d , w h i c hi sd e v e l o p e db v a u d i ov i d e oc o d i n gs t a n d a r dw o r k i n g g r o u p ”o f c h i n 乱i tr e a c h e st h eh i 曲e s tl e v e lo f c u r r e n ta u d i oa n dv i d e oc o d i n gt e c h n o l o g y e t h ed e v e l o p m e n to fv e r yl a r g es c a l ei n t e g r a t ec i r c u i t ( v l s i ) a n dp r o g r a m m a b l el o g i cd e v i c e ( s u c ha sf p g ae t c ) m a k e sr e a l - t i m ev i d e oc o m p r e s s i o na n dt r a n s p o r t a t i o np o s s i b l e b u tt h em e t h o d a v sa d o p t e di sb a s e do nb l o c kp a r t i t i o na n di tw i l lb r i n ga b o u tb l o c ka r t i f a c t si nr e c o n s t r u c t e d p i c t u r ew h e na p p l i e di nl o wb i tr a t ee n v i r o n m e n t t h ea r t i f a c t sm a yi c e d ，t ot h ed e c l i n eo fi m a g e q u a l i t ya n di n f l u e n c et h ea c c e p t a n c eo fe y e sn o r m a l l y , w h i c hr e s t r i c t si t sa p p l i c a t i o ne x t e n s i v e l y f i r s to fa 1 1 t h eh i s t o r ya n da c t u a l i t yo fi m a g ec o m p r e s s i o nt e c h n o l o g ya n di t sa p p l i c a t i o na r e i n t r o d u c e di nt h i sp a p e r s o m ep o p u l a rv i d e oc o d i n gs t a n d a r d s t h e ns e m ek e yt e c h n i q u e si na v s s t a n d a r da r es t u d i e di nd e t a i l m o r e o v e r , a c c o r d i n gt ot h ep r o c e s so fv i d e oc o m p r e s s i o nu t i l i z e di n a v s ，t h et e c h n o l o g yr e l a t e dt ot h ea p p e a r a n c ea n de l i m i n a t i o no f b l o c ka r t i f a c ti sa n a l y s e di nd e t a i l b a s e do na b o v e - m e n t i o n e ds t u d ya n da n a l y s i s ，t h eh a r d w a r ei m p l e m e n t a t i o no f d e b l o c k i n gf i l t e ri n a v si sp r o p o s e d w eu s et h et o p d o w nd e s i g nm e t h o di nw h o l ed e s i g n i no r d e rt ov e i l f yc o d i n g a l g o r i t h m sa n dp r o v i d et e s tv e c t o r sf o re v e r ym o d u l e ；w ed e s i g n e dt h ec m o d e lf i r s t t h e nt h e c o r r e s p o n d i n gr t l c o d ei sd e v e l o p e dw i t hv e r i l o gh d ll a n g u a g ea n dt h e nv e r i f i e d a f t e r w a r d ，a c c o r d i n gt ot h ed e s i g nr e q u i r e m e n to fi ps o f tc o r e ，t h i sd e b l o c k i n gf i l t e rm o d u l ei pi s i m p l e m e n t e do nv i r t e x - 4a n ds p a n t a n - 3f p g a , a n dm a p p e do nt og s m co 1 8l lmc m o sc e l l l i b r a r y e x p e r i m e n t sd e m o n s t r a t et h es y s t e mw i t hs t a b l ea n dg o o dp e r f o r m a n c e s m o r e o v e r , t h e m o d u l ec a l lm e e tt h en e e do f s t a n d a r d - d e f m i t i o na n dl l i 曲一d e f i n i t i o nv e d i od e c o d i n gi nr e a lt i m e k e y w o r d ：v i d e oc o d i n g ；a v s ；d e b l o c k i n gf i l t e r ；i pc o r e ；f p g a ；a s i c i l i 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过 的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名；塑盟日期：岔基：l 垆 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保鐾本人所送交学位论文的复印 件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质 论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布( 包括 刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研究生院办理。 研究生签名：趣盟导师签名：翅董日期卅，乒 第l 章绪论 1 1 研究背景及意义 第1 章绪论 人类获取信息时，通过视觉获取的信息量约占总信息量的7 0 【”，而且视频信息具有直观性、可靠性 等一系列优点，所以多媒体技术中一个重要的技术就是视频技术。 在许多应用领域，都会遇到需要对大量图像数据进行传输与存储的问题。例如，在传输方面：数字电 视、遥感照片、军事侦察图像、可视电话、会议电视和传真照片等；在存储方面：教育、商业、管理等领 域的图文资辩、医用图像、天气云图等等。海量图象数据几乎涉及各个行业。为了在最短的时问传递尽可 能多的图片，或者为了利用有限的存储容量存储更多的图象信息，或者为了在有限的带宽条件下传输尽可 能多的活动i 虱像，就要研究怎样才能最大限度的压缩图像数据，并且保证压缩后的重建图像能够被用户所 接受，这就是图像编码所要解决的问题。 t 9 4 8 年提出电视信号数字化后，对图像压缩编码技术的研究工作就开始了，至今已有5 0 多年的历史。 随着电视的发明和普及。视频信号走迸了千家万户数字技术的广泛应用，对视频信号的存储和传输带来 了一次革命。对于传统的模拟信号，由于其数据量大、效率低、传输不方便、不能压缩等等原因，最终被 数字信号所代替。数字化后的信息，尤其是数字化后的视频和音频信息，具有数据海量性的特点，未经过 压缩的电视质量的视频信号一秒钟内的数据量就达到上百兆比特。这给信息的存储和传输造成很大的困 难，成为阻碍人类有效获取和使用信息的瓶颈问题之一。从表1 1 可知，单纯用扩大存储器容量、增加数 据传输率的办法是不现实的。因此，研究和开发新型有效的多媒体数据压缩编码方法，以压缩的形式存储 和传输这些数据将是最好的选择。 表1 - 1 信源信号原始数据速率 电话( 2 0 0 3 4 0 0 h z ) 8 0 0 0 样本数缈1 2 比特爿羊本= 9 6 k b p s 带宽音频 ( 2 0 - 2 0 0 0 1 - - i z ) 4 4 1 0 0 样本数，秒x 1 6 比特， 羊本2 信道= 1 4 1 2 m b p s 图像 5 1 2 x 5 1 2 像素图像x 2 4 比特觞i 素= 6 3 m 比特图像 视频 6 4 0 x 4 8 0 像素图像x 2 4 比特，像素x 3 0 帧眇= 2 2 1 m b p s 高清晰度电视 1 2 8 0 x 7 2 0 像素图像x 2 4 比特，像素x 6 0 帧秒= 1 3 g b p s 视频编码的首要目标是压缩数据量，将数字信号的视频序列精简到用更少的比特数表达。压缩的过程 涉及两个互相关联的完整系统。即编码器和解码器，一对编码器和解码器通常被称作编解码器c o d e c ( e n c o d e r d e c o a e r ) 。 数据的压缩是通过去除冗余实现的。冗余可以看作在完整恢复数据时不必要的信息。很多类型的数据 含有统计冗余- 可以通过无损压缩的方法去除掉，保证解码端恢复的数据是编码端数据的完整拷贝。但是 无损压缩的方法压缩效率并不高，只能在一定程度上去除图像和视频信号的冗余。当前的图像压缩标准， 例如j p e g i s i 。l 中，最好的无损压缩方法也只能达到3 到4 倍的压缩效率。因此，只有有损压缩( l o s s y c o m p r e s s i o n ) 才能实现更高的压缩效率。有损压缩系统是基于去除图像和视频中的主观冗余的原则实现数 据的进一步压缩。所谓主观冗余指的是如去掉该信息，不会对观看者感受到的视觉质量造成明显影响 东南大学硕士学位论文 可见，为了便于数字视频的存储和传输，必须对数字视频进行压缩。数字视频信号的特点决定了对其 压缩的可行性，数字视频信号可以压缩的主要根据为： 1 、视频信号上存在大量的冗余度并且这种冗余度在编解码后可以无失真地恢复。视频信号的冗余度 存在于结构和统计两方面嘲。在结构上的冗余度表现为很强的空间( 帧内) 、和时间( 帧间) 相关性。一般情况 下画面的大部分区域信号变化缓慢，尤其是背景部分几乎不变。因此，视频信号在相邻像素间、相邻行间、 相邻帧间存在强相关性，这种相关性就表现为空间冗余和时间冗余。 2 ，可以利用人的视觉特性，在图像变化不被觉察的条件下减少量化信号的灰度级以一定的客观失 真换取数据压缩。人眼对图像的细节分辨率、运动分辨率和对比度分辨率的感觉都一定的界限。只是对图 像处理时引入的失真不易察觉，仍会认为图像是完好的或足够好的。因此可以在满足对图像质量一定的要 求的前提下，减少表示信号的精度，实现数据压缩。 对应地，现在广泛应用的视频压缩标准主要采用了以下技术： 采用运动估计技术来去除视频序列帧问的相关性： 采用变化编码( o c t 变换，整数变换等) 和a c d c 预测技术来去除视频序列帧内的相关性； 采用游程编码，变长码编码和算术编码技术来去除符号间冗余。 以上视频压缩技术实现了对数字视频信号几十至几百倍的压缩，从而使数字视频的存储和传输成本大 大降低表1 2 给出了几种数字视频应用的码率 表1 - 2 几种常用数字视频应用的码率 应用比特数像素数行数帧数 码率( 压码率( 压 亮色比 类别像素 l 行臌 秒 缩前) b p s缩后) b p s h d t v8 1 9 2 01 0 8 03 04 ：l ：l1 1 8 g2 0 2 5 m 普通电视 87 2 04 3 0 4 ：l ：1 1 6 7 m 4 s m c c i r 6 0 1 会议电视 8 3 5 22 8 83 04 ：l ：l3 6 5 m 1 5 2 m c i f 视频点播 8 1 7 61 4 43 04 ：1 ：19 j 1 m1 2 8 k q c m ， 可视电话 81 2 81 1 2 3 04 ：1 ：l5 2 m5 6 k 1 2 视频编码技术的现状 视频编码压缩技术的历史可以追溯到上世纪5 0 年代初。在上世纪8 0 年代初，视频编码技术初步成型 为推动技术推广应用，加快视频技术的快速发展的步伐，为视频行业确定技术标准具有重要意义。来自个 国家和标准化组织的专家们，共同完成了众多方案的集成工作另外，尽管有些技术多年前就已经提出， 但由于实现代价昂贵而没能在当时得到实际应用。直到近年来半导体技术的发展才满足实时视频处理的要 2 第l 章绪论 求。 新世纪以来，随着编解码技术本身的进步和芯片集成度、计算速度的发展，数字音视频编解码技术标 准面临更新换代的历史性机遇。 1 2 1 国外现状 自8 0 年代以来，由于数字存储媒体、电视传播及通信等应用中对运动图像编码方法需求的日益增长， i t u ，i s o 等国际组织都成立了专门的机构，致力于制订运动图像压缩编码的国际标准。到目前为止，已 经开发和正在开发的运动图像压缩标准有：h 2 6 1 、h 2 6 3 、m p e g l 、m p e g 一2 、m p e g - 4 、m p e g 7 、h 2 6 4 、 和m p e g - 2 1 。下面对这些标准分别做一简单介绍。 视频压缩编码的标准【4 j 从1 9 8 4 年c c l l w 国际电报电话咨询委员会) 成立的专家开始研究，己经有近2 0 年的历史了。并于1 9 9 0 年完成和批准了c c i t t 推荐书h 2 6 1 。在h 2 6 1 的基础上，i t u - t ( 国际电信联盟) 在1 9 9 6 年完成了h 2 6 3 的标准。1 9 8 8 年。成立运动图像专家组( m o v i n g p i c t u r ee x p e r tg r o u p ) m p e g 。m p e g 的主要任务是制定、修订、发展m p e g 系列多媒体标准，已推出的标准包括m p e g l 、m p e g - 2 、m p e g - 4 、 多m p e g - 7 m p e g 2 1 。i t u - t 于1 9 9 7 年提出的一个长期的视频标准化项目h 2 6 l ，并在1 9 9 9 年8 月推 出该标准的第一版测试模型。为了响应i s o i e cm p e g 对先进视频编码技术的需求。从2 0 0 1 年开始，i s o 和1 1 u 开始组建了联合视频工作组( j v t , j o 缸v i d e ot e a m ) ，在i - l 2 6 l 的基础上开发新的视频编码标准，即 n 吓标准，如图i - 1 所示。 1w e e 圜。鼍? 。莎。 i8 b “d 掣豳 锄4 佣咱瞎 1 9 8 81 螂1 撼21 9 9 1 9 9 et 9 9 a2 0 0 02 0 0 22 0 0 4 图1 - 1 国外视频编码标准发展过程2 】 1 1h 2 6 i h 2 6 1 支持两种w v p 】格式( 图像信号用一个亮度分量和两个色度分量进行表示) 的输入图像，它们 分别是c i f 格式和q o f 格式。在h 2 6 1 中，一帧图像不是直接划分为宏块进行编码，而是首先划分为 宏块组( g o b ) ，每个宏块组包括3 x l1 个宏块。对于c i f 格式，每帧图像由1 2 个g o b 组成，每个g o b 由3 3 个宏块组成 在h 2 6 1 中，帧间预测采用以1 6 x 1 6 宏块为基础的块匹配算法，运动估计和运动补偿以1 6 x 1 6 宏块 为单位进行，块匹配算法的精度限制为整象素。h 2 6 1 视频编码标准的初衷是希望可以用于低码率视频上， 不过，h 2 6 1 在低码率编码上的实际应用并不令人满意，现在已完全被h 2 6 3 所取代 2 、i l 2 6 3 h 2 6 3 编码的基本框架与h 2 6 1 十分相似，不同之处在于： 3 东南大学硕士学位论文 h 2 6 1 仅支持q c i f tc i f 格式，而h 2 6 3 支持更多的图像格式，包括c i f ，s u b a 2 1 f ，q c i f ，4 c i f 。 1 6 c i f 五种图像格式，这使得h 2 6 3 的应用范围更加广阔，见表l 一3 。 表1 - 3h 2 6 3 支持的图像格式 i s u b c i f q c i f c i f4 c i f1 6 c i f i像素，彳亍 1 2 81 7 63 5 2 7 0 41 4 0 8 i i行数 9 61 4 42 8 85 7 61 1 5 2 每 个g o b 包括k x l 6 行象素，k 由图像分辨率决定，对于低分辨率的s u b - - c i f ，q c l f ，c i f 格式，k = l ； 对于分辨率较高的4 c i f ，k = 2 ，1 6 c i f ，k = 4 。这样，每帧中的g o b 数，在s u b 4 2 1 f 中为6 ，在q c l f 中 为9 ，在c i f ，4 c i f ，1 6 c i f 中为1 8 。 在h 2 6 3 标准中，可以采用基于1 6 x 1 6 宏块和8 x 8 数据块为基础的运动估计，块匹配算法可以达到 半象素精度，因而具有更佳的匹配精度。 由于采取了上述改进，h 2 6 3 与h 2 6 l 相比，在性能上有较大改进。在小于6 4 k b p s 时，h 2 6 3 的p s n r ( 峰值信噪比) 比h 2 6 1 要减小3 4 d b 。也就是在相同的质量下，所用比特数比h 2 6 1 减少5 0 以上 h 2 6 3 除了基本模式外，还可以有选择地使用4 种高级模式( p b 帧模式，重叠块运动补偿模式。大 运动矢量模式，基于上下文的算术编码模式) ，选用它们可以进一步提高压缩效率、改善图像质量。 h 2 6 4 在h 2 6 3 基础上发展起来的新的甚低码率视频编解码标准h 2 6 4 对h 2 6 3 的编码框架进行了一系列 的改进一方面，h 2 6 4 把一些已经证明行之有效的可选模式作为h 2 6 4 中的基本模式固定下来，如先进帧 内预测模式、基于上下文的算术编码模式等：另一方面，h 2 6 4 又加入了一些新的研究成果，例如可选的 1 4 ( 1 8 ) 象素的运动估计、多模式的运动矢量估计、4 x 4 的整型d c t 运算等，从而使h 2 6 4 在压缩率上 具有更佳的性能。其中，h 2 6 4 视频编码标准与h 2 6 3 基本框架相比，主要的改进如下f 1 9 】： 1 )1 4 ( 1 ，8 ) 象素精度的运动估计 在h 2 6 3 、m p e g l 、m p e g - 2 视频编码标准中，采用的都是l 应象素精度的运动估计，而在h 2 6 4 视频编码标准中，可以采用1 4 ( 1 8 ) 象素精度的运动估计，这就使得运动估计和运动补偿更为准确。或者 说在要求精度相近的情况下，h 2 6 4 采用1 ，4 或者1 8 象素的块匹配可以满足对于匹配精度的要求，拥有 更精确的运动匹配意味着h 2 6 4 在帧闯编码中所需码率更小。 2 ) 7 种不同尺寸块的运动矢量估计 运动估计块匹配算法中，还有一个需要考虑的地方是匹配块的大小，综合考虑数码率的开销以及运动 估计的准确性，一般采用1 6 x1 6 的宏块和8 8 的数据块作为运动估计块匹配的基本单元。而在h 2 6 4 中， 它采用7 种不同大小的数据块作为运动估计块匹配的基本单元。当视频图像变化简单时，可以和h 2 6 1 ， h 2 6 3 一样，采用基于1 6 x 1 6 的数据块或者8 x 8 数据块的运动估计就可以了，而对于运动较复杂以及运 动细部较多的视频序列，可以采用基于8 x 4 的数据块或者4 x 4 的数据块作为块匹配的基本单元，从而更 好地实现运动补偿，减少数码率。 3 ) 整型d c t 运算 在视频压缩编码中，运动估计和d c t 是晟耗费计算量的两大部分。在h 2 6 3 算法中，采用基于8 x 8 块 的d c t 的浮点运算，不仅运算量相当大，而且不利于移植到定点d s p 中而在h 2 6 4 中，采用的是基 于4 x 4 块的整型d c t 运算，避免了浮点运算，减少了运算量和复杂度，从而有利于实现实时化和移植到 4 第1 章绪论 定点d s p 上。d c t 变换的整型化当然会引起一些误差，但d c t 的量化过程中也存在误差，与之相比， 整型化引起的误差影响并不大。对于4 x 4 块的逆d c t 变换在h 2 6 4 中同样进行了整型化，整型化过程与 d c t 变换类似。 4 ) 先进的帧内预测 帧内预测可以减少需要编码的数据量，从而达到降低数码率的作用。在h 2 6 4 中，先通过当前宏块上 边和左边的宏块来预测当前宏块值，再用d c t 变换来编码预测宏块与当前宏块的差值。由于差值一般比 当前宏块的实际值小，d c t 变换后会出现更多的全零块，从而可以降低需要编码的数据量。减少码率。 对于帧内编码应用较多的图像序列，帧内预测对于降低码率十分有效。 5 ) 基于上下文的算术编码 基于上下文的算术编码也是 2 6 3 中可选模式之一，而在h 2 6 4 中，基于上下文的算术编码作为基 本的编码模式得到应用，它可以在运动估计和d c t 变换的基础上进一步压缩码率。一般情况下，基于上 下文的算术编码可以提高压缩效率5 ，但计算量会因此增加。 m p e g 一1 制定于1 9 9 2 年，可适用于不同带宽的设备，如c d - r o m 、v i d e o - c d 、c d - i 。它的目的是把 2 2 1 m i o i t s 的n t s c 图像压缩到1 2 m b t s ，压缩率为2 0 0 ：1 。这是图像压缩的工业认可标准。它可针 对c i f 标准分辨率( 对于n t s c 制为3 5 2 x 2 4 0 ，对于p a l 制为3 5 2 2 8 8 ) 的图像进行压缩，传输速率为 1 , 5 m b i t s s 每秒播放3 0 帧，具有c d 音质，质量级别基本与v h s ( 广播级录像带) 相当。m p e g 的编 码速率最高可达4 - - 5 m b 瓶s ，但随着速率的提高，其解码后的图像质量有所降低。 i v p e g 一1 的主要应用是v c d ，同时也被用于数字电话网络上的视频传输，如非对称数字用户线路 ( a d s l ) ，视频点播( v o d ) ，以及教育网络等。 勤m p e g - 2 m p e g - 2 制定于1 9 9 4 年，设计目标是高级工业标准的图像质量以及更高的传输率。m p e g 2 所能提 供的传输率在3 m b i o m b s 间，在n t s c 制式下的分辨率可达7 2 0 x 4 8 6 ，m p e g - 2 能够提供广播级的视像 和c d 级的音质。m p e g 一2 的音频编码可提供左右中及两个环绕声道，以及一个加重低音声道和多达七个 伴音声道。m p e g - 2 的另一特点是，可提供一个较广范围的可变压缩比，以适应不同的画面质量、存储容 量以及带宽的要求。 m p e g - 2 技术就是实现d v d 的标准技术，现在d v d 播放器也开始在家庭中普及起来了。除了作为 d v d 的指定标准外，m p e g - 2 还可用于为广播、有线电视网、电缆网络以及卫星直播提供广播级的数字 视频， 技术特点：m p e g - 4 于1 9 9 8 年1 1 月公布，它不仅是针对一定比特率下的视频、音频编码，而且更 加注重多媒体系统的交互性和灵活性。这个标准主要应用于视像电话、视像电子邮件等，对传输速率要求 较低，在4 8 0 0 6 4 0 0 0 b i t s s i 州之间，分辨率为1 7 6 x 1 4 4 。m p e g - 4 利用很窄的带宽，通过帧重建技术、 数据压缩，以求用最少的数据获得最佳的图像质量。 经过这几年的发展，现在最热门的应用是利用m p e g - 4 的高压缩率和高的图像还原质量来把d v d 里面的m p e g - 2 视频文件转换为体积更小的视频文件。经过这样处理，图像的视频质量下降不大但体积 却可缩小几倍，可以很方便地用c d - r o m 来保存d v d 上面的节目。另外，m p e g - 4 在家庭摄影录像、 网络实时影像播放将大有用武之地。 5 东南大学硕士学位论文 1 2 2 国内现状 目前，我国在音视频产业领域已经具备了较强的产业基础，但在核心技术和标准方面较为薄弱，相关 企业长期受制于国外持有标准化专利与技术的企业和组织。新世纪以来，随着编码技术本身的进步和芯片 集成度，计算速度的实现条件的发展，信源编码技术标准面临更新换代的历史性机遇。第二代信源编码技 术将使国际数字电视和数字音视频产业的格局再次“洗牌”，使得中国的产业与世界发达国家站在了同一 起跑线上，这是技术变革带给中国数字电视和数字音视频产业超越欧美框架的最重要的历史性机遇 i m 一 b h 艄托翻峥 托i 罗l 蝴 ，9 e 4 啪 蛐l 嘲 嘲 9 1 9 噜 i i 9 6 嘲2 a m2 撇2 0 i l i 图l - 2 我国参与音视频标准发展的历程 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d , a v s ) i e 是在这样的国家大背景下应运而生的。a v s 标准的完成， 使得全球范围内可选的第二代标准变成三足鼎立的局面：国际标准m p e g - 4 h 2 6 4 ，中国牵头制订的a v s ， 一些公司提出的标准。我国牵头制订的a v s ，性能达到国际标准同样水平，而且方案简洁，知识产权政策 明确，应该是国际范围内第二代标准的上选。 a v s 标准是“数字音视频编解码技术标准工作组”( a v s 工作组) 制定的数字音视频编码标准。a v s 标准包括系统、视频、音频、数字版权管理、移动视频等9 个部分。a v s 标准的发展以及a v s 工作组已 经开展的工作如图1 3 所示： 围l - 3 “s 标准的发展历程 a v s l - p 2 信息技术先进音视频编码第2 部分：视频主要针对高清晰度数字电视广播和高密度存储 媒体应用，已经获得国家标准化管理委员会批准，国家标准号g b f r2 0 0 9 0 2 2 0 0 6 ，于2 0 0 6 年3 月1 日开 始实施。a v s 视频标准支持多种视频业务，考虑到不同业务之间的互操作性，a v s 标准定义了档次( p r o f i l e ) 6 第1 章绪论 和级别( l e v e l ) 。目前，a v s l - p 2 己定义了一个基准档次( p r o f i l e ) ，这个档次又分为4 个级别：用于标准清 晰度图像的4 0 ( 4 ：2 ：0 ) 级别和4 2 ( 4 ：2 ：2 ) 级别，以及用于高清晰度图像的6 0 ( 4 ：2 ：0 ) 级别和6 2 ( 4 ：2 ：2 ) 级另u t z o j a v s l - p 2 视频的主要特点是应用目标明确，技术有针对性因此在高分辨率应用中，其压缩效率明显 比现在在数字电视、光存储媒体中常用的m p e g - 2 视频提高一个层次。在压缩效率相当的前提下，又较 h 2 6 4 的m a i np r o f i l e 的实现复杂度大为降低。 a v s 标准的制定及研究具有莺要的现实意义和技术意义：a v s 是基于我国自主创新技术和国际公开技 术所构建的自主标准，解决了知识产权问题；编码效率高。比m p e g - 2 国际标准高2 - 3 倍；计算复杂度低， 硬件实现成本较低。 表1 - 3 各种标准的码率范围与相关应用 码率 一 应用 v c d ，c d - r o m m p e g - i 视频 0 8 k b p s 一1 5 m b p s i n t e m e t 3 m b p s 一1 0 m b p s m p m l 数字广播，d v d ， 1 6 m b p s 一5 0 m b p s m p n l d - v h s m p e g - 2 视频 5 0m b p s 一1 0 0m b p $ 专业视频处理 m p e g 标 4 2 2 p m l h l 准 1 0 k b p s 一3 8 4 k h , s s p c e l l a r , i n t e m e t l l ，2 ，3 1 0k b p s 一2m b p sc p l i 2 m p e g - 4 视频 2 m b p s 一3 8 m b p s m p 交互式电视 l 2 l 3 l 4 5 0m b p s 一1 2 0 0m b p s 视频剪辑 s t u d i o l 1 2 3 4 h 2 6 16 4k b p s 一1 5m b p s 视频电话0 s o n ) i t u t h 2 6 2 与m p e g - 2 视频相同 标准 h 2 6 3 1 0 k b p s 一3 8 4 k b p s视频电话( p s t n , i n t e m e t ) a v s 标准 1 0 m o p s 一2 0 m o p s 第二部分：视频 j i z h u a p l 4 0 4 2 数字电视广播，有线电视 ( a v s1 0 ) 2 0 m o p s 一3 0 m b p s 交互式多媒体等 p l 6 0 6 2 第七部分：移动视 数字存储媒体 7 东南大学硕士学位论文 j i b e n p l 1 0 1 1 1 2 1 3 2 m b p s 一4 m b p s 网络流媒体 ( a v s m ) j i b e n p l 2 0 2 1 2 2 多媒体通信 6 m b p s 一8 m b p s j i b c l l p l 3 0 3 1 1 3 论文的内容及安排 本论文共分7 章，以下为各章的内容概述： 第一章：绪论，主要介绍了视频编码技术的研究背景，发展现状，本文主要研究内容： 第二章：视频编解码技术基本原理，及a v s 标准视频部分的技术特点介绍。并将a v s 与h 2 6 4 、m p e g - 2 标准进行了关键技术比较。 第三章：视频图像编码中块效应的产生原因和影响的介绍，并对去块效应算法进行具体分析。 第四章：对去块效应滤波模块进行硬件设计。采用自顶向下的设计方法，进行予模块划分和细化设计。 第五章：s o c 的设计中可复用i p 核的作用。介绍i p 核的基本特征、种类、关键技术和开发流程，以 及本文去块效应滤波模块i p 的设计过程。 第六章：对去块效应滤波模块i p 核的功能仿真、f p g a 验证和a s i c 综合结果分析。 第七章：对本文中用到的技术和研究工作进行总结。提出需要改进之处以及对将来的展望。 8 第2 章视频编解码基本原理及a v s 标准介绍 2 1 引言 第2 章视频编解码基本原理及a v s 标准介绍 压缩是把数据用更小的空间来存放的技术。视频压缩( 视频编码) 是把数字视频流序列用更少的数据位 进行存放的方法。“r a w ”或叫没压缩过的视频需要大量的码( 大约每秒信息2 1 6 m ) ，所以压缩对于数字视 频的存储和传输来说都是必需的。 压缩包括一对互补的系统，一个编码器( e n c o d e r ) 和一个解码 $ ( d e c o d e r ) 。编码器把原数据在传输或存 放之前转变为压缩格式( 占用更少的数据位) ，而解压器把压缩的格式转回到原来的视频数据格式上。编码 器，解码器对经常被叫做c o d e c ( e n c o d e r d e c o d e r ) 。 数据压缩是通过移除数据冗余来实现的。很多种数据都有统计上的冗余性，它们就可以通过无损压缩 进行有效的压缩，这样的标准比如说j p e g l s ，它可以达到3 - 4 倍的压缩。有损压缩可以达到更高的压缩 比。在有损压缩系统中，解压数据与源数据是不同的，高压缩率是通过视频质量的下降来达到的。有损视 频压缩系统是建立在删除主观冗余的原理之上的，从图象或视频中删掉的部分不会很大程度上影响观察者 对于视频质量的认识。 大多数视频编码方法寻找空间和时间上的冗余来达到压缩的效果。在时间域中，连续几帧的视频通常 有很强的相关性，特别是当时域采样率是非常高的时候尤其如止。在空问域中，通常像素采样点之问是相 互关联的，比如说，相邻象素之间很相似。 h 2 6 4 、m p e g 4 和a v s 视频标准共用了一部分特征。它们都假设了一种以块( b l o c k ) 为基础的运动补 偿。变换，量化和熵编码。从时间模型开始，接下来是图象变换，量化，预测式编码和熵编码，并以一个 图象采样块为单位进行编码和解码的过程 2 2 视频编码系统模型 v 跏 知烈娃 图2 1 视额编码系统框图 m o d a d o u b h 一个视频编码器把一个源图像或视频序列转化为一种压缩模式，而解码器把它构造为源序列的一个拷 贝或是一个近似。如果解压了的视频序列与原序列是相同的，那么编码过程是无损的，如果解压序列与源 序列是不同的，那么这个过程是有损的。 c o d e c 用一种模型来表示原始视频流c 一个被有效编码的表示方式，并可以用它来重建视频数据的近 9 东南大学硕士学位论文 似结果) ，并尽量取得高的码率和较好的质量。这两个目标( 压缩效率和高质量) 通常是相矛盾的，因为低码 率通常在解压部分会降低图象的质量。 视频编码器是由三个主要的功能部件实现的：时域模、空域模型和熵编码。 2 2 1 时域模型( t e m p o r a lm o d e l ) 时域模型的目标是要减少传输帧的冗余性。这个过程的输出是一个残差帧，而且预测过程越准确，残 差帧5 】啐，包含的能量就越小。残差帧被编码并送到解压器，预测帧加上解码后的残差帧来构成当前参考帧。 预测帧是通过一个或多个过去或未来的帧( 都叫做参考帧) 来创建的。预测的准确性通常可以由参考帧和当 前帧之问的运动补偿来改进。 时域模型的输入为一个未压缩的视频流序列。时域模型试图用邻近帧的相似性来消除时域冗余，通常 方法是构造对当前帧的预测。在a v s 和h 2 6 4 中，预测通常从一个或多个之前或之后的帧来进行的，并对 帧之间的差别进行补偿。时域模型的输出是一个残差帧( 通过从实际当前帧中减去预测值得到) ，和一系列 的模型参数，通常是一系列用来描述运动是如何补偿的运动向量。 2 2 2 空域模型( s p a t i a lm o d e l ) 时域模型有效的运动补偿会减少残差帧的自相关性，从而使得残差帧较原始图像更容易压缩。空域模 型的作用就是进一步去相关残差数据，从而能更加有效的使用熵编码器。典型的空域模型由三部分组成： 变换、量化和游程编码。 空域模型会利用邻近采样点的相似性来降低空域的冗余。在a v s 和h 2 6 4 中，通常通过一些变换对样 点进行处理来实现。变换把采样点转换到其他域中，并在这些域中用变换系数来表示。这些系数被量化后 删除不明显的值，只留下很少的大系数来对残差帧进行表示。空域模型的输出是一系列的量化变换后的系 数。 1 ) 离散余弦变换( d c t ) 用于图像处理的映射变换应满足三方面的要求：( 1 ) 变换是可逆的。它必须保证图像经变换后，还可以 反变换回来：( 2 ) 变换必须有好处，也就是变换应有利于图像压缩或改善图像质量；( 3 ) 变换算法不复杂，因 为很多图像处理系统要求实时处理，算法要保证一定的运算速度。 目前，在各种图像编码系统中应用最广泛的二维正交变换就是离散余弦变换。二维离散余弦( d c t ) 的表达式为同： 蚓= 昙孺n - i n-ik (啪(恍岫co笔荸竺cos蔓2(2-1)n y ( 七l ，：) = 专6 ( 毛) 6 ( 屯) j ( 愧，心) s 皇兰；丝c o s 兰兰