




已阅读5页,还剩71页未读, 继续免费阅读
(通信与信息系统专业论文)实时视频编解码系统加速策略研究.pdf.pdf 免费下载
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
浙江大学顺十学位论文 摘要 r 目前,视频图像压缩处理广泛应用在如下领域:数字电视、视频会议、数字 图书馆、远程教育、远程诊断、交互式游戏等,对计算、传输、存储的要求相当 高。) 广 本文深入研究了制约多媒体系统实时实现的瓶颈问题:运算速度、数据存储 和调度,以塑塑缠鲢西、算法优化、集成电路设计为基础,从不同层面提出了解 决这些瓶颈问题的加速策略。 运算速度是视频实时传输系统的一个严重的瓶颈问题,实时性和功耗两方面 均要求减少软件层面的算法复杂度。本文对运算量集中模块的快速算法展开了深 入研究,并利用加速指令集,通过增加面向高速并行操作的新指令和采用s i m d 技术对大量的加法、乘法等运算有效地加速。 视频处理器一般有鼹种结构:专用体系结构和可编程体系结构。这两种视频 处理系统在系统结构、占用资源、灵活性以及应用领域等方面都存在很大区别a 可编程结构灵活。适用范围广,易于升级,但电路复杂,电路功耗大。专用视频 解码器结构硬件开销小,处理速度高,但它的可扩展性差。将专用体系结构的部 件和可编程体系结构的部件混杂在一起的软硬件协同系统成为目前研究的热点。 本文深入研究了这三种实现途径的加速策略。 就目前c m o s 工艺而言,存储器件的速度以及存储单元同处理单元间的数 据传输、调度成为制约系统性能和处理速度的瓶颈问题。因此本文研究的另外一 个重要方向是芯片设计中的数据存储结构与数据调度策略。 首先研究了两类数据存储结构:帧存和本地缓存,并且提出了未来的s o c 结构的发展方向:片上m e m o r y 。其次,在数据存储结构的基础上研究了b u s 上 数据调度策略,通过分析视频图像处理的持续性、周期性、相关性等特征,提出 了优化的总线系统和混合调度策略。) l 一旷 关键词:视频图像处理审挟速算国加速指令集i 视频处理器i 数据存储 数据 调度。 浙江大学硕士学位论文 a b s t r a c t v i d e o & i m a g ep r o c e s s i n g i s w i d e l y u s e di nt h o s ef i e l d s :d i g i t a l t v , v i d e o c o n f e r e n c i n g ,d i g i t a ll i b r a r i e s ,d i s t a n tl e a m i n g ,t e l e m e d i c i n e ,i n t e r a c t i v eg a m e s a n di t p l a c e s v e r yh i 曲d e m a n d s o nd e v i c e sf o rt r a n s m i s s i o n ,s t o r a g e ,a n d c o m p u t a t i o n t h em a i no b j e c to ft h i s d i s s e r t a t i o nf o c u s e so ns o m eb o t t l e n e c kp r o b l e m s o f m u l t i m e d i ar e a l t i m es y s t e m :c o m p u t a t i o n a ls p e e d ,d a t as t o r a g es t r u c t u r ea n d d a t ab u s s c h e d u l e b a s e do nv i d e oc o d e c ,a l g o r i t h mo p t i m i z a t i o na n di n t e g r a t ec i r c u i td e s i g n m e t h o d o l o g y , t h i sp a p e rg i v e s s o m ep r o p o s a l st or e s o l v et h e s ep r o b l e m sf r o m d i f f e r e n tl e v e l s c o m p u t a t i o n a ls p e e d i so n eo ft h eb o t t l e n e c kp r o b l e m so fm u l t i m e d i ar e a l t i m e s y s t e m i nt h i sa r t i c l e f a s ta l g o r i t h m sf o rm o d u l e so fh i g hc o m p u t a t i o n a lc o m p l e x i t y a n di n t e la c c e l e r a t i o ni n s t r u c t i o ns e t sa r ed e e p l ys t u d i e d r h e r ea r et w ok i n d s o fa r c h i t e c t u r ef o r v i d e o & i m a g ep r o c e s s i n g s y s t e m : p r o g r a m m e da n d d e d i c a t e d t h ef o r m e ri sm o r ef l e x i b l ea n de a s yt ou p d a t e b u tt h e h a r d w a r ei sc o m p l i c a t e d ,a n dp o w e rc o n s u m p t i o ni sh i g h t h el a t e ri sd e s i g n e da n d o p t i m i z e da g a i n s t as e to fa l g o r i t h m s i ts a v e sm o r eh a r d w a r ea n dh a sh i g h e r p r o c e s s i n gs p e e d a c t u a ls y s t e m o f t e n a d o p t s m i x e da r c h i t e c t u r ed e s i g nm e t h o d i n c l u d i n gb o t hd e d i c a t e da n dp r o g r a m m e dp r o c e s s o r s a c c e l e r a t i o nm e t h o d so f t h e m a r ed e e p l ys t u d i e di nt h i sa r t i c l e b yn o w ,t h es p e e do fl o g i cc o m p u t a t i o n i np r o c e s s i n gu n i t si sv e r yh i g hw i t hg e n e r a l c m o s t e c h n i q u e s h o w e v e r , t h es p e e d o ft h es t o r a g em e m o r ya n dt h ed a t at r a n s f o r m b e t w e e nm e m o r ya n dp r o c e s s i n gu n i t si sn o ta s h i g h a st h e p r o c e s s i n g u n i t s i t b e c o m e st h eb o t t l e n e c ko ft h es y s t e m i nt h i sp a p e r , d a t as t o r a g es t r u c t u r ea n dd a t a b u ss c h e d u l ea r er e s e a r c h e d f i r s t l y ,t w o k i n d so fd a t a s t o r a g es t r u c t u r e a r es t u d i e d :l o c a lm e m o r ya n df l a m e m e m o r y t h es t r u c t u r ei nt h ef u t u r ei sf o r w a r d e d s e c o n d l y , t h eb u s d a t as c h e d u l ei s s t u d i e db a s e do nt h es o t r a g es t r u c t u r e ,i nv i d e o & i m a g ep r o c e s s i n g , t h ed a t aa r e c o n t i n u o u s ,p e r i o d i c a la n dc o r r e l a t i v e a c c o r d i n gt o t h ec h a r a c t e r s ,a na m b ab u s s y s t e ma n dah y b r i ds c h e m e a r ed e v e l o p e d k e yw o r d s :v i d e o i m a g ep r o c e s s i n g ,f a s ta l g o r i t h m ,a c c e l e r a t i o ni n s t r u c t i o ns e t , v i d e op r o c e s s o r , d a t a s t o r a g e ,b u ss c h e d u l e 1 i 塑望丕堂堡主堂笪造茎一 第一章绪论 第一节常用图像编码技术 人类接受的信息大约有7 0 来自视觉,因此它是人类最有效和最重要的信息 获取形式。除了直观、具体生动和效率高以外,视频信号还有信息容量大的特点。 这给视频图像的存储、传输等都带来了很大困难。因此,高效的视频编码技术迅 速发展起来。 目前主要的编码方法有以预测编码、变换编码、熵编码和混合编码等为主的 “经典”编码方法和最近几年发展起来的新技术。 经典的编码方法分为无失真编码和率失真编码。无失真编码是指在编解码过 程中不出现信息失真的编解码算法。通常无失真编码被称为熵编码。 采用无失真编码虽然能使编解码不出现失真,但是其编码的压缩比通常不 高。根据人眼的生理特性,当失真小于一定的范围时,通常不会被察觉或影响很 小。丽允许一定的失真可以大大提高压缩比。这种允许一定失真的编码方法统称 为率失真编码。 1 1 1 熵编码 无损压缩理论是建立在信息论的基础上的。常见的无损压缩方法有霍夫曼 ( h u m a n ) 编码、游程编码、算术编码等。表示符号的码字的长度随符号出现的 概率而变化:先统计每个码的出现概率,然后给出现概率高的码分配较短的码字, 给出现概率低的码分配较长的码字。 h u f 抽a n 编码是一种变长的最佳编码方法。算法的实现基本如下: 对信源信息符号的出现频率进行统计,按出现概率对符号集合进行排列。 把出现概率最小的两个符号组合成一个新的符号,并定义该符号的出现概率 为原来两个符号的出现概率之和,得到新的符号集,其符号个数比原来的符号集 少l ,重新按出现概率对新的符号集进行排序。 对最后得到的两个符号进行编码,分别赋以码字0 和1 ,然后将其中 的组合符号展开,对它的两个原始符号进行编码,在组合符号的码字后面分别添 加0 和“1 ”。 按照符号集压缩的逆序重复进行上述操作直到完成对初始符号集的编码。 1 1 2 预测编码 预测编码的原理是:根据二维图像中相邻像素之间的相关性,每个像素可以由 邻近的前几个像素来预测。d p c m 是先作预测,然后再对预测误差进行量化和编 码。 帧内预测编码是指在同一帧内利用行间或列间的相关性进行预测和编码。 1 9 5 2 年,o l i v e r l 2 1 就对图像的线性预测编码进行了理论研究;1 9 6 6 年,0 n e a l p l 根据最小均方差准则( m m s e ) ,对图像d p c m 中的线性预测器和量化器进行了 研究。帧内编码的优点是算法简单,硬件容易实现;缺点是对信道噪声很敏感,容易 产生误码扩散。 帧问预测编码由m o u n t s 4 1 在1 9 6 9 年提出,它是利用活动图像相邻帧间的相 关性来达到压缩编码的目的。帧间编码技术在电视信号的压缩编码中得到广泛 应用。帧间预测编码由运动估值单元和运动补偿单元二部分组成: 运动估值单元 一般地,视频信号相邻两帧之间具有很强的相关性,采用运动估值技术进行 帧间编码来去除帧间的冗余度是提高视频编码压缩比的重要手段之一。常用的运 动估值算法有梯度法、像素递归法和块匹配法f 5 】 6 j o 其中,块匹配法由于其稳健 性好,编码码率低,而被标准编码框架采纳。采用块匹配算法的运动估值技术分 成以下二步来实现: 第一步运动搜索。在前帧的对应于后帧当前宏块位置的附近区域中,搜索 与当前宏块最匹配的宏块。衡量最佳匹配的准则有很多种,比如均方误差( m s e ) 、 归化互相关函数( n c c f ) 、平均绝对帧差( m a d ) 等。研究表明,各种准则 性能差别不显著,而m a d 运算量最小,所以被普遍采用。 m a d 准则被定义为: m n n ( “) 2 面1 萎善n 陬( 聊,一) 一& 一 村 式中s k ( m ,n ) 为第k 帧位于( m ,n ) 的像素值,i 、j 分别为水平和垂直方向的偏 移量,取值范围为_ d m i j d m 。 搜索匹配块的算法也有许多种。全搜索即在搜索区内逐点搜索,每搜索一次 计算一次m a d ,当m a d 达到最小值时,求得最佳匹配宏块。为了提高搜索速 度、减少搜索次数,提出了多种快速搜索算法。这些快速搜索算法都认为在整个 搜索区内准则函数是( i j ) 的单极点函数,有唯极小值,而快速搜索是从任一点 开始沿最小失真方向进行的。 在搜索到匹配块后,编码器要决定对当前的宏块作帧内编码或帧间编码。i 2 塑垩盔堂堕兰堕丝羔一 帧的宏块全部都是帧内编码( i n t r a ) 宏块,p 帧中既有i n t r a 宏块也有帧间编码 ( i n t e r ) 宏块。编码器根据比较前后两帧图像的相关性来决定是采用帧间编码还 是帧内编码。相关性强则采用帧间编码,相关性弱则采用帧内编码。 第二步求残差。运动估值找到最匹配的宏块后,需要传送前后帧匹配宏块 间像素差值矩阵埘b 日如下式: 枷。= c ( x ,y ) p ( x + h ,y + v ) ( 1 - 2 ) 个宏块共有3 8 4 个差值,其中2 5 6 个是亮度块的差值,1 2 8 个是色度块的 差值。 运动补偿单元 运动补偿被应用于解码器和编码器的本地解码部分,是运动估值的逆过程。 它可以分为二步来完成: 第一步寻址参考宏块。根据运动矢量和预测方式等参数计算出参考宏块的 地址,并读取参考宏块数据。 第二步补偿运算。根据差值矩阵a m b ,和参考宏块来计算像素值。 运动补偿计算由下面公式给出: c ( x ,y ) = 城+ p ( x + h ,y + v ) ( 1 - 3 ) 1 1 3 变换编码 变换编码的基本思路是将在空间域描述的图像信号变换到另外的正交向量 空间( 变换域) 中。如果该正交向量空间的基向量与图像本身的特征向量很接近, 则经过正交变换后,系数间的相关性基本解除,能量主要集中在直流和少数低空 问频率的变换系数上,从而达到图像压缩的目的。 用于图像编码离散正交变换的类型很多,比如斜变换、沃尔什哈达码变换、 哈尔变换、k l 变换【7 】、余弦变换【8 】等。k - l 变换采用图像本身的特征向量作为 变换的基向量,故与图像的统计特性完全匹配,是在最小均方误差准则下进行图 像压缩的最佳变换。但是,由于变换矩阵与图像类型有关,所以无快速算法。除 了k l 变换外,其余变换编码都有快速算法。在各种正交变换中,离散余弦变 换( d c t ) 【8 i 因与k l 变换最接近,且有快速算法,因此被各种视频编码标准所采 纳。对一个n x n 的像素块,其二维离散余弦变换定义为: ,( 。,力:昙。( 。) c ( 芝n - :i 罗n - i ,( 。,力c o s 垦垒! ! 坚c o s 垦生二! 旦坚 ( 1 4 ) ,( 虬力5 素c ( ”) c ( 萎荟( 力c o s 坚苎;考坚c o s 竺芝;- - 1 字竖 ( 1 4 ) o j op _ o 川 v 塑坚盔堂堡堂堡堡墨一 其中u ,v ,x ,y = 0 ,1 ,2 ,n - 1 。 = 专嘉。 s , 二维i d c t 定义为: r f 。、:kn - , n - , u ) c ( v ) f ( u 坠业坚c o s 坚业( 1 6 ) m ) i 。, v ) c o s - y y c (等。8 等1 。6 u = ot = 0 常用的一维d c t 快速算法有基于变换矩阵分解的蝶形运算9 1 1 1 0 l 和基于位元 计算的快速算法】;二维d c t 的快速算法则一般采用行列分离d c t 或矢量基算 法孙。 变换编码的优点是它具有较强的抗信道误码能力,通信系统的误码对图像变 换编码的影响小于p c m 和d p c m 编码。对高质量的图像,一般d p c m 编码要求 信道误码率- = 3 8 4 k b i t s ,可传输清晰度好的图像,适用于电视会议。 h ,2 6 1 建议具有以下两个方面的贡献: 统一了图像格式。由于欧洲和中国的电视制式标准均采用p a l 制式,而 北美和日本采用n t s c 制式,各种制式的帧频和行数都不一致。这就要 求编解码器的图像格式采用同一标准。h 2 6 1 采用了与制式无关的图像 格式。无论是哪一种制式的视频信号进入编解码器后都被转换成公共中 间格式( c i f ) 。该图像对亮度信号而言,每幅图像扫描2 8 8 行,每行有 3 5 2 个像素点,色度信号每帧大小为1 4 4 行x 1 7 6 个像素,帧频为每秒3 0 帧,扫描方式为逐行扫描。随后的各种视频标准都采用或扩展了c i f 格 式。 解决了编码算法问题。8 0 年代以来,国际上研究出多种数字图像压缩编 码的算法,如果各生产厂家的图像编码器的算法不一致,则无法互通。 因此有必要确定一种统的视频压缩编码算法。h 2 6 1 采用了运动补偿 预测和离散余弦变换相结合的混合编码方案( d p c m + d c t ) ,获得很好的 图像压缩效果。 h 2 6 3 是h 2 6 1 的后续标准。比之h 2 6 1 ,它提高了运动补偿的精度,常用 于超低速率的图像传输。 1 2 2 i p e g - 2 标准 m p e g 是活动图像专家g 丑( m o v i n g p i c t u r ee x p e r tg r o u p ) 的英文缩写。它是标 准化组织0 s o ) 和国际电工委员会( i e c ) 联合技术委员会i ( j t c1 ) 的第2 9 分委员会 ( s c 2 9 ) 的第1 1 工作组( w g “) ,其全称是w g 1lo f s c2 9o f i s o i e cj t cl 。其 任务是开发运动图像及其声音的数字编码标准,成立于1 9 8 8 年。 m p e g 专家组于1 9 9 4 年通过了i s o1 3 8 1 8 号建议,即“活动图像及其声音 的通用编码”标准,通称m p e g 2 标准。m p e g 一2 完全吸收了h 2 6 1 、m p e g l 等所采用的压缩编码技术,同时性能加以扩展,覆盖了从常规电视到h d t v 等 塑坚查堂堡主堂生丝一一一 非常宽范围内的视频压缩业务。m p e g 2 直接面向高数据率的广播格式,提供了 有效的隔行视频信号编码算法,支持宽范围的比特率,m p e g 2 能表示隔行和逐 行视频序列,主要用于d v d 、h d t v 和数字卫星电视等。 m p e g 2 能够使标准清晰度电视的编码比特率范围在3 - 1 5 m b i t s 、高清晰度 电视比特率范围在1 5 3 0 m b i t s 。m p e g 2 解码器也能够对m p e g l 的数据流进行 解压缩。m p e g 2 把整个标准分为不同的子集,称为类( p r o f i l e s ) 和级( l e v e l s ) 。 p r o f i l e s 限制语法( 例如算法等) ,l e v e l s 限制编码参数( 采样率、帧数、编码比 特率等) 。5 个类为简单( s i m p l e ) 类、主( m a i n ) 类、s n r 可分级( s c a l a b l e ) 类、空间可分级( s p a t i a l l ys c a l a b l e ) 类和高( h i g h ) 类。4 个等级为低( l o w ) 级、主( m a i n ) 级、高1 4 4 0 ( h i 曲1 4 4 0 ) 级和高( h i g h ) 级。 1 2 3m p e g - 4 标准 相对于m p e g 2 ,m p e g 4 标准支持的新功能分类列举如下: 基于内容的交互性( c o n t e n t - b a s e di n t e r a c t i v i t y ) 基于内容的操作与比特流编辑支持无须编码就可进行基于内容的操作与比 特流编辑。例如:使用者可在图像或比特流中选择具体的对象( o b j e c t ) ( 例如图像 中的某个人,某个建筑等等) ,随后改变它的某些特性。 提供将自然视频图像同合成数据( 文本、图形) 有效结合的方式,同时支持交 互性操作。 m p e g 一4 将提供有效的随机存取方式:在有限的时间间隔内,可按帧或任意 形状的对象,对一音、视频序列进行随机存取。例如以一序列中的某个音、视频 对象为目标进行”快进”搜索。 高压缩率( c o m p r e s s i o n ) 在与现有的或正在形成的标准的可比拟速率上,m p e g 一4 标准将提供更好的 主观视觉质量的图像。这一功能可望在迅速发展中的移动通信网中获得应用。且 提供对一景物的有效多视角编码,加上多伴音声道编码及有效的视听同步。 错误易发环境中的抗错性( r o b u s t n e s s ) m p e g - 4 将提高抗错能力( e r r o rr o b u s t n e s sc a p a b i l i t y ) ,尤其是在易发生严重 错误的环境下的低比特应用中( 移动通信链路) 。m p e g 一4 是第一个在视音频表示 规范中考虑信道特性的标准。目的不是取代已由通信网提供的错误控制技术,而 是提供一种对抗残留错误的坚韧性。例如:选择性前向纠错( s e l e c t i v ef o r w a r d e r r o rc o r r e c t i o n ) ,错误遏带l j ( e r r o rc o n t a i n m e n t ) ,或错误掩盖( e r r o r c o n c e a l m e n t ) 。 基于内容的尺度可变性( c o n t e n t b a s e ds c a l a b t l i t y ) 内容尺度可变性意味着给图像中的各个对象分配优先级。其中,比较重要的 塑婆盔兰竺主兰堡堡塞 对象用较高的空间或时间分辨率表示。基于内容的尺度可变性是m p e g _ 4 的核 心。对甚低比特率应用来说,尺度可变性是一个关键的因素,因为它提供了自适 应可用资源的能力。例如,这个功能允许使用者规定:对具有最高优先缴的对象 以可接受的质量显示,第二优先级的对象则以较低的质量显示,而其余内容( 对象) 则不予显示,可见,这种方式可最有效地利用有限的资源。 尽管国际学术界在对象分割领域做了深入的研究和努力,至今仍未有有效的 对象分割方案,对象检测和分割仍处于半自动的状况。而m p e g 一4 标准的最大优 势之一便是基于内容的操作,因此对象分割问题成为目前制约m p e g - 4 发展的主 要因素。 l - 2 4h 2 6 4 标准 近年来倍受瞩目的视频压缩标准h 2 6 l 2 4 ) 致力于实现极低目标码率传输,并 采用有效的差错控制和恢复技术,在网络视频实时传输方面应用前景很广阔。 h 2 6 l 能支持广播视频以小于1 m b i t s 的速率进行高质量传播,可以预言,它即 将带来视频传输的大变革。h 2 6 l 即将于2 0 0 3 年春被批准,其正式名称是h 2 6 4 , 同时,一些m p e g 协会将其称之为m p e g 一4 第1 0 部分,还有一些称之为“提议 中的j v t a v c 标准”。它由美国和欧洲标准组织合作创建的联合视频小组( j o i n t v i d e ot e a m ) 组织联合制定,将作为m p e g 4 多媒体标准的一部分。相对于前述 标准,h 2 6 4 在运动补偿精度、多模式选择、熵编码等方面做出了重大改进,实 现了极高压缩编码效率。h 2 6 4 采用的新技术主要包括高精度运动补偿、多模式 选择、改进的熵编码、4 4 整型变换取代传统d c t 变换、拉格朗日算子及 h a d a m a r d 变换的引进【2 4 1 。具体技术将在第二章介绍。 第三节制约多媒体系统实时实现的瓶颈 1 3 1 运算速度 运算速度是视频实时传输系统的一个严重的瓶颈问题。视频压缩标准的一个 重要特性是处理的数据量非常巨大,且算法复杂度相当高。实际的多媒体应用实 时性要求每秒1 0 1 5 帧,运算量相当惊人,运算资源被极大占用,将导致功耗 增大。因此,从实时性和功耗两方面均要求加速策略的研究与应用。 目前,在p c 机上实现传统视频压缩标准的软件编解码已经不是问题,然而 如果要达到实时系统的要求,系统资源被极大占用,使得p c 机几乎不能进行其 他工作。以h 2 6 4 标准为例,其算法复杂度是传统视频压缩算法的若干倍,目前 塑望丕篓塑主堂垡鎏墨 的软件校验模型离实时性也相距甚远。因此,减少软件层面的算法复杂度是视频 编码标准实时应用必须解决的问题。减少算法复杂度的常用策略是对运算集中的 关键模块提出快速算法。此外,利用加速指令集,通过增加面向高速并行操作的 新指令和采用s i m d 技术【2 6 1 2 7 1 对大量的加法、乘法等运算有效地加速,也是一 种常见的加速策略。 本文将在第二章介绍相关研究。 视频编解码系统通常基于硬件实现。硬件处理部件可分为专用视频处理器和 可编程视频处理器。对专用视频处理器而言,有基于算法规律性、基于查表、基 于代数特性的体系结构设计等加速方法:对可编程视频处理器而言,可以从指令 级并行、数据分配并行等方面提出加速方法。实际的系统设计通常采用一种混合 型的体系结构,将视频处理任务作软、硬件划分,其内部既有可编程核,用于处 理复杂的高级任务,同时又有专用处理模块,用于处理中、低级任务,这种结构 既有可编程的灵活性,又兼有了专用结构的功耗小、处理速度高等特性。对于混 合型的体系结构而言,基于算法分级思想1 4 ”,对系统任务进行合理的软、硬件划 分,是提高系统性能和处理速度的一种重要方法。 本文将在第三章介绍相关研究。 1 3 2 数据存储和调度 目前,各种视频图像处理算法层出不穷,而且随着v l s i 技术的发展,数据 处理的速度提高得相当快已经能够提供算法所要求的速度。然而m e m o r y 的速 度远跟不上处理单元的速度。尤其对于视频图像处理这样的应用领域,数据结构 复杂,数据处理量、吞吐量相当大,因此需要设计高效的数据存储结构和调度系 统,以解决计算处理和存储速度不一致的问题。 在视频图像处理系统中,数据存储结构是决定系统整体性能的一个重要瓶颈 词题。首先,各种存储结构造成数据具有不同的传输速度,需要选择适当的结构 从而提高系统速度。其次,不同的存储方案占用的m e m o r y 空间不同,为了减小 芯片面积,需要设计高效、优化的数据存储结构。因此设计有效的存储结构对于 系统的实现非常重要。随着v l s i 工艺的快速发展,有将m e m o r y 与系统集成在 一块芯片上的趋势。 由于视频图像处理是一个多任务的集合,大多数任务在存储单元上都有数据 存取的操作,存储单元的性能通常跟不上数据处理速度的要求,如果各种存取操 作没有有效的调度策略,将会发生死锁、阻塞等情况,因此,数据调度成为另一 个影响系统性能的瓶颈。优化设计的数据调度策略可尽力避免这些问题,并减小 调度逻辑复杂度,降低系统硬件开销。 0 塑坚盔堂堡堂笪堡塞 一 本文将在第四章介绍相关研究。 第四节本文内容安排 本文以视频编解码、算法优化和集成电路设计为基础,对制约实时视频传输 系统的瓶颈问题进行了比较深入的研究,并从不同层面提出了解决方案。本文内 容安排如下: 第一章回顾了视频编解码理论、技术和有关算法,并从较高抽象层次对制约 实时视频传输系统实现的瓶颈问题做了归纳总结。 第= 章以极低码率视频编码标准h 2 6 4 为研究对象,提出了制约h 2 6 4 实时 应用的瓶颈问题,从算法级提出并实现了加速策略。 第三章对处理部件加速策略做了分类和归纳总结。本文通过m p e g 一4 编解码 器设计、m p e g 一2 解码器设计、视频信号处理芯片a x p e l 2 8 0 v 等实例,深入研 究了专用视频处理器、可编程视频处理器的加速方法,以及将专用体系结构和可 编程体系结构混合在一起的系统实现方案。 第四章针对存储器和计算处理单元速度不匹配的问题,并以m p e g 一4 编解码 器设计、m p e g 一2 解码器设计为实例,深入研究了数据存储结构和总线调度策略 对系统性能及处理速度的影响。 第二章视频算法加速方法研究 本章以h 2 6 4 视频压缩标准为研究实例,提出了算法级加速策略。 第一节h 。2 6 4 标准介绍 2 1 1h 2 6 4 相对传统编码算法的优越性 h 2 6 4 是当今视频压缩编码领域的研究热点,可以预言,h 2 6 4 将带来视频 传输领域的重大变革。相对于传统编码方法,h 2 6 4 在运动补偿精度、多模式选 择、熵编码等方面做出了重大改进,使之具有极高的压缩编码效率。表2 1 列出 h 2 6 4 的一些新算法。 q c i f 格式图像:1 4 象素 运动补偿精度 c 1 f 格式图像:1 8 象素 1 4 象素精度:半象索6 - t a p 滤波算子,线性内插得到 1 4 象素 高精度内插滤波算子 1 8 象索精度:1 ,4 象索$ - t a p 滤波算子,线性内插得到 1 8 象素 共有1 6 1 6 ,1 6 8 ,8 1 6 ,8 8 ,8 4 ,4 8 ,4 x 4 运动预测7 种子块预测模式。 从中取得最佳子块预测模式。 残差编码4 x 4 整型变换取代传统d c t 变换 帧内预测模式从6 种帧内预测模式取得最佳模式 参考帧选择1 5 个参考帧 c a b a c 是基于上下文的自适应二值算术编码方法。 熵编码 u v l c 即全局v l c 。 表2 - lh 2 6 4 与m p e g 一4 的算法对比 本文在相同的码率控制策略和最优参数配置下,采用一系列标准参考序列, 对h 。2 6 lv e r i f i c a t i o nm o d e l ,m p e g 一4a d v a n c e d s i m p l ep r o f i l ev e r i f i c a t i o nm o d e l 进行计算机仿真。图2 l 是c a r p h o n e ,q c i f ,1 5 h z 序列的仿真结果。 图表趋势非常明显。对该c a r p h o n e 序列而言,m p e g 4a s p 编码模型系统 不能到达3 2 k b i t s 的目标码率,而h 2 6 4 目标码率可以降到8 k b i t s 乃至更低。在 相同p s n r 值( 重建图像峰值信嗓比,代表重建图像质量) 情况下,h 2 6 4 目标 码率可以达到m p e g - 4 a s p 的1 3 1 5 。这说明h 2 6 4 具有很高的压缩效率。 苜 已 己 匹 也 巴 塑些查堂堕堂垡堡奎一一 h 2 6 4 标准制定的目的是用于i p 视频传输,据称,它能支持广播视频以小于 1 m b i t s 的速率进行高质量传播。h 2 6 4 在无线传输和移动多媒体中具有极强的适 用性。移动多媒体通信具有下述特点: ( 1 ) 通信信道带宽较窄。这是制约多媒体业务发展的最主要的因素。 ( 2 ) 与视频会议中的场景不同,移动多媒体通信中的可视信息可能包含非常 复杂的自然场景,运动幅度大,细节丰富,有场景切换的自然场景出现 的概率都要远大于视频会议的场景。这些丰富的自然场景必须要有高的 解码质量,从而要求移动多媒体通信中的编码系统要在同等比特流下获 得高性能的解码质量。 ( 3 ) 移动通信的传播环境是可变的,信道质量也随之随机变化,因而需要移 动多媒体通信的压缩系统具有较强的抗干扰能力和纠锗能力。 h 2 6 4 具有高效压缩效率,因此适应于带宽较窄的通信信道。通过对不同类 型序列的仿真比较,发现h 2 6 4 尤其适用于具有某些特性的图像序列,如运动幅 度比较大、细节丰富、有场景切换的序列,这是由于h 2 6 4 采用了多参考帧、高 精度运动补偿、多模式选择等技术,能取得精确的运动补偿,因此h 2 6 4 适用于 复杂的自然场景。此外,h 2 6 4 采用的特殊的差错控制机制,完全能够适应移动 多媒体要求的抗干扰能力和纠错能力。 图2 - lh 2 6 4 与m p e g 4 目标码率比较 2 1 2 制约h 2 6 4 实时系统应用的瓶颈 h 2 6 4 的高效压缩效率是以运算复杂度的极大提高为代价的。 我们采用f o r e m a n ,q c i f ,1 5 h z 序列进行h 2 6 4 编码。参数配置是:1 个 参考帧、多模式选择、1 4 运动补偿精度、1 6 1 6 搜索窗。仿真结果表明,平均 每帧约耗时1 2 9 s 。源代码中含有大量调试信息,且以实现标准为主,未实现任 堑翌盔堂塑主堂丝堡奎一 何的优化,这是导致速度缓慢的原因之。然而即使去掉调试信息,并从程序结 构组织上做一定程度的优化,速度离实时性也还是相距甚远。实际的多媒体应用 实时性要求每秒l o 1 5 帧,其运算量是相当惊人的。同时,功耗问题也是无线 传输和移动多媒体通信面i 临最为棘手的问题,运算量巨大将导致运算资源被极大 占用,功耗增大。因此,从实时性和功耗两方面考虑,大幅度削减运算复杂度都 是必需的。 本章将对制约h t 2 6 4 实时系统应用的瓶颈问题展开研究,分析h 2 6 4 运算复 杂度集中的主要算法模块,得出算法优化的方向。表2 2 列举了运算复杂度的瓶 颈部分。 运动搜索基于1 4 象紊和1 8 象素精度,需进行多次象索内插和匹 运动补偿精度 配搜索。 6 种帧内预测模式。 l 喷间预测基于1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 8 、4 47 多模式预测 种子块模式。 最佳模式选取判断采用穷举法,循环判断。 多参考帧采用1 5 个参考帧 c a b a c 技术是基于上下文的自适应二值算术编码方法,对编码后 熵编码每个符号均计算上下文,每隔5 0 个时隙即根据已编码运动矢量的 统计特性不断调整和更新符号条件概率。 拉格朗日算子用于运动矢量,模式,参考帧选择。 表2 2h 2 6 4 运算复杂度集中的瓶颈部分 由上表分析可知,h 2 6 4 运算复杂度集中的主要模块是高精度的运动补偿、 多模式选择、熵编码,这些模块均可考虑应用快速算法。本章深入研究了针对运 动估值模块的快速算法。 第二节运动估值模块快速算法应用与分析 本节针对高精度的运动补偿,提出了适用于h 2 6 4 的运动搜索快速算法。整 象素搜索参考学术界提出的运动搜索区域动态确定算法【5 0 】,采用了可变搜索区域 模型。贬象素搜索则参照王维东提出的快速算法模型【49 1 ,根据h 2 6 4 算法的特点, 加入性能良好的滤波算子,并对评判准则作出一定程度的改变,能使h 2 6 4 算法 在降低运算复杂度的基础上,保留原有的高效压缩效率。 4 塑堑查堂婴主羔堡堡苎一 2 2 1 亚象素运动估值快速算法概述 惦e 二次瞌线模型 目前运动估值等方面的快速算法已经成为学术界研究的热点。高精度的匹配 和补偿可减少预测误差,提高视频图像压缩效果,因此在整象素基础上,通常要 进一步进行亚象素搜索。 一般的压缩编码方案采用分级搜索算法。先在搜索区域内找到最佳整象素匹 配运动矢量,然后由整象素点线性内插得到半象素点,再在整象素匹配点周围8 个半象素点处搜索最佳匹配半象素点。如果要得到更高精度的运动估值,则需要 进行更高亚象素精度的多次内插和匹配搜索。h 2 6 4 引入高精度的运动补偿,对 于q c i f 格式图像采用l 4 象素精度、q c i f 格式图像采用l 8 象素精度的运动补 偿。我们可以对不同精度下象素内插和均方误差的运算次数作一个统计。在1 4 象素精度下,分级匹配搜索算法需1 次象素内插和8 次m s e ( 均方误差) 的计 算:1 8 象素精度下,分级匹配搜索算法需2 次象素内插和1 6 次m s e ( 均方误 差) 的计算。由此可见,分级匹配搜索算法的运算次数随着运动补偿精度的提高 增长较快。 王维东等人提出的基于m s e 的亚象素运动估值快速算法【4 9 i 指出,亚象素是 整象素的线性内插,一个整象素内部的m s e 具有连续性,可用二次曲线描述, 利用二次曲线特性找到极小点即为任意精度的最佳匹配点。该算法根据半象素精 度运动估值的中间结果和残差的二次曲线特性,直接推算出更高精度的运动估计 结果。采用亚象素快速搜索算法的搜索次数与运动补偿精度无关。而采用分级匹 配搜索时,如果精确到1 2 1 象素精度,搜索次数为8 i 次,因此,运动搜索精度 越高,采用亚象素精度快速算法的优势越明显。 图2 2 为半象素精度最佳匹配点是半象素点的情况。d o ,d 。是整象素点, d l 2 是半象素点。 m a d 二次插值曲线可以用如下方程描述: d ( x ) =ax 2 + bx+c ( 2 1 ) 根据已有的d o ,d 1 ,d l ,2 计算二次曲线系数a ,b ,c ,可以得n - 次曲线的 描述: d ( x ) = 2 ( d i 一2 d 1 n + d o ) x 2 + 4 ( d 1 ,2 d 1 3 d o ) x + d o ( 2 2 ) 若k 0 ,( 0 ,1 ) 区间内m a d 最小值点即最佳匹配点为: :三+ 上 4 2 0 + k ) k :婴( 2 - 3 ) d 0 d 浙堡奎堂堡主堂堡堡奎一 。一一 d 0 图2 - 2m a d 二次插值曲线( 半象素最佳匹配点半象素点) 图2 3 为半象索精度最佳匹配点是整象索点的情况。m a d 二次插值曲线可 以用如下方程描述: d i ( x ) :a 1x 2 + b l x+c1 ( 2 - 4 ) d 2 ( x ) =a 2x 2 十 b 2 x + c 2 ( 2 - 5 ) 根据已有的d o ,dj ,d l ,2 ,d 小d 川2 计算二次曲线系数a l ,b 1 ,c l ,a 2 b z t c 2 ,可以得到两条二次曲线方程的描述: d l ( x ) =2 ( dj 2 d 1 ,2 + d o ) x 2 + 4 ( d 】,2 一d 1 3 d o ) x + d o ( 2 6 ) d ,( x ) =2 ( d 1 2 d 】2 + d o ) x 2 + 4 ( d 1 ,2 一d 一1 3 d o ) x + d o ( 2 7 ) 可以推导出如下结果: 若k t 2 ,0 k 2 2 ,0 k 1 = 2 k i = ( 1 0 c a l s e a r c h r a n g e i + 2 ) 4 e l s ek 净( 1 0 c a l s e a r c hr m a g ei - i - 2 ) 8 a = a b s ( m vai ) + a b s ( m v _ b i ) + a b s ( m v c i ) i = x ,y ( 2 - 1 4 ) 式2 1 3 求得的l o c a l s e a r c h _ r a n g e _ x 和l o c a l _ s e a r c hr a n g ey 可能超出 l o c a ls e a r c hr a n g e ,为此做如下修正: n e w s e a r c h r a n g e _ x = m i n ( i n p u t _ s e a r c h _ r a n g e ,l o c a l _ s e a r c h r a n g ex ) n e w s e a r c h _ r a n g e _ y = m i n ( i n p u t _
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025年病历管理制度、查对制度考核试题及答案
- 2025年《汽车维修工》技师考试题及答案
- 协议规范信用承诺书7篇
- 增强现实广播技术-洞察与解读
- 2025广东依顿电子科技股份有限公司招聘HRBP岗考前自测高频考点模拟试题及一套答案详解
- 2025年事业单位招聘考试综合类专业能力测试试卷(统计类)真题模拟训练
- 2025年事业单位招聘考试综合类面试真题模拟试卷高频考点精讲
- 2025年苏州市事业单位教师招聘历史学科专业知识真题模拟解析试卷
- 虚拟化能耗管理策略-第1篇-洞察与解读
- 黑龙江考试题目及答案
- 屠宰场安全生产制度
- 2025简易个人劳动合同模板下载
- 劳动项目三 烹调酸辣汤教学设计-2025-2026学年初中劳动七年级上册人教版
- 漏电保护器安全培训课件
- 二级注册计量师2025年真题解析测试卷(含答案)
- 适老化改造在老年人居住环境中的应用与2025年市场分析报告
- 国开2025年《特殊教育概论》形考作业1-8大作业答案
- 医保课件模板
- 四川数据集团有限公司招聘笔试题库2025
- 企业十一期间安全培训课件
- 2025年公开遴选公务员笔试复习策略与计划制定
评论
0/150
提交评论