（信号与信息处理专业论文）帧速率上转换算法的研究与实现.pdf

中文摘要 帧速率上转换也称作时域内插，主要是用来实现不同帧速率之间的转换。简 单的算法直接利用前后帧的各种组合内插出中间帧而不考虑对象运动，复杂的算 法则利用运动补偿进行插帧。本论文旨在通过对帧速率上转换算法的研究开发一 款用于帧率倍增帧速率上转换的软件，该软件能够将原视频序列的帧速率提高一 倍，并具有对话界面。 高质量、低成本、能够满足实时要求、易于硬件实现，是开发视频格式转换 软件的核心要求。本文在对多种算法进行模拟、分析和比较的基础上，提出了如 下算法： ( 1 ) 基于可预测运动矢量场自适应搜索技术的双向运动估计算法。将可预测 运动矢量场自适应搜索技术( p m v f a s t ) i j h 以改进，应用于适合帧率提 升的双向运动估计中。 ( 2 ) 自适应可变块运动估计算法。充分利用已知帧的信息，作为内插帧可变 块运动估计的依据。 ( 3 ) 改进的矢量场平滑算法。对经典的矢量中值滤波器进行改进，并结合于 运动估计中，代替传统的重叠块运动估计算法，进行块斑的修正。 关键词：帧速率上转换；双向运动估计；p m v f a s t ；矢量场平滑；时域内插 a b s t r a ct f r a m er a t eu pc o n v e r s i o ni sa l s oc a h e da st e m p o r a li n t e r p o l a t i o n i ti sr m i n l y u s e df o rr e a l i z a t i o no ft h ed i f f e r e n tf r a m er a t ec o n v e r s i o n a r o u n dt h es i m p l e a l g o r i t h mi td i r e c t l yu s e se a c hk i n do ff r a m ec o m b i n a t i o nt oi n t e r p o l a t et h em i d d l e f r a m e ，b u td o e sn o tc o n s i d e rt h eo b j e c tm o v e m e n t , t h ec o m p l e xa l g o r i t h mc a r r i e so n u s i n gt h em o t i o nc o m p e n s a t i o nt oi n s e r tt h ef r a m e t h r o u g hi nt h er e s e a r c ho nt h e f r a m er a t eu pc o n v e r s i o na l g o r i t h m , t h i sp a p e r d e v e l o p so l l es o f t w a r ew h i c hi su s e d t or e a l i z ef r a m er a t eu pc o n v e r s i o n t h ef r a m er a t eo fo r i g i n a lv i d e os e q u e m ec a n d o u b l eb yi t f u r t h e r m o r e ，t h ef u n c t i o no fr m n - r m c h i n ei n t e r c o m m u n i c a t i o ni n t e r f a c e i si n t e g r a t e di nt h i ss of t w a r e a l lt h em o n i t o r sa s kf o rh i g hq u a l i t y , l o wc o s t , t h er e a l - t i m er e q u e s tt os a t i s f y a n dt h ee a s yh a r d w a r et or e a l i z e a f t e rt h es i m u l a t i o n , c o m p a r i s o na n da m l y s i so f t h e p r e v i o u sa l g o r i t h m s ，t h ef o l l o w i n ga l g o r i t h m sa r ep r o p o s e di nt h i sp a p e r ： ( 1 ) b i - d i r e c t i o n a lm o t i o ne s t i m a t i o nw i t hp m v f a s ti m p r o v e dp r e d i c t i v e m o t i o nv e c t o rf i e l da d a p t i v es e a r c ht e c h n i q u ea p p l i e si nb i - d i r e c t i o n a l m o t i o ne s t i m a t i o nw h i c hi su s e df o rf r a m er a t eu pc o n v e r s i o n ( 2 ) a d a p t i v ev a r i a b l e s i z eb l o c km o t i o ne s t i m a t i o n i t s f u l lu s eo ft h e i n f o r m a t i o no ft h ek n o w nf r a m e s ，a st h eb a s i so fi n t e r p o l a t i o nf r a m e i n v a r i a b l eb l o c km o v e m e n te s t i m a t e ( 3 )i m p r o v e dv e c t o rf i e l ds m o o t h n e s sa l g o r i t h m i tm a k e st h ei m p r o v e m e n t t ot h ec l a s s i c sm e d i a nv e c t o rf i l t e ri nh a r m o n yw i t hm o t i o ne s t i m a t i o n , r e p h c e sl r a d i t i o m lo b m ct or e d u c eb l o c k i n ga r t i f a c t s k e yw o r d s ：f r a m er a t eu pc o n v e r s i o n ；b i - d i r e c t i o n a lm o t i o ne s t i m a t i o n ；p m v f a s t ； v e c t o r & hs m o o t h n e s s ；t e m p o r a li n t e r p o l a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨盗塞堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 末筛 签字日期： 工op 年月广日 学位论文版权使用授权书 本学位论文作者完全了解苤鲞盘堂有关保留、使用学位论文的规定。 特授权叁鲞盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 宋睥 签字日期：土s 年f 月r 同 导师签名： 传西隹 签字日期：砌孑年易月厂日 第一章绪论 1 1 研究背景 第一章绪论 视频信息是人类最重要的信息源之一，在信号处理领域占有很大的比重。现 存的视频源其实质为活动的三维场景投影到二维平面后再对其进行空间一时间采 样的结果。 帧速率上转换( f r a r mm t eu pc o n v e r s i o n , f r u c ) 也称作时间内插( t e m p o r a l i n t e r p o l a t i o m ，是视频格式转换技术中的重要组成部分。它主要是用来实现不同 帧速率显示格式之间的转换。例如，将以2 4 帧秒拍摄得到的电影胶片在6 0 帧 秒以上高清晰度电视( h d t v ) 上播放，必须采用帧速率上转换实现两种格式之间 的转换。在低比特率视频通信中，常需要降低传输帧率( 降至每秒1 0 或1 5 帧) ， 帧速率上转换作为必要的后处理工具负责在接收端恢复原帧速率。此外，在无线 视频通信中，缺失帧的重构以及液晶显示中为减小运动拖尾也需要进行帧率转 换。 基于以上原因及应用，帧速率上转换技术已经成为当前视频格式转换研究领 域的一个新热点。 1 2 研究内容 本质上说来，视频格式转换是一种时一空( t e 驴o m l s p a t i a l ) 三维视场的重采样 过程。一个典型的重采样系统由信号输入、采样、滤波、重采样和输出五个环节 构成，图1 1 显示了一个一维重采样系统的结构。从信号分析的角度来观察，如 果输入信号为一理想的带限信号，采样率符合奈奎斯特定理，且重构滤波器完全 线性，则输出端可以理想地重现输入信号。而现实世界的待处理信号往往并非带 限的，同时理想的线性滤波器物理上并不可行，因此这样的处理过程总会引入信 息的损失或畸变。这种信号的失真不仅表现在时域中波形的形变，对于一个频率 响应系统而言更表现在频谱的变化上。在实际系统中，信号的接收部分( 如眼、 耳等等) 往往只对高增益区段的信号敏感。如果充分利用接收者的这类屏蔽效应， 有选择地舍弃一些次要信息，着重处理重要信息，将能有效地提高重采样算法的 效率。 第一章绪论 图1 - 1 重采样系统结构 在现代的重采样系统中，重采样滤波器通常也在离散域中直接对数字信号进 行操作，滤波和重采样同时完成，典型的技术包括时域低通数字滤波、频域填零 扩展等等川。本文所讨论的帧速率上转换就属于重采样的一种类型。 1 3 格式转换理论基础 1 3 1 静止场景的频谱 对于三维采样点阵人3 ，设v x ，b ，m 为三维空间r 3 中的线性独立矢量，分 别表示空间上的水平、垂直以及时间上的矢量，则人3 可以看作由1 ，x ，b ，v r 的 全部整数系数线性组合构成的集合： a 3 函，+ ，z y v ，+ 刀：1 ，= 矿 三； ，即，胛y ，甩：z ) c - ， 式中矿= ，iv ，iv ，j ，称为给定采样点阵上的一个采样矩阵。 对一个视频场景，其信号为厂( x ，y ，t ) ，以采样矩阵表示，采样后的信号为 c工，y，=厂cx，y，力k，#ly,tit。万z、芋一矿i#；y=b，il,o#ltez!z，y，r，万i一yi)c，-2， 对其进行傅立叶变换，设连续信号的频谱为f ( “，v ，w ) ，则采样信号的频谱为： 2 第一章绪论 蠢m = 南点删一 ) m 3 ， 名= l 0 a y 0 ( 1 - 4 ) 2 【- 三。怎j o 。5 d p ( a 3 ) = x a y a t ( 1 _ 6 ) 面单元格内，即截止频率满足条件玩 5( 3 - 6 ) h = ( h l + 1 6 ) 5( 3 7 ) ( 2 ) 为了计算半样点位置上的样点值，首先应该通过对临近的半整数位置 样点进行水平或垂直方向( 二者得到的结果相等) 6 拍滤波，计算得到中间值，1 ： j l = c c 一5 d d + 2 0 h l + 2 0 m l 一5 e e + ( 3 8 ) 或j l = a a 一5 b b + 2 0 6 1 + 2 0 s l 一5 g g + 五矗( 3 - 9 ) 其中，中间值a a 、b b 、g g 、s l 和砌应该使用与b l 相同的方法进行水平6 拍滤 波导出，c c 、d d 、e e 、m l 和厂应该使用与 1 相同的方法进行水平6 拍滤波导 出。，的最终预测值应该通过下式得到： j = ( 1 + 5 1 2 ) 1 0( 3 1 0 ) ( 3 ) 最终预测值s 和m 应该采用与b 和h 相同的导出方法根据s 1 和聊1 按照下 式得到： s = ( s l + 1 6 ) 5( 3 1 1 ) m = ( m l + 1 6 ) 5( 3 - 1 2 ) ( 4 ) 1 4 样点位置a ，c ，d ，n ，f ，i ，k 和g 上的值应该通过计算两个最接近的 整数和半整数位置的平均值( 只入不舍) 得到： a = ( g + b + 1 ) 1 ( 3 1 3 ) c = ( + b + 1 ) 1( 3 - 1 4 ) d = ( g + h + 1 ) 1( 3 1 5 ) n = ( m + h + 1 ) 1( 3 1 6 ) f = ( b + + 1 ) 1( 3 1 7 ) i = ( h + + 1 ) 1( 3 1 8 ) k = ( + ，挖+ 1 ) 1( 3 - 1 9 ) g = ( + s + 1 ) 1( 3 - 2 0 ) ( 5 ) 1 4 样点位置e ，g ，p 和，上的值应该通过计算对角线方向上两个最接近 2 4 第三章运动估计算法 的半整数位置的平均值( 只入不舍) 得n - e = ( 6 + h + 1 ) 1 g = ( 6 + m + 1 ) 1 p = ( h + s + 1 ) ，= ( ，咒+ s + 1 ) 1 3 5 2a v s 视频标准中亚像素插值算法 o 一2 1 ) ( 3 - 2 2 ) ( 3 2 3 ) ( 3 2 4 ) a v s 是我国具备自主知识产权的第二代信源编码标准【3 们，在它的视频编码中 采用了1 2 像素或者1 4 像素的运动估计。其亚像素插值算法与h 2 6 4 有着相似 之处，不同之处在于使有了二阶4 拍滤波器，即1 2 样本位置的预测值通过4 拍 滤波器f i ( 1 ，5 ，5 ，1 ) 计算得到，1 4 样本位置的预测值通过4 拍滤波器f 2 ( 1 ，7 ，7 ，1 ) 计算得到，如图3 3 所示： ( 1 ) 1 2 样本b ：首先用f 1 对水平方向上最近的4 个整数样本滤波，得到中 间值： b l = - f + 5 g + 5 h 一， ( 3 - 2 5 ) 最终的预测值： b = ( b l + 4 ) 3( 3 - 2 6 ) ( 2 ) 1 2 样本h ：首先用f 1 对垂直方向上最近的4 个整数样本滤波，得到中 间值： h l = - - c + 5 g + 5 m 一尺 ( 3 - 2 7 ) 最终的预测值： h = ( h i + 4 ) 3( 3 2 8 ) ( 3 ) 1 2 样本，：首先用f 1 在水平或垂直方向上对最近的4 个1 2 样本中间值 滤波，得到中间值： j l = 一蒯1 + 5 h l + 5 m l e e l ( 3 - 2 9 ) 或1 = 一b b l + 5xb l + 5 s l g g l( 3 - 3 0 ) 其中b b l ，g g l 和s l 是相应位置1 2 样本中间值( 用f 1 在水平方向滤波得到) ，d d l ， e e l 和m 1 是相应位置1 2 样本中间值( 用f 1 在垂直方向滤波得到) 。最终的预测 值： j = ( j l + 3 2 ) 6 ( 3 - 3 1 ) 第三章运动估计算法 采用水平方向或垂直方向滤波得到的值相同。 ( 4 ) 1 4 样本a ：首先用f 2 在水平方向上对_ ，1 ，g l ，6 l 和日1 四个值滤波，得 到中间值： a l = 1 + 7 g 1 + 7 b l + h i f 3 - 3 2 ) 最终的预测值： a = ( a l + 6 4 ) 7 ( 3 3 3 ) 其中1 和6 1 是相应位置l 2 样本中间值，g l 和h 1 是相应位置整数样本放大8 倍的值。 ( 5 ) 1 4 样本d ：首先用f 2 在垂直方向上对k k l ，g 1 ，h l 和m l 四个值滤波，得 到中间值： d l = k k l + 7 g 1 + 7 h l + m 1 ( 3 3 4 ) 最终的预测值： d = ( d l + 6 4 ) 7 ( 3 - 3 5 ) 其中k k l 和j l z l 是相应位置l 2 样本中间值，g l 和m 1 是相应位置整数样本放大8 倍的值。l 4 样本n 的插值过程与d 的插值过程相同。 ( 6 ) 1 4 样本i ：首先用f 2 在水平方向上对f f l ， 2 ，_ ，1 和m 2 四个值滤波，得 到中间值： i l = i i l + 7xh 2 + 7xj l + m 2 ( 3 3 6 ) 最终的预测值： i = ( i l + 5 1 2 ) 1 0 ( 3 3 7 ) 其中f f l 和1 是相应位置1 2 样本中间值，五2 和肌2 是相应位置1 2 样本中间值放 大8 倍的值，1 4 样本k 的插值过程与i 的插值过程相同。 ( 7 ) 1 4 样本厂：首先用f 2 在垂直方向上对1 ，6 2 ，1 和s 2 四个值滤波，得 到中间值： f l = r r l + 7 6 2 + 7 j l + s 2 ( 3 3 8 ) 最终的预测值： f = ( f l + 5 1 2 ) 1 0 ( 3 3 9 ) 其中玎1 和1 是相应位置1 2 样本中间值，6 2 和s 2 是相应位置l 2 样本中间值放 大8 倍的值，1 4 样本q 的插值过程与f 的插值过程相同。 ( 8 ) 1 4 样本e ，g ，p 和，： 第三章运动估计算法 e = ( g 2 + ，1 + 6 4 ) 7( 3 4 0 ) g = ( h 2 + 1 + 6 4 ) 7( 3 4 1 ) p = ( m 2 + 1 + 6 4 ) 7( 3 4 2 ) ，= ( n 2 + l + 6 4 ) 7( 3 - 4 3 ) 其中g 2 ，h 2 ，m 2 ，n 2 是相应位置整数样本放大6 4 倍的值，1 是相应位置1 2 样本中间值。 3 6 本章小结 本章是对帧速率上转换算法所涉及的运动度计算法进行的讨论。运动估计算 法是帧速率上转换算法的核心部分，要用运动补偿滤波来进行视频格式转换，必 须要进行运动估计从而得到格式转换所需要的运动矢量。基于块匹配的运动估计 算法因其简单易行而被广泛应用于各种视频压缩标准中，同样也可以应用于帧速 率上转换算法中，其按照算法思想主要分为四大类：固定模板法、预测运动矢量 法、多层或多分辨率法、快速全搜索法。可预测运动矢量场自适应搜索技术 ( p m v f a s t ) 代表了当前运动估计技术的最高水平。在帧速率上转换的技术要求 中，运动矢量必须能够反映物体的真实运动，精确性要求非常高。因此，为了提 高运动估计的精度，可以将h 2 6 4 或者a v s 视频标准中的亚像素插值算法引入 进来。 2 7 第四章矢量校正算法 第四章矢量校正算法 4 1 矢量校正算法的应用背景 正如前文所述，帧速率上转换对运动矢量的要求不同于视频编码中最小化能 量差的要求，它必须能够反映物体的真实运动，精确性要求非常高。但是，由于 种种客观原因，无法保证运动矢量的真实性，甚至出现错误的运动估计，这些存 在误差或者错误的运动估计矢量会造成所谓的“块斑”( a r t i f a c t s ) ，对视频质量产 生严重的影响。因此，为了消除“块斑”现象，各种矢量校正算法作为运动矢量 的后处理手段，被引入到帧速率上转换技术中，并成为其中的重要组成部分。 4 1 1 “块斑 的形成 基于块匹配的运动估计，常常会因为图像噪声、遮挡、光线变化、运动边缘 等原因造成运动估计的失败，或者，由于搜索策略的局限性仅得到运动矢量的局 部最优解而非全局最优解，从而使运动矢量没有指向正确的位置，由此进行运动 补偿插值，就会出现“块斑 现象，如图4 1 所示。 当前帧 图4 - l 错误运动估计形成的矗块斑一 4 1 2 “块斑修正的一般方法 为了解决“块斑”问题，研究者设计了各种各样的解决方案，按照其目的可 第四章矢量校正算法 以大致分为这样两大类： ( 1 ) 以提高运动估计精度为目的：文献 3 1 1 中设计了一种通过筛选多个邻域 相关候选找到更加准确的运动矢量的方法；文献 3 2 】中设计了一种通过内插像素 点的多轨迹运动估计来提高运动估计精度的方法；文献 3 3 】用分段处理的方法对 遮挡非遮挡区域进行处理以提高视频质型引。 ( 2 ) 以修正误差运动估计为目的：文献 9 使用了类似h 2 6 3 和m p e g 4 开发 的叠加块运动补偿技术( o b m c ) 来减少“块斑”；文献 8 在o b m c 的基础上，增 加了运动分析部分，并以此选择运动补偿的方式，提高了视频质量，但也增加了 运算复杂度：文献 3 4 1 为了能够抑制运动矢量场中个别奇异矢量以及块匹配算法 所固有的块效应问题，对矢量场进行中值滤波，并采用了一种特殊的矢量分配算 法。 而更多的研究者也将各种改进型的矢量平滑算法、各种改进型的重叠块运动 补偿技术作为修正“块斑”的主要手段。下文将介绍几种具有代表性的算法。 4 2 重叠块运动补偿 由于每一个1 6 1 6 的块只有一个运动矢量，在出现边界块的情况下，即图 像块内一部分为背景，一部分为运动前景时，块内所有像素做相同的平移运动的 前提不成立，块内的运动不一致，无法估计到准确的运动，容易产生块缺陷。对 于这样的问题可以考虑用空间运动插值的方法来解决，重叠块运动补偿( o b m c ) 就是这样一种基于插值窗函数的方法，它通过考虑相邻块的运动矢量间的相关性 来进行预测插值，而插值的加权由窗函数来决定，通过加权插值得到更加平滑化 的运动场，这就是o b m c 的基本思想【3 5 】。通常它对所有的块使用一个固定的重 叠性窗函数进行加权插值，窗函数一般采用上升余弦窗或者双线性窗。o b m c 实际上可以视为四假设的多假设运动补偿，每一种假设是利用当前块与其相邻的 三个块的相关性运动矢量进行运动补偿产生预测信号，将第k 帧中的块用第k 一1 帧中的块通过重叠块运动补偿进行预测，如式4 1 所示： 4 ，。b m 。( “，v ，七) = ( 刀，m ) x f j ( “+ “用v ，v + v m v j , k - 1 ) ( 4 - 1 ) ，_ j 式中，d 6 舢表示重叠块运动补偿后的预测信号，“，v 是相对的水平和垂直坐标 分量，“。们和v 删是由块匹配法得到的块运动矢量的水平和垂直分量。 w ( n ，m ) = w ( n ) xw ( ，z ) 当采用上升余弦窗函数时， ( 4 - 2 ) 第四章矢量校正算法 r v ( n ) = 0 5 ( 1 一c o s ( 7 c ( ，z + 0 5 ) 1 6 ) ) 力= o ，1 ，2 ，3 3 1 形( ，咒) = 0 5 ( 1 一c o s ( 兀( m + 0 5 ) 1 6 ) ) r = 0 ，1 ，2 ，3 3 1 二维上升余弦窗函数如图4 2 所示： 1 加o 8 堡0 6 水 数口4 d 2 0 0 m 图4 _ 2 二维匕升余弦窗函数 ( 4 3 ) ( 4 4 ) 上述各式中n 和m 是每一个窗函数区域内的水平、垂直相对坐标，窗函数定 义在3 2 x 3 2 像素的区域内，以1 6 x 1 6 像素尺寸的“核心块”中心点为中心，如图 4 3 所示。，指重叠的块数，由式4 1 可知，重叠块运动补偿利用前一帧相邻块 的运动矢量：“肌。，v m 。f 和所有与当前块重叠的3 2 3 2 像素的窗函数来实现运动 场的进一步平滑，它充分利用了相邻块运动矢量间的相关性。重叠块运动补偿对 当前块中每一个像素的运动矢量考虑成当前块的运动矢量与相邻块的运动矢量 的加权和，其加权值与当前像素点到块中心的距离以及到各相邻块的距离有关。 对每一个块1 3 ，采用重叠块运动补偿( o b m c ) 帧与参考帧的失配状况可以由 式( 4 5 ) 衡量： s a d ( o b m c ) = if ( u ，1 ，尼) 一f 咖。( “，v ，j | ) i ( 4 5 ) “ e b 丰d 邻窗区域 图4 - 33 2 x 3 2 像素重叠窗区域示意图 第四章矢量校正算法 4 3 自适应重叠块运动补偿 一般来说，对于小幅运动，重叠块运动补偿可以有效地减小块效应。但是， 当相邻块具有差别较大的运动时，重叠块运动补偿会导致运动模糊和过平滑。假 设有两个相邻块，一个为一个快速运动物体的一部分，另一个属于静止背景。运 动块的运动矢量本不应该影响静止背景块的像素，但是在传统的重叠块运动补偿 中，加权系数仅取决于像素在块中的相对位置，为克服该缺点，提出自适应重叠 块运动补偿( a o b m c ) ，按照相邻运动矢量的可靠性自适应控制加权系到3 6 】。相邻 运动矢量_ 协用于预测当前块，e ，的可靠性可用下式定义： o c d j n r d t 1l 日9 占u 【v ：+ ，+ 。15jii：ipjz；aijjil：jtiji砑,jvi,jj4-6) 其中v ，是通过最小化代价函数选择出的最佳运动矢量，最小化代价函数包含 s b a d 。因此，s b a d b ，v i ，一s b a d b i ，v f 协，岬】，o 口。【k p + g 】1 ，其越大 则相邻运动矢量_ 幅m 用于运动补偿当前块e 。，的可靠性越大。因此，原加权系 数国。【s 改为： 吒。小：业塑盟 4 。 v i 饥柏】吃6 s ( 4 7 ) 修改后的加权系数与可靠性成正比。式中的分母用于对加权系数归一化，使 ll 彩m j 】_ 1 p = oq = o 图4 - 4 按照相邻运动矢量可靠性改变的升余弦窗 ( 4 - 8 ) 第四章矢量校正算法 图4 ，4 为按照相邻运动矢量可靠性改变的升余弦窗。如可靠性为1 ，则升余弦窗 不改变。如可靠性为0 ，升余弦窗变为与传统块运动补偿一样的矩形窗。因此， a o b m c 通过自适应控制窗型克服传统重叠块运动补偿的缺点。 4 4 时空加权中值滤波 时空中值滤波的作用在运动补偿后处理中的作用是消除块匹配带来的边缘 效应，实现边缘保护。中值滤波是一种非线性运算，它隐含了边缘自适应的特点【2 1 。 众所周知，在静态帧中的边缘保护就是由中值滤波器实现的，中值滤波器的输出 由滤波区域内的像素的中值给出： 乙( n l , n 2 ) = m e di y ( i l ，i 2 ) l ( 如之) b ( n l ，? 1 2 ) ( 4 9 ) 其中，s ( n 。，n 2 ) 是以( ，z ：) 为中心的滤波区域，y ( ，之) 表示在召区域内所有的像 素值，m e d 表示中值计算，乙( 聆。，z ：) 表示中值滤波后( ，z ，刀：) 坐标上的新值。因 为中值滤波可以有效地抑制噪声，可以避免图像处理中常出现的边缘穿越模糊， 所以在图像增强领域有着广泛的应用。普通的中值滤波在滤波区域内每一像素采 样点加权值相同，即每一像素采样点对滤波同样重要，而实际的情况并非如此， 所以需要考虑使用加权中值滤波，依据滤波区域内各采样值对( n ，n ，) 中心值的重 要程度不同，对各采样像素值采用不同的加权。假设第( i ，i 2 ) 个采样值的加权为 w ( ，i z ) ，则加权中值滤波器的输出定义为： 匕甜( 胛l ，z 2 ) = m e dw ( ，i 2 ) y ( i l ，i 2 ) i( ，i 2 ) b ( n 1 ，n 2 ) ( 4 一l o ) 滤波器的属性变化决定于权值如何分配。而加权值可以根据滤波区域内相邻采样 点与中心采样点的相关性来进行分配。相关性越高的像素点权值越大。以上考虑 的只是帧内的情况，对于视频滤波，将运动的影响考虑成一种时间沿，通过在中 值滤波器中加入前后场的运动信息，显然可以得到更好的滤波效果。此时的时空 加权中值滤波器可以定义为： y m 鲥( ，z l ，z 2 ，k ) = m e dw ( f l ，i 2 ，k ) y ( i 1 ，i 2 , 七) ，w ( j a ，j 2 , k 1 ) y ( j 1 ，j z , k4 - 1 ) i ，、 ( f 】，i 2 ) 4 ( ，z l ，刀2 ) ，( z ，j 2 ) b ，( 以l ，以2 ) v 叫 4 5 自适应加权均值滤波 自适应加权均值滤波沿着运动估计出的运动轨迹在时空区域内计算像素值 的加权平均，其加权的大小是由一个优化的标准函数来决定的。并且这个权值是 根据运动估计的精度和运动矢量的空间一致性( 平滑) 而变化的。在对通过整个轨 第四章矢量校正算法 迹的足够精度的运动估计和精度相一致的情况下，时空滤波器区域内的图像值达 到相等的加权值，即自适应加权均值滤波器变成直接的时空平均。当然，在实际 应用中，运动估计产生的运动场不可能完全精确而且平滑，尤其为了高速实时的 应用要求而采用快速块匹配法进行运动估计时，运动矢量可能会出现较大的误 差，这时，当时空区域中某一个像素点沿着运动轨迹运动到偏离滤波区域时，即 它与邻域点的相关性较小，可以适度减小它的加权值；而将始终在滤波区域内运 动的像素点适度增加加权值，从而达到保持区域内图像像素点的空间一致性。因 此，自适应加权均值滤波尤其适用于视频序列的有效滤波。特别对具有场景变换 的视频内容，如由于快速图像放大或者电视摄像机的画面改变等。它可以在运动 补偿失调时尽可能地保持图像序列的连续性并减轻或消除错误估计可能带来的 图像缺陷l2 | 。 自适应加权均值滤波器可以定义为： 艺。( 以1 ，刀2 ，七) = w ( ，i 2 ，1 ) x y ( i l ，i 2 ，) ( 4 - 1 2 ) 其中 吨岛驻忑可畿嚣丽丽 为区域s 川忱七内的加权值，j 而k ( n 。，聆：，七) 是一个标准常量， k ( n 。，2 ：，七) = ( ( 如，1 ) e s l 吨 ( 4 - 1 3 ) 通过下式给出： 。l + a x m a x i ：2 , y ( n l , n 2 , k ) 一y ( i 。，之，纠2 ) - 1 ( 4 1 4 ) a ( a 0 ) 及是滤波器的参数，这些参数满足： k(1+口132)=1l(415) 以上参数可以按照以下规则来决定： ( 1 ) 如果时空区域内的像素亮度差仅为噪声引起，“加权平均 就可以简化 为“直接平均”，可以通过适当选择参数2 来实现，如果差方小于2 ，则所有的 权值由式( 4 1 5 ) 可以获得同样的值1 l ，同时，艺。( 甩。，z ：，七) 简化为直接平均值。 ( 2 ) 如果对某个特定的像素点代入式( 4 1 4 ) 中的差方【y ( ，玎：，k ) - y ( i , ，之，纠 中得到的结果大于2 ，则它的加权分布将被抑制，参数a 是“罚参数”，它决定 了差方加权的灵敏度。 由上面的滤波器系数理论可以看出，自适应加权均值滤波器的参数a 的设定 和选择是复杂的，不适用于实际应用，在实际中，通常采用一种“限幅均衡器” 的形式，即对亮度与滤波区域中心像素亮度的差值不超过的像素取平均。或者 第四章矢量校正算法 根据实际经验取中心点某个邻域的加权平均，加权值由像素间的相关性决定。 在运动补偿的后处理过程中，类似于时空加权中值滤波，依然是对运动矢量 不为零的块内像素使用加权均值滤波，一样在滤波之前要先进行运动检测，这种 运动检测在运动估计出已知的运动矢量之后，显然是简单的。利用时空加权中值 滤波与加权均值滤波在应用和滤波形式的相似性，甚至可以把中值滤波的结果作 为均值滤波中的一项来处理，这样减小了运算的复杂性，并很好地利用了像素点 间的空间相关性。、 4 6 本章小结 本章内容是对帧速率上转换算法所涉及的矢量校正算法的简单介绍，首先通 过对“块斑”成因的介绍说明了在帧速率上转换技术中使用矢量校正算法的必要 性，然后，介绍了当前相关研究中处理“块斑”的一般方法，最后介绍了几种基 础方法：重叠块运动补偿法、自适应重叠块运动补偿法、时空加权中值滤波法以 及自适应加权均值滤波法等。 第五章一种新的帧速率上转换方案 第五章一种新的帧速率上转换方案 在对现有帧速率上转换算法的学习、借鉴的基础上，结合视频编码算法中的 先进技术，本文提出了一种新的帧速率上转换算法。其运动估计部分以m e p g 组织推荐的可预测运动矢量场自适应搜索技术( p m v f a s t ) 为基础，并结合了自 适应可变尺寸块运动估计算法；运动矢量校正部分采用了改进型的矢量中值滤波 器，并采用了选择性的逐级滤波方式；双向运动估计的使用，使得在帧内插部分 采用了自适应的运动补偿插值法。该算法的总体框图如图5 1 所示。 5 1 运动估计部分 图5 - 1 帧速率上转换算法总体框图 正如本文第一章所述，帧速率上转换的运动估计算法，需要考虑如下几个问 题： ( 1 ) 内插帧的一个像素可能对应多个运动位移也可能没有运动位移与之对 应，分别产生重叠问题或者空洞问题。 ( 2 ) 当一个块中包含多个不同运动对象时，对象边界与块边界不一致，相邻 块可能会有差别很大的运动矢量，块效应也将影响内插帧的质量。 ( 3 ) 视频处理的很多应用对实时处理都有很高的要求，提高处理速度是必须 要考虑的问题。 针对以上若干问题，本文在运动估计部分作了相应的处理。 第五章一种新的帧速率上转换方案 5 1 1 双向运动估计 采用双向运动估计d o ，直接估计内插帧的运动矢量，解决了重叠和空洞问题。 对于内插帧的一个块，通过比较其前一帧中一定位移处的块与其后一帧相反位移 处的块，找到使两者最相似的位移做为该块的运动矢量。 。 秒 f 丑乡 _ 一。_，夕一 易 l i ；- ，7： 歹翟 气| | 、j ，p 7 参考帧矗-内插帧厶当前帧厶- 图5 - 2 双向运动估计示意图 如图5 - 2 所示，z 一、z 和+ ，分别表示参考帧、内插帧和当前帧。s 为表示像 素空间位置的二维矢量，v 为每个内插像素的估计运动矢量。z i s 为第门帧的第 s 像素值。e ，表示内插帧的一个块。可以假设其运动矢量在 一口，口 内。对此范 围内的每一个候选运动矢量v ，计算该块在前帧中移动一v 后和在后帧中移动+ v 后对应块每个像素的双向绝对差和( s b a d ：s u m o f b i l a t e r a la b s o l u t ed i f f e r e n c e ) ： s b a d b , ，v 】_ k 。i s 一1 ，卜z + ， j + v 】| ( 5 - 1 ) s e b i ， 在【_ a ，口 内搜索到s b a d 最小的v 即该块的估计运动矢量。 5 1 2 可预测运动矢量场自适应搜索技术( p m v f a s t ) 的应用 可预测运动矢量场自适应搜索技术( p m v f a s l ) 已经在本文的第三章中做过 详细介绍，在现有的各种块匹配搜索算法中，搜索速度快、精度高，居于领先地 位。表5 1 和表5 2 分别为各种块匹配搜索算法的比较，从中可以看出p m v f a s t 在速度( 对全搜索的速度提升) 和视频质量( 峰值信噪比) 上的优势，因此，本方案 选用p m v f a s t 作为运动估计部分的搜索策略。 第五章一种新的帧速率上转换方案 表l 低比特率下各搜索算法比较m 1 s e q n e b 蚀 f o r m a tb rs a m o r i o ne ，；t i m a t i o na l g o f i t h , - s f sp a n 墨a s li s s 、1 s s d s、r 、t a s ta d z s p s n r3 0 3 51 8 4 2 9 7 9 2 9 7 9 3 03 2 3 0 _ 3 二 2 9 7 8 h 丑lm t , a h t o f q c 1 01 6 s p e e d u p l3 7 s4 l5 57 72 3 9 1 7 5 m o 出e f p s n r3 4 8 03 47 8弘8 l强7 93 4 7 83 4 弱弭7 l d 卸出旧 q c 珏 2 41 6 s p e e d u p 13 l i4 15 47 42 0 6 2 1 5 p s n r2 8 8 82 892 8 7 72 8 7 52 8 7 32 8 9 32 8 8 3 c o a , t 唧r e q c 巧 4 81 6 s p e e d u p 11 5 84 l4 i5 81 0 17 l 1 6 p s n r 1 7 0 32 7 。i 42 6 7 12 6 6 62 6 4 42 7 0 52 7 0 7 c o a 筑g u a r d伍 n 2 s l 跫e dl p ln 44 l3 74 99 74 8 p s 2 7 ，0 67 7 j 92 6 7 22 6 6 92 0 4 62 7 1 02 7 o h 6 3 2 s p c e d u p l4 m1 5 01 4 21 8 73 7 01 8 1 1 6 p g 弧 3 0 0 42 9 9 52 9 4 02 9 5 42 95 82 9 9 l2 9 6 9 f o r e m a nc m1 1 2 $ i x * e d 唧 lj 砸4 l3 94 38 55 4 p s n r3 0 3 7 3 e 2 42 9 5 22 9 5 82 9 ，6 33 0 1 82 9 ，6 7 3 2 s e d l dj 3 8 6 1 5 01 4 71 5 83 0 72 1 6 p s n r3 5 4 73 5 。5 4 3 4 7 93 4 9 23 4 9 73 5 3 73 5 2 4 i o 到 s p e e d 2 4 1 4 4 5 51 2 01 2 1 3 2 p s n r3 5 5 3 s 5 93 4 7 9弘9 13 4 9 73 5 4 l3 5 2 4 f o r e m a n s p e e d l p l7 6 31 5 61 6 92 0 84 7 4 4 5 9 1 6 p s 弧弘5 13 4 5 63 3 ，8 83 4 0 2 3 4 0 73 4 4 33 4 4 1 5 1 2 s p e e dl - p 1 乃94 14 04 79 87 9 p s 3 4 8 4，彳8 73 3 9 0弘0 23 4 0 93 4 7 0 3 4 4 0 3 2 s p e e d u p l5 2 61 5 61 5 3 1 7 3 3 6 6 2 9 0 p s n r3 49 8， 姐3 4 7 l3 4 8 23 4 9 23 4 9 ： m ，9 5 1 6 t a b l et e m i s疆 l 。2 4 s p e e d 多 l3 1 04 l 5 06 81 8 21 7 5 p s 冁3 5 0 03 4 9 73 4 7 23 4 8 33 4 9 0弘9 13 4 9 l 3 2 s p e e d l p l1 1 6 s1 5 31 9 12 5 80 8 8 0 5 8 表5 - 2 高比特率下各搜索算法比较吲 ； 。5 l p 矗h 峨r 垂f o r m a tr rs 矗 m o t i o ne s t i m a t i o n m g o r i t h m s 一鼍 f sp m 玎丸舛i $ s弋i s s d sm 、t a s ta d z s c c 【 4 0 0 06 4 p s n r 2 6 7 12 0 锣 1 i0 0 二j 9 l2 6 0 12 6 4 0二6 4 j b a d 烈 s t x - e d u p l1 9 1 6 0 73 2 55 8 41 3 2 67 4 8 6 2 5 p ：s l q r3 0 ，7 81 0 s 72 9 9 22 9 9 12 99 73 04 63 0 5 7 粥0 06 4 s p e e d 印 1 2 7 6 。7 3 2 05 9 01 3 6 68 3 2 c c 瑕 4 0 0 06 4 p s n r 2 9 7 82 9 5 32 7 0 12 6 9 62 71 52 9 1 02 8 1 3 6 i k t s 瓣d u p l2 6 5 56 0 35 4 4 6 2 71 3 2 48 0 9 5 2 5 腻3 4 0 3 ? 0 i 3 1 0 43 0 9 93 l 1 83 3 4 53 24 7 9