（通信与信息系统专业论文）基于模糊理论的视频预处理技术.pdf

上海师范大学硕士学位论文 摘要 摘要 视频预处理技术是在视频编码之前的滤波增强技术，随着视频的标准与硬件 能力的提升，此项技术受到了极大的重视。本文通过深入研究与分析，提出了一 种基于模糊理论的视频预处理方法，并在此基础上与编码器进行结合，通过两个 部件之间参数的通信来控制两者的速度与处理的精度。 模糊视频预处理方法可以有效降低脉冲噪声和混合噪声的影响。此方法包括 两个部分：模糊检测和模糊滤波。模糊检测部分提出了一种通过模糊梯度计算来 保证正确率和覆盖率的高命中率的检测方法。该方法是通过第一次高j 下确率检测 来准确估计噪声模型的。模糊滤波部分是根据隶属函数来获得已检测噪声周围像 素的隶属度，并通过计算权值来对目标噪声像素进行处理。该滤波方法是专为视 频处理设计的，包含了帧内滤波和帧间滤波两种技术。实验结果表明：模糊视频 预处理方法能够在保持视频序列细节的基础上降低噪声，与同类处理方法对比， 取得了更好的正确率、检测率、峰值信噪比和主观画面质量。 预处理器与视频编码器的结合主要是通过参数通信来控制两者的速度和处 理噪声的精度。模糊视频预处理方法应用了模糊理论，需要设定相关的参数，其 中一部分与运行速度有关，另一部分与滤波精度有关；同样，在视频编码器中， 帧间搜索算法中的部分参数也直接决定了编码器的运行速度和视频处理精度。为 了避免视频编码器因为预处理器的处理速度而可能出现的数据衔接不上，实时的 将搜索算法中的参数反馈给预处理器是一种简单而有效的解决方案。实验结果表 明：使用与预处理器结合后的编码器在处理带5 脉冲噪声的视频序列时，编码 比特数据、编码时间和主观画质三个评判标准都取得了更好的效果。 关键词：视频预处理、模糊检测、模糊滤波、视频编码器、脉冲噪声 上海师范大学硕士学位论文 a b s t r a c t t h ev i d e op r e f i l t e r ，at e c h n o l o g yo fv i d e oe n h a n c e m e n t ，t e n d st ob e p o p u l a rd u et ot h ev i d e os t a n d a r da n dc o m p u t e rh a r d w a r ea d v a n c e af u z z y v i d e op r e f i i t e rm e t h o di sp r o p o s e db a s e do ni n d e p t hr e s e a r c h a n d a n a l y s i s f u r t h e r m o r e t h en e wm e t h o dc o u p l e dw i t ht h eh 2 6 4v i d e oc o d e r p r e s e n t saf i n ec o r p o r a t i o nb yc o m m u n i c a t i n gs o m ev a r i a b l e sb e t w e e nt h e s e t w om a c h i n e s t h ef u z z yv i d e op r e f i i t e rm e t h o d ( f v p f m ) ，e f f e c t i v e l yr e d u c i n g i m p u l s eo rm i x e dn o i s e ，e n c o m p a s s e sad e t e c t i o np h a s ea n daf i i t e r i n g s t a g e t h ed e t e c t i o ns e c t i o ni sam e t h o dt oo b t a i nh i g hh i t - r a t eo f c o v e r a g ea n dc o r r e c tr a t eb yc a l c u l a t i n gf u z z yg r a d i e n t s t h en o i s em o d e l s t e n dt ob ee s t i m a t e db yt h ef i r s td e t e c t i o nw i t hah i g hc o r r e c tr a t e t h e n e wf i l t e rp r o c e s s e st h en o i s ep i x e lb ye m p l o y i n gm e m b e r s h i pf u n c t i o n s a n dw e i g h i n gt h er e l a t i o n s h i po ft h ea d j a c e n t p i x e l s t h ef i i t e r ， s p e c i a ll yd e s i g n e df o rv i d e op r o c e s s i n g ，i n c l u d e si n t r a f il t e rm e t h o da n d i n t e r f ii t e rm e t h o d t h ee x d e r i m e n t a lr e s u l tp r e s e n t sb e t t e rv a l u eo f c o r r e c tr a t e ，c o v e r a g e ，p s n ra n dv i d e oq u a l i t yc o m p a r e dw i t ht h ec l a s s i c s p a t i a lf il t e r s t h ep r o p o s e dm e t h o de n t w i n e dw i t ht h eh 2 6 4v i d e o c o d e ri sb e n e f i c i a l t ot h es p e e da n da c c u r a c yi nt h ev i d e op r o c e s s i n gb yc o m m u n i c a t i n gt h e k e yp a r a m e t e r s t h en e wa p p r o a c hh a sa na s s o r t m e n to fv a r i a b l e s ，s o m eo f w h i c hi sr e l a t e dt ot h es p e e do fp r o c e s s i n ga n do t h e r st ot h ea c c u r a c y ， o w i n gt ot h ei m p l e m e n to ff u z z ym a t h e m a t i c s m e a n w h i l e ，b u l ko fp a r a m e t e r s o ft h ei n t e r f r a m es e a r c ha l g o r i t h m sa f f e c tt h ev i d e op r o c e s s i n gi nt h e c o d e r t h ef e e d b a c kf r o mt h ec o d e rt ot h ep r e f i1 t e ri sas i m p l ea n dg o o d r e s o l u t i o nt om a t c ht h es i m il a rs p e e db e t w e e nt w om a c h i n e s t h er e s u l t o fu s i n gt h en e wm e t h o dt o g e t h e rw i t ht h ec o d e rs h o w sl e s sc o d e cb i t s 。 l e s sc o d e ct i m e 。c o s ta n db e t t e rv i d e oq u a l i t yc o m p a r e dw i t ht h es i n g l e c o d e rw h e nt h ev id e os e q u e n c eisc o r r u p t e db y5 一d e n sit yi m p u ls en o is e k e yw o r d s ：v i d e op r e f i l t e r ，f u z z yd e t e c t i o n ，f u z z yf i l t e r ，v i d e oc o d e c ， i m p u l s en o i s e 上海师范大学硕士学位论文 论文独创性声明 声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除 了特别加以标注和致谢的地方外，不包含其他人或机构已经发表或撰写过的研究 成果。其他同志对本研究的启发和所做的贡献均已在论文中做了明确的声明并表 示了谢意。 作者签名：獬日期：。夕 论文使用授权声明 本人完全了解上海师范大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其它手段保存论文。保密的论文在解密后遵守此 规定。 储虢螂翩躲玉栌胁狮9 上海师范大学硕士学位论文 1 1 选题的目的和意义 第一章绪论 第一章绪论 视频技术在当今社会发展中得到了广泛的应用。无论是出于军事目的，如通 过安装在飞机或卫星上的摄像设备来获得敌国地形或雷达分布等情况；还是出于 民用目的，如小区内的门禁系统、用于娱乐的电影d v d 和工作中的视频会议等技 术。随着计算机技术和硬件水平的提升，视频技术的应用范围还在不断地扩展。 比如，第三代移动通信技术( 3 g ) 大幅增加了无线带宽的通信容量，使得手机进 行视频点播( v o d ) 或体育赛事直播成为了可能。 但是视频技术的发展过程中，也难免遇到诸多问题，如机械或光学引起的暗 化效应n 1 ，传感器响应偏差导致的失真，3 a 问题( 自动聚焦、自动曝光和自动白 平衡) ，光电转换导致的伽玛偏差，传感器采样频率不佳导致的闪烁等。其中， 主要的问题是视频图像的噪声问题，其对于画质和后续视频编码的影响很大，直 接或间接导致了人眼主观感觉的不适、视频存储容量的庞大和视频处理速度的迟 缓。于是，视频预处理技术便孕育而生。 视频预处理技术有点类似于图像处理，因为本质上视频就是图像在时域上的 延伸。但是，视频技术亦有其自身的特点。首先，视频序列的数据量庞大需要编 码来压缩容量。其次，视频技术对实时性的要求较高，通常需要在极短的时间内 对视频序列进行压缩和相关处理。所以，视频处理不是简单的图像处理的扩展， 因为其大数据量和实时性的要求使得视频处理技术的复杂度不能太高，从而导致 了此项技术的难度很高。尽管如此，考虑到视频技术所具有的实用性和商业价值， 视频预处理技术无疑是近年来众多学者所研究的热点与重点。 1 2 研究现状 针对视频预处理的研究论文数量是很多的，而且涉及的范围也很广。文献 2 分析了伽玛失真和自动聚焦问题。由于光电转换器件的非线性变化造成了伽玛失 真，对视频序列的亮度层进行了压缩或扩展，使得视频序列看起来偏白或偏黑。 文献 2 通过在视频编解码系统中通过级联一个纠正器件获得了适中的视频序 列。文献 3 提出了一种有源的测距方法，通过红外线或超声波来判断目标与镜 上海师范大学硕士学位论文 第一章绪论 头的距离，再计算和移动镜头至合适的位置。文献 2 提出了基于沃尔什变换的 爬山法，比同类方法h j l 计算复杂度更低。文献 6 分析了白平衡和视频闪烁问题。 由于光源的选择与参照物的不同，色温时常会出现偏差，导致视频序列偏向某种 颜色。文献 7 提出了一种模糊规则的自动白平衡方法。文献 8 - 9 又根据y u v ( 视 频色彩标准的一种) 的特点，提出了一系列附加判断依据。文献 6 通过统计数 据发现了灰度颜色点会随着色温的偏差而发生改变，为此提出了一种有增益的 a w b ( 自动白平衡) 方法。文献 1 0 通过调整曝光时间来避免闪烁，文献 1 1 添 加了锁相电路。文献 6 提出了一种基于视频序列特性并利用先验知识的消除闪 烁。 而有关噪声的视频预处理技术更是国内外学者研究的重中之重。文献 1 2 基 于运动提取方法n 3 。1 4 1 根据高斯混合模型技术，提出了前景背景分离处理的方案来 有选择性地处理目标区域不同程度的噪声。文献 1 5 提出了基于自适应邻域概念 的视频预处理方案，通过判别种子像素的8 个邻接像素来处理噪声，可以同时抑 制高斯噪声和低密度的脉冲噪声，并获得了比中值滤波更低的时间复杂度。文献 1 6 在此基础上结合了a v s 视频编码器的q p 参数( 控制量化的参数之一) 与预 处理器进行通信，来调整预处理器的处理精度。文献 1 7 结合小波技术提出了帧 内和帧间的两种小波滤波方案的视频预处理技术。 1 3 存在的问题 对于视频图像的噪声处理，主要存在使用范围不广、计算量大、难以保持视 频序列结构和细节等问题。文献 1 2 关键技术之一的目标与背景分离对于多物体 的图像还存在着比较大的分离难度，普适性不强。而文献 1 5 的种子像素由于使 用了一系列准则使得其复杂度得到了降低，但可能会因为判别准则的参数( 如欧 式距离的期望) 难以控制而导致视频细节的损失。文献 1 6 提出的视频编码器与 预处理器之间参数的通信所涉及的参数较少，相互控制的力度还欠缺。文献 1 7 的m a l l a t 小波技术来区分分辨率对噪声进行处理，计算量偏大。 模糊数学是使模糊问题更为清晰化的一门应用数学。模糊技术早已在视频预 处理中开始了应用，如文献 7 在白平衡处理中使用了模糊的判断准则，从而获 得了白色区域的修正条件。针对视频图像的噪声问题，同样也存在噪声像素与帧 图像细节的模糊关系，使用模糊技术可以更好地滤除噪声、保持视频细节。文献 2 上海师范大学硕士学位论文第一章绪论 1 8 2 0 已经将模糊技术成功使用到了图像处理上。从原理上看，基于模糊技术 的预处理器依然是类似中值滤波的空间滤波器，具有很强的通用性。计算量也因 为模糊检测的精度高而使得后期滤波计算量较小，同时也保护了视频的细节。基 于以上几种优势，模糊技术应用到视频噪声处理可以很好地解决之前视频预处理 方法的局限性。 1 4 主要的研究内容 本文主要研究基于模糊数学的视频预处理技术。其主要内容如下： 1 研究视频编码的帧间搜索算法、d c t ( 离散余弦变换) 和熵编码的原理。 分析了噪声对相邻帧相似度的影响，导致宏块匹配的搜索算法耗时延长。在熵编 码部分，噪声在d c t 变换后的d c t 系数更多的在高频分量，对于编码耗时和编码 量同时产生负面影响。 2 将模糊数学应用于视频预处理领域的噪声处理上，将图像模糊处理的方 法进行改进，以适应视频实时特性。并且，在此基础上提出了一种高正确率和高 覆盖率的噪声检测手段。 3 充分利用了视频序列的时间特性，将帧间的滤波技术结合模糊数学提出 一种新的模糊滤波方案。相比于同类的空间滤波技术，它的实时性、精准性和噪 声滤除能力都表现出更好的实验结果。 4 将视频预处理器与编码器相结合，以参数作为两者之间的数据来通信。 在保证编码器全速运行的前提下，可以控制编码器的速度和精度。参数是通过对 预处理器和编码器两边的充分分析而获得的。此外，还结合了最新的视频研究方 法使参数的调整具有自适应性。 1 5 章节安排 文本共由六个章节组成。 第一章表述了选题的研究意义、当前视频预处理技术的发展、存在的问题、 本文所研究的主要内容和章节安排。 第二章先是叙述了视频编码标准的发展情况和视频经典框架的构成。随后， 分析了噪声对编码器帧间搜索算法和编码本身的时间损耗，并通过实验数据加以 论证。最后，描述了视频编码的d c t 变换和熵编码的内容，分析和实验数据表明 1 上海师范大学硕士学位论文 第一章绪论 了噪声对编码量的影响。 第三章对模糊理论进行了简介，并将其应用到视频噪声检测领域。通过对图 像模糊检测的改进，获得了高正确率的视频模糊检测方法，并最终提出了高覆盖 率和高正确率的模糊检测方案。 第四章进一步将模糊数学应用到噪声滤波方法中，并提出一种视频所独有的 帧间模糊滤波技术，给出了模糊视频检测和滤波技术的流程框架。实验结果表明 其实时性和滤波性能都比同类方法更好。 第五章将模糊视频预处理噪声检测和滤波方案与视频处理器相结合，给出了 总的流程架构，并对参数的选择和设定进行了深入的研究。最后，实验数据表明 了使用该方案能在保证视频编码器全速运行的前提下，主观和客观的评价标准表 明了其对视频序列良好的复原能力。 4 上海师范大学硕士学位论文第二章噪声对视频编码的影响 第二章噪声对视频编码的影响 对于视频编码技术而言，噪声的危害是很大。其主要体现在三个方面：搜索 匹配、熵编码时间损耗和编码量的激增。第一，噪声降低了相邻帧之间的相似度， 位于视频框架内的帧间搜索算法会因为宏块的差异而导致匹配时间的增加。第 二，在熵编码方面，噪声会增加视频序列在d c t 变换后的高频分量，使得之后的 z i g z a g 扫描和零游程编码的需要耗费更多的时间。第三，视频编码的高压缩率 是通过对相邻帧之间残差的编码来实现的，噪声使得相邻帧之间的残差数据量增 大。同时，高频分量也同样影响着零游程编码的压缩率。不难发现，噪声对视频 编码有着巨大的影响。 2 1 视频编码基础 2 1 1 视频标准 图像和视频压缩标准主要由三大组织制定：国际标准化组织( i s o ) ，国际电 信联盟( i t u ) 和国际电工委员会( i e c ) 。标准主要有h 2 6 1 i r a ，m p e g 一1 ，m p e g 一2 ， h 2 6 3 乜2 。2 4 1 ，m p e g 一4 瞳5 1 ，h 2 6 4 2 钉。这些标准对提升编码性能和对多媒体技术的 发展有着不可估量的作用。 早期的视频标准主要有h 2 6 1 和m p e g - 1 。h 2 6 1 主要是迎合了可视电话和会 议电话的需求，以及窄带i s d n 技术的发展而提出的视频实时和低时延的编解码 标准。h 2 6 1 标准一般基于的信道速率为p 6 4b i t s ，使用了经典的混合 d p c m d c t ( 差分脉冲编码离散余弦变换) 编码体系。而m p e g - 1 标准的产生主要 是为运动图像和音频编码提供标准，可以压缩c i f 标准( n t s c 制式：3 6 0 2 4 0 、 p a l 制式：3 5 2 2 8 8 ) 分辨率的运动视频序列。m p e g - 1 标准的传输速率为1 5 m b p s ， 其峰值为4 至5 m b p s ，并且使用了双向预测编码技术，半像素运动搜索算法和g o p 结构。较为成熟地应用在9 0 年代的v c d 数字视频上，也可作为网络视频标准。 中期的m p e g - 2 标准大大提升了m p e g l 的分辨率和传输速率，满足了d v d 技 术、h d t v ( 高清电视) 和d v b ( 数字视频广播) 的需要。并且，在标准上与前期 标准兼容，并且具有可分级性，即对视频质量和需求划分了多个层次以灵活适应 上海师范大学硕士学位论文 第二章噪声对视频编码的影响 图2 1d p c m d c t 混合模型的视频编码器 不同的应用。此外，m p e g - 2 标准除了支持帧编码，还支持场编码。与之类似的 标准有h 2 6 3 标准，是基于低比特视频应用而产生的编码标准，将混合编码技术 的性能发挥到了一个高度。该标准主要应用在基于i p 技术的视频技术，诸如i p 视频会议和可视电话，并被多项国际电信联盟标准采纳，如b - i s d n ( h 3 1 0 ) 、 p s t n ( h 3 2 0 ) 和l a n w a n i n t e r n e t ( h 3 2 3 ) 。其后，又经历了h 2 6 3 + ，h 2 6 3 + + 两次升级。 当前最为流行的视频编码技术有m p e g 一4 、h 2 6 4 和a v s 。m p e g - 4 标准除了追 求新的压缩技术外，还趋于满足一些诸如数字信息相互转换的新功能。与前的 m p e g 一1 和m p e g - 2 标准相比，m p e g - 4 不再拘泥于一般的视频编码标准，而呈现出 一种更为抽象的框架或格式，趋向于成为一种平台使更多的数字产品可以灵活地 使用与交互。其技术主要包括：计算机图形和视觉技术、现有的多媒体技术、虚 拟现实技术、语音合成技术和一些压缩工具。此外，不同于像素编码，还提出了 基于对象和模型的编码方式等。其主要应用于高质量视频服务、互联网或无线网 的窄带视频通信和多媒体检索等业务，并且其分级体系也延伸出了时域、空域和 混合的分级的方法。其突出的码率和低码率编码性能可以满足移动多媒体的使用 与交互。而h 2 6 4 标准更是融入了视频编码方面的新技术，主要有4 4 整数离 散余弦变化、多参考帧预测、去块效应滤波器和多尺度帧内和帧问的编码等， 6 上海师范大学硕士学位论文第二章噪声对视频编码的影响 定义范围r 为1 0 ，定义像素差异d 为1 0 定义帧数的变量f ，在d r ，“r 范围内，与，。g ，j ，) 对比像素差异 根据坐标的不同，判断相应，x ，y ) - 与l 。g ，j ，) 每个像素的差值 如果像素差值小于已定义的差值d ，则进行计数 ) 像素计数完毕后，进行百分比折算 ) 对范围内的相邻帧的相似度进行图像显示 图2 2 相邻帧差异性判断的伪代码 从而获得了相对较高的压缩比。为此，m p e g 组织也将该标准纳入其标准框架， 作为m p e g 一4 的第十部分的具体内容。具有知识产权的a v s ( a u d i ov i d e oc o d i n g s t a n d a r d ) 是我国近年来自主研发的视频标准，其核心技术与h 2 6 4 相类似。 2 1 2 视频框架 从二十世纪九十年代至今，主流的视频编码标准依然是基于通用的编码设计 模式( d p c m d c t 模式) 的，包括了运动估计和前后的运动补偿，离散余弦变换 ( d c t ) 方法和熵编码。h 2 6 1 、h 2 6 3 、m p e g - 1 、m p e g - 2 、m p e g - 4 视频部分和h 2 6 4 都使用了这种编解码框架，只是不同的标准和应用之间存在着许多不同的差异。 图2 - 1 是通用的d p c m d c t 混合模型的编码器。在编码器部分，第n 个视频 帧e 被处理产生一个被编码压缩的比特流；在解码器部分，被压缩的比特流被 解码产生重建的视频帧。当然，重建帧通常与源数据不是完全相同的，主要 由于编码器采用了量化等技术，在保证压缩率的同时，丢失了部分非关键数据。 这两张图显示出编解码框架中一些通用的基本元素或部件。许多解码器中的功能 事实上就包含在编码器中。 对于编码数据的处理主要有两个路径：从左到右和从右到左，也就是编码与 重建这两个过程? 编码过程通常先对一个输入的视频帧e 以宏块为单位进行编 码处理，其中涉及了1 6 1 6 亮度区域和相关色偏信号的采样与处理。与参考帧 7 上海师范大学硕士学位论文第二章噪声对视频编码的影响 图2 3 视频测试序列f o r e m a n 的第l o 帧与前后1 0 帧的相似度比较 ( 比如之前被编码的帧一，) 相比，运动估计功能先要从一一，寻找到一个1 6 1 6 的区域( 或者一个子抽样的用内插值替换的一。版本) 根据一些匹配准则来寻找 与当前帧e 匹配的宏块。当前宏块位置与被匹配参考区域的偏差就是运动向量 ( m v ：m o t i o nv e c t o r ) 。再根据被匹配的运动向量，通过运动估计对1 6 1 6 的宏 块进行计算，得出一个运动补偿预测量p 。之后，当前宏块减去预测值p 获得一 个残差宏块d 。再通过d c t ( 离散余弦变换) 。通常，d 会被分割为8 x8 或4 4 的 子块，并且每一个子块都单独变换并进行量化。每个子块的d c t 系数需要重排序 和根据等级编码。最后，每个宏块的系数、运动向量和相关头信息进行熵编码以 生成被压缩的比特流。 数据重建时，每一个量化后的宏块重新调节并反变换为被解码的残差d 。由 于是有损量化处理，所以导致了d 与原来的残差宏块d 是不同的。运动补偿的 预测量p 被加到残差d 上产生重建宏块，重建的宏块逐步保存并凑出重建帧一。 完成了完整的一帧编码，重建帧可以被作为参考帧为下一帧e + 。进行编码。 与编码框架相对应的是解码框架。一个被压缩的比特流先是进行熵解码，获 得d c t 变换参数、运动矢量和每个宏块的头信息。反过来使用等级编码和重排序 寓生一个被量化和变换过的宏块x 。之后，x 经过重调节和反变换获得解码残差 8 上海师范大学硕士学位论文 第二章噪声对视频编码的影响 ( a ) 第1 2 帧 ( b ) 第1 3 帧( c ) 残差 圈2 - 4 视频测试序列f o r l w a n 的残差圈 d 。解码的运动矢量被用来对之前参考帧一的1 6 x 1 6 区域的拷贝进行定位。于 是。获得了运动补偿预测量p 。把p 加到残差d 后产生重建的宏块，从而得到解 码帧一。在经过完整的一帧解码后，一可以被显示也同样可以被用作参考帧为 下一帧一+ ，进行解码。很显然，以上的框架图和对编解码的描述表明编码器包括 了一部分解码的流程，如重新调节、反d c t 变换( i d c t ) 和重建帧。此外，编码 器和解码器都是用相同的参考帧一，进行运动补偿预测。 22 帧间搜索耗时 2 2 1 相邻帧的相似度与残差 视频序列通常是以每秒2 5 3 0 帧的速率在播放的，为此临近帧之间的差异 是很小的。完全可以通过定义伪代码来初步判断帧图像之间的相似性。令第n 帧 图像为，。扛，y ) ，其中，o ，y ) 表示的是该图像中像素的位置。则判断扛，y ) 临近 图像相似度的伪代码如图2 - 2 所示。跟据伪代码的算法，可以获得相应的曲线图 以显示相似度的变化( 如图2 - 3 所示) 。 对每一帧进行编码需要庞大的数据存储空问，对传输带宽也有很高的要求。 为此，利用视频序列帧与帧之间非常太的相似性可以极大压缩视频编码的数据 量。比如，第n 帧的编码需要比特数为a ，第n + l 帧单独的帧内编码需要b 比特， 则两者单独编码需要总比特数为a + b 。可由于相邻帧的缘故，通常存在帧问残差 遴p坩、k惫慰酬 上海师范大学硕士学位论文 第二章噪声对视频编码的影响 图2 5 噪声污染前后的视频帧之间的相似性对比( 实线为未污染，虚线被污染) d ，对应编码比特为a d ( 远远小于b ) ，使b = a + a d 。于是，简单编码a d 和 一些相关索引值便可完成基于第n 帧的第n + l 帧的编码。基于这一理念，视频压 缩标准中采用了运动估计和运动补偿等技术使高清电视等高画质需求成为了可 能。具体的，图2 - 4 显示了f o r e m a n 视频测试序列的第1 2 帧与第1 3 帧之间的残 差情况。图2 5 显示了视频序列a k i y o 在被5 椒盐噪声污染前后的第2 5 帧与前 后帧的相似性对比。 2 2 2 帧间搜索算法 要实施帧间的运动向量预测，搜索算法是必不可少的。该算法可以根据参考 帧来寻找与当前宏块相对应的参考块。搜索算法名目繁多，主要分类有全局搜索 算法、分精度搜索算法、快速搜索算法、分级搜索范围( d s r ) 算法和混合搜索 算法。本节主要介绍一下h 2 6 4 标准中已采用的全局搜索算法和属于混合搜索算 法的u m h e x a g o n s 算法口卜3 5 1 。这两种算法各具特色，全局算法精度较高，而 u m h e x a g o n s 算法更有效率。此外，还介绍一种较新的自适应搜索长度的 u m h e x a g o n s 算法汹1 。 ( 1 ) 全局搜索算法 全局搜索算法是比较通用的块匹配算法，因为它可以获得最优位移矢量。 l o 上海师范大学硕士学位论文第二章噪声对视频编码的影响 曲#斗苦 代呻叶_ 匆* o #静 ( a ) 非对称十字搜索( b ) 方形搜索( c ) 六边形搜索和十字搜索 图2 6u 删e x a g o n s 算法 其原理是：在预定的参考帧内，当前宏块按照某种次序( 如从左到右、从上倒下、 内部向外螺旋或者外部向内螺旋等) 逐块对比参考块，通过分别计算残差量来选 择最小偏差的对应宏块作为下一步处理的参考宏块。通常，内部向外螺旋的次序 被认为能快捷找到参考宏块。一般，各种视频标准为了实时性，还会定义各种提 前搜索停止算法。如定义门限值占，宏块内像素值，g ，y ) ，参考宏块像素值 f g ，y ) ，g ，y ) 为像素对应的坐标。如果不等式( 5 1 ) 成立： ，g ，y ) - i g ，y ) 占 ( 2 1 ) 那么认为参考宏块与当前宏块足够相似。于是，选择宏块，g ，y ) 作为下一步处 理的参考块。 此类有提前终止条件的全局搜索算法被称为快速全搜索算法。此外，一般全 局搜索算法还有步长概念。如果帧图像数据量过于庞大，则需要更大的步长来保 证搜索算法的实时性。 ( 2 ) u m h e x a g o n s 搜索算法 u m l e x a g o n s 算法全称为混合非对称十字多六边形网格搜索算法。它使用了混 合的分等级的搜索策略。其混合性主要因为其包括了四步不同类型的搜索方法： 1 预测器的选择和预测模式重排序； 2 非对称的十字搜索 3 非偶数的多六边形网格搜索 4 扩展的六边形搜索 图2 6 ( a ) 显示了u m h e x a g o n s 算法的基本步骤。第一步，是非对称的十字 搜索。之所以水平左右多两点，是因为遵循了物体的移动规律，即通常水平运动 会比垂直运动多得多。最开始的步长间距也相对较长，主要是考虑局部最小值的 上海师范大学硕士学位论文第二章噪声对视频编码的影响 问题。u m h e x a g o n s 算法是一步承接一步进行的，如果前一步计算进入了局部最 小的陷阱，则之后的算法很难纠正，这同时也是效率的保证。所以，为了避免局 部最小的情况出现，初始的步长都相对较长。而之前所提到的全局搜索算法由于 遍历了所有的宏块，所以不存在此类问题。 图2 - 6 ( b ) 表示了类似于全局搜索算法的步骤，即一个小区域的遍历对比。 这是为了u m h e x a g o n s 算法的精确性。之所以国际电信联盟( i t u ) 将该混合算法 纳入h 2 6 4 标准，主要是因为其精确性和实时性都性能卓越。这第二步骤大大地 保证算法的高匹配精度。 图2 6 ( c ) 显示了后续的步骤，包括非偶数的多六边形网格搜索、扩展的六 边形搜索和最后的小十字搜索。这些算法也都包含了提前终止算法，所以未必都 是会执行的。通常，根据精度的需要，可以选择性地进行参考宏块的搜索。 ( 3 ) 自适应搜索长度的u m h e x a g o n s 算法 尽管u m h e x a g o n s 算法在精度和效率两方面的平衡臻于完美，但依然有提升 的空间。文献 3 6 提出了自适应搜索长度的u m h e x a g o n s 算法，其核心想法为： 通过改变搜索长度，在保证精度的前提下，进一步缩短匹配时间。定义公式： d i f j n = m a x 羽l a s t x p r e d 一划，l 肠哼f y p r e d 一纠) ( 2 2 ) 彤l 】 ( 一f + 1 ) s e a r c h r a n g e k 2( 2 5 ) n = l s e a r c h r a n g e = s e a r c h r a n g e k 2 ( 2 - 6 ) 其中，参数l a s t x 与l a s t y 分别表示上一次最小搜索点的横坐标与纵坐标，数 组参数d i f f 保存了搜索点与预测点问的距离，参数p r e d _ x 与p r e d y 分别表示 预测点的横坐标与纵坐标，参数s e a r c h _ r a n g e 表示搜索长度，而参数k 1 和k 2 都是控制搜索长度的系数。 2 2 3 搜索耗时分析与实验结果 1 2 通常视频序列中邻近帧图像之间存在着极大的相似度，尤其是运动不激烈的 上海师范大学硕士学位论文 频 窒 增 加 频率增加 第二章噪声对视频编码的影响 d c 飞 量减型 图2 - 7d c t 变换系数分布图 缓慢变化的视频。然而，噪声的介入使得这种相似性受到了极大的影响。原因在 于，宏块匹配是通过计算当前宏块与匹配宏块之间的差值来判断的。但两者前后 受到独立同分布的噪声影响，使得两者的残差值差异性越来越大。从图2 - 5 中可 以发现，a k i y o 的第2 5 帧图像与5 帧之内的其他帧的相似性骤减5 左右，5 帧 之外的相似度更减了近1 0 。由此，可以获得结论：噪声污染对视频序列之间的 相似性影响是极为明显的与巨大的。 又根据第2 2 2 节的描述，搜索算法一般会结合提前终止算法来保证视频序 列处理的实时性。而视频序列被噪声污染后，相邻帧之间的相似性急剧下降， 势必使得当前宏块与参考宏块之间的差值因为噪声的巨大差值而不能提前终止， 导致了算法继续执行，从而使搜索时间大大增加。 本节的实验方案为：使用视频标准h 2 6 4 官方推荐的j m 模型来对1 8 个不同 的视频测试序列进行视频编码，第一次采用无噪声模式，第二次使用被5 的椒 盐噪声污染的视频序列。随后通过j m 自带的帧间运算时间统计工具来获得实验 结果。 实验中的参数设置如下：不使用b 帧，编码帧数为2 0 ，自适应搜索长度的 u m h e x a g o n s 算法口引。这种较新的搜索算法，是因为它保证了视频处理质量的同 时，也确保了实时性。选用这类算法有利于突出噪声对视频运动估计的影响。而 上海师范大学硕士学位论文第二章噪声对视频编码的影响 全局搜索算法，由于其遍历所有参考宏块，所以对噪声不敏感。而通常，日常使 用的视频编码器一定会介入提前终止算法，来保证实时相应。 从表2 一l 中不难发现：噪声添加前后，运动估计时间平均增加了5 6 4 9 左右。 明显地表现出噪声对运动估计影响比较巨大，从而影响了整个编码器的运行速 度。 2 3 熵编码耗时 2 3 1d c t 变换 d c t 变换全称为离散余弦变换，属于离散傅立叶变换，是一种频域变换。根 据第2 1 2 节的描述，视频编码标准依然使用着混合的d p c m d c t 编码模式。 n xn 宏块的二维d c t 变换可被定义为： 酬= 丁2 c ( u ) c ( v ) n 黔- i n - 小。s 学c o s 学 ( 2 _ 7 ) 其中，“，1 ，= o ，l ，一1 ，厂( f ，) 为当前帧的像素点。当“，1 ，= 0 时，c 0 ) ，c o ) 的 值分别为：其他时候，值分别为1 。 2 如图2 7 所示，水平向右和垂直向下方向为频率增加方向，从左上角到右下 角的方向为能量递减的方向。视频序列在经过频域变换后，主要能量集中在左上 角的d c 处( 直流分量) 和一些低频分量上，视频序列少量的细节内容会出现在 高频分量上。视频编码采用d c t 变换是为通过处理分布有规律的d c t 系数来达到 高性能压缩的目的。在经过量化后，高频分量上的少量不必要的d c t 系数会被消 去，从而在保持绝大部分视频内容的情况下，对视频序列进行编码。 2 3 2z i g - z a g 扫描与零游程编码 由于能量的递减趋势是从左上角到右下角，为此可以通过如图2 8 所示 的z i g z a g 扫描来使d c t 系数基本按照一个从大到小的顺序排列。排在尾部的数 据很大可能为零，再加上量化的处理，一些很小的高频系数也会被量化为0 。在 这种情况下，采用0 的游程编码可以大大减少压缩量。所谓游程编码，就是针对 1 4 上海师范大学硕士学位论文 第二章噪声对视频编码的影响 d c 。 卅 y 。 。 刀 y 。 卅 。 图2 - 8z i g z a g 扫描 连续在数据流中出现1 1 次的数据项k ，用单个字符n k 来替换重复的出现。参数n 即为游程长度。针对数据项0 多次出现进行游程编码，就被称为零游程编码。 2 3 3 编码耗时分析与实验结果 经过d c t 变换的宏块从空间的像素几何分布变为了空间的频率分布。一般， 直流分量在左上角，沿从左到右的水平方向和从上到下的垂直方向都是表示频率 的增加。通常，绝大部分能量集中在低频分量上。为此，可以采用z i g - z a g 扫描 和0 游程编码来尽可能的压缩数据。这便是结合d c t 变换进行压缩编码的主要原 理。但是，图像细节的丰富会导致高频分量系数的递增，从而造成了压缩时间和 编码系统空间的极大损耗。由于视频编码器对噪声不敏感，将其认为 是图像细节，使得d c t 变换后的高频分量系数激增，从而导致了编码损耗了相对 多的时间。 本节的实验方案为：使用视频标准h 2 6 4 官方推荐的j m 模型来对1 8 个不同 的视频测试序列进行视频编码，第一次采用无噪声模式，第二次使用被5 的椒 盐噪声污染的视频序列。随后通过j m 自带的编码时间统计工具来获得实验结果。 实验中的参数设置如下：不使用b 帧，编码帧数为2 0 ，全局搜索算法。选用全 局搜索算法可以突出噪声对编码时间的影响。 上海师范大学硕士学位论文 2 4 噪声对编码量的影响 2 4 1 编码量分析与实验结果 第二章噪声对视频编码的影响 类似于第2 3 1 节和第2 3 2 节对d c t 变换和后续z i g - z a g 和游程编码的描 述，由于编码器对噪声的不敏感，噪声像素被误认为是视频序列的细节，导致了 高频分量系数的增加。原本大量的能量集中在低频区域，高频区域大多系数为o ， 便可以进行比例较高的压缩。而现在由于噪声像素使得高频分量系数比重增大， 从而影响了压缩率，最终导致了压缩后的编码比特流的激增。 本节的实验方案为：使用视频标准h 2 6 4 官方推荐的j m 模型来对1 8 个不同 的视频测试序列进行视频编码，第一次采用无噪声模式，第二次使用被5 的椒 盐噪声污染的视频序列。随后通过j m 自带的编码量和比特率统计工具来获得实 验结果。实验中的参数设置如下：不使用b 帧，编码帧数为2 0 ，全局搜索算法。 选用全局搜索算法可以使得所有匹配宏块都是最优解。 从表2 3 中不难发现，被噪声污染后的视频序列经过编码会与无污染的视频 序列得到的比特数有数量级上的差距。针对一些运动不激烈的视频序列，即无噪 声情况下编码量较小的视频，如a k i y o 、b r i d g e f a r 、c l a i r e 、m i s s a m e r i c a 和 m o t h e r - d a u g h t e r ，增加的倍数都会超过2 0 倍。其中，视频序列b r i d g e f a r 更 是增加到了近4 0 倍的比特量。其他的一些运动激烈的视频序列，由于其本身细 节丰富，编码所需的数量就较大，如c o a s t g u a r d 和m o b i l e ，使得噪声后的编码 量增加了两、三倍左右。总体而言，噪声的介入对视频编码量的影响是巨大，即 压缩率下降得比较严重。 表2 4 显示的是全局搜索算法后，加噪声前后的比特率对比情况。比特率是 一种更为有效客观数据评价标准。因为单一进行编码率比较，花费巨大的时间后， 总可以逼近香农极限。而单一比较编码时间，又可以不顾编码质量肆意加快编码 算法，如加大提前终止算法的门限值等手段。而比特率结合了两者，是更为客观 的评价方法。从表2 - 4 中可以看到，添加噪声后，平均编码比特率增长了近1 5 。 可见，噪声对编码比特率的增长也是巨大。因此，之前获得的对总编码比特量的 影响是真实有效的。 1 6 上海师范大学硕士学位论文 表2 1 搜索耗时 第二章噪声对视频编码的影响 搜索耗时( 单位：秒)无噪声有噪声增量增量百分比 a k i y o 2 2 0 4 33 7 3 9 l+ 1 5 3 4 8+ 6 9 6 3 b r i d g e c l o s e2 1 0 3 03 5 9 2 1 + 1 4 8 9 1+ 7 0 8 1 b r i d g e f a r2 1 9 6 2 3 7 7 8 2+ 1 5 8 2 0+ 7 2 0 3 c a r p h o n e 2 6 6 2 63 8 9 0 2+ 1 2 2 7 6+ 4 6 1 1 c l a i r e 2 1 9 5 93 7 1 9 8+ 1 5 2 3 9+ 6 9 4 0 c o a s t g u a r d 3 5 2 7 44 5 0 1 6+ 9 7 4 2 + 2 7 6 2 c o n t a i n e r2 2 0 0 1 3 7 3 2 9+ 1 5