数字视频图像质量客观测量方法的改进与实现.doc

数字视频图像质量客观测量方法的改进与实现发布时间:2006年11月25日 点击次数:246 来源:电子设计信息网- 作者:黄文辉 陈仁雷 张家谋 摘要:本文在传统的图像客观测试峰值信噪比的基础上,对比了重建图像与原始图像,改进了测试模糊及方块效应等关键质量指标的算法,同时提出了预处理的方案. 实用中可与图像质量主观评价的MOS(mean opinion score)对应,并可用于测试与评价图像传输系统的质量. 关键词: 图像质量客观测试; 峰值信噪比; 模糊; 方块效应 引言图像质量评价分为主观评价和客观评价,主观评价是以人作为观察者,而图像最终是给人看的,所以人(特别是专业人员) 的评定是具有权威性的. 但主观测试具有局限性,时间长,不利于日常的研究. 同时,人的视觉反应到主观感觉上有其心理因素,结果因人(甚至因时) 而异,很难形成统一的模型,因而需要寻找简单易行且能得到公认的客观测试方法,并根据主观评定定出指标,对图像、视频的质量做出定量的客观评价. 即这些客观测试方法的指标应该与主观评价对应起来. 研究数字图像质量的传统方法是求出重建图像与原始图像的差别,将这些差别统一认为是噪波,并以峰值信噪比( PSNR ) 的分贝数作为指标客观地表征数字图像质量. 但是PSNR只是一个综合的结果,它并不能反应是哪一种原因造成图像的降质,因而在实际中很有必要再分项深入研究能表征图像降质原因的方法,也就是为常见的公认的数字图像的各种失真寻找出相应的测试方法. 而这些方法至少有下列3 条原则是必需满足的: 与主观质量评价相一致; 能突出表征一种失真造成的后果而不受或尽量少受其他失真因素的影响; 对失真程度的数量表征明显,并尽量有线性的相关性等. 本文提出以PSNR 为总的测试指标,以模糊系数、方块效应、运动补偿、帧速为分量的测试方案,并在文献 1 的基础上对PSNR、模糊及方块效应提出了改进方案. 1 PSNR 计算PSNR 公式中原始图像(输入图像) 的信号幅度多取255 ,认为原始图像信号处于理想的满幅度状态,图像中亮度(或色度) 最大处为峰值255 ,亮度(或色度) 最小处为谷值0. 这些值经过处理后成了重建图像(输出图像) ,信号值产生了偏离,导致了图像失真. 这种计算方法约定俗成已成定式,但是仔细分析后,实际的图像很难达到如此理想的状态. 即在一幅实际图像中,并不一定(或很难) 都存在最亮点或最暗点,此时若一概以输入图像的幅值为255 计算则显然是不正确的. 在这种情况下应以输入图像实际存在的亮度(或色度) 最大值和最小值进行计算才是正确的. 故本文建议采取如下公式计算PSNR(下列的计算以图像亮度为例) : 均方差为 其中, N 为输入图像或输出图像第k 帧的像素总数; yi ( i , j , k) 为输入图像第k 帧的第i 行、第j 列的像素亮度值; yo ( i , j , k) 为输出图像第k 帧的第i行、第j 列的像素亮度值; Yo ,max ( k) 、Yo ,min ( k) 分别为输出图像第k 帧中最大、最小像素亮度的值. 有些学者认为, 如果输入图像的幅度差达不到255 ,只要先归一化到255 , 仍可以用输入图像信号幅度为255 的公式计算PSNR. 实际上,这不符合实际图像的传输幅度, 而在传输过程中却免不了有非线性的存在, 导致了计算误差. 因此, 直接与输入图像最大值与最小值之差相比, 更能反映实际的PSNR. 2 斜空间滤波求模糊系数 图像清晰度是视频图像最根本的指标,一幅图像是否清晰并被观看者认可是该图像系统成败的关键. 当然,决定图像清晰度的根本是图像的像素含量,怎样在有限的像素数的限制下取得更高的清晰度,是广大相关专业的科技工作者孜孜以求的. 图像清晰度的下降源于图像信号中高频成份的损失,一般表现为边缘模糊和细节减弱. 实用中,由于图像格式(像素数) 不同, 图像清晰度的客观测试只能是测量与原始图像(输入图像) 相比清晰度的下降程度. 在前人研究成果的基础上,文献 1 选择了一种求清晰度的方式, 即分别对原始图像和重建图像用微分型空间滤波器提取其高频成份, 再求二者的相对差值,定义为“模糊系数”. 经过实际应用,发现它存在2 个问题: 与图像清晰度下降的主观感觉相关性不好,且受图像内容影响太大,不同的图像得出的值相差较远(见表1) ; 受图像方块效应的影响太大. 方块效应造成了附加的垂直与水平边缘,增加了图像的高频成份,影响了测试结果. 为此,改为用斜空间滤波求模糊系数,算法流程如图1 所示.图1 模糊系数计算流 考虑到图像传输系统对边缘和细节的传输一般是无方向性的,因此斜方向边缘和细节的传输系数可以代表垂直、水平方向的细节传输,而由于输出图像的水平、垂直细节与方块效应混在一起,不易代表模糊程度, 故选斜方向的微分型空间滤波器(见图2) ,只比较斜方向边缘和细节的传输,即可代表整个图像边缘和细节的传输系数,即模糊系数: 其中斜边缘能量特征为其中yf ( i , j , k) 为第k 帧、第i 行、第j 列的亮度值经过斜方向微分型空间滤波器处理后得到的值. 图2 斜方向微分型空间 可见, Kblur为输出的边缘能量和输入边缘能量比值. 假定图像序列无其他失真,那么k 值的范围一般在01 之间, k 值越接近于1 , 图像清晰度越高,结果表现越鲜明. 该方案实现方法简单,只用一个滤波模板就可以计算模糊程度,而且结果简明扼要. 3 正空间滤波求方块效应 无论是H 系列还是M系列图像压缩编码标准均是以二维余弦变换即DCT 变换为核心算法,为此对图像分块(8 8 、16 16 等) 是必要的. 随着压缩比的增大,图像中的块效应会增加,导致在图像中出现马赛克(Mosaic) . 块效应的出现增加了重建图像中的垂直和水平边缘, 如果单纯用微分型垂直和水平二维空间滤波器滤出垂直与水平方向的边缘, 则必与图像内容中真正存在的垂直与水平边缘混在一起,因而必需去除这部分,剩下的才是块效应导致的垂直与水平边缘. 即输出图像的水平、垂直边缘可视为2 部分: 输入图像中本来就有的水平垂直边缘; 方块效应产生的水平垂直边缘. 前面已经提到,设一般的传输系统对图像边缘的响应没有方向性,则可以先用微分型正空间滤波器(见图3) 求出输入图像的垂直与水平边缘和细节值, 乘以前面求出的边缘与细节传输系数Kblur ,得到重建图像无方块效应边缘在内的图像垂直与水平的边缘与细节值,再用微分型正空间滤波器求出重建图像垂直与水平总的边缘与细节值, 两值相减即可得到属于方块效应的垂直与水平边缘值,取相对值表示如下.方块效应系数:其中为一帧图像经正空间滤波器得到的水平垂直方向的边缘能量和. 此方案Kblock系数的大小一般在01 之间,方块效应越明显,该系数就越接近于1 ,方块效应越小系数越接近于0. 图3 正方向微分型空间 4 图像的预校正 为了对实际的视频图像传输系统进行客观测量,必需用计算机采集输入图像(原始图像) 和输出图像(重建图像) ,然后再研究二者之间的差别并求出相关的客观测量指标. 但实际采集到的输出图像相对于输入图像已有很多变化, 必需进行预校正. 图像对位 由于传输时延和采集显示误差等原因都会导致输出与输入图像之间的错位, 必需按像素进行精确地对位,才能进一步计算二者的差值. 为此应该用估计二者均方差的办法使二者准确对位. 增益与直流偏置校正 实际的传输系统会使输出图像的增益和直流偏置发生变化,需用以下公式进行校正.设原始图像的亮度为Yin , 重建图像的亮度为Yout ,传输通道的亮度增益gy 可定义为 求出gy 和Iy 之后应对重建图像作如下处理: 其中Yout为经过增益与直流偏置修正后的重建图像序列. 5 实验结果 使用Visual C + + 编程实现了所提出的模糊、方块效应的算法. 选取suzie. cif 、child. cif 和rrn. cif 3 个不同特征的原始序列作为实验对象,对这些原始序列采用H.264 协议按照不同的参数分别进行编解码生成不同图像质量的重建序列, 将重建图像和原始图像的质量进行比较得出模糊、方块效应的质量评价.实验环境设定如下: GOP (groop of pictures)为12 ; 测试的帧数为45 帧,最后的测试结果取前45 帧的平均值; 播放速度为30 帧/ s , 用于主观测试. 将本文的算法与传统的算法进行比较, 结果如表1 、表2 所示. 新方法中序列的前45 帧结果的均值、sobel 模版求模糊系数和方块效应系数的算法请参考文献 1 . 关于PSNR 的实验环境,本实验取1帧测试,其他测试环境与模糊、方块效应测试环境类似,结果如表13 所示. 表2 方块效应测试结果的对比 表3 PSNR测试结果的对比 以上为suzie. cif 、child. cif 和rrn. cif 经过H. 264编解码得到的重建图像的质量评价,重建图像质量的主观评价分别为5 分、4 分和3 分,将本文提出的算法与文献 1 的