（计算机应用技术专业论文）基于人眼视觉特性的视频质量评价模型.pdf

基于人眼视觉特性的视频质量评价模型 摘要 随着计算机软硬件技术的迅猛发展，越来越多的数据以视频图像的形式出 现，视频业务的普及已成为不可阻挡的潮流。然而，视频图像在从采集到最终呈 现在观测者前面的过程中可能引入各种失真。显然，需要测量视频图像的质量， 用最少的资源提供最好的视觉质量，以便优化系统。由于仅对视频传输协议进行 监测的业务已不能满足市场的需求，因而对视频质量进行监测的算法成为了新的 需求点。评价视频质量的关键往往在于所用视觉模型是否符合人的感知特性，于 是，在众多视频质量评价模型中，基于人眼视觉特性的模型以其符合用户主观感 受的特点成为较理想的评价模型。 传统的视频质量评价模型往往只注重于视频的绝对误码率，在很多情况下不 符合人的主观感受，无法体现出人眼对评价的影响，常造成评价结果与用户主观 的感受相偏离。本文针对这一缺点提出了一种结合人眼视觉特性的视频质量评价 方法，该方法将传统的绝对误码率与影响视频评价的人眼特性结合起来，建立了 符合用户主观感觉的质量评价模型。 文中从影响视频质量评价的重要参数入手建模，首先介绍了块效应和噪声的 产生，然后分析其对视频质量的影响，最后根据已有的理论结合人眼视觉特性对 二者的评价方法进行了研究，得出了基于人眼视觉特性的视频质量评价新的算 法。该算法通过计算相邻块边界的亮度差，综合了活动性和亮度对人眼的掩盖性， 同时结合人眼主观感觉的非线性对块效应做出评价，使得该评价结果更符合用户 的主观感受；噪声情况的评价算法是利用r o b e r t s 算子提取了视频的内部特征， 通过视频序列的连续性对噪声情况做出评价，文中还考虑了由于镜头切换、闪光 灯等因素引起的视频不连续的影响。 本文将块效应和噪声评价方法的研究和评价结果的拟合构成了本文的视频 质量评价模型，通过评价者对视频中块效应和噪声损伤的视觉感受，采用主观和 客观实验对算法的正确性进行了验证，结果表明本文提出的算法能够正确评价视 频的质量等级并且具有优越的性能。 关键字：视频质量评价人眼视觉特性块效应噪声 vid e oq u ai t ye v aiu a tio nm o d ei b a s e do nh u m a nvis u ai s y s t e m a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m p u t e r sa n dc o m m u n i c a t i o nn e t w o r k , t h ea p p l i c a t i o n o fv i d e oa n di m a g ed a t ah a sa l r e a d yb e e nr a i s e d t h ep o p u l a r i t yo fv i d e os e r v i c eh a s a l r e a d yb e c o m ea ni r r e s i s t i b l et r e n d h o w e v e r , v i d e oa n di m a g ed a t a sa r es u b j e c tt oa w i d ev a r i e t yo fd i s t o r t i o n sd u r i n ga c q u i s i t i o n ，c o m p r e s s i o n ，s t o r a g e ，t r a n s m i s s i o na n d r e p r o d u c t i o n , a n da n yo fw h i c hm a yr e s u l ti nad e 舯d a t i o no fv i s u a lq u a l i t y i no r d e r t oo p t i m i z ea p p l i c a t i o ns y s t e m sa n dp r o v i d eb e t t e rv i s u a lq u a l i t yw i t hl e s sr e s o u r c e c o s t , i ti sd e s i r a b l et om e a s u r ct h eq u a l i t yo fv i d e oa n di m a g e t h eb u s i n e s so f p r o t o c o lm o n i t o r i n gc a nn o tm e e tt h e m a r k e td e m a n d , i n s t e a dt h ev i d e oq u a l i t y a s s e s s m e n tm o d e l sh a v ea l r e a d yb e c o m ean e wh o ts p o t t h et r a d i t i o n a ls u b j e c t i v e e v a l u m m nd e p e n d so no b s e r v e r se x p e r i e n c e sa n dm o t i v a t i o n s ，a n dt h e r e f o r e a m o n g t h e mt h ev i d e oq u a l i t ye v a l u a t i o nm o d e lb a s e do nh u m a nv i s u a ls y s t e m ( h v s ) a t t r a c t s m o r ea t t e n t i o n sf o ri t so b j e c t i v i t y , i n d e p e n d e n c eo fo r i g i n a lr e f e r e n c ev i d e oa n d s u i t a b i l i t yf o rh u m a np e r c e p t i o n t r a d i t i o n a le v a l u a t i o nm o d e l so n l yf o c u so nt h ev i d e o sa b s o l u t ee r r o r s ，w h i c h h a v el o wc o r r e l a t i o nw i t ht h ep e r c e p t u a lv i s u a lq u a l i t y t h e s em o d e l sd on o tm a k eu s e o fe y ei m p a c to i lv i d e oe v a l u a t i o n ，s ot h er e s u l t so f t e nd e v i a t ef r o mt h eh u m a n f e e l i n g s a a m i n ga tt h ed e f e c t , t h i sp a p e rp r e s e n t san e wm o d e l ，w h i c hc o m b i n e s h u m a nv i s u a ls y s t e mw i t ha b s o l u t ee r r o r so fv i d e o t h e r ea l et w ok e y p a r a m e t e r si nt h i sn e wm o d e l 一b l o c k i n ga r t i f a c ta n dn o i s e f i r s to fa l lw ei n t r o d u c et h eb l o c k i n ga r t i f a c ta n dn o i s e ，t h e na n a l y z ei t si m p a c to n v i d e oq u a l i t ya n df i n a l l yo b t a i nt h ev i d e oq u a l i t ye v a l u a t i o no fn e wa l g o r i t h m sb a s e d o nh u m a nv i s u a lc h a r a c t e r i s t i c sa c c o r d i n gt h ec o m b i n a t i o no ft h e o r ya n dh u m a n v i s u a lc h a r a c t e r i s t i c s t h e b l o c k i n g a r t i f a c te v a l u a t i o nc a l c u l a t e sn o t o n l yt h e b r i g h t n e s sg a pb e t w e e na d j a c e n tb l o c k s ，b u ta l s om a s k i n ga n dn o n l i n e a r i t yi m p a c t ，s o t h er e s u l t sa r es u i t a b l ef o rh u m a np e r c e p t i o nv e r yw e l l n o i s ee v a l u a t i o na r i t h m e t i c e x t r a c t st h es p a t i a lc h a r a c t e r i s t i c so ft h ev i d e of r a m eb yu s i n gr o b e r t so p e r a t o ra n d t e m p o r a lc o n t i n u i t yo fv i d e os e q u e n c e st oc a l c u l a t ep e r c e p t u a le v a l u a t i o nf o rn o i s e i t a l s oc o n s i d e r e dt h ec h a n g ea sar e s u l to ft h el e n s ，f l a s hv i d e oa n do t h e rf a c t o r sc a u s e d b yt h ei m p a c to fd i s c o n t i n o u s f i n a l l y , t h ev i d e oq u a l i t ye v a l u a t i o nm o d e li sg i v e nb yt h ef i t t i n go ft h es t u d i e s a n dr e s u l t so ft h eb l o c ka n dn o i s ee f f e c t t h e nt h i sp a p e rs t u d i e dt h eu s e r s v i s i o nf e e l o fv i d e oe f f e c t sa n db l o c kn o i s ed a m a g ea n dt h ea l g o r i t h mi sv e r i f i e dt h r o u g h 。 s u b j e c t i v ea n do b j e c t i v et e s to ft h ec o r r e c t n e s s t h er e s u l t ss h o wt h a tt h ea l g o r i t h m c a nc o r r e c t l ye v a l u a t et h ev i d e oq u a l i t yl e v e la n dh a ss u p e r i o rp e r f o r m a n c e k e yw o r d s ：v i d e oq u a ii t yo v a l u a t i o n 。h v s b i o c k i n ga r t i f a c t 。1 1 0 i s e h i 独创声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的 研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含未获得 ( 洼! 垫遗直基他盂曩挂别岂明的：奎拦亘窒2 或其他教育机构的学位或证书使 用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 学位论文作者签名：纪茸 签字日期：2 年月；9 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，有权保留并 向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人 授权学校可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用 影印、缩印或扫描等复制手段保存、汇编学位论文。同时授权中国科学技术信息 研究所将本学位论文收录到 - - 4 3 。，宽 7 。 ( 4 ) 观看距离水平方向在中垂线左右3 0 。内 ( 5 ) 观看员的位置布局 4 倍到6 倍的图像高度 ( 2 ) 测试素材的选择 测试素材是主观评价的基础，它对评价结果有重大影响，因此，选择合适的 测试素材是至关重要的。可选择静止图像或者视频序列，每个视频序列大约持续 1 0 一1 5 秒。 1 9 基于人眼视觉特性的视频质量评价模型 ( 3 ) 观看员 观看员即应邀参加主观评价的评分员。观看员一般分专业和非专业两类。一 般都由非专业观看员进行主观评价，当需要作精确判断时，可由受过专业训练的 专业观看员进行评价和分析。 由于观看员直接影响评分结果，因此，对于非专业观看员应慎重挑选。通常 他们应该具有代表性，包括不同性别、年龄、文化层次的观众：具有正常的视力 ( 含校正视力) 和色觉；有一定的分析判断能力，能很快地接受和掌握评分方法和 要求。 主观评价需要的观看员数目一般不少于1 5 人。在本文中，一共邀请了2 0 位非专业观看员参加实验。 ( 4 ) 评价测试阶段 在每个测试评价阶段开始时，应该向观看员详细、正确的介绍评价方法和评 分标度、存在的质量因素和损伤类型，并进行评价示范。示范显示应该使用正式 测试的图像或视频序列以外的图像或序列，但应与正式测试中使用的图像或序列 具有可比性。 一个测试阶段( 包括示范说明在内) 一般不超过半小时。在正式开始测试前， 应引入3 至5 个“样本显示 来稳定观看员的判别力，其结果的数据不纳入测试 结果的统计中。从一个显示评分到下一个显示评分均匀地进行。在测试阶段的主 体部分中，为了检测相关性，测试周期可以重复，但要避免相同的测试图像或视 频序列在相继的测试周期中出现。 测试阶段的显示流程如图3 3 所示： 示范序列稳定序列测试阶段的主体部分 ，_ l - - _ 、，一l 一、_ 、- _ 、- 呼皿皿皿 2 0 基于人眼视觉特性的视频质量评价模型 对于在评价中米集的大量评分数据，需要根据统计学的基本理论和技术进行 处理，得出以图形或数据的结果形式概括被测系统的性能，给出每个测试图像评 分统计分布的平均值和9 5 置信区间。 平均分u 。亩荟啦( 3 - 7 ) 标准偏差s in i 善 ( u - u i ) 2 ( 3 - 8 ) 置信度区间为眇一6 ，u + 6 】 其中：6 1 9 6 喜( 3 - 9 ) 4n u ，观看员f 的评分 观看员的数目 结果还必须包含以下信息： a 、测试条件的情况 b 、测试图像的情况 c 、图像源类型和显示监视器型号 d 、观看员的人数和类型 e 、使用的基准图像 f 、测试的总平均分 3 、评分方法和评分标度 ( 1 ) 评分方法 要求每个观看员根据每个测试图像( 或视频) 无损伤的基准图像，对被测图 像( 或视频) 质量的受损情况作出评价，并在评分表上做出标记。在每个测试周 期中，均为基准图像显示在先，受损图像显示在后，基准图像和受损图像交替显 示两次之后对后一次显示评分。显示过程如图3 - 4 所示。 t 1他钙他t 1t 2bt 4 基于人眼视觉特性的视频质量评价模型 t l = l o s 基准图像( 或视频) t 2 = 3 s受损图像( 或视频) t 3 = l o s 被测图像( 或视频) t 4 = 5 - 1 1 s受损图像( 或视频) 图3 4 显示过程 ( 2 ) 评分标度 使用5 级对视频图像的优劣进行评分，如表3 2 所示。 表3 2 视频质量等级 评分等级视频损伤分级视频质量 评价得分 5不察觉非常好 5 分 4能察觉，但不讨厌好4 分 3能明显察觉，但可以容忍过得去 3 分 2明显察觉，令人讨厌较差 2 分 1 及其明显，很讨厌 差 1 分 注：“讨厌”不是指对视频序列内容的讨厌 ( 3 ) 示范说明阶段 在每个测试阶段开始时，要向每个观看员详细、正确的介绍评价方法和评分 标度以及图像或视频显示的顺序和时间，但不应出现影响评分结果的暗示。然后 进行评分过程的示范。 ( 4 ) 数据处理 首先要确认评价过程的正确性和数据的有效性，用每位观看员在同一测试阶 段中对同一图像的不同测试周期给出的评分值进行核对，如果评分值相差2 级以 及2 级以上，则被视作无效而舍弃。若某位观看员在同一测试阶段给出的累加有 效评分次数低于其总评分次数的8 5 时，取消该测试阶段的全部评分。 4 、实验设计 ( 1 ) 本实验共包含三个阶段：示范阶段、稳定阶段、主体部分。 ( 2 ) 在本试验中，观看员要评价每个视频序列的块效应、噪声情况和总体质 量。块效应主要评价视频整体的模糊程度。噪声情况主要评价视频帧中出现的随 基于人眼视觉特性的视频质量评价模型 机的、较明显的块、条带和大面积的模糊等现象。在评价视频的总体质量时，观 看员不需要再关注块效应、噪声等具体细节，只需要给出对视频整体的主观感觉。 ( 3 ) 在示范阶段中，将播放2 个视频序列，用以说明块效应、噪声情况、视 频总体质量的评分标准。在这个阶段中，观看员不需要对播放的视频序列进行打 分。此阶段主要用来讲解视频的播放过程和评价内容。此阶段结束后，如果观看 员对评价过程有任何不清楚的地方都可以提问，实验组织者要进一步解释说明。 ( 4 ) 在稳定阶段中，继续播放5 个视频序列。在此阶段，观看员仍然不需要 打分，此阶段主要是用来稳定观看员的视觉判断力。 ( 5 ) 在主体部分中，将播放1 7 个视频序列以供观看员打分。每播放完一个 视频序列，都要有一段试验间隔，以供观看员评分。整个实验控制在3 0 分钟以 内，以避免引起观看员的视觉疲劳，影响测试效果。 3 2 2 实验数据的选取 本文中的主观实验数据是从上海地区采集的i p t v 现场节目数据。业 务在国内已出现了若干年，目前在上海等几个城市已经有了初步的商用，总用户 数已经接近百万。实际商用的视频数据含有真实的块效应和噪声情况，同时此类 数据也对模型提出了更高的要求，因为商用数据中的块效应和噪声情况比标准测 试序列中的情况更复杂，要求模型有更高的准确性。选取此类数据进行实验可以 提升模型的实用性，有利于模型从理论转换成实际产品。选取的实验数据如表 3 3 、3 4 、3 5 所示。 表3 - 3 示范阶段 视频序号名称备注 1 新闻1 + 1丢失i 帧，每1 0 帧中丢1 帧 2 新闻1 + 1丢失p 帧，每5 帧丢失1 帧 表3 4 稳定阶段 视频序号名称备注 1电影勇敢的心片段 丢失i 帧，每5 帧丢失1 帧 2电影 勇敢的心片段 丢失p 帧，每5 帧丢失1 帧 基于人眼视觉特性的视频质量评价模型 3电影 互表示相邻视频帧的不连续是由镜头切换、 闪光灯等正常因素引起的，不计入噪声的评价。d ，疵0 ) 乏表示相邻视频帧的不 连续在视频帧之间正常差异的范围内，视频中并不含有噪声，也不计入噪声的评 价中。通过大量的实验数据得到写= 3 5 ，互- 1 5 。 5 2 实验结果分析 在本文中，参数 ) 反映了视频序列的连续性。o ) 的数值越大表示 视频中的噪声越严重；o ) 的数值越小表示视频中的噪声越轻微。本文使用 主观实验中的1 7 个视频序列对本章方法的正确性进行验证。在主观实验中对视 频序列噪声情况的评价如表5 - 1 所示。 表5 - 1 噪声的主观评价结果 视频序号 d ，口纪 主观评价结果 13 0 22 4 5 4 5 4 5 21 8 25 3 2 8 3 3 5 4 5 4 5 5 4 2 4 03 6 3 6 3 6 4 5 2 6 6 3 6 3 6 3 6 4 61 8 74 9 ( ) 9 0 9 1 72 4 13 2 7 2 7 2 7 84 2 31 0 9 0 9 0 9 92 0 14 2 7 2 7 2 7 1 03 2 92 6 3 6 3 6 4 1 12 3 54 2 7 2 7 2 7 1 22 1 34 3 6 3 6 3 6 1 33 7 52 0 s l ( ) 9 0 9 1 42 8 73 2 7 2 7 2 7 1 52 3 34 。2 - 2 1 基于人眼视觉特性的视频质量评价模型 1 63 1 52 5 4 5 4 5 5 1 72 5 14 0 9 0 9 0 9 在主观评价实验中，视频序列的噪声情况分为5 个级别，分别对应主观评价 中的1 5 分。分值越大表明噪声越轻微，视频质量越好；分值越小表明噪声越严 重，视频质量较差。在本文提出的噪声评价算法中，计算结果越大表明噪声越严 重，计算结果越小表明噪声越轻微。所以在理论上，主观评价结果应随着算法计 算结果的增大而变小。本文在m a t l a b 中对表5 1 中的序列1 到序列1 1 的数据进 行了拟合，得到的拟合曲线如图5 4 所示。 图5 - 4 数据拟合曲线 图5 - 4 中y 纵坐标是主观实验中噪声的评价结果，横坐标x 是利用本文提出 的算法计算得到的视频噪声情况，二者的拟合结果如下： l i n e a rm o d e lp o l y l ： ，o ) 一p l * x4 - p 2( 5 - 6 ) c o e f f i c i e n t s ( w i t h9 5 c o n f i d e n c eb o u n d s ) ： p l 一- 1 5 6 ( - 1 9 0 1 , - 1 2 2 ) p 2 7 6 1 9 ( 6 6 9 6 , 8 5 4 2 ) g o o d n e s so ff i t ： s s e ：1 0 1 6( 方差和，越接近0 越好) 4 9 基于人眼视觉特性的视频质量评价模型 r s q u a r e ：0 9 2 2 8 ( 复相关系数平方，越接近1 越好) a d j u s t e dr s q u a r e ：0 9 1 4 2 ( 修正的复相关系数平方，越接近1 越好) r m s e ：0 3 3 6 1( 均方根，越接近0 越好) 从符合度参数可以看到，拟合曲线与实际数据的符合度较高。 利用表5 2 中序列1 2 到序列1 7 的数据对公式( 5 6 ) 进行验证，验证结果 如表5 2 所示： 表5 2 验证噪声的拟合结果 视频序号主观评价结果 拟合结果 误差率( ) 1 24 3 6 3 6 3 64 2 9 5 2