（通信与信息系统专业论文）基于神经网络的iptv视频质量评估模型.pdf

摘要 l u ll illl i t 1i i ii l ll li i i y 2 0 6 7 2 3 2 作为三网融合的产物，i p t v ( i n t e m e tp r o t o c o lt e l e v i s i o n ) 正在世界范围内快速 发展。为了给用户提供更好的视频服务，i p t v 运营商需要对视频质量进行评估。 客观质量评估方法因其具有易于实现，且不需要耗费大量的人力和物力，不受外 部条件的限制等特点而被广泛应用。其中客观质量评估方法中的比特流层参数分 析模型可利用视频流包头信息和媒体相关载荷信息，能较准确的评估视频的质量， 适用于i p t v 质量评估。 根据不同的应用场景，本文提出两种适用于i p t v 系统的视频质量比特流层参 数分析评估模型，即考虑i d r ( i n s t a n t a n e o u sd e c o d i n gr e f r e s h ) 包丢失率的i p t v 视 频质量评估模型和基于内容特征的i p t v 视频质量评估模型。由于影响视频质量的 参数有着复杂的交互作用，而b p 神经网络有良好的非线性预测特性，可以有效的 反映各参数与视频质量之间的映射关系。论文的两种模型都是基于b p ( b a c k p r o p a g a t i o n ) 神经网络。 考虑i d r 包丢失率的i p t v 视频质量评估模型通过分析视频流，获取视频的 量化参数( q p ) 、帧率、丢包率、i d r 的包丢失率信息，并利用b p 神经网络建立模 型并对视频质量进行评估。该模型是无参考视频质量评估比特流层参数分析模型， 具有计算量相对较少，实时性好等优点，适用于运算能力低的i p t v 视频质量评估。 视频质量与视频内容特性密切相关，不同的视频对相同丢包率的敏感度并不 一样。基于内容特征的l p t v 视频质量评估模型考虑视频内容特性，首先通过解析 视频流来获取视频的q p 、比特率和运动矢量( m v ) 信息，然后，利用得到的m v 计 算视频的时间复杂度，通过量化参数和比特率计算视频的空间复杂度。并通过聚 类分析方法对视频进行分类。在此基础上，利用b p 神经网络建立模型并对视频质 量进行评估，从而更好地反映人眼的视觉感受。该模型计算复杂度较低，适用于 网络节点有一定计算能力的i p t v 视频质量评估。 关键词：视频质量评估b p 神经网络ip t v 比特流层参数分析模型h 2 6 4 基于神经网络的l p t v 视频质量评估模型 a b s t r a c t a b s t r a c t a sar e s u l to ft r i p l ep l a y , i n t e r n e tp r o t o c o lt e l e v i s i o n ( i p t v ) h a sh a da r a p i d d e v e l o p m e n tw o r l d w i d e t op r o v i d eah i g h - q u a l i t ys e r v i c ef o ru s e r s ，t h ev i d e oq u a l i t y s h o u l db ea s s e s s e db yi p t vo p e r a t o r s o b j e c t i v eq u a l i t ya s s e s s m e n tm e t h o d sh a v eb e e n w i d e l yu s e d ，d u et ot h e i rf a v o r a b l ec h a r a c t e r i s t i c ss u c ha ss i m p l ei m p l e m e n t a t i o n ，l o w r e q u i r e m e n tf o rm a n p o w e ra n dm a t e r i a lr e s o u r c e s ，f r e ef r o me x t e r n a lc o n s t r a i n s ，a n de t c f u r t h e r m o r e ，s i n c et h ep a r a m e t r i c b i t - s t r e a m l a y e r m o d e lo fo b j e c t i v eq u a l i t y a s s e s s m e n tm e t h o dc a nu s et h ep a c k e t - h e a d e ri n f o r m a t i o na n dm e d i a - r e l a t e dp a y l o a d i n f o r m a t i o nt oa c c u r a t e l ya s s e s st h ev i d e oq u a l i t y , i ti ss u i t a b l e f o ri p t vq u a l i t y a s s e s s m e n t a i m i n ga td i f f e r e n ta p p l i c a t i o ns c e n a r i o s ，t h i st h e s i si n v e s t i g a t e st w op a r a m e t r i c b i t s t r e a m - l a y e rm o d e l sw h i c ha r es u i t a b l ef o ri p t vq u a l i t ya s s e s s m e n t ，n a m e l y , t h e m o d e lc o n s i d e r i n gi n s t a n t a n e o u sd e c o d i n gr e f r e s h ( i d r ) p a c k e tl o s sr a t ea n dt h e m o d e lb a s e do nv i d e oc o n t e n t s i n c et h ep a r a m e t e r si n f l u e n c i n gv i d e oq u a l i t yh a v e c o m p l e xi n t e r a c t i o n s t h et w op r o p o s e dm o d e l sa r eb o t he s t a b l i s h e db a s e do nt h eb a c k p r o p a g a t i o n ( b p ) n e u r a ln e t w o r kw h i c hh a sg o o dc h a r a c t e r i s t i c s o fn o n - l i n e a r p r e d i c t i o na n dc a ne f f e c t i v e l yr e f l e c tt h em a p p i n gb e t w e e nt h ep a r a m e t e r sa n dt h ev i d e o q u a l i t y t h ef i r s tm o d e li se s t a b l i s h e db a s e do nt h eb pn e u r a ln e t w o r ka n de x t r a c t st h e i n f o r m a t i o no ft h ev i d e oq u a n t i z a t i o np a r a m e t e r ( q p ) ，f r a m er a t e ，p a c k e tl o s sr a t ea n d p a c k e tl o s sr a t eo fi d rf r o mt h ec o m p r e s s e db i ts t r e a mt oa s s e s st h ev i d e oq u a l i t y t i l i s m o d e li sap a r a m e t r i c b i t s t r e a m l a y e r m o d e lw i t h r e l a t i v e l y s m a l la m o u n to f c o m p u t a t i o na n dg o o dr e a l t i m ep r o p e r t y i tc a nb ei m p l e m e n t e db yi p t vv i d e oq u a l i t y a s s e s s m e n tw i t hl o wc o m p u t a t i o n a lc a p a b i l i t i e s n ev i d e oq u a l i t yi sc l o s e l yr e l a t e dt ot h ev i d e oc o n t e n t t h es e n s i t i v i t yo fd i f f e r e n t v i d e o st ot h es a m ep a c k e tl o s sr a t ei sd i f f e r e n t i nt h ei p t vv i d e oq u a l i t ya s s e s s m e n t m o d e lb a s e do nv i d e oc o n t e n t ，t h ec h a r a c t e r i s t i c so fv i d e oc o n t e n ta r e c o n s i d e r e d f i r s t l y , t h ei n f o r m a t i o no ft h eq e , b i tr a t ea n dt h em o t i o nv e c t o r ( m v ) i se x t r a c t e df r o m t h ev i d e ob i ts t r e a m 。t h e nt h et e m p o r a lc o m p l e x i t yi sc a l c u l a t e du s i n gt h ee x t r a c t e dm v a n dt h es p a t i a lc o m p l e x i t yu s i n gt h eq pa n db i tr a t e a n dt h e nw ed i v i d et h ev i d e oi n t o s e v e r a lt y p e sb yc l u s t e ra n a l y s i sm e t h o d f i n a l l y , t h em o d e li se s t a b l i s h e db a s e do nt h e b pn e u r a ln e t w o r kt oa s s e s st h ev i d e oq u a l i t y t h i sm e t h o di ss i m p l ea n de f f e c t i v e a n d t h em o d e li sf i tf o rt h o s ei p t vv i d e oq u a l i t ya s s e s s m e n t sw i t l lc e r t a i nc o m p u t a t i o n a l 基于神经网络的i p t v 视频质量评估模型 c a p a b i l i t i e s k e y w o r d s ：v i d e oq u a l i t ya s s e s s m e n t i p t vb pn e u r a ln e t w o r k b i t s t r e a ml a y e rm o d e lh 2 6 4 第一章绪论 第一章绪论 1 i 研究背景和意义 近年来，随着宽带技术和网络媒体的发展，人们对多媒体信息的需求日益增 长。从而促进了集文本、声音、图像、动画、视频和通信等多种功能于一体的多 媒体技术的发展。同时，随着数字网络和大规模集成电路技术的发展，涌现了如 移动、下一代网络( n g n ，n e x tg e n e r a t i o nn e t w o r k ) 、综合业务数字网( i s d n ， i n t e g r a t e ds e r v i c e sd i g i t a ln e t w o r k ) 、异步转移模式( a t m ，a s y n c h r o n o u st r a n s f e r m o d e ) 等多种接入技术。视频的应用也不再仅仅局限于传统的电视广播业务，而 是扩展到可视电话、视频会议、远程教育、互动游戏、远程医疗等多个领域。随 着通信技术的发展，三网融合( 指电信网、有线电视网和计算机通信网的相互渗 透、互相兼容、并逐步整合成为全世界统一的信息通信网络) 的脚步不断加快。 作为三网融合的产物，i p t v ( i n t e r n e tp r o t o c o lt e l e v i s i o n ) 得到了快速的发展。 i p t v 集互联网、多媒体、通信等多种技术于一体，是一种利用宽带有线电视 网，向家庭用户等提供包括数字电视在内的多种交互式服务的新兴互联网增值业 务。i p t v 不受传统广播电视播放时间的限制，使人们可以在任何时间、任何地点 选择性的观看电视节目，且实现了媒体提供商与消费者之间的互动。对于电视普 及率极高的我国，发展i p t v 有很大的有利条件。从全球范围看，2 0 0 8 年i p t v 用 户总数达2 1 7 0 万，与2 0 0 7 年相比，增长了6 3 。在我国，2 0 0 8 年电信运营商发 展i p t v 用户超过2 0 0 万。2 0 1 0 年1 月，我国国务院决定加快推进三网融合的进 程，实现三网的资源共享，避免低水平的重复建设，形成适应性广、容易维护、 费用低的多媒体基础平台。根据流媒体网的统计数据，截止到2 0 1 0 年底，全国i p t v 用户数量达8 0 0 万。其中，百视通与电信运营商合作发展的i p t v 用户超过6 0 0 万 户【。 i p t v 要成功运营并快速发展，需要为用户提供高质量的服务。但是作为大规 模流媒体业务的i p t v 拥有带宽高、实时性强、对网络失真敏感等特性。而i p 网 络只能提供“尽力而为 的服务，它无法保证其服务质量，只是尽力来传送分组。 因此，网络会不可避免的产生丢包、延时、抖动等问题，从而影响服务质量。为 了能够监控服务质量，及时的发现问题，更好的为用户提供服务；运营商迫切需 要建立一个准确、有效的视频质量评估模型来对i p t v 的视频质量进行评估。 根据输入参数的不同，客观质量评估方法可分为参数规划层模型、包层参数 分析模型、比特流层参数分析模型、媒体层模型和混合模型五种。比特流层参数 分析模型可利用视频流包头信息和媒体相关载荷信息评价视频流质量，且简单的 2 基于神经网络的l p t v 视频质量评估模型 分析码流不需要对视频流完全解码，计算复杂度低，适用于i p t v 的质量监测。由 于人眼的视觉特性，影响视频质量的各参数之间存在复杂的交互作用，普通的线 性关系不能准确表达参数与视频质量之间的关系。而b p 神经网络有良好的非线性 预测特性，因此，可通过b p 神经网络将各参数与视频质量进行有效的映射。同时， 利用b p 神经网络可将主观视频质量评估的准确性和客观视频质量评估的自动性 结合起来对视频质量进行评估，从而准确地反映人眼对视频质量的评估。因此， 本文利用b p 神经网络来建立各参数与视频质量之间的映射关系。 1 2 本文研究的主要内容 本文的主要工作是研究应用于i p t v 系统中的视频质量比特流层参数分析评 估模型。i p t v 中视频质量的失真主要有视频压缩失真和网络传输失真。其中，视 频压缩失真的影响因素较多，如帧率( f r , f r a m er a t e ) 、量化参数( q p , q u a n t i s a t i o n p a r a m e t e r ) 、运动矢量( m v ，m o t i o nv e c t o r ) 等。本文主要考虑帧率和 量化参数这两个压缩失真因素对视频质量的影响。i p t v 网络传输失真的影响因素 主要有：丢包、时延、抖动等。i p t v 对网络失真比较敏感，特别是丢包所造成的 失真。在h 2 6 4 a v c 中，为了防止错误传播，引入了即时解码刷新帧( i d r ， i n s t a n t a n e o u sd e c o d i n gr e f r e s h ) 的概念。即i d r 图像解码之后，解码顺序上后续 的所有编码图像都不能使用任何在i d r 图像之前解码的图像来进行帧间预测解 码。当包含i d r 帧信息的包丢失后，将导致后面整个g o p ( g r o u po f p i c t u r e s ) 图 像质量变差，直到下一个i d r 图像解码之后才能消除这个影响。本文主要研究丢 包率( p l r ，p a c k e tl o s sr a t e ) 和i d r 包丢失率这两个网络传输失真因素对视频质量 的影响。 考虑到上述情况，根据应用环境的不同，本文提出两种适用于i p t v 系统的视 频质量评估模型，即考虑i d r 包丢失率的l p t v 视频质量评估模型和基于内容特 征的i p t v 视频质量评估模型。 考虑i d r 包丢失率的i p t v 视频质量评估模型适应于可获取视频编码失真和 网络传输失真的环境中。首先，通过分析视频流，获取视频的编码失真和网络失 真参数，即q p 、f r 、p l r 和i d r 的包丢失率。然后，通过主观实验获得视频质 量的主观质量评估，从而获得样本数据，用来建立b p 神经网络。最后，对模型进 行验证。该模型是无参考的比特流层参数分析模型，计算量相对较少，实时性好。 经实验验证，该模型有较好的性能，可用于i p t v 的视频质量评估中。 视频质量与视频特征密切相关，不同内容的视频序列对相同丢包率的敏感度 并不相同，最终获得的视频质量也各不相同。目前，常用的计算视频内容时空复 杂度的方法均基于像素级，而比特流层参数分析模型无法直接获得视频的像素信 第一章绪论 息。因此，本文不宜使用此类方法来计算视频的时空复杂度。现有的视频编解码 标准中，大多采用帧间预测消除视频的时间冗余，采用帧内预测消除空间冗余。 则可通过比特流层模型参数q p 、m v 、比特率来计算视频的时空复杂度。基于内 容特征的i p t v 视频质量评估模型适用于可获取视频内容特性的环境中。该模型首 先通过分析视频流来获取视频的q p 、比特率和m v 。然后，利用得到的m v 计算 视频的时间复杂度，利用q p 和比特率计算视频的空间复杂度。最后，利用b p 神 经网络建立各参数与视频质量之间的关系。该模型通过b p 网络将主观视频质量的 准确性和客观视频质量的自动性结合起来对视频质量进行评估，从而能更好地反 映人眼的视觉感受。 1 3 论文组织结构 本文共分为四章，具体如下： 第一章为绪论，介绍了本文的研究背景和意义，并指出本文的主要研究内容 和论文组织结构。 第二章介绍了本文的背景知识，主要介绍了i p t v 的主要知识，视频质量评估 的方法及神经网络的基本原理。 第三章首先分析了造成视频损伤的因素，然后，根据i p t v 的具体情况选择适 合的参数，通过b p 神经网络建立参数与视频质量之间的关系，并对模型进行了验 证。 第四章首先分析了视频的特征，然后指出计算时问复杂度和空间复杂度的方 法，最后，通过b p 神经网络建立参数与视频质量之间的关系。 结束语总结了本文的主要研究工作及今后的研究方向。 4 基于神经网络的l p t v 视频质量评估模型 第二章背景知识介绍 5 第二章背景知识介绍 随着宽带技术的发展，人们对互联网的需求不再仅仅是网上冲浪、查看新闻 和查阅资料，而是变的多样化，如互动游戏、在线影视等，极大的丰富了人们的 生活。同时，电视已成为人们生活中不可或缺的部分，但是传统电视采用的是广 播方式，用户只能被动的接受，受到播放时间的限制，给人们的生活带来很大的 不便。而新兴的i p t v 解放了传统广播电视播放时间的限制，i p t v 使人们可以在 任何时间、任何地点选择性的观看电视节目，且媒体提供商与消费者之间可以互 动。近年来，i p t v 业务在国内迅速发展起来。 2 1 1i p t v 的定义 2 1 i p t v 介绍 目前，国际电信联盟i p t v 框架工作组( i t u tf gi p t v ) 对i p t v i 2 】【3 】【4 】定义如 下：i p t v ( i n t e m e tp r o t o c o lt e l e v i s i o n ) 是在i p 网络上传送包括文本、电视、视频、 图像、数据等，提供q o s q o e 、安全、可靠交互的可管理的多媒体业务。总的来说， i p t v 是一种网络电视，是利用宽带有线电视网，集互联网、多媒体、通信等多种 技术于一体，向家庭用户等提供包括数字电视在内的多种交互式服务的新兴的互 联网增值业务。它能够很好的适应当今网络的迅猛发展，充分的利用无限的网络 资源。 i p t v 可以有效的将电信网、计算机网络和通信网结合起来，成为三网融合的 切入点，为用户提供一种简洁的、全新的视听服务。i p t v 不但能够接收广播信号 播放电视，还可以将电视业务和互联网浏览、e m a i l 、远程教育、远程医疗及商务 结合在一起，并且实现了媒体内容提供者与用户的互动。i p t v 融合了传统电视和 互联网的相关特性，部署i p t v 业务可以使运营商增强竞争力，在未来的竞争中处 于优势地位。 2 1 2i p t v 的业务类型 目前，i p 丁v 提供三种类型的业务来满足用户的需求，这三种业务分别为电视 类业务、通信类业务和各种增值类业务。其中，电视业务主要有广播电视业务、 点播电视业务、时移电视业务和视频录制业务等；通信业务主要有语音业务、及 时通信服务业务、电视短信业务等；增值类业务主要有在线游戏业务、互动广告 业务和电视购物等。 从应用形式上来讲，i p t v 业务可分为基本型业务和扩展型业务。 6 基于神经网络的i p t v 视频质肇评估模型 2 1 2 1 基本型业务 基本型业务主要有直播电视、视频点播、时移电视和个人视频录制等。 1 直播电视( b t v ) ：直播电视与传统的广播电视类似，是服务商在i p t v 平 台上同时向多个用户发送相同的音视频流，用户在有需求的时候接入相应 的广播频道。b t v 提供的节目可以是标清的，也可以使高清的。若传输网 络支持，可采用组播的方式向用户提供服务，提高网络带宽的利用效率； 若不支持组播方式，则采用广播方式向用户提供电视服务。 2 视频点播( v o d ) ：v o d 是一种点对点的播放，是用户单独请求音视频的 播放。通过视频点播服务，用户可以自主的请求服务，观看自己喜欢的节 目。并且用户可以通过终端浏览和查询媒体库中的媒体资源，按自己的喜 好选择对应的媒体内容。此外，视频点播业务还支持暂停、快进和快退等 操作。 3 时移电视：时移电视是广播业务和内容存储业务的有机结合。在直播电视 同时，将媒体内容存储在网络中，在客户端界面上有每一频道的节目播放 时间，用户可以根据自己的喜好点播节目，当系统收到用户的点播请求时 迅速定位到相应的电视节目。此时，用户可以执行节目的暂停、快退和快 进，直到追赶到当前的节目播放。 4 个人录像( p v r ) ：个人录像是指个人或者运营商根据需要将现在直播的 节目内容存储起来，供时移或者其他节目的播放。p v r 主要包括n p v r 和 c p v r 。其中，n p v r 是业务运营商将部分网上存储空间出售给用户并按存 储空间收费，用户可以将自己需要的节目内容录制下来，录制是由网络服 务器完成的，当用户发送录制命令后就与机顶盒的开关没有关系了。c p v r 与n p v r 基本一致，只是c p v r 将节目录制在本地空间，而n p v r 将节目录 制到了从运营商购买的网上存储空间。 2 1 2 2 扩展型业务 扩展型业务比较多，主要包括信息类业务、游戏类业务、商务类业务、教育 类业务、通信类业务等。 1 信息类业务：主要包括信息提供( 通过i p t v 系统向用户提供天气预报、电 影、旅游、账单等信息) 、广告、视频插播( 在用户观看节目时插播广告 或紧急信息等视频内容) 和滚动字幕。 2 游戏类业务：包括本地游戏和在线游戏。本地游戏是设置在机顶盒上的游 戏，在没有网络时也可以运行，如扑克；在线游戏是需要网络支持的游戏。 3 商务类业务：商务类业务主要包括电视购物和网上购物。电视购物指i p t v 第二章背景知识介绍 系统向用户提供有导购信息的内容，支持用户交互和订购；网上购物是类 似普通的网络交易。 4 远程教育业务：主要包括v o d 形式的多媒体点播和在线课堂录像或直播。 5 通信类业务：包括可视电话、短信、即时通信和视频会议等。 2 1 3i p t v 的框架 i t u tf gi p t v l 5 】在体系框架中给出了i p t v 逻辑域，如下图2 1 所示。 p 0 式( 2 - 1 4 ) 其中 焉= 善羲 柳5 ， a w ，石a w ， 一。7 b p 神经网络是一个高度非线性的映射。假设对于样本集合x 和目标集合y ，存 在映射g 使得只= g ( ) ，f = l ，2 ，七。现要求一个映射f ，使得f 逼近g 。数学中，会 给出f 的一个含参数的表达式，然后求出参数，通常选择一组基函数，将f 表达成 基函数的线性组合，然后通过最小二乘法或者其他方法来确定基函数的系数。对 于简单的或维数较少的问题，此方法可解，但是当映射复杂时，很难确定基函数， 而且系数也很难求解。此时可以使用神经网络来求解，它是一种映射的方法，通 过数次对简单非线性函数的复合就可以实现复杂的函数映射。本文通过b p 神经网 络来对函数进行映射。 第三章考虑i d r 包丢失率的l p t v 视频质蕈评估模型 2 l 第三章考虑i d r 包丢失率的i p t v 视频质量评估模型 3 1 引言 目前，i p t v 得到了越来越广泛的应用。由于传统电视的普及，i p t v 需要更 好的视频服务才能赢得更多的客户。对于服务提供商来说，迫切需要对i p t v 的视 频质量进行评估。在已有的视频质量评估中，主观视频质量评估方法可以准确的 反应人眼对视频质量的主观感受，但是需要较多的人力、物力和财力，且实时性 不好，不宜应用于大规模实时的i p t v 视频质量评估。因此，建立与主观视频质量 评估方法相关性较好的客观视频质量评估方法是很有必要的。已有的客观视频质 量评估方法中，基于图像逼真度的峰值信噪比( p s n r ，p e a ks i g n a l t o n o i s er a t i o ) 通过比较解码后的视频序列与原始视频序列的像素值来评估视频的质量，能较好 地反映视频的客观质量，但p s n r 认为图像像素的权重都是一样的，与人眼的视 觉特性不太一致，且此方法对视频的时空失真都非常敏感，而在实际中，人眼具 有一定的掩盖效应，有些失真会被忽略，p s n r 得到的客观评估结果与实际主观意 见分数一致性不好。均方误差( m s e ，m e a ns q u a r ee r r o r ) 增加了权重的分析，能较 好地反映视频主观质量，但是没有加入人眼的视觉感知特性，与主观意见分数一 致性不好。 本章通过研究人眼视觉感知和视频质量评估方法，提出了一种基于b p 神经网 络的视频质量评估方法，将主观视频质量的准确性和客观视频质量的自动性结合 起来对视频质量进行评估，从而能更好地反映人眼的视觉感受。本模型是无参考 比特流层参数分析模型，计算复杂度较低，适用于i p t v 的视频质量评估中。本章 的主要内容安排如下：3 2 小节分析了视频失真的主要因素；3 3 小节介绍了基于 神经网络的评估方法模型并对神经网络的网络性能进行了分析；3 4 小节给出了模 型的验证及模型的性能；3 5 小节是本章的内容总结。 3 2 视频损伤分析 在视频通信中，原始的数字视频数据非常庞大，现在的带宽远远不能满足需 求，因此视频压缩编码技术非常重要。目前，i p t v 采用的编解码标准主要是 m p e g 2 和m p e g 4 1 2 7 】，但随着多媒体通信的发展，视频编码专家组( v c e g , v i d e o c o d i n ge x p e r t sg r o u p ) 和动态图像专家组( m p e g , m o v i n gp i c t u r e se x p e r t sg r o u p ) 联合制定了一个新的视频编码标准a v c ( a d v a n c e dv i d e oc o d i n g ) ，即i t u th 2 6 4 建议和m p e g 4 的第1o 部分标准，简称为h 2 6 4 a v c 或h 2 6 4 1 2 8 】。h 2 6 4 比早期 的m p e g 和h 2 6 3 的性能更好。h 2 6 4 的数据压缩率为m p e g 2 的2 倍以上，为 基于神经网络的l p t v 视频质量评估模型 m p e g 4 的1 5 倍以上，可以达到1 0 2 ：1 ，而其编码效率只比m p e g 4 高5 到1 5 。 此外，h 2 6 4 有很好的网络亲和性，这对实时的视频通信非常重要。在各种视频业 务中，h 2 6 4 有良好的表现，得到了越来越广泛的应用。在i p t v 中，越来越多的 商家采用h 2 6 4 进行编解码。因此，本章中我们主要考虑基于h 2 6 4 编解码的i p t v 视频质量评估。 影响i p t v 视频质量失真的因素较多，主要包括编解码失真和网络传输失真 3 2 1 编解码失真 不同的编码标准对视频质量的影响并不相同。目前使用的视频编码标准，如 h 2 6 4 只是规定了编码的基本方法和比特流的基本语法结构，并没有指定具体的过 程。其中，编码参数，如帧率f r 、运动矢量m v 、量化参数q p 等对视频质量的 影响也并不相同。 量化是视频编码失真的根本原因，量化参数q p 可以反映视频编码的失真信 息。在h 2 6 4 中，通过帧内预测来消除空间冗余，通过帧间预测和运动补偿来消 除时间冗余，再将预测后的信息通过变换编码和量化消除频域冗余。在图像编码 中，变换编码和量化从原理上讲是两个独立的过程，但在h 2 6 4 中将这两个过程 中的乘法合二为一，并进一步使用整数运算，减少了编解码的运算量，提高编码 压缩的实时性。量化过程是在不降低视觉效果的前提下减少图像编码长度从而减 少视觉恢复中不必要的信息。h 2 6 4 中采用标量量化的技术，它将每个图像样点编 码映射成较小的数值。标量量化器原理如下式( 3 1 ) 所示，其中，y 为输入样本 点编码，q p 为量化参数即量化步长的序号，f q 为y 的量化值，r o u n d 0 为取整函 数。 v f q = r o u n d ( 熹) 式( 3 1 ) ( a ) s o c c e r , q p = 2 2( b ) s o c c e r , q p = 3 8 第三章考虑i d r 包丢失率的i g r v 视频质量评估模型 ( c ) m o t h e r - d a u g h t e r , q p = 2 2 ( d ) m o t h e r - d a u g h t e r , q p = 3 8 ( 0s i l e n t ，q p = 3 8 图3 1 不i 司q p 对比图 在h 2 6 4 中，量化步长共有5 2 个值，见【2 9 】中表6 8 。o p 取最小值o ，代表最 精细的量化；q p 取最大值5 1 ，代表最粗糙的量化。如图3 1 所示，当量化参数不 同时，视频序列的质量并不相同。量化参数越大，视频质量越差。 量化参数越大量化误差就越大，则视频质量越差。然而，人类的视觉感知是 非线性的，量化误差在一定的范围内不能被人察觉，当超过某个界限时，随着量 化参数的增大，量化误差带来的方块效应越来越明显，视频质量越来越差，则主 观质量评分( m o s ) 下降。 帧率f r 是每秒的帧数，帧率影响的是人眼观看视频的连贯性。帧率越大，画 面越连贯；同理，帧率越小，画面越有跳跃感。我国采用的视频帧率标准是2 5 帧 秒( f p s ，f r a m e sp e rs e c o n d ) 。根据人眼的特殊生理结构，一般情况下，帧率高于 1 6 f p s 就认为画面基本连续。当f r 下降到一定限度下就会严重影响视频质量。通 常，f r 越大视频质量越好。根据人眼的暂视特性，在p a l ( p h a s ea l t e r n a t i n gl i n e ) 制式中，f r 达到2 5 f p s 就看不出画面的不连续。如果帧率太高，人眼是很难区分 连贯性的提升。本文考虑h 2 6 4 视频编码标准下，f r 和o a 视频编码失真对视频 质量的影响。 3 2 2 网络传输失真 网络传输失真包括丢包、延时和抖动等。m t v 对网络失真比较敏感，特别是 2 4 基于神经网络的i p t v 视频质量评估模型 丢包造成的失真。丢包是媒体包在传输过程中由于网络拥塞、故障等情况造成的 丢失。丢包对视频质量的影响取决于丢失的信息。如语法信息的丢失和语义信息 的丢失对视频质量的影响就不相同。一般情况下，语法信息( 如包头信息) 的丢 失对视频质量的影响大于语义信息( 如运动矢量m v ) 对视频质量的影响。则网络 丢包可能造成视频的局部或者全部的丢失。在h 2 6 4 中，引入了参数集的概念， 每个参数集包含了相应的编码图像信息。如序列参数集( s p s ，s c qp a r a m e t e r，set) 包含一个图像序列的所有信息，即两个及时解码刷新( i d r ，i n s t a n t a n e o u sd e c o d i n g r e f r e s h ) 图像间的所有图像的信息；图像参数集( p p s ，p i ep a r a m e t e rs e t ) ，包含 一个图像所有分片的相关信息，包括图像类型、序列号等，解码时某些序列号的 丢失可以用来检测是否有信息包的丢失。如果将视频帧的s p s 和p p s 信息丢失， 将导致解码器无法解码，造成视频的全部丢失。若一个i 帧的部分片( s l i c e ) 信息 丢失，则会导致视频的部分丢失。 丢包类型对视频质量的影响也不相同。h 2 6 4 编码后生成l 帧、p 帧和b 帧。 其中，i 帧为帧内编码帧，又称为关键帧，是编码中不使用其它参考帧进行预测的 图像，无时间相关性，采用帧内预测来消除空间冗余，采用变换编码消除i 帧的频 域冗余。使用l 帧编码简单速度快；因为不使用其它参考帧则抗误码性能强；但编 码效率低，编码后所占比特数多，压缩比低，且i 帧可以作为后面图像的参考，若 丢失会引起错误传播，通常一个g o p 只有一个i 帧。p 帧为前向预测编码帧，属 于帧间编码帧，是使用前面已经解码的重构图像作为参考来进行预测的视频编码 帧。较i 帧而言，p 帧采用了运动预测消除时间冗余，同时采用了d c t 变换消除 频域冗余，编码p 帧所需要的比特数比i 帧少得多，有较高的编码效率。同i 帧一 样，p 帧也可以作为参考帧，若p 帧丢失，也会引起错误传播。b 帧是双向预测帧， 属于帧间编码帧，与p 帧不同的是，b 帧不仅需要前面已经解码的重构图像作为 参考帧进行预测，还需要后面的帧的重构图像作为参考帧来预测。b 帧使用了更多 的参考帧，在消除时间冗余方面更加有效，所以b 帧比p 帧所需编码比特数更少。 另外，b 帧一般不作为参考，它的丢失只会影响本帧图像的重构，而不会引起错误 传播。 由上述可知，在相同情况下，包含i 帧信息的包丢失和包含b 帧或p 帧信息 的包丢失对视频质量的影响大不相同。i 帧信息丢失将导致后面帧的质量受到影 响，这样可能导致少量的网络丢包造成大量的信息丢失。为了防止错误传播， h 2 6 4 a v c 中引入了及时解码刷新( i d ri n s t a n t a n e o u sd e c o d i n gr e f r e s h ) 帧。i d r 帧的片都是i 片( is l i c e ) 或者s i 片( s w i t c h i n gis l i c e ) ，每个编码视频序列的第一 帧为i d r 帧。i d r 帧解码之后，解码顺序上所有的后续的编码帧都不能使用任何 在i d r 帧之前解码的帧来进行帧间预测解码。当有i d r 帧信息的包丢失后，将导 致后面整个g o p 质量变差，直到下一个i d r 帧解码之后才能消除这个影响。如图 第三章考虑i d r 包丢失率的i p t v 视频质量评估模型2 5 3 2 所示，通过理论分析和实验发现，随着i d r 包丢失率增大视频质量逐渐下降。 所以包含i d r 帧的包丢失对视频质量的影响不容忽视。本文将考虑p l r 和i d r 包 丢失率对视频质量的影响。 趔 们 o = 辆 卜= 攀 、_ _ 霹蛰耀 、： 、 _ 卜n l o t h 盯d a u g h l e r 。e a r p h o n e “1 黔”c a l e n d a r i d r j r 图3 2q p = 2 2 ，p l r = 0 0 3 时，m o s 值随l d 艮l r 变化图 3 3 基于神经网络的评估方法模型 由于人眼的视觉特性，影响视频质量的各参数之间存在复杂的交互作用，普 通的线性关系不能准确表达参数与视频质量之间的关系。b p 神经网络有良好的非 线性预测特性，因此，可通过b p 神经网络将各参数与视频质量进行有效的映射。 同时，利用b p 神经网络可将主观视频质量评估的准确性和客观视频质量评估的自 动性结合起来对视频质量进行评估，从而准确地反映人眼对视频质量的评估。因 此，本文利用b p 神经网络来建立各参数与视频质量之间的映射关系。 根据前面的分析，本章提出如图3 3 模型来评估i p t v 的视频质量。 图3 3 基于神经网络评估方法模型 5 s 4 5 3 5 2 5 1 4 3 2 1 基于神经网络的l p t v 视频质量评估模犁 其中f r 是视频的帧率，q p 是量化参数，p l r 是丢包率，i d ri r 是总的丢包 率一定的情况下丢失的i d r 包与总的i d r 包的比值。图3 4 给出了具体的评估系 统，其步骤主要包括训练部分和验证部分。 训练部分：首先通过主观实验获取实验样本数据；然后通过b p 神经网络建立 参数与主观分数之间的映射关系。 验证部分：- 通过编码失真和网络传输失真情况的分析提取各个参数；然后将 这些参数输入训练好的b p 神经网络，输出即是客观视频质量。 3 3 1 模型训练用例 图3 4 基于神经网络评估方法评估系统 主观实验之前需选定训练用例，文中选择五个序列作为训练序列，分别为： m o b i l e & c a l e n d a r 、f o o t b a l l 、c o n t a i n e r 、m o t h e r - d a u g h t e r 和c a r p h o n e ，如下图3 5 所 示。其中，序列m o b i l e & c a l e n d a r 是日历背景下，有一个小火车在缓慢移动，空间 复杂度比较大，时间复杂度较小；序列f o o t b a l l 是一群人在进行橄榄球赛，空间复 杂度一般，有场景切换，但时间复杂度很大；序列m o t h e r - d a u g h t e r 空间复杂度和 时间复杂度都比较小；序列c o n t a i n e r 有一般的空间复杂度和很小的时间复杂度； 序列c a r p h o n e 则空间复杂度和时间复杂度都比较适中。 第三章考虑i d r 包丢失率的i p t v 视频质量评估模型 2 7 ( a ) m o b i l e & c a l e n d a rc o ) c a r p h o n e( c ) f o o t b a l l ( a ) m o t h e r - d a u g h t e r( b ) c o n t a i n e r 图3 5 实验训练序列 实验选用的编解码器是h 2 6 4 编解码器( j m10 2 ) ，图像格式为c i f ( c o m m o n i n t e r m e d i af o r m a t ，3 5 2 x 2 8 8 ) 格式，视频序列时长均为1 2 s 。根据实验目的，本章 选用的参数如下表3 1 所示。 表3 1 实验参数 f r ( 印s ) 6 2 5 ，1 2 5 ，2 5 o f 2 2 ，2 6 ，3 0 ，3 4 p l r ( 呦 o 5 ，1 ，3 ，5 ，l o i d r _ l r ( ) 5 ，1 0 ， 1 5 i p t