基于模糊控制的OTT视频质量评估方法.docx

基于模糊控制的OTT视频质量评估方法刘辉 寿国础信息与通信工程学院网络体系构建与融合北京市重点实验室北京邮电大学中国，北京摘要：关键字：一、 引言随着信息时代的不断推进，新的多样性信息服务大量涌现，OTT（Over the top）视频作为新兴的媒体形态在近段时间内迅猛发展，受到人们的广泛关注。据市场研究机构Digital TV Research的报告指出，全球OTT 视频业务将在近几年快速发展，其中中国作为最大的智能终端存量市场，互联网电视用户数发展速度将领先全球，有望在2016年突破一亿，整个OTT视频产业收入也将会从2010年的5000万美元增长到2016年的13.8亿美元。OTT视频也由其开阔的市场和广泛的应用，被视为未来视频的主要发展方向。OTT视频通过因特网传输视频，与传统的IPTV不同，它不需要运营商提供专用网络或基础设施，而是通过普通的因特网数据协议和开放的因特网在非管理型的网络中传输，且用基于TCP的HTTP协议传输数据，便于管理的同时保证视频画面质量，较大程度的提高了用户体验。然而，OTT视频的运营在为人们带来便利的同时，也产生了一些问题。OTT视频通过因特网传输数据，TCP吞吐量由于网络中的各种损伤而受到影响。当TCP吞吐量比OTT视频播放速率小时，视频就会出现不间断的暂停现象，等待新的数据。这使得OTT视频的传输必须依赖于良好的网络性能。好的网络状态为用户带来高质量的视频体验，差的网络状态很大程度上影响用户视觉感受，用户体验质量QOE（Quality of Experience）也因此降低。随着OTT视频用户的不断增长，人们对视频QOE的要求也越来越高。为了满足用户需求，提高用户QOE，对OTT视频的质量进行评估和监测具有重大的意义。 目前，网络视频质量的评估主要有两种方法：主观评估和客观评估。主观评估是通过人的视觉系统对视频的质量权衡和评估，这对视频质量的判定是决定性的。客观评估则是忽略人类视觉感知，通过算法和计算得出的智能评价结果，传统的客观评估方法有峰值信噪比（PSNR），结构相似度（SSIM），均方误差（MSE）等。主观评估和客观评估结果即用户QOE，一般是用平均意见MOS值表示，从1到5，“1”代表最差，“5”代表最好。针对网络视频的主观评估方法，主要通过若干组经过训练或未经训练的用户观看特定的视频内容，然后给出视频质量的评价结果。针对客观评估方法，相关学者提出了不同的算法和模型：1中提出了一种卷积神经网络客观评估视频的方法，通过训练达到自主评价视频质量的效果。2利用多元回归模型客观评估视频QOE，并同时考虑到视频和音频效果。3和4基于编解码器带来的视频画面扭曲给视频评估模型，而5和6则基于视频内容进行评估。7分析了人视觉接受视频图片的瞬间效果与视频质量感知之间的关系，瞬间效果相关指标由8给出建议。9探究了数据丢失对MPEG-2视频质量的影响，而MPEG-2和IPTV的感知质量的影响因素在10进行了描述。11通过实验探究网络QOS如何影响用户视觉感知质量。然而，这些方法或者只适合特定条件下的视频评估，或者只是专注于视频评估指标、用户视觉等某一方面的研究，对于新兴媒体形态OTT视频并不完全适用，所以需要我们寻求一种新的评估方法。在这篇论文中，结合OTT视频的特点，我们给出了一种基于模糊控制的质量评估方法，目的在于将模糊控制的原理用到OTT视频质量评估上，实现更加接近视觉感知的用户QOE。文章分析了网络层QOS、应用层QOS、到用户QOE之间的层次关系，选取每层的最重要的性能指标建立三层QOE模型。以网络层指标作为输入，利用映射层次映射关系，计算出应用层的QOS参数值，然后利用模糊算法，建立模糊控制模型，通过参数模糊化、模糊推理、清晰化等过程，输出最终的视频质量评估MOS值。论文的主要贡献主要分为两个方面：此前的网络视频客观评估研究大多集中在网络层QOS与应用层QOS的映射关系或指标探究方面，而忽略了应用层QOS到用户QOE的复杂关系和计算。本文利用模糊控制原理，在前人研究的基础上，详细的探讨了应用层QOS到用户QOE之间的映射，并计算出最终评估结果MOS值。其次，在模糊控制模型中，我们建立了应用层性能指标到MOS值的映射库，用于模糊控制器中，将计算机过与主观评估值实验数据对比，并利用Spearman 和 Pearson两种方法计算出得到高达“”的平均相似度，得出智能的评估结果。论文的第二部分介绍了模糊控制原理，详细分析了模糊控制器的功能和结构；第三部分简单分析了QOE三层模型的层析关系，然后建立模糊控制模型，计算模型的输入参数值，建立映射库，模糊控制分析、计算，输出最终MOS值，并通过主观评估实验数据进行相似度分析。第四部分得出结论。二、 模糊控制原理模糊控制原理是基于模糊数学基本思想和理论的控制方法。控制领域里，控制系统动态模式的精确与否是影响控制优劣的最主要关键，系统动态的信息越详细，则越能达到精确控制的目的。然而，对于复杂的系统，由于变量太多，往往难以正确的描述系统的动态，于是便需要利用各种方法来简化系统动态，以达成控制的目的。传统的控制理论对于明确系统有强而有力的控制能力，但对于过于复杂或难以精确描述的系统，并不适用。因此人们便尝试着以模糊数学来处理这些控制问题。在这片论文中，我们所采用的模糊控制架构主要模糊化、模糊推理、清晰化、知识库等几个模块组成，在下面我们给出了模糊控制结构图。图中输入参数首先进入模糊化模块进行模糊处理，然后流入模糊推理模块，此模块是模糊控制的核心，接着进入对数据流清晰化处理，最后输出结果。在以上三个处理过程中，将分别需要知识库中提供的处理函数或规则表，对不同阶段的数据模糊控制。下面我们详细讨论模糊控制结构中的每一个环节。知识库模糊化模糊推理清晰化输入参数输出图1 模糊控制结构图1. 模糊化该模块的作用是将输入的精确量转换成模糊化量。其中输入量包括外界的参考输入、系统的输入或状态等。模糊化的具体过程如下：首先对输入量进行过滤处理，将实际输入的数据变为符合下一步要求的输入量。将上述已经处理过的输入量进行尺度变换，使其变换到各自的论域范围。论域可以是连续的也可以是离散的。如果要求离散的论域，则需要将连续的论域离散化或量化。将上述已经处理过的输入量进行模糊处理，使原来精确的输入量编程模糊的输入量，并用相应的模糊集合来表示。2.知识库知识库中包含了具体应用领域中的知识和要求的控制目标。它通常由数据库和模糊控制规则库两部分组成。数据库主要包括各变量的隶属度函数，尺度变换因子以及模糊空间的分级数等。利用数据库可以将输入和输出空间模糊分割，并计算出实际数据针对每个分割空间的隶属度，通过隶属度的比对得出数据等级。规则库包括了用模糊语言变量表示的一系列控制规则，通常为如下形式：IF（满足一组条件）THEN（推出一组结论）它们是模糊推理的根据。IF-THEN规则中的前提和结论均是模糊的概念，因此也称它为模糊条件句。规则库的建立有多种方法，包括基于专家经验和控制工程知识、基于过程的模糊模型、基于学习等，在此篇论文中，我们采用了基于操作人员的实际操作过程制定规则表。3.模糊推理模糊推理是模糊控制最重要的部分，它具有模拟人的基于模糊概念的推理能力。该推理过程是基于模糊逻辑中的蕴含关系及推理规则来进行的。模糊推理的过程也是模糊控制的过程，目前主要包括两种形式： 状态评估的模糊推理，它具有如下的形式： R1：如果x是A1 and y是B1，则z是C1 R2：如果x是A2 and y是B2 ,则z是C2 . . . R3: 如果x是An and y是Bn ,则z是Cn 现有的模糊控制系统中，大多数情况均采用这种形式，在我们的论文中也采用此种控制规则。目标评估的模糊推理，典型的形式如下:Ri: 如果u是Ci-(x是Ai，and y是Bi)，则u是Ci其中u是系统的控制量，x和y系统性能的评估参数，x和y的取值均为“好”，“差”等模糊语言。对于每个控制命令Ci，通过预测相应的结果（x，y），从中选用最适合的推理规则。4.清晰化清晰化的作用是将模糊推理得到的控制量（模糊量）变换为实际用于控制的清晰量。它包含两部分内容：将模糊的控制量经清晰化变换变成表示在论域范围的清晰量。将表示在论域范围的清晰量经尺度变换变成实际的控制量。清晰化计算通常包括三种计算方法：最大隶属度法、中位数法、加权平均法。在本文中，根据研究对象特点，我们采用加权平均法。加权平均法是取控制量的加权平均值作为清晰值，对于论域连续的情况有：Z0=dfz=abz(z)dzab(z)dz ，其中，z为模糊的控制量，(z)为加权函数。对于论域离散的情况有：Z0=i=1nzi(zi)i=1n(zi) ，其中，z为模糊的控制量，(z)为加权函数。清晰化计算后，即得出我们最终所需要的评估值。三、 评估模型的建立与分析1.OTT视频QOE的三层架构OTT视频质量受到不同层面的多种因素的影响，从应用层来讲，视频的缓冲程度，缓冲时间长短等因素直接给用户体验带来影响。从网络层面来讲，网络状况的好坏影响视频流的数据传输，从而带来应用层指标参数的变化。因此，为了更清晰的了解OTT视频QOE的影响因素与层次关系，我们建立了OTT视频的三层QOE架构，如图2所示。用户QOE初始缓冲时间缓冲频率平均缓冲时间网络带宽丢包率往返时延应用层网络层图2 三层QOE架构针对应用层，我们选取初始播放时延，缓冲频率和平均缓冲时间作为应用层的用户QOE影响指标。初始缓冲时间是指用户从点击视频播放至视频开始播放的时间；缓冲频率指视频在播单位时间内缓冲的次数；平均缓冲时间为视频整个播放过程中因再缓冲而等待的平均时长。它们直接关系到用户的视觉效果和内在感受，因此直接决定用户QOE。针对网络层，网络带宽、往返时延和丢包率是该层的三个主要特性指标，它们可以反映网络状况的好坏，影响数据传输速率以及吞吐量大小，进而造成应用层特性指标的变化，影响用户QOE。下面我们从网络层入手，建立网络特性指标与应用层指标关系，并通过已知的网络特性指标值计算出对应的应用层性能指标值。然后建立模糊控制模型，将应用层性能指标作为输入，经过模糊化、模糊推理、清晰化等分析过程，计算OTT视频客观评估值MOS。2.网络层指标到应用层指标的计算网络层指标网络带宽、丢包率、往返时延直接影响着应用层指标的变化，在此，我们建立了一个从网络层到应用层参数映射的简单模型。映射模型基于以下4条假设：视频在下载过程中网络带宽、往返时延、丢包率为恒定值。视频播放的过程中，用户不对视频进行任何操作。服务器与客户端之间的数据平均比特率为恒定值。视频的比特率没有大幅度的波动。视频的缓存容量要小于视频的大小，且在视频初始缓冲和再缓冲时，只有缓存被填满后才能播放。 （1）初始缓冲时间初始缓冲时间为用户发出视频请求至视频开始播放的等待时间，它与以下几个因素有关:视频缓存容量,视频播放速率，视频数据流传输的平均TCP吞吐量。因此我们可以从3.1式可以得出视频初始缓冲时间T初始：T初始=B满S播放G平均 （3.1）其中，B满表示视频缓冲容量的大小，S播放表示视频的播放速率，G平均表示视频数据流传输的平均TCP吞吐量。G平均可以通过包传输速率s包发送（p）的计算21,然后进一步由3.3式求得： s包发送（p）=1R2bp3+T0min1,33bp8p(1+32p2) (3.2)G平均= s包发送（p）M8/R (3.3)其中，s包发送（p）表示每个往返时延的包发送速率，p表示丢包率，b表示通过一个ACK获得的包数量，R表示往返时延，T0表示重传超时时间，M表示由服务发送的数据包的大小。（2）缓冲频率缓冲频率的计算涉及到视频时间长度以及视频播放过程中缓冲次数两个因素。视频时间长度在视频打开后即可得知，而缓冲次数需要利用视频播放剩余时间长度和每次触发缓冲前视频的播放时间求得。 F缓冲=0， 如果G平均S播放N缓冲L, 否则 （3.4）其中，N缓冲表示视频播放过程中的缓冲次数，L表示视频时间长度。而N缓冲我们可以通过一下公式求得： N缓冲=L/b缓冲， （3.5） L=L-B满/（1-G平均S播放）， （3.6） b缓冲=B满-B空/（1-1-G平均S播放）， （3.7）这里，L表示视频播放剩余时间长度，b缓冲表示每次触发缓冲前视频的播放时间，B空表示引发缓冲事件的视频缓冲容量最小剩余量。（3）平均缓冲时间主要与四个因素有关：视频缓存容量, 引发缓冲事件的视频缓冲容量最小剩余量，视频播放速率，视频数据流传输的平均TCP吞吐量。我们可以根据3.8式求出： T平均缓冲=（B满-B空）S播放G平均 （3.8）其中，B满，B空，S播放，G平均均在以上公式中给出了解释。 通过上面网络层参数与应用层指标的映射公式，我们可以计算得出应用层指标值作为模糊控制模型的输入，然后重点建立并分析OTT视频评估的模糊控制模型。3.建立模糊控制模型模糊控制模型的输入可以根据论域的不通分为两类，一类为离散型，一类为连续型。OTT视频质量评估模糊控制模型的输入为：初始缓冲时间，缓冲频率，平均缓冲时间，且均为离散型变量，因此，我建立具体的OTT视频质量评估模糊控制模型，如图3所示。 知识库模糊化模糊推理清晰化输出T初始T平均缓冲F缓冲输入MOS值图3 OTT视频质量评估的模糊控制模型 （1）T初始，F缓冲，T平均缓冲模糊化 模糊控制的第一步将输入参数T初始，F缓冲，T平均缓冲模糊化，使原来精确的输入参数值变为模糊的输入空间。这里，我们利用模糊分割的原理，即把输入的参数进行等级划分，每个等级都取值为一个模糊的语言名称，等级划分的个数决定了模糊控制的精确程度。在此，我们拟定了5个模糊的等级分类，分别为最小，较小，中等，较大，最大。然后根据T初始，F缓冲，T平均缓冲各自的大小，将它们归类。输入参数T初始，F缓冲，T平均缓冲的归类需要按照一定的原则，即为模型中的知识库，这里，我们采用精确度较高的三角形状隶属函数。由于之前拟定了5个等级，所以我们按每组输入参数的取值范围将每一个输入参数平均分成五份，假设其中一份范围为Xmin, Xmax,输出隶属度的取值范围为Ymin, Ymax,实际输入参数值为x,则该等份中隶属函数曲线可表示为：y=Ymax+Ymin2+k(x-Xmax+Xmin2), (3.9)k=Xmax+XminXmax-Xmin, (3.10)其中k称为比例隐私。由于此处的隶属度表示输入参数归属于某一等级的概率，所以隶属度的取值范围定位0，1。将每一等份的隶属度曲线连接在一起，我们便得出模糊分割规则图如下所示：图4 模糊分割规则图其中，横轴表示输入参数的取值，纵轴表示实际输入参数在各等级的隶属度。X1，X2，X3，X4，X5为等分点。模糊化等级划分为：三角形X1-P1-X2区域表示最小， X1-P2-X3区域表示较小，X2-P3-X3区域表示中等，X3-P4-X4区域表示较大，X1-P1-X2区域表示最大。将实际输入的参数值带入模糊分割规则图，便可分别得出T初始，F缓冲，T平均缓冲三种参数各自对应每个等级的隶属度，可描绘为概率表，隶属度最高的区域即为输入参数所属的等级。通过以上过程，输入参数便由精确值变为模糊的等级描述。（2）模糊推理 T初始，F缓冲，T平均缓冲模糊化的等级划分结果最为输入进入模糊推理过程。推理规则是模糊推理最重要的组成部分。我们采用状态评估模糊推理，例如：R1：如果T初始最小 and F缓冲最小and T平均缓冲最小，则MOS值最小，然而，针对三种参数其他不同状态的组合，我们必须制定科学的推理规则。我们参考中的结论公式，通过变形和参数调整，确定模糊推理公式，以经过模糊化的T初始，F缓冲，T平均缓冲经等级值作为输入，将计算出的MOS值等级划分，得出一套合理模糊推理规则表。由于输入参数的大小与输出MOS值成反比关闭，所以为了方便计算，我们定义输入参数模糊化后的等级对应值为：最小5级，较小4级，中等3级，较大2级，最大1级，于是得出模糊推理公式如下：LMOS=0.2L初始+0.5L缓冲+0.3L平均缓冲时间 （3.11）其中，L初始，L缓冲，L平均缓冲时间分别表示参数T初始，F缓冲，T平均缓冲的等级值，LMOS表示得出的MOS等级值。于是经过以上计算，我们可以得出一套L初始，L缓冲，L平均缓冲时间值任意组合的模糊规则表如下：当L初始=1时，L缓冲，L平均缓冲时间组合推出MOS的等级值。表1 模糊推理规则表 L缓冲L平均缓冲时间12345112233212234312334412334522334当L初始=2、3、4、5 时的规则表均可由3.11式得出，在这里不再一一列出。 通过上面的分析和计算，我们得到输入参数的隶属度概率表，等级表，模糊推理规则表，目前还需要MOS值的隶属度概率表，我们采用较为简单的下表作为MOS值的隶属度概率表：表2 MOS隶属度概率表 MOS等级33.544.55最小10.50000000较小00.510.500000中等0000.510.5000较大000000.510.50最大00000000.51在以上数据表的基础上，我们假设输入的一组参数值T初始，F缓冲，T平均缓冲 参数值分别为x0,y0,z0，那么我们可以得出相应的输入参数模糊集合X，Y，Z，分别为： X=1 x=x00 xx0 Y=1 y=y00 yy0 Z=1 z=z00 zz0 (3.12)那么针对每一组输入参数值，我们都可以通过下面推理公式得到模糊推理的输出： MOS=X，Y，Z R=X，Y，Z i=1nRi (3.13)=i=1nX，Y，Z XiYiZiMOSi=i=1nXXMOSi YYMOSi ZZMOSi =i=1nMOSiXMOSiYMOSiZ=i=1nMOSi其中，n表示输入参数的组数；X，Y，Z表示每一组输入参数T初始，F缓冲，T平均缓冲对应的模糊集合；Xi，Yi，Zi 表示第i组T初始，F缓冲，T平均缓冲对应的隶属度概率值，MOSi表示由第i组输入参数推出的MOS等级的概率值；MOSi表示第i组输入参数T初始，F缓冲，T平均缓冲模糊值推出的MOS等级的概率值；MOSiX，MOSiY，MOSiZ分别表示由第i组参数T初始模糊值单独推出，F缓冲模糊值单独推出，以及T平均缓冲模糊值单独推出的MOS等级的概率值；符号 表示最大-最小法运算；利用矩阵元素比较取小运算来进行计算。 通过3.13式我们可以求出针对每一组经过模糊化的四、 结论参考文献：1 Patrick Le Callet, Christian Viard-Gaudin, Dominique Barba, ”A Convolutional Neural Network Approach for Objective Video Quality Assessment”, IEEE TRANSACTIONS ON NEURAL NETWORKS, 2006, pp: 1316-1327 2 S.Tasaka, Y. Watanabe, “Real-time estimation of user-level QoS in audio-video IP transmission by using temporal and spatial quality. In Proc. IEEE GLOBECOM, 2007.3 H. Koumaras, A. Kourtis, C. Lin, and C. Shieh, “A theoretical framework for end-to-end video quality prediction of MPEG-based sequences,” in Proc.3rdInt.Conf.NetworkingandServices, Jun.1925, 2007, pp. 62654 A.Eden, “No-reference image quality analysis for compressed video sequences,” IEEE Trans. Broadcast., vol. 54, no. 3, pp. 691697, Sep. 2008.5 K. Sesha drinathan, A.Bovik, “Motion tuned spatio-temporal quality assessment of natural videos”, IEEE Trans. Image Process, vol. 19, no. 2, pp. 335350, Feb. 2010.6 G. Zhai, J. Cai, W. Lin, X. Yang, and W. Zhang, “Three dimensional scalable video adaptation via user-end percep