CN120220036A 基于频率特征的沉浸式视频质量评价方法及装置

(19)国家知识产权局施一帆蔡磊龚鑫荣林琦 有限公司35204专利代理师李艾华GO6V20/40(2022.01)基于频率特征的沉浸式视频质量评价方法本发明公开了基于频率特征的沉浸式视频S2,构建包括局部频率特征提取模块、全局频率和质量回归模块的沉浸式视频质量评价模型；S3,利用获取的各沉浸式视频序列对沉浸式视频频质量评价模型；S4,利用训练好的沉浸式视频质量评价模型对待评价的沉浸式视频进行质量分_S1_S22S1,获取参考沉浸式视频和失真沉浸式视频；所述参考沉浸式视频包括参考纹理视频序列和参考深度视频序列，所述失真沉浸式视频包括失真纹理视频序列和失真深度视频序所述局部频率特征提取模块包括第一局部频率特征提取单元和第二局部频率特征提以参考纹理视频序列和失真纹理视频序列为第一组输入；以参考深度视频序列和失真所述特征差模块，分别将特征增强模块的各组输出的两个特S3,利用参考沉浸式视频和失真沉浸式视频对沉浸式视频质量评价模型进行训练，得S4,将待评价的沉浸式视频输入训练好的沉浸式视频质量评价模型，得到沉浸式视频第一局部频率特征提取单元和第二局部频率特征提取单元均采用3D-Gabor滤波器的奇部第一全局频率特征提取单元和第二全局频率特征提取单元均采用3D-FFT变换进行频域变3换得到频谱图，对频谱图进行频谱中心化和log压缩处理，再使用三维带通巴特沃斯滤波器从处理后的频谱图中提取全局频率特征；所述3D-FFT变换的计算公式表示为：示时间频率，M、N和T分别表示频域相应的三个维度u、V和W的长度；V(x,y,t)表示输入所述三维带通巴特沃斯滤波器的公式表示为：其中，M,表示三维带通巴特沃斯滤波器；D表示三维网格的欧式距离，D₁和D₂表示截4.根据权利要求1所述的基于频率特征的沉浸式视频质量评价方法，其特征在于，各特5.根据权利要求1所述的基于频率特征的沉浸式视频质量评价方法，其特征在于，所述频率特征差模块的实现具体如下：将第一组质量特征中的参考纹理视频序列的局部频率质量特征和失真纹理视频序列的局部频率质量特征进行相减操作，如下式所示：其中，Tnn(x,y,t)表示参考纹理视频序列的局部频率质量特征；Tcm(x,y,t)表示失真纹理视频序列的局部频率质量特征；T(x,y,t)表示进行相减操作后的纹理视频序列的局部频率质量特征；||表示绝对值；(x,y,t)表示原坐标，x和Y分别表示空间坐标的横坐标和纵坐将第二组质量特征中的参考纹理视频序列的全局频率质量特征和失真纹理视频序列的全局频率质量特征进行相减操作，如下式所示：其中，Dcn(x,y,t)表示参考纹理视频序列的全局频率质量特征；Dc(x,y,t)表示失真纹理视频序列的全局频率质量特征；D(x,y,t)表示进行相减操作后的纹理视频序列的全局频率质量特征；将第三组质量特征中的参考深度视频序列的局部频率质量特征和失真深度视频序列的局部频率质量特征进行相减操作，如下式所示：4度视频序列的局部频率质量特征；P(x,y,t)表示进行相减操作后的深度视频序列的局部频将第四组质量特征中的参考深度视频序列的全局频率质量特征和失真深度视频序列度视频序列的全局频率质量特征；L(x,y,t)表示进行相减操作后的深度视频序I(x,y,t)=ψ{T(x,y,t),D(x,y,t),P(x,y,t视频获取模块，用于获取参考沉浸式视频和失真沉浸式视频；所述参考沉浸式视频包视频质量评价模型构建模块，用于构建包括局部频率特征提取所述局部频率特征提取模块包括第一局部频率特征提取单元和第二局部频率特征提5提取单元；所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元；以参考纹理视频序列和失真纹理视频序列为第一组输入；以参考深度视频序列和失真深度视频序列为第二组输入；第一组输入在第一局部频率特征提取单元进行局部频率特征提取后，经过第一特征增强模块单元进行特征加强并输出第一组质量特征；第一组输入在第一全局频率特征提取单元进行全局频率特征提取后，经过第二特征增强模块单元进行特征加强并输出第二组质量特征；第二组输入在第二局部频率特征提取单元进行局部频率特征提取后，经过第三特征增强模块单元进行特征加强并输出第三组质量特征；第二组输入在第二全局频率特征提取单元进行全局频率特征提取后，经过第四特征增强模块单元进行特征加强并输出第四组质量特征；所述特征差模块，分别将特征增强模块的各组输出的两个特征进行相减，得到四个特征差并进行融合，得到融合特征并输出；所述质量回归模块，对输入的融合特征进行质量回归得到质量分数并输出；模型训练模块，用于利用参考沉浸式视频和失真沉浸式视频对沉浸式视频质量评价模型进行训练，得到训练好的沉浸式视频质量评价模型；视频质量评价模块，用于将待评价的沉浸式视频输入训练好的沉浸式视频质量评价模型，得到沉浸式视频质量评分。一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一所述的方法。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。6技术领域[0001]本发明涉及视频评价领域，尤其涉及基于频率特征的沉浸式视频质量评价方法及装置。背景技术[0002]随着虚拟现实、增强现实和全景视频技术的发展，沉浸式视频已成为影视、游戏、远程教育、医疗和远程协作等多个领域的重要应用形式。与传统的2D视频相比，沉浸式视频能够提供更强的沉浸感和交互体验，使用户能够从多个视角自由探索三维场景，获得更加真实和动态的视觉体验。[0003]在沉浸式视频的采集、编码、传输、渲染和显示等不同处理阶段，不可避免地会受会显著降低用户的观看体验。因此，开发一种有效、准确的沉浸式视频质量评估方法，以优化沉浸式视频的视觉质量，并提高相关应用的性能具有重要的理论研究意义和实际应用价值。发明内容[0004]针对以上问题，本发明提出了基于频率特征的沉浸式视频质量评价方法及装置，使用3D-Gabor滤波器进行局部频率特征提取，使用三维带通巴特沃斯滤波器进行全局频率特征提取，利用基于3D-CNN的特征增强模块进行特征增强，采用局部频率特征和全局频率特征相融合的策略，有效利用沉浸式视频中空间纹理和深度信息，能准确地进行沉浸式视频质量评估。[0005]第一方面，基于频率特征的沉浸式视频质量评价方法，具体步骤如下：[0006]S1,获取参考沉浸式视频和失真沉浸式视频；所述参考沉浸式视频包括参考纹理视频序列和参考深度视频序列，所述失真沉浸式视频包括失真纹理视频序列和失真深度视频序列；[0007]S2,构建包括局部频率特征提取模块、全局频率特征提取模块、特征增强模块、频率特征差模块和质量回归模块的沉浸式视频质量评价模型；[0008]所述局部频率特征提取模块包括第一局部频率特征提取单元和第二局部频率特征提取单元；所述全局频率特征提取模块包括第一全局频率特征提取单元和第二全局频率特征提取单元；所述特征增强模块包括第一特征增强单元、第二特征增强单元、第三特征增强单元和第四特征增强单元；[0009]以参考纹理视频序列和失真纹理视频序列为第一组输入；以参考深度视频序列和失真深度视频序列为第二组输入；第一组输入在第一局部频率特征提取单元进行局部频率特征提取后，经过第一特征增强模块单元进行特征加强并输出第一组质量特征；第一组输入在第一全局频率特征提取单元进行全局频率特征提取后，经过第二特征增强模块单元进行特征加强并输出第二组质量特征；第二组输入在第二局部频率特征提取单元进行局部频7[0012]S3,利用参考沉浸式视频和失真沉浸式视频对沉浸式视频质量评价模型进行训[0013]S4,将待评价的沉浸式视频输入训练好的沉浸式视频质量评价模型，得到沉浸式[0014]优选的，所述第一局部频率特征提取单元和第二局部频率特征提取单元均采用[0017]优选的，所述第一全局频率特征提取单元和第二全局频率特征提取单元均采用8[0025]将第一组质量特征中的参考纹理视频序列的局部频率质量特征和失真纹理视频真纹理视频序列的局部频率质量特征；T(x,y,t)表示进行相减操作后的纹理视频序列的局[0028]将第二组质量特征中的参考纹理视频序列的全局频率质量特征和失真纹理视频失真纹理视频序列的全局频率质量特征；D(x,y,[0031]将第三组质量特征中的参考深度视频序列的局部频率质量特征和失真深度视频[0034]将第四组质量特征中的参考深度视频序列的全局频率质量特征和失真深度视频真深度视频序列的全局频率质量特征；L(x,y,t)表示进行相减操作后的深度视频序列的全[0038]I(x,y,t)=4{T(x,y,t),D(x,y,t)9[0043]其中，Q表示第i个沉浸式视频序列的质量得分，I(x,y,t)表示第i个沉浸式视频[0044]对所有N个沉浸式视频序列的质量得分进行平均，得到整个沉浸式视频的总体得[0050]所述局部频率特征提取模块包括第一局部频率特征提取单元和第二局部频率特行特征加强并输出第二组质量特征；第二组输入在第二局部频率特征提取单元[0057]第四方面，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。[0058]第五方面，本发明提供了一种计算机程序产品，包括计算机程序，计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。[0060](1)本发明提出的基于频率特征的沉浸式视频质量评价方法采用局部频率特征和全局频率特征相融合的策略，该策略有效利用沉浸式视频中空间纹理和深度信息，建模了人眼视觉系统在不同属性区域的感知差异，提高客观质量评价与主观感知的一致性。[0061](2)本发明提出的基于频率特征的沉浸式视频质量评价方法中的基于3D-CNN的特征增强模块，通过三维卷积神经网络的自适应优化处理沉浸式视频的局部频率特征和全局频率特征，对有效频率特征信息进行特征增强，提高视频分析的精度。附图说明[0062]下面结合附图对本发明做进一步详细说明；[0063]图1为本发明实施例的基于频率特征的沉浸式视频质量评价方法的流程图；[0064]图2为本发明实施例的基于频率特征的沉浸式视频质量评价方法的沉浸式视频质量评价模型的结构示意图；[0065]图3为本发明实施例的基于频率特征的沉浸式视频质量评价装置的结构框图；[0066]图4为本发明实施例提供的电子设备的硬件结构示意图。具体实施方式[0067]以下通过具体实施方式对本发明作进一步的描述。[0069]S1,获取参考沉浸式视频和失真沉浸式视频；所述参考沉浸式视频包括参考纹理视频序列和参考深度视频序列，所述失真沉浸式视频包括失真纹理视频序列和失真深度视频序列。[0070]参考纹理视频序列为原始未失真的彩色视频帧按时间顺序排列的集合，参考深度视频序列为与参考纹理视频时间对齐的深度帧序列，失真纹理视频序列为经过压缩、传输或处理后质量下降的纹理帧序列，与参考纹理视频序列时间对齐，失真深度视频序列为经过压缩、传输或处理后质量下降的深度帧序列，与参考深度视频序列时间对齐。[0071]S2,构建包括局部频率特征提取模块、全局频率特征提取模块、特征增强模块、频率特征差模块和质量回归模块的沉浸式视频质量评价模型。[0072]参见图2所示，本实施例提出的沉浸式视频质量评价模型包括局部频率特征提取和全局频率特征提取，分别用于获得纹理视频和深度视频的局部频率特征和全局频率特征；首先，利用不同的滤波器分别对参考和失真纹理视频序列、参考和失真的深度视频序列提取局部频率特征和全局频率特征，再利用特征增强模块对滤波器输出的频率特征进行自适应特征增强，得到纹理视频序列的局部和全局频率质量特征和深度视频序列的局部和全局频率质量特征；再对增强后的频率特征进行特征相减操作，将局部和全局频率特征进行特征融合，结合多层感知(MLP,Multi-layerPerception)进行质量回归，得到沉浸式视频[0073]本实施例的局部频率特征提取模块采用3D-Gabor滤波器的奇部分，或称为3D-[0077]将参考纹理视频序列和失真纹理视频序列分别输入3D-Gabor奇部滤波器进行卷[0080]其中，V(x,y,t)和Vis(x,y,t)分别表示输入3D-Gabor奇部滤波器的参考纹理视频序列和失真纹理视频序列，G°(x,y,t)和GS(x,y,t)分别表示通过3D-Gabor奇部滤波器提取到的参考纹理视频序列的局部频率特征和失真纹理视频序列的局部频失真纹理视频序列进行三维快速傅里叶变换(3D-FFT,Three-DimensionalFastFourier频序列，F°(u,v,w)和F(u,v,w)分别表示通过3D-FFT变换得到的参考纹理视频序列和[0092]分别将频谱图F°(u,v,w)和FiS(u,v,w)中低频分量移动到频谱中间之后，应用别表示通过三维带通巴特沃斯(Butterworth)滤波器滤波后的参考纹理视频序列的全局频中心，将频谱图F°(u,v,w)和FS(u,v,wW)中低频分量移动到频谱中间之后的目的是使频局部频率特征输入基于3D-CNN的频率特征增强模块，得到与质量相关的局部频率质量特频率特征，表示与质量相关的参考纹理视频序列的局部频率质量特征， [0112]GdS(x,y,t)=G(x,y,t)⊗VaiS(x,y,t);提取到的参考深度视频序列的局部频率特征和失真深度视频序列的局部频频序列，F2°(u,v,w)和F(u,v,w)分别表示通过3D-FFT变换得到的参考深度视频序列和[0125]分别将频谱图F(u,v,w)和FS(u,v,w)中低频分量移动到频谱中间之后，应用[0128]其中，||表示绝对值符号，分别表示通过所述3D-FFT变换得到的参考深度视频序列和失真深度视频序列的频域表别表示通过三维带通巴特沃斯(Butterworth)滤波器滤波后的参考深度视频序列的全局频局部频率特征输入基于3D-CNN的频率特征增强模块，得到与质量相关的局部频率质量特[0130]将参考深度视频序列的局部频率特征和失真深度视频序列的局部频率特征输入;Gabor奇部滤波器提取到的参考深度视频序列的局部频率特征和失真深度视频序列的局部频率特征，表示与质量相关的参考深度视频序列的局部频率质量特征，表示与质量相关的失真深度视频序列的局部频率质量特征。[0134]将参考深度视频序列的全局频率特征和失真深度视频序列的全局频率特征输入;频序列的全局频率特征和失真深度视频序列的全局频率特征，表示与质量相关频率质量特征，表示与质量相关的失真纹理视频序列的局部频率质量特征，[0144]其中，|表示绝对值符号，表示与质量相关的参考纹理视频序列的全局频率质量特征，表示与质量相关的失真纹理视频序列的全局频率质量特征，[0147]其中，|表示绝对值符号，表示与质量相关的参考深度视频序列的局部频率质量特征，表示与质量相关的失真深度视频序列的局部频率质量特征，频率质量特征，表示与质量相关的失真深度视频序列的全局频率质量特征，[0160]S3,利用参考沉浸式视频和失真沉浸式视频对沉浸式视频质量评价模型进行训[0161]S4,将待评价的沉浸式视频输入训练好的沉浸式视频质量评价模型，得到沉浸式[0163]本实施例提出的基于频率特征的沉浸式视频质量评价方法充分利用视频多层级征的沉浸式视频质量评价装置的一个实施例，该装置实施例与图1所示的方法实施例相对[0167]视频质量评价模型构建模块302,用于构建包括局部频率特征提取模块、全局频率特征提取模块、特征增强模块、频率特征差模块和质量回归模块的沉浸式视频质量评价模[0168]所述局部频率特征提取模块包括第一局部频率特征提取单元和第二局部频率特行特征加强并输出第二组质量特征；第二组输入在第二[0172]模型训练模块303,用于利用参考沉浸式视频和失真沉浸式视频对沉浸式视频质量评价模型进行训练，得到训练好的沉浸式视频质量评价模型。[0173]视频质量评价模块304,用于将待评价的沉浸式视频输入训练好的沉浸式视频质量评价模型，得到沉浸式视频质量评分。[0174]所提出的基于频率特征的沉浸式视频质量评价模型是在在装有Inteli7-14700K[0175]所提出的基于频率特征的沉浸式视频质量评价模型采用现有IMVD数据库来验证所提模型的性能，其中80%的视频序列用于训练，剩余20%用于测试。[0176]基于频率特征的沉浸式视频质量评价装置的具体实现同基于频率特征的沉浸式视频质量评价方法，本实施例不再重复说明。[0177]图4为本发明实施例提供的电子设备的硬件结构示意图。如图4所示，本实施例的电子设备包括：处理器401以及存储器402;其中存储器402,用于存储计算机执行指令；处理器401,用于执行存储器存储的计算机执行指令，以实现上述实施例中电子设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。[0179]当存储器402独立设置时，该电子设备还包括总线403,用于连接存储器402和处理器401。[0180]本发明实施例还提供一种计算机存储介质，计算机存储介质中存储有计算机执行指令，当处理器401执行计算机执行指令时，实现如上的方法。[0181]本发明实施例还提供一种计算机程序产品，包括计算机程序，计算机程序被处理[0182]在本发明所提供的实施例中，应该理解到，所揭露的设备和方法，可以通过其它的逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是[0183]作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案。[0184]另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块形成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。[0185]上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器401执行本申请各个实施例方法的部分步骤。[0186]应理解，上述处理器401可以是中央处理单元(CentralProcessingUnit,简称CPU),还可以是其他通用处理器、数字信号处理器(DigitalSignalProcessor,简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit,简称ASIC)等。通用处理器可以是微处理器或者该处理器401也可以是任何