CN114881971B 视频质量评估方法及其装置、设备、介质 （广州欢聚时代信息科技有限公司）

万博二路79号万博商务区万达商业广 no-referenceimagequalityassessment.ConferenceonMultime 本申请涉及图像识别技术领域中一种视频频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的多通道的图像特征信2采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代从预设的数据集中调用单个训练样本对所述视频质量评估模型实施训基于所述主观质量评分计算模型损失值，所述模型损失值为所评分相对应的第一损失值及该质量评分的置信度的第二损失值计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评分之计算所述质量评分的置信度的交叉熵损失以获得第正预测概率的对数的负均值减去置信度相对应的正计算所述第一损失值与第二损失值的和值获得所述训练样将所述图像特征信息分成两路，分别输入所述特征显化网络的在所述两个支路中，分别应用注意力层对相应的采样特征信将所述池化特征信息输出至第二全连接层进行分类映射，获得该3将置信度高于预设阈值的质量评分确定为所述多个图像帧相对应的质4.根据权利要求1至3中任意一项所述的视频质量评估方法特征提取模块，被配置为采用预先训练至收敛状态的视提取网络提取出所述标准化数据相对应的多通道的图权重提取模块，被配置为由该评估模型的特征显化网络将所述图像特征信息评分输出模块，被配置为由该评估模型的分类网络根据所述显著特征信采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代从预设的数据集中调用单个训练样本对所述视频质量评估模型实施训基于所述主观质量评分计算模型损失值，所述模型损失值为所评分相对应的第一损失值及该质量评分的置信度的第二损失值计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评分之计算所述质量评分的置信度的交叉熵损失以获得第正预测概率的对数的负均值减去置信度相对应的正计算所述第一损失值与第二损失值的和值获得所述训练样运行存储于所述存储器中的计算机程序以执行如权利要求1至4中任意一项所述的方法的7.一种计算机可读存储介质，其特征在于，4[0001]本申请涉及图像识别技术领域，尤其涉及一种视频质量评估方法及其相应的装[0005]本申请的目的在于解决上述问题至少之一而提供一种视频质量评估方法及其相[0009]采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所5[0017]将所述显著特征信息输入全局池化层中执行池化操作，获得相应的池化特征信质量评分相对应的第一损失值及该质量评分的置信度的[0030]计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的主观质量评所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权重后获得修[0032]计算所述第一损失值与第二损失值的和值获得所述训练样本相对应的模型损失6训练至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对预设的数据集中的训练样本对所述视频质量评估模型实施迭代训练，将其训练至收敛状对应预测的正样本预测概率匹配所述置信度为权重后获得修正预测概率的对数和的均值；7标准化数据输入至预先训练至收敛状态的视频质量评估模型中提取出相应的多通道的图[0046]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得[0049]图3为本申请一个实施例中，视频质量评估模型中特征显化网络的结构示范性举[0050]图4为本申请一个实施例中，视频质量评估模型的特征显化网络进行不同方式的[0051]图5为本申请一个实施例中，视频质量评估模型的分类网络进行分类映射的流程8括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(GlobalPositioning包括射频接收器的常规膝上型和/或掌上型计算机或其他设备9离本申请的创造精神且可满足现有技术中的需求或解决现有技术中的某方面的不足即可。中，可将本申请的视频质量评估模型部署于电商平台中的网络直播相对应的媒体服务器，以提供相应的服务，所述服务可为对电商平台中的网络直播产生的视频流预测无参考评[0072]步骤S1200、采用预先训练至收敛状态的视频质量评估模型中的图像特征提取网[0073]所述视频质量评估模型的网络结构示范性举例如图2所示，其中包含主干模块[0074]一种实施例中，所述图像特征提取网络201推荐的可选用ResNet(Residual[0075]步骤S1300、由该评估模型的特征显化网络将所述图像特征信息进行不同方式的[0076]一种实施例中，所述评估模型的特征显化网络202推荐的可选用CA(Channel取网络对应的通道之间的图像特征信息attention，所述attention为在channel(通道)维验知识或实验经验灵活另选相应的神经网络充当所述特征信息分成两路，分别输入所述特征显化网络的两个支路的池化层即所述最大池化层中执行平均池化操作，通过相应的过滤器平均所述图像特征信息相对应的特征图中的数函数可由本领域技术人员根据先验知识或实验数据灵预测模块205中的第一全连接层接收与其连接的全局池化层204输出的所述池化特征信息，[0095]步骤S1440、将置信度高于预设阈值的质量评分确定为所述多个图像帧相对应的[0097]本实施例中，通过分类网络对向其输入的显著特征信息并得出其对应的置信度，进而以合适的置信度对应质量评分作为图像帧相对应的质量评视频流的多个时间上连续的图像帧相对应的满足业务所需的置信度的质量评分以及不满不满足业务所需置信度的质量评分相对应的图像帧，调节所述视频流的编码器的编码帧所述媒体服务器推送至直播间的观众用户的设备，以便设备相应的渲染该视频流进行播图像帧相对应的满足业务所需的置信度的质量评分以及不满足业务所需的置信度的质量高的码率和/或分辨率保证画质，继而将调节后的视频流经所述媒体服务器推送至直播间[0102]本实施例中，揭示了本申请的视频质量评估模型线上部署应于网络直播的视频[0104]步骤S1000、采用预设的数据集中的训练样本对所述视频质量评估模型实施迭代上预防模型过拟合，所述数据增强(DataAugmentation)是指在维持样本标签不变的条件据集。[0106]一种实施例中，可参考步骤S1200所述视频质量评估模型的网络结构的揭示，据[0108]步骤S1010、从预设的数据集中调用单个训练样本对所述视频质量评估模型实施质量评估模型的图像特征提取网路以及特征显化网络学习提取出训练样本相对应的显著模型获得的质量评分相对应的第一损失值及该质量评分的置信度的第二损失[0116]步骤S1021、计算所述训练样本中各个图像帧对应预测的质量评分与预先标注的二损失值为所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权[0121]调用第二损失函数，计算所述质量评分的置信度的交叉熵损失以获得第二损失为所述训练样本中各个图像帧对应预测的正样本预测概率匹配所述置信度为权重后获得[0125]其中，c为训练样本对应的置信度,yout为对gt为对应的单个图像帧的主观质量评分。[0127]步骤S1023、计算所述第一损失值与第二损失值的和值获得所述训练样本相对应至收敛状态的视频质量评估模型中的图像特征提取网络提取出所述标准化数据相对应的对应预测的正样本预测概率匹配所述置信度为权重后获得修正预测概率的对数和的均值；使得处理器实现一种视频质量评估方法。该计算机设备的处理器用于提供计算和控制能有模块/子模块所需的程序代码及数据，服务器能够调用服务器的程序代码及数据执行所[0140]本领域普通技术人员可以理解实现本申请上述实施例方