CN115361510B 一种高动态范围hdr视频的处理方法、编码设备和解码设备 （华为技术有限公司）

202010390234.72020.05.08一种高动态范围HDR视频的处理方法、编码本申请提供了一种高动态范围HDR视频的处码端根据质量评价算法确定HDR视频采用的模第N帧的HDR视频的动态元数据；根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视/算法确定所述tone-mapping曲线造成的失真D；2根据动态元数据生成算法获取第N帧的HDR视频的根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-根据所述tone-mapping曲线对所述第N帧的HDR视频/根据质量评价算法确定所述tone-mapping曲线造成//在所述第N帧的HDR视频采用的模式为导演模式的情况下，法和所述deltaC[N]生成所述第N帧的H根据所述deltaC[N]生成调整后的tone-m根据所述质量评价算法确定所述调整后的tone-mapping曲线造成3.根据权利要求1或2所述的方法，其特4.根据权利要求1或2所述的方法，其特征在于，所述色调映射ton/根据预测的曲线参数p的偏移量和K*基本步长值，确定调整的曲线参数p的多个偏移根据所述曲线参数p的多个偏移量，确定曲线参数p的多个偏移量根据所述多个偏移量中的每个偏移量对应的参数p和a生成多个调整的tone-mapping根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-Ⅱmapping曲线造成的失真D；从所述多个D中选择满足第一条件的任一个D对应的tone-mapping曲线参数p和a为//Ⅱ6.根据权利要求5所述的方法，其特征在于，所述根据3″″8.根据权利要求5所述的方法，其特征在于，所述根/或所述标志位用于指示所述第N帧的HDR视频采用的模式从所述元数据中提取导演模式下的色调映射tone-mappin根据所述导演模式下的色调映射tone-mapping曲线参数生成导演模式下的tone-根据所述导演模式下的tone-mapping曲线显示所述第N帧根据所述第N帧的HDR视频的元数据计算自动模式下的色调映射tone-mapping曲线参根据所述自动模式下的色调映射tone-mapping曲线参数生成自动模式下的tone-4根据所述自动模式下的tone-mapping曲线显示所述第N帧获取单元，所述获取单元用于根据动态元数据生成算法获取第N帧处理单元，所述处理单元用于根据所述第N帧的HDR视频的动态元数据计算所述第N帧所述处理单元还用于根据所述曲线参数生成tone-map所述处理单元还用于根据所述tone-mapping曲线对所述第N帧的HDR视频进行显示适/所述处理单元还用于根据质量评价算法确定所述tone-mapping曲线造成的失/mapping曲线参数和所述D，获得所述第N帧的HDR视频的tone-mapping曲线参数的偏移量/所述处理单元还用于在所述D大于DT时，确定所述第N帧的HDR视频采用的模式为导演所述处理单元还用于在所述第N帧的HDR视频采用的模式为导演模式的根据所述deltaC[N]生成调整后的tone-m根据所述质量评价算法确定所述调整后的tone-mapping曲线造成一个或多个预设配置参数对所述第N帧的HDR/根据预测的曲线参数p的偏移量和K*基本步长值，确定调整的曲线参数p的多个偏移根据所述曲线参数p的多个偏移量，确定曲线参数p的多个偏移量根据所述多个偏移量中的每个偏移量对应的参数p和a生成多个调整的tone-mapping根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-Ⅱmapping曲线造成的失真D；5从所述多个D中选择满足第一条件的任一个D对应的tone-mapping曲线参数p和a为//″″″在所述第N帧的HDR视频采用的模式为导演模式的情况下，所述/HDR视频的元数据包括标志位，所述标志位用于指示所述第N帧的HDR视频采用的模式为导演模式或所述标志位用于指示所述第N帧的HDR视频采用的模式所述处理单元还用于根据所述导演模式下的色调映射tone-mapping曲线参数生成导6所述处理单元还用于根据所述第N帧的HDR视频的元数据计算自动模式下的色调映射所述处理单元还用于根据所述自动模式下的色调映射tone-mapping曲线参数生成自所述显示单元还用于根据所述自动模式下的tone-mapping曲线显示所述第N帧的HDR7号和后端HDR的终端显示设备的适配上，一般包括从高亮度到低亮度的色调映射tone-调色师手动调节并确定参数或者对自动模式的参数进行预测和修正进一步优化曲线参数[0005]第一方面，提供了一种高动态范围HDR视频的处理方法，所述方法应用于编码设根据所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-tone-mapping曲线造成的失真D/；比8据包括：根据所述第N帧的HDR视频采用的模式、所述动态元数据生成算法和所述tone-成多个调整的tone-mapping曲线；根据所述质量评价算法确定所述多个调整的tone-9模式为自动模式时，所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数[0027]第二方面，提供了一种高动态范围HDR视频的处理方法，所述方法应用于解码设[0028]结合第二方面，在第二方面的某些实现方式中，当所述标志位指示所述第N帧的[0029]结合第二方面，在第二方面的某些实现方式中，当所述标志位指示所述第N帧的调映射tone-mapping曲线参数；根据所述曲线参数生成导演模式下的tone-mapping曲线；根据所述导演模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧的HDR视[0030]第三方面，提供了一种高动态范围HDR视频的处理方法，所述方法应用于编码设[N]生成调整后的tone-mapping曲线；根据所述动态元数据生成算法和所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成导演模式下的第N帧的HDR视频标志位用于指示所述第N帧的HDR视频采用的模式为[0047]第四方面，提供了一种高动态范围HDR视频的处理方法，所述方法应用于解码设[N]生成调整后的tone-mapping曲线；根据所述质量评价算法确定所述调整后的tone-第N帧的HDR视频的曲线参数的偏移量deltaC[N]用于生成第N帧的H第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参deltaC[N]生成调整后的tone-mapping曲线；根据所述质量评价算法确定所述调整后的N帧的HDR视频采用的模式为自动模式时，所述第N帧的HDR视频的元数据包括所述第N帧的的HDR视频采用的模式为导演模式时的曲线参数P。第N帧的HDR视频的标志位用于指示所述第N帧的HDR视频采用的模式为导演模式或所述标[0085]结合第六方面，在第六方面的某些实现方式中，当所述标志位指示所述第N帧的所述第N帧的HDR视频显示所述第N帧的H[0086]结合第六方面，在第六方面的某些实现方式中，当所述标志位指示所述第N帧的HDR视频的色调映射tone-mapping曲线参数；所述处理单元还用于根据所述曲线参数生成成的失真D/；所述处理单元还用于根据M帧窗口内(N-M，N)的帧的元数据、所述tone-频的曲线参数的偏移量deltaC[N]生成导演模式下的第N帧的HDR视频的元N帧的HDR视频的曲线参数的偏移量deltaC[N]生成调整后的tone-mapping曲线；根据质量N帧的HDR视频采用的模式为导演模式时，所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数据和P[N]，所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参数P。标志位用于指示所述第N帧的HDR视频采用的模式为帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲线参数；deltaC[N]生成调整后的tone-mapping曲线；根据所述质量评价算法确定所述调整后的用于执行以上第四方面或第四方面的任意可能算法获取第N帧的HDR视频的动态元数据；根据该第N帧的HDR视频的动态元数据计算该第N根据该tone-mapping曲线对该第N帧的HDR视频进行显示适配；根据质量评价算法确定该mapping曲线参数和该D′，获得该第N帧的HDR视频的tone-mapping曲线参数的偏移量T为法和该deltaC[N]生成该第N帧的HDR视频的元[0129]图1是本申请实施例中提供的一种高动态范围HDR视频的处理方法应用的系统的[0139]图11是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框[0141]图13是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框[0146]图1是本申请实施例中提供的一种高动态范围HDR视频的处理方法应用的系统100[0148]HDR预处理模块110负责提取静态元数据和动态元数据。如果该HDR视频采用导演模式，HDR预处理模块110计算导演模式的tonemapping的曲线参数，该导演模式的tone[0149]HDR视频编码模块120对该HDR视频和元数据进行编码，元数据嵌入到码流中用户EfficiencyVideoCoding，HEVC)或者第二代数字音视频编解码技术标准(AudioVideo[0151]HDR动态tonemapping模块140根据解出的HDR视频和元数据，以及显示设备的峰[0152]该HDR视频输入到HDR预处理模块110之前，需要对该HDR视频像素值进行光电转[0153]动态范围(DynamicRange)在很多领域用来表示某个变量最大值与最小值的比态范围(highdynamicrange,HDR)，相对的普通图片上的动态范围为低动态范围(low[0154]标准动态范围图像是与高动态范围图像对应。我们传统使用的jpeg等格式8比特[0156]通过上述转换在量化成8比特后的图像就是传统的SDR图像，SDR图像和转移函数在传统的显示设备(照度在100cd/m2左照度信息，ITU-RRecommendationBT.1886标准当中的光电转换函数不能很好的表达HDR的光电转换函数有如下三种，感知量化(Perceptionquantization，PQ)、混合对数伽马映射来适配前端HDR信号和后端HDR的终端显示设备。例如前端是采集到的4000nit的光照信号(nit光强的单位)，而后端HDR的终端显示设备(电视机，IPAD)的HDR显示能力只有500nit，因此如何把4000nit信号，映射到500nit的设备上，是一种从高到低的tone-号，如果把100nit的信号更好地显示在2000nit的设备上，是另外一种从低到高的tone-式或HDR视频采用的模式是导演模式。自动模式的算法是基于大量测试数据得出的经验公[0193]下面结合图6详细说明本申请提供的一种高动态范围HDR视频的处理方法，图6是本申请实施例的一种高动态范围HDR视频的处理方法200的示意性流程图，该方法200可以[0201]S260，编码设备根据确定的所述第N帧的HDR视频采用的模式，确定所述第N帧的[0202]在该方法200中，通过比较根据质量评价算法确定所述tone-mapping曲线造成的T据tone-mapping曲线造成的失真来确定该HDR视频采用的模式，进而实现更优的色调映射中所有像素maxrgb值的最小值(minimum_maxrgb_pq)、当前帧或者当前场景中所有像素maxrgb值的平均值(average_maxrgb_pq)、当前帧或者当前场景中所有像素maxrgb值90%分位点处对应的值减去10％分位点处对应的值(variance_maxrgb_pq)和当前帧或者当前[0205]色调映射tone-mapping曲线参数可以是多种曲线参数，如杜比提出的基于[0206]色调映射tone-mapping曲线参数也可以是一种基于SLF曲线的动态tone-mapping[0209]色调映射tone-mapping曲线参数还可以是一种式(8)所示的tone-mapping曲线形大参数有关和显示设备的最大显示能力有关。b于场景的最小值和显示设备的最小显示能估模型[1][2](其中[1]是HDR-VDP-2.2:高动态范围和标准图像客观质量预测的校准方法(HDR-VDP-2.2:ACalibratedMethodforObjectiveQualityPredictionofHighDynamicRangeandStandardImages,ManishNarwaria,RafalK.Mantiuk,MattheiuPerreiraDaSilvaandPatrickLeCallet.In:JournalofElectronicImaging,24(1),2015)，[2]是动态范围独立质量评估方法(DynamicRangeIndependentImageQualityAssessment,TungO.Aydin,RafatMantiuk,KarolMyszkowski,Hans-PeterSeidel.In:ACMTransactionsonGraphics(Proc.ofSIGGRAPH'08),27(3),article[0219]质量评估模型的输入是tonemapping前的原图，输出是tonemapping后的结果以称作无人工介入色调映射模式。自动模式的曲线的参数基于基本的动态元数据计算出所述质量评价算法确定所述调整后的tone-mapping曲线造成的[0232]为了更清楚的理解本申请，下面结合上述式(8)所示的色调映射tone-mapping曲[0233]图7是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框式的曲线参数的tone-mapping曲线失真切换自动[0235]解码端320在获得编码端传输的码流时，需要通过码流中的元数据的标志位判断[0237]S321，解码端320根据动态元数据提取算法提取HDR源视频的基本的动态元数[0242]解码端320在生成曲线参数后，根据解码的HDR视频进行显示适配，显示该HDR视[0243]下面结合上述式(8)所示的色调映射tone-mapping曲线形式对本申请的方法进行该方法400可以应用在图1或图7所示的场景中，当然也可以应用在其他需要进行视频处理[0248]下面具体描述如何生成根据基本的动态元数据计算所述第N帧的HDR视频在自动[0250](1)将最高显示亮度值max_display_mastering_luminance转换到PQ域得到参考[0251](2)根据式(9)代入metadata中的maximum_maxrgb、average_maxrgb以及variance_maxrgb计算待处理帧[0253]其中，A、B为权重系数，A为average_maxrgb的函数，A＝(1-B)[0278]预测出来的偏移量delta和最优的偏移量值通常还会有一定的偏差，所以需要修量为所述预测的曲线参数p的偏移量减去基本步长值stepsize，即deltaC1＝delta-数p1和a1生成调整的tone-mapping曲线，根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲量为所述预测的曲线参数p′的偏移量加上该基本步长值stepsize，deltaC2＝delta-[0293]下面结合上述式(8)所示的色调映射tone-mapping曲线形式对本申请的方法进行该方法500可以应用在图1或图7所示的场景中，当然也可以应用在其他需要进行视频处理色调映射tone-mapping曲线参数p/和a/。[0298]S503，编码设备根据所述自动模式下的曲线参数p/和a/生成自动模式下的tone-的主观失真D/。价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping穷举法搜索中，K为整数，例如K是3，那么会搜索delta-3*stepsize,delta-2*stepzie,delta-stepsize,delta,delta+stepsize,delta+2*stepsize,delta+3*stepsize这7个不[0313]图10是本申请实施例的一种高动态范围HDR视频的处理方法该方法600可以应用在图1或图7所示的场景中，当然也可以应用在其他需要进行视频处理式时，所述方法还包括：根据所述第N帧的HDR视频的元数据计算自动模式下的色调映射tone-mapping曲线参数；根据所述色调映射tone-mapping曲线参数生成自动模式下的mapping曲线和所述第N帧的HDR视频显示所述第N帧的HD[0321]图11是本申请提供的一种高动态范围HDR视频的处理方法应用的系统示意性框[0325]解码端720在生成曲线参数后，根据解码的HDR视频进行显示适配，显示该HDR视[0326]下面结合上述式(7)所示的色调映射tone-mapping曲线形式对本申请的方法进行详细描述。图12是本申请实施例的一种高动态范围HDR视频的处理方法800的示意性流程[0331]S803，编码设备根据所述自动模式下的曲线参数p和a生成自动模式下的tone-数和所述D/，获得所述第N帧的HDR视频的tone-mapping曲线参数的偏移量deltaC[N]，其的偏移量deltaC[N]生成导演模式下的第N帧的HDR视频的动态元数据和P[N]，所述P[N]为所述第N帧的HDR视频采用的模式为导演模式时的曲线参[0335]所述方法还包括：根据所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成的失真DT，所述DT用于预测第N+j帧采用导演模式下的偏移量deltaC[N+j],其中j大于等于穷举法搜索中，K为整数，例如K是3，那么会搜索delta-3*stepsize,delta-2*stepzie,[0343]上述本申请实施例中描述了编码设备需要对第N帧的HDR视频进行自动模式和导[0344]图13是本申请提供的一种高动态范围HDR视频的处理方法应用的系统的示意性框[0345]编码端910可以执行步骤S911，编码端910根据动态元数据提取算法提取HDR源视[0346]图14是本申请实施例的一种高动态范围HDR视频的处理方法1000的示意性流程[0349]S1001，解码设备根据动态元数据提取算法提取第N帧的HDR视频的基本的动态元[0350]S1002，解码设备根据基本的动态元数据计算所述第N帧的HDR视频在自动模式下[0351]S1003，解码设备根据所述自动模式下的曲线参数p和a生成自动模式下的tone-[0352]S1004，解码设备根据质量评价算法确定所述自动模式下的tone-mapping曲线造[0353]在该步骤中，解码设备根据所述自动模式下的曲线参数p和a生成自动模式下的预测最优的曲线参数相对于自动模式的参数p的为所述预测的曲线参数p的偏移量减去基本步长值stepsize，即deltaC1＝delta-a1生成调整的tone-mapping曲线，根据所述质量评价算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线造成的为所述预测的曲线参数p的偏移量加上该基本步长值stepsize，deltaC2＝delta-算法确定所述多个调整的tone-mapping曲线中的每个tone-mapping曲线真D[N]＝DT＝D1,偏移量deltaC[N]＝deltaC1，解码设备根据第N帧的HDR视频的曲线参数偏移量deltaC[N]＝deltaC2，解码设备根据第N帧的HDR视频的曲线参数P2生成tone-解码设备直接对自动模式进行修正获得所述第N帧的HDR视频的曲线参数的偏移量deltaC[0368]以上结合图1至图14对本申请实施例的多卡终端设备的通信参数测量方法做了详[0380]当该装置1100为芯片时，收发单元1130可以是输入和/或输出接口、管脚或电路等。该处理单元1110可执行存储单元存储的计算机执行指令，以使该装置可以执行方法述第N帧的HDR视频采用导演模式，所述DT为所述第N帧的HDR视频采用导演模式下的失真；[0388]在一种实现方式中，所述编码设备应用于以下任一个或多个预设配置参数：[0394]在一种实现方式中，所述第一条件为从两个失真D″中选择失真D″小的tone-模式为自动模式时，所述第N帧的HDR视频的元数据包括所述第N帧的HDR视频的动态元数用于指示所述第N帧的HDR视频采用的模式为导演模式或所述标志位用于指示所述第N帧的式时，所述处理单元1110还用于：从所述元数据中提取导演模式下的色调映射tone-[0407]根据所述导演模式下的tone-mapping曲线和所述第N帧的HDR视频显示所述第N帧算所述HDR视频的色调映射tone-mapping曲线参数；所述处理单元1110还用于根据所述曲线参数生成tone-mapping曲线；所述处理单元1110还用于根据质量评价算法确定所述法和所述第N帧的HDR视频的曲线参数的偏移量deltaC[N]生成导演模式下的第N帧的HDR视参数的偏移量deltaC[N]生成调整后的tone-mapping曲线；根据质量评价算法确定所述调[0411]在一种实现方式中，所述编码设备应用于以下任一个或多个预设配置参数：[0417]在一种实现方式中，所述第一条件为从两个失真DⅡ中选择失真DⅡ小的tone-为所述第N帧的HDR视频采用的模式为导演模式时的曲线参[0425]在一种实现方式中，所述元数据包括标志位，所述标志位用于指示所述第N帧的所述第N帧的HDR视频的动态元数据计算所述第N帧的HDR视频的色调映射tone-mapping曲[0430]在一种实现方式中，所述解码设备应用于以下任一个或多个预设配置参数：