CN119450065A 一种解码、编码方法、装置及其设备 （杭州海康威视数字技术股份有限公司）

202310036511.82023.01.10司通过第二神经网络获取所述当前图像块对应的2基于当前图像块对应的码流获取概率分布参数；基于所述概率分布通过合成变换网络对所述第一特征进行合成变换，得到所述当前图像对所述当前图像块对应的码流进行解码，得到所述当前图像块对应的特征调整因子；其中，所述重建解码子网络包括上采样卷积子网络，子网络和颜色空间变换子网络，通过上采样卷积子网络对所述目标特征进行上采样卷积，若所述当前图像块启用特征调整模式，则获取所述当前图像块对应的特征调整因子；从码流中解析出特征调整标志位，若所述特征调整标志位允许当前图像块启用特从码流中解析出特征值的第一取值范围，若所述第二特征的特征值位基于当前图像块对应的码流获取概率分布参数；基于所述概率分布基于所述第一特征获取所述当前图像块对应的特征调整因子；在3通过合成变换网络对所述第一特征进行合成变换，得到所述当前图像获取模块，用于基于当前图像块对应的码流获取概率分布参数确定概率分布模型，并基于所述概率分布模型对所述当前图像块对应的码流进行解码，确定模块，用于通过合成变换网络对所述第一特征进行获取模块，用于基于当前图像块对应的码流获取概率分布参数确定概率分布模型，并基于所述概率分布模型对所述当前图像块对应的码流进行解码，于所述第一特征获取所述当前图像块对应的特征确定模块，用于通过合成变换网络对所述第一特征进行存储介质存储有能够被所述处理器执行的机4[0003]随着深度学习的迅速发展，深度学习在许多高层次的计算机视觉问题上取得成[0008]基于所述目标特征，通过第二神经网络获取所述当前图[0017]基于所述目标特征，通过第二神经网络获取所述当前图56于机器学习的图像处理和计算机视觉任务提供有效的压缩域处理。JPEG_AI需要针对硬件7成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构可采用常采用RDO(Rate_DistortionOptimize)比较不同工具或模式的编码性能，以选择最佳模8[0059]在一种可能的实施方式中，通过第一神经网络获取当前[0060]在另一种可能的实施方式中，通过第一神经网络获取当前图像块对应的第一特9[0076]步骤203、基于目标特征，通过第二神经网络获取当前图像块对应的重建图像块[0085]在一种可能的实施方式中，通过第一神经网络获取当前[0086]在另一种可能的实施方式中，通过第一神经网络获取当前图像块对应的第一特子中选择一个候选特征调整因子作为当前图像块对应的特征够基于神经网络实现视频图像的编码，通过结合特征调整因子达到提升编码效率的目的。[0111]编码端在得到当前图像块x(当前图像块x可以为原始图像块x，即输入的图像块)参量化特征或者系数超参特征z主要用于获取均值和概率分布[0115]在得到当前图像块对应的Bitstream#1之后，编码端可以将当前图像块对应的Bitstream#1发送给解码端，关于解码端针对当前图像块对应的Bitstream#1的处理过程，[0117]针对Bitstream#1的编码过程，可以采用固定概率密度模型的编码方法，针对[0118]编码端在得到系数超参特征z_hat之后，可以基于当前图像块的系数超参特征z_hat和前面图像块的残差特征y_hat(残差特征y_hat的确定过程参见后续实施例)，进行基hat和残差特征y_hat输入给均值预测网络，由均值预测网络基于系数超参特征z_hat和残编码端可以对该图像量化特征进行编码，得到当前图像块对应的Bitstream#2(即第二码[0122]在得到当前图像块对应的Bitstream#2之后，编码端可以将当前图像块对应的Bitstream#2发送给解码端，关于解码端针对当前图像块对应的Bitstream#2的处理过程，率超参解码网络的训练过程不作限制，能够对系数超参特征z_hat进行系数超参特征反变[0133]解码端在得到系数超参特征z_hat之后，可以基于当前图像块的系数超参特征z_hat和前面图像块的残差特征y_hat(残差特征y_hat的确定过程参见后续实施例)，进行基hat和残差特征y_hat输入给均值预测网络，由均值预测网络基于系数超参特征z_hat和残率超参解码网络可以是已训练的神经网络，对此概率超参解码网络的训练过程不作限制，[0145]针对合成变换网络，依次包括ResBlock层(即RB层)、ResBlock层、Conv层、码端可以接收到针对当前图像块的主码流(即第一码流Bitstream#1和第二码流相当于没有对第二特征进行特征调整，即不涉及特征调整过程，也就等价于实施例6的方[0156]示例性的，解码端还可以从辅助码流中解码出针对解码子网络的特征调整因子当前图像块经过编码网络和系数编码之后，可流Bitstream#1和第二码流Bitstream#2)，编码端可以将当前图像块的主码流发送给解码调整因子相同或者不同)，以使解码端从辅助码流中解码出针对解码子网络的特征调整因[0163]比如说，编码端或者解码端在得到当前图像块对应的Bitstream#1之后，可以对[0165]编码端或者解码端在得到当前图像块对应的Bitstream#2之后，还可以对到图像特征y_hat，而图像特征y_hat可以作为第一特征，即解码子网络输出第一特征y_[0169]比如说，编码端或者解码端在得到当前图像块对应的Bitstream#1之后，可以对[0171]编码端或者解码端在得到系数超参特征z_hat之后，可以基于当前图像块的系数[0172]编码端或者解码端在得到当前图像块对应的Bitstream#2之后，还可以对[0176]参见图6B所示，为合成变换网络的结构示意图，合成变换网络可以依次包括构示意图可以参见图6H所示。在图6G和图6H中，RNAB层可以包括RB层(由至少一个RB块组络(attention子网络)。重建解码子网络可以包括第二上采样卷积子网络和颜色空间变换生成子网络可以包括至少1个RB块(如1个RB块或者3个RB块等)、1个Conv层(如3*3的Conv[0183]示例性的，可以将合成变换网络中的RNAB层之后的所有网络作为重建解码子网络和重建解码子网络(重建解码子网络包括第二上采样卷积子网络和颜色空间变换子网[0191]参见图10A所示，在得到增强后特征x_out1、权重特征k和初始特征x_in(即x_之后，再与残差跳过子网络的输出特征x_out0相加，即第二特征为：x_out＝x_in+k*x_特征映射，得到权重特征k。在得到增强后特征x之后，再与残差跳过子网络的输出特征x_out0相加，即第四特征为：x_out＝x_in+k*x_C*H*W个特征调整值确定C*H*W个特征值分别对特征值，则该特征值对应的特征调整值可以为：特征调整因子中的位置为h*w的特征调整度和H维度均为1，即第二特征的同一个通道的W*H个特征值对应相同的特征调整值。比如因子的W维度和H维度均为1)确定C*H*W个特征值分别对应的以采用如下公式确定该特征值对应的调整后特征值：yr＝rf_0*y0+rf_1*y1+rf_2*y2+…+02N2k调整模式，则不需要从当前图像块对应的辅助码流中解码当前图像块对应的特征调整因当前图像块启用特征调整模式。若该特征调整标志位允许当前图像块启用特征调整模式，特征调整标志位禁止当前图像块启用特征调整模式，和/或，第二特征对应的特征变化值需要调整的特征值的空域或通道域的变化程度征值的某个属性进行判断，如当前特征值对码出该特征值对应的特征调整标志位，该特征调整标志位表示对该特征值进行特征调整，码出特征调整标志位和第一取值范围。若特征调整标志位表示对该特征值进行特征调整，码出特征调整标志位和第二取值范围。若特征调整标志位表示对该特征值进行特征调整，在得到特征A(特征A是解码子网络中的任意特征)之后，可以采用该特征调整因子对特征A[0259]基于所述目标特征，通过第二神经网络获取所述当前图[0267]基于所述目标特征，通过第二神经网络获取所述当前图[0272]基于与上述方法同样的申请构思，本申请实施例还提供确定概率分布模型，并基于所述概率分布模型对所述当前图像块对应的第二码流进行解[0277]示例性的，所述获取模块获取所述当前图像块对应的特征调对所述当前图像块对应的辅助码流进行解码，得到所述当前图像块对应的特征调整因子；子网络，所述确定模块采用权重生成子网络生成所述初始特征对应的权重特征时具体用[0286]示例性的，所述确定模块基于所述特征调整因子对所述于特征值对应的特征调整值对该特征值进行特征调整，得到该特征值对应的调整后特征[0288]示例性的，所述确定模块基于特征值对应的特征调整值对该特征值进行特征调