CN113228663B 处理配置数据的方法及处理图像表示的方法 （威诺瓦国际有限公司）

2021.06.24PCT/GB2019/0530692019.10.30WO2020/089617EN2020.05.07WO2018046940A1,2018.03.15US2007286283A1,2007.12.13处理配置数据的方法及处理图像表示的方法二较高质量水平下的第一表示来导出(1010)图述一组图像中的给定图像的残差数据来重构给够用于使用图像在第二质量水平下的第二表示2针对一组图像中的每个图像，使用所述图像在具有多个质量第二质量水平下的第一表示来导出所述图像在所述分层层次结构中的第一质量水平下的针对所述一组图像中的每个图像，输出所述图像在所述第输出配置数据以供所述解码器进行处理，以使所述解码器能够基于包括的残差使用参数的值来检测是否要使用针对所述一组图像中的给定图像的残差数据2.根据权利要求1所述的方法，所述方法包括针对所述一组图像中的一个或多个选定3.根据权利要求1所述的方法，所述方法包括针对所述一组图像中的每个图像输出所4.根据权利要求1至3中任一项所述的方法，其中针对所述5.根据权利要求1至3中任一项所述的方法，6.根据权利要求1至3中任一项所述的方法，其中所述7.根据权利要求1至3中任一项所述的方法，针对一组图像中的每个图像，获得所述图像在具有多个质量基于接收到的配置数据中所包括的残差使用参数的值来来检测是否要使用针对所述述残差数据能够用于使用所述图像在所述第二质量水平下的第二表示来重构所述第一表针对所述一组图像中的每个图像，基于所述接收到的配置数据对9.根据权利要求8所述的方法，所述方法包括针对一个或多个选定图像接收所述残差3通过对所述给定图像在所述第一质量水平下的所述表示进行上采样来对所述给定图所述给定图像的所述残差数据来重构所述给定图像的所述第通过对所述给定图像在所述第一质量水平下的所述表示进行上采样来对所述给定图使用针对所述给定图像的所述残差数据和所述给定图像的所述第二表示来获得所述针对一组图像中的每个图像，使用所述图像在具有多个质量第二质量水平下的第一表示来导出所述图像在所述分层层次结构中的第一质量水平下的针对所述一组图像中的每个图像，输出所述图像在所述第输出配置数据以供所述解码器进行处理，以使所述解码器能够基于包括的残差使用参数的值来检测是否要使用针对所述一组图像中的给定图像的残差数据针对一组图像中的每个图像，获得所述图像在具有多个质量基于接收到的配置数据中所包括的残差使用参数的值来来检测是否要使用针对所述述残差数据能够用于使用所述图像在所述第二质量水平下的第二表示来重构所述第一表4针对所述一组图像中的每个图像，基于所述接收到的配置数据对所述图像在所5希望提高信号的质量水平和/或恢复原始信号中包含的[0003]一些已知的系统利用可伸缩编码技术。可伸缩编码涉及对信号以及信息进行编[0005]另一个考虑因素是解码器准确地和/或可靠地处理接收到的信息的能力。可能影响解码器可靠性的一个因素是解码器处理错误和/或处理解码器接收到的出乎意料的、修[0010]图2A和图2B示出了根据本发明的实施方案的信号处理系统的另一示例的示意性6[0022]信号处理系统100包括第一设备102和第二设备104。第一设备102和第二设备104[0024]第一设备102包括编码器108。编码器108被配置为对包括在信号中的数据进行编解码信号数据之外还可以执行一个或多个其他功能。解码器110可以以各种不同的方式体号数据。解码器110可以输出解码后的信号数据或使用解码后的信号数据导出的数据。例[0029]在本文描述的一些示例中，编码器108将信号在给定质量水平下的表示和信息传7[0030]解码器110用于重构信号在一种或多种更高质量水平下的表示的信息可以包括残置数据可以指示残差数据已被编码器108处理的方式和/或残差数据要被解码器110处理的202可以从至少一个其他设备接收输入数据206。第一设备202可以被配置为接收输入数据通过对输入数据206执行除下采样操作之外的操[0034]在该示例中，在相对低质量水平下处理下采样数据212以生成处理后的数据21对低质量水平下的数据，其中相对低质量水平下的数据包括下采样数据212或处理后的数8[0036]生成相对低质量水平下的处理后的数据213可以进一步涉及对相对低质量水平下码装置接收相对低质量水平下的经解码图像。可以使用H.264解码器对经编码图像进行解码数据流的经编码视频输入到与第一设备202一起实现的单独的黑盒解码器中，以生成视成的视频数据帧，其中编码和解码过程可能涉及根据诸如H.264的特定编码标准对时空相[0038]在一些示例中，生成相对低质量水平下的处理后的数据213还涉及使用校正数据量水平下的数据可以包括处理后的数据213或下采样数据212，其中下采样数据212不以较水平下的第二表示可以被认为是图像在相对高质量水平下的初始或预测表示。在该示例9216已被第一设备202处理和/或生成的方式和/或残差数据216要被第二设备204处理的方处理数据和/或重构输入数据206的方式。配置数据可以与残差数据216的一个或多个特性[0045]现在转到图2B，第二设备204接收基于下采样数据212(例如从下采样数据212导设备204还接收与残差数据216的处理有关的配置数据。基于下采样数据212的数据220可以是下采样数据212本身、处理后的数据213或从下采样数据212或处理后的数据213导出的数已处理下采样数据212以生成处理后的数据213的情况下，第二设备204处理接收到的数据220以生成处理后的数据222。由第二设备204进行的这种处理可以包括对经编码图像(例以使用H.264解码器对相对低质量水平下的经编对低质量水平下的数据可以包括处理后的数据222或接收到的数据220，其中第二设备204所述特性或属性影响残差数据216将要使用和/或处理的方式或究竟是否将要使用残差数[0052]与这种配置数据的使用有关的另一个考虑因素是适应不同类型的解码装置的能[0053]与这种配置数据的使用有关的另一个考虑因素是在编码器和/或解码器处为了处例减少了编码器和/或解码器为了获得和/或处理配置数据而执行的处理量和/或处理复杂图像重构可影响所显示图像的最终视觉质量，并因此可影响观看者对图像和/或与包括图像的视频的了解。可能影响解码器可执行重构的准确性和/或可靠性的一个因素是向解码[0057]获得配置数据310。配置数据310与残差数据(例如如上所述的残差数据216)的处存储器检索配置数据310时可能涉及较少的处理。可寻址存储器的最小单元可以包含一个序列，则在将配置数据310存储在存储器中和/或从存储器检索配置数据310时可能涉及较少的步骤。通过将配置数据310以逐字节形式提供给存储器，还可以减少用于将配置数据(例如互联网协议(IP))将每个TCP片段经由互联网传输到接收者。数据流可以从存储器获[0066]配置参数320的值可以被布置成使得字节序列330中的给定字节被由不同位长度表示的值填充。通过用按预定顺序布置的由不同位长度表示的值来填充字节序列330中的字节序列330可减少用于存储配置数据310的字节数。因此可减少要在网络上传输的信息布置配置数据的语法的版本。语法可以被认为是定义要处理配置数据的方式和/或定义要包括在配置数据中的配置参数的框架。编码器108和/或解码器110可以被配置成根据由版布置成存储扩展版本参数425的值的七个位和布置成指示可变长度元素是否包括至少一个素使得可用于表示扩展版本参数425的可能值的数目能够根据需要并以灵活的方式增加。[0078]在一些示例中，预定阈值与固定长度元素的位长度(即版本参数420的位长度)有中的数据使解码器110能够确定版本号的值被存储在扩展版本参[0080]可变长度元素的上述使用和/或这种可变长度元素的选择性包括也可应用于由编[0081]作为选择性地包括对应于可变长度元素的配置参数的补充或替代，编码器108可[0084]报头部510包括消息类型参数512。消息类型参数512指定配置消息500的消息类[0086]报头部510还包括有效载荷大小参数514。有效载荷大小参数514指定有效载荷部效载荷大小参数514的值可以存储在包括单字节报头部中的三个位的固可以包括可用于从有效载荷大小查找表中获得有效载荷部520载荷部520的实际大小不是在有效载荷大小查找表中指定的值中的一个时，可能是这种情则所述值可以存储在固定长度元素中，并且/或者固定长度元素可以包括对有效载荷大小固定长度元素中的标志来指示可变长度元素正被用于括指定有效载荷部520的实际大小的有效载荷大小参数514可能看起来效率低下和/或信息有效载荷大小参数514的情况相比，在配置消息500中包括这样的参数有助于解码器110的[0096]在项目610处，接收配置消息。在该示例中，接收到的配置消息是上述配置消息[0097]在项目620处，使用消息类型参数512和有效载荷大小参数514来处理接收到的配[0098]在一些示例中，处理配置消息500包括解析配置消息500的报头部510以获得消息有效载荷部520的所确定的实际大小来处理配理配置消息500包括跟踪在解析有效载荷部520时已经读取的配置消息500的字节数。如果在解析有效载荷部520时读取的字节数与有效载荷大小参数514所指定的有效载荷部520的置消息序列可以形成配置数据的一部分。配置消息500和下一配置消息可以对应于相同图一配置数据。处理配置消息500还可以包括使用有效载荷大小参数514来丢弃有效载荷部520的其余内容。有效载荷部520的其余内容包括有效载荷部520中未包括在第一内容中的载荷部520中存在除了基于格式大小而预期的内容组配置参数550通过使用残差数据216来重以包括在第一组或第二组中。生成配置消息500的编码器108可能不知道解码器110包括在析第二有效载荷部分使得解码器110能够获得第一配置数据而不是第二配置数据。在一些而第一有效载荷部分不被解码器110解析。解析第二有效载荷部分而不解析第一有效载荷如果解码器110在第二组解码器中，则对第一有效载荷部分和第二有效载荷部分两者进行使用在有效载荷大小参数514中指定的有效载荷部520的总大小来丢弃第二有效载荷部分[0113]在解码器110获得第一配置数据和第二配置数据两者的情况下，使用第一配置数的类型无关并且/或者与解码器110被配置为根据其进行操作[0116]配置消息700的消息类型是图像集配置消息。图像集配置消息对应于一组图像中个示例是阿达马(Hadamard)变换。变换操作可利用残差数据216中的残差元素之间的空间可以对变换的残差数据执行逆变换操作以获得残差数据216。因此编码器108向解码器110发送已经由变换类型参数751对残差数据216应用了哪个变换操作的信号。在一些示例中，上采样操作。对相对低质量水平下的表示执行上采样操作以导出上采样数据214。编码器类型参数752从多个可能的插值操作中指定插值操作。可能的插值操作的示例包括最近邻的配置参数可指定是对相对低质量水平下的表示执行水平上采样还是水平和垂直上采样与针对一组图像中的给定图像重构输入数据206相关联的时间处理范围。执行时间处理包残差数据导出的数据)来调整针对给定视频帧的数据，诸如从针对该帧的残差数据导出的或多个其他图像的残差数据之间的时间相关性程度。相对于对应于给定图像的时间样本，视频帧相关联的残差数据导出的数据可用于经由至少从与当前帧相关联的残差数据导出括基于针对给定图像的残差数据与针对一个或多个其他图像的对应残差数据之间的差异时间处理参数754的值可指导解码器110基于残差数据和时间相关性数据中的一者来重构这种数据可包括分辨率类型参数755中的预定位。因此预定位包括指示在图像集配置消息[0129]图像集配置消息700被输出到解码器110，以使解码器110能够针对一组图像中的每个图像使用上采样数据214和残差数据216重构输[0130]针对一组图像输出图像集配置消息700的次数少于所述一组图像中的图像数。针对少于一组图像中的图像数的若干个图像输出图像集配置消息700减少了在给定的时间段针对一组图像中的第一图像输出图像集配置消息700。一组图像中的第一图像可以是所述化度量的一个示例是率失真度量。率失真优化针对视觉质量的损失量来优化传输的数据配置消息700可导致不期望的质量损失，这是由于没有给解码器110提供最新的配置数据。[0132]在一些示例中，针对一组图像输出图像集配置消息700的次数与所述一组图像中[0135]配置消息800的消息类型是图像配置消息。图像配置消息可仅对应于一组图像中器110用来检测是否要使用残差数据216来重构输入数据206以及在配置消息800中是否包针对给定图像使用上采样数据214来重构输入数据206的数据216可具有第一量化范围内的值，然后在逆量化之后将其扩展到更大范围的值。量化数据使用由量化数据852指示的单独定义的量化水平对残差数据216和校正数据两者进行量化。量化数据852因此可包括在编码器处对校正数据和残差数据中的一者或多者进行量化的水数据相关联的原始值进行逆量化和重构(由于量化过程期间的信息损失，重构的值可能不一视频帧的残差数据(或变换的残差数据)来进行修改。后一数据可以被存储在缓冲器中，新参数854的值可向解码器指示要清除存储在缓冲器中的与前一帧有关的数据。这可有效地指示不应用时间处理(例如添加到接收到的数据中的值0将不会修改接收到的数据)。时[0150]相对频繁地输出图像配置消息800比相对不频繁地输出图像配置消息800使用更器110能够以高准确度和/或可靠性执行图像重构。存储在图像配置消息800中的一组图像和图像配置消息800，这种折衷的最佳结果是图像配置消息800的发送比图像集配置消息700更频繁。因此以相对低频率发送图像集配置参数且以相对高频率发送图像配置参数可[0153]配置消息900的消息类型是经编码数据消息。经编码数据消息可对应于一组图像中的给定图像。这样，可针对一组图像中的每个图像生成和/或输出不同的经编码数据消[0154]有效载荷部920包括一组配置参数950。有效载荷部920还可包括基于针对给定图经编码的残差数据或经编码的变换的残差数据。可采用游程编码(run-lengthencoding)操作和哈夫曼编码(Huffmanencoding)操作中的一者或两者来导出经编码数据。如上所游程编码数据的大小和/或经哈夫曼编码数据的生成和/或输出经编码数据消息可取决于是否要使用针对给定图像的残差数据216来重构的对应图像配置消息800的残差使用参数851来指示。与不选择性地输出经编码数据消息[0160]由编码器108生成的配置消息可具有除上述的那些之外的其他消息类型。另一示出残差数据可减少在给定的时间段内传输和[0166]在一些示例中，针对一组图像输出配置数据的次数小于所述一组图像中的图像[0176]在一组图像是流式视频的一部分的情况下，解码器可在一组图像中途进入视频出用于显示的第二表示减少了由于没有接收到预定配置数据而导致的视觉质量的潜在损[0180]在该示例中，设备1200包括被配置为处理信息和/或指令的一个或多个处理器处理器1201可包括多个位于同一位置的处理器或多个位于不同位[0181]在该示例中，设备1200包括被配置为为一个或多个处理器1201存储信息和/或指[0182]在该示例中，设备1200包括被配置为为一个或多个处理器1201存储信息和/或指令的计算机可用非易失性存储器1204。计算机可用非易失性存储器1204与总线1202耦合。[0183]在该示例中，设备120