CN115150617B 编码方法及解码方法 （松下电器（美国）知识产权公司）

201780031614.82017.05.23本发明提供编码方法及解码方法。编码方述参数将所重构的上述多个图像接合以使所重2通过使用上述参数将所重构的上述多个图像接合以使所重构的上述多个图像中的对上述参数用于确定上述多个图像在上述接合通过使用上述参数将解码后的上述多个图像接合以使上述上述参数用于确定上述多个图像在上述接合3代视频(例如360度运动图像)的发送及保存中，需要超过目前的编码性能的编码效率。此[0011]有关本公开的一技术方案的编码方法，取得与将多个图像接合的处理有关的参过使用上述参数将所重构的上述多个图像接合以使所重构的上述多个图像中的对象连续，述参数用于确定上述多个图像在上述接合图像中4[0023]图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)[0031]图15是表示实施方式2的多个照相机的配置、和将由这些照相机摄像的图像接合[0033]图17是表示实施方式2的、通过非直线透镜或鱼眼透镜产生的桶形畸变的一例的[0037]图21是表示实施方式2的对于接合图像的部分编码处理或部分解码处理的一例的[0038]图22是表示实施方式2的对于接合图像的部分编码处理或部分解码处理的另一例5[0071]划分部102将输入运动图像中包含的各图片(picture)划分为多个块(block)，将有时将该固定尺寸的块称作编码树单元(CTU)。并且，划分部102基于递归性的四叉树(quadtree)及/或二叉树(binarytree)块划分，将固定尺寸的块分别划分为可变尺寸(例6[0074]将左上的64×64块再垂直地划分为2个矩形的32×64块，将左方的32×64块再垂中的左上的块及右下的块进一步划分。将左上的32×32块垂直地划分为2个矩形的16×32[0081]减法部104以由划分部102划分后的块单位，从原信号(原样本)减去预测信号(预[0082]原信号是编码装置100的输入信号，是表示构成运动图像的各图片的图像的信号(例如亮度(luma)信号及2个色差(chroma)信号)。以下，有时也将表示图像的信号称作样[0084]变换部106将空间域的预测误差变换为频率域的变换系数，将变换系数向量化部择的变换类型对应的变换基函数(transformbasisfunction)将预测误差变换为变换系数。有时将这样的变换称作EMT(explicitmultiplecoretransform：显式多核变换)或7类型中的变换类型的选择，既可以基于例如预测的种类(帧内(intra)预测及帧间(inter)[0087]将表示是否应用这样的EMT或AMT的信息(例如称作AMT标志)及表示所选择的变换AST(adaptivesecondarytransform：自适应二次变换)或NSST(non－separable率的升序(以从低频到高频的顺序)或降序(从高频到低频[0101]加法部116通过将作为来自逆变换部114的输入的预测误差与作为来自预测控制8[0110]作为在ALF中使用的滤波器的形状，例如采用圆对称形状。图4A～图4C是表示在[0112]将可选择的多个滤波器(例如15或25以内的滤波器)的系数集以图片级别进行信[0114]帧存储器122是用来保存在帧间预测中使用的参照图片的存储部，也有被称作帧[0116]帧内预测部124通过参照保存在块存储器118中的当前图片内的块进行当前块的9[0117]例如，帧内预测部124使用预先规定的多个帧内预测模式中的1个进行帧内预多个帧内预测模式包括1个以上的非方向性预测[0118]1个以上的非方向性预测模式包括例如由H.265/HEVC(High－EfficiencyVideoCoding)标准(非专利文献1)规定的Planar(平面)预测外，多个方向性预测模式也可以除了33个方向以外还包括32个方向的预测模式(合计65个成分来预测当前块的色差成分。有时将这样的帧内预测称作CCLM(cross－component式(例如被称作CCLM模式)作为色差块的帧内[0121]帧内预测部124也可以基于水平/垂直方向的参照像素的梯度将帧内预测后的像素值修正。有时将伴随着这样的修正的帧内预测称作PDPC(positiondependentintra如称作PDPC标志)例如以CU级别进行信号化。另外，该信息的信号化并不需要限定于CU级预测信号。有时将这样的帧间预测(运动补偿)称作OBMC(overlappedblockmotion[0126]在这样的OBMC模式中，将表示用于OBMC的子块的尺寸的信息(例如称作OBMC块尺作双向匹配(bilateralmatching)及模板匹配(t迹(motiontrajectory)的2个块之2个参照图片(Ref0，Ref1)内的2个块的对(pair)之中搜索最匹配的对，导出2个运动矢量[0133]在第2图案匹配中，在当前图片内的模板(在当前图片内与当前块邻接的块(例如[0134]图7是用来说明当前图片内的模板与参照图片内的块之间的图案匹配(模板匹配)的图。如图7所示，在第2图案匹配中，通过在参照图片(Ref0)内搜索与在当前图片(Cur[0135]将表示是否应用这样的FRUC模式的信息(例如称作FRUC标志)以CU级别进行信号(第1图案匹配或第2图案匹配)的信息(例如称作FRUC模式标志)以CU级别进行信号化。另τ0及(MVx1(iii)垂直方向的速度及参照图像的空间梯度的垂直成分的乘积之和等于零。基于该光流等式与埃尔米特插补(Hermiteinterpolation)的组合，将从合并列表等得到的块单位的[0144]这里，对基于多个邻接块的运动矢量以子块单位导出运动矢量的模式进行说有时将该模式称作仿射运动补偿预测(affinemotioncompensationpredy[0145]图9是用来说明基于多个邻接块的运动矢量的子块单位的运动矢量的导出的图。且，使用2个运动矢量v0及v1，通过以下的式(2)，导出当前块内的各子块的运动矢量(vx，y也可以包含不同的几个模式。将表示这样的仿射运动补偿预测模式的信息(例如称作仿射[0151]预测控制部128选择帧内预测信号及帧间预测信号的某个，将所选择的信号作为[0153]接着，对能够将从上述编码装置100输出的编码信号(编码比特流)解码的解码装置200是将运动图像/图像以块单位进行解码的运动图[0160]逆量化部204将作为来自熵解码部202的输入的解码对象块(以下称作当前块)的对应的量化参数将该量化系数逆量化。并且，逆量化部204将当前块的逆量化的量化系数[0163]例如在从编码比特流解读出的信息表示应用EMT或AMT的情况下(例如AMT标志是[0166]加法部208通过将作为来自逆变换部206的输入的预测误差与作为来自预测控制[0171]在从编码比特流解读出的表示ALF的开启/关闭的信息表示ALF的开启的情况下，基于局部性的梯度的方向及活性度从多个滤波器中选择1个滤波器，将所选择的滤波器对[0173]帧存储器214是用来将在帧间预测中使用的参照图片保存的存储部，有时也称作[0175]帧内预测部216通过基于从编码比特流解读出的帧内预测模式，参照保存在块存内预测部216通过参照与当前块邻接的块的样本(例如亮度值、色差值)进行帧内预测而生预测部216也可以基于当前块的亮度成分来预测当前块的色于水平/垂直方向的参照像素的梯度将帧内预特流解读出的运动信息(例如运动矢量)进行运动补偿，生成当前块或子块的帧间预测信[0184]预测控制部220选择帧内预测信号及帧间预测信号的某个，将所选择的信号作为[0187]本实施方式的编码装置及解码装置等可以在任意的多媒体数据的编码及解码中解码工具而使用自适应运动图像编码工具及自适应运动图像解码工具。为了提高编码效[0193]说明图11所示的本公开的实施方式2的、对使用非直线透镜摄像的图像进行运动被写入到比特流的哪个头中都可以，也可以写入到SEI(SupplementalEnhancement图像修正处理的想要的输出像素值的映射表的参数。这些参数也可以包括1个以上的插补部像素使用。被输入到编码装置中的图像也可以是将来自不同照相机的多个图像组合接合处理的结果在与照相机的角度重复的区域的情况，所以也可以包含也可以在其他图像中出现的像素。[0201]作为关于接合处理记述的参数的其他例子，包括确定接合后的图像的布局的参或图像中的像素也有为了确保连续性而需要旋转中，编码装置基于畸变中心，为了使图像成为直线性，可以将图像内的像素进行重叠距畸变中心较近的图像块也可以具有1/8像素精度以内的较高的运动矢量精度。在自适应在顶视点中映现出的空间与在图像A～D的各自中映现出的空间连续，在图像A中映现出的的作为将各图像再配置或配置的处理的重叠处理也称作帧封装性地处理的情况下、或确定为图像被从2个以上的图像接合的情况下进行自适应帧间预测通常被用规定的像素值(例如黑色像素)替换。图13是表示图像内的这些区域的一例的图。的步骤S2002中，将所确定的这些区域内的像素在进行运动补偿处理的期间中用不是图像性地处理的情况下、或确定为图像被从2个以上的图像接合的情况下进行自适应画面重构处理的流程图。如图19所示，编码装置基于写入在头中的参数，将图像内的位置在步骤地处理的情况下、或确定为图像被从2个以上的图像接合的情况下进行自适应画面重构处察者改变自身的头部的方向时提高用户的视[0220]图22表示相对于用户对于由不同的照相机摄像的不同的视点的视线的角度或头的视线区域内、而是将来自处于更大的今后的视线区域内的(视点2以外的)视点的图像也图22所示的至少一部分与可能视线区域重复的顶视点及视点1的图像也编码并发送。不将[0223]编码装置900是为了生成输出比特流而用来按照每个块而用来将输入运动图像编[0224]输入运动图像的图像(即处理对象块)被向减法部921输入，减法后的值被向变换[0225]逆量化部903将从量化部902输出的样本值(即量化值)逆量化，向逆变换部904输出频率系数。逆变换部904为了将频率系数变换为图像的样本值即像素值而进行逆频率变[0227]加法部922将从逆变换部904输出的样本值对从帧内预测部907或帧间预测部908输出的预测图像的像素值进行加法运算。即，加法部922进行生成重构图像的图像重构处[0230]熵编码部909将从量化部902输出的量化值和由参数导出部910导出的参数编码，[0235]如图13所示，摄像出的图像也可以因在图像的摄像中使用的透镜的特性而畸可以将图像修正处理用的映射表对修正后的图像内的全部预先定义的这些算法中的1个。例如，在能够应用修正算法的方向有2个以上的情况下(例[0238]被解读出的参数也可以还包括与接合处理有关的1个以上的参数。如图14及图15[0239]作为关于接合处理记述的参数的其他例子，包括确定接合的图像的布局的参解码工具是与上述的运动图像编码工具或自适应运动图像编码工具相同或对应于它的工性地处理的情况下、或确定为图像被从1个以上的图像接合的情况下进行自适应帧间预测近的图像块也可以具有1/8像素精度以内的较高的运动矢量精度。在自适应运动矢量精度性地处理的情况下、或确定为图像被从2个以上的图像接合的情况下进行自适应帧间预测S2002中，将这些确定的区域内的像素在运动补偿处理中用图像的其他的不是空白区域的置为了基于填充处理后的值生成预测样本的块而进行性地处理的情况下、或确定为图像被从2个以上的图像接合的情况下进行自适应图像重构处理的流程图。如图19所示，解码装置基于从头解读出的参数，将图像内的位置在步骤地处理的情况下、或确定为图像被从1个以上的图像接合的情况下进行自适应图像重构处视点5的图像及来自视点2的图像也解码。这些图像在当前时刻没有被向观察者或用户显[0258]图22表示相对于用户对于由不同的照相机摄像的不同的视点的视线的角度或头的视线区域内、而是将来自处于更大的今后的视线区域内的(视点2以外的)视点的图像也该得到的值向块存储器1004或帧存储器[0268]说明图26所示的本公开的实施方式3的、对于使用非直线透镜摄像出的图像进行流中上述头的可能的位置。在被写入的参数中，包括与照相机的位置有关的1个以上的参[0279]编码装置1100是为了生成输出比特流而用来按照每个块将输入运动图像编码的1101将减法后的值(即预测误差)变换为频率系数，将得到的频率系数向量化部1102输出。量化部1102将输入的频率系数量化，将得到的量化值向逆量化部1103及熵编码部1109输[0282]加法部1122将从逆变换部1104输出的样本值加到从帧内预测部1107或帧间预测[0283]参数导出部1110与实施方式1同样，根据图像导出与图像的接合处理有关的参数[0286]熵编码部1109将从量化部1102输出的量化值编码，从参数导的参数也可以还包含1个以上的与照相机角度有关的参数、或与对于将多个图像接合的方过将对于对象图像的头解读来决定照相机参数或接合参数。同样，解码装置在步骤S2402[0296]解码装置1200是将被输入的编码运动图像(即输入比特流)按照每个块解码并输得到的像素值向加法部1222输出。加法部1222将其结果得到的像素值加到从帧内预测部1206或帧间预测部1207输出的预测图像的像素值中。加法部1222将通过相加得到的值(即解码图像)向显示器输出，为了进一步的预测，将其得到的值向块存储器1204或帧存储器[0303]说明图31所示的本公开的实施方式4的、对于使用非直线透镜摄像出的图像进行[0308]图32是表示基于被写入的参数进行自适应帧内预测处理的编码装置在步骤S2201中，基于被写入的参数，将图像内的某个位置判定为畸变中心或主[0315]编码装置1300是为了生成输出比特流而用来按照每个块将输入运动图像编码的将减法后的值(即预测误差)变换为频率系数，将其结果得到的频率系数向量化部1302输数导出部1310将所导出的参数向帧内预测部1307、帧间预测部1308及熵编码部1309输出。[0319]加法部1322将从逆变换部1304输出的图像的样本值加到从帧内预测部1307或帧[0322]熵编码部1309将从量化部1302输出的量化值和由参数导出部1310导出的参数编与上述运动图像编码工具或自适应运动图像编码工具相同或对[0328]图32是表示基于解读出的参数进行自适应帧内预测处理的解码装置在步骤S2201中，基于解读出的参数，将图像内的某个位置判定为畸变中心或主步骤S2203中，解码装置对于预测出的样本组，使用判定出的畸变中心或主点进行重叠处[0333]解码装置1400是用来将被输入的编码运动图像(即输入比特流)按照每个块解码[0335]逆量化部1402将通过熵解码得到的值逆量化，将频率系数向逆变换部1403输1406或帧间预测部1407输出的预测图像的像素值中。加法部1422将通过相加得到的值(即解码图像)向显示器输出，为了进一步的预测，将其得到的值向块存储器1404或帧存储器有关本公开的一形态的编码装置及解码装置并不关本公开的一形态的编码装置及解码装置也可以不进行使用这些参数的编码或解码。即，也可以不进行使用上述实施方式的自适应运动图像编码工具及自适应运动图像解码工具[0342]有关本公开的一形态的编码装置1500是相当于实施方式1的编码装置100的装置，部1508不使用由实施方式2～4的参数导出部910、1110及1310分别导出的参数而进行用于畸变被修正后的图像，或者也可以是通过将来自多个视点的图像接合而得到的接合图像。处理中的至少1个处理有关的参数，通过将基于上述图像或上述多个图像的处理对象的图运动图像编码工具，例如能够将作为畸变的图像或接合图像的处理对象的图像适当地编广角透镜摄像的参数、以及与通过广角透镜产生的畸变像差有关的参数中的至少1个写入[0357]此外也可以是，编码处理包括帧间预测处理及帧内预测处理中的一方的预测处过重构的处理对象的图像与上述其他图像的接合得到的图像作为在帧间预测处理中使用[0367]有关本公开的一形态的解码装置1600是相当于实施方式1的部1607不使用比特流中包含的上述参数而进行用畸变被修正后的图像，或者也可以是通过将来自多个视点的图像接合而得到的接合图像。畸变修正的第1处理和将多个图像接合的第2处理中的至少1个处理有关的参数，将该编码像的解码中，也可以通过按照该编码图像中包含的块使基于参数的解码处理适应于该块，以将上述的多个图像中的1个通过编码生成的编码图像解码，将解码后的编码图像使用从[0382]此外，解码处理也可以包括帧间预测处理及帧内预测处该预测处理包括作为进行图像中包含的多个像素的配置或再配置的图像重构处理分别包括用来基于从上述头中解读出的参数将像素值替换为规定的值的处图像与上述其他图像的接合得到的图像作为在帧间预测处理中使用的参照帧保存到存储置既可以为了比特流的解码而将该比特流中包含的图像的畸变修正，也可以不将畸变修能块的各自的处理通常通过处理器等的程序执行部将记录在ROM等的记录介质中的软件[0397]图39是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服[0398]在该内容供给系统ex100中，在因特网ex101上经由因特网服务提供商ex102或通ex114及智能电话ex115等的各设备。该内容供给系统ex100也可以将上述的某些要素组合ex103经由卫星ex116与飞机ex117内的热点务器ex103既可以不经由因特网ex101或因特网服务提供商ex102直接与通信网ex104连接，[0400]照相机ex113是能够进行数字照相机等的静止图像摄影及运动图像摄影的设备。[0401]家电ex118是电冰箱或在家庭用燃料电池同时发热发电(cogeneration)系统中包媒体服务器ex103上，能够进行现场分发等。在现场分发中，终端(计算机ex111、游戏机[0403]另一方面，流媒体服务器ex103将对于有请求的客户端发送的内容数据进行流分或记录而分发的结构。例如，流媒体服务器ex103也可以由CDN(ContentsDelivery次的循环中进行维持画质而使编码效率改善的处理。例如，通过终端进行第1次的编码处端进行的第一次的已编码数据由其他终端接收并再现，所以也能够进行更灵活的实时分测的精度及效率改善特别有效。此外，也可以由终端进行VLC(可变长编码)等的简单的编[0410]此外，服务器也可以进行将影像数据的编码方式变更的转码后将影像数据分[0413]近年来，将由相互大致同步的多个照相机ex113及/或智能电话ex115等的终端摄影的不同场景、或将相同场景以不同的角度摄影的图像或影像合并而利用的情况正在增景但从不同的角度摄影的影像，生成该场景的三维形状。另外，服务器也可以将由点云(pointcloud)等生成的三维的数据另外编码，也可以基于使用三维数据将人物或对象识容相同而品质不同的多个流，但也可以是如图示那样利用通过分层进行编码而实现的时率的内容和高分辨率的内容。例如在想要将在移动中用智能电话ex115视听的影像接着在回家后用因特网TV等的设备视听的情况下，该设备只要将相同的流解码到不同的层就可等)和影像内的位置(同一图像中的坐标位置等)作为元信息保存，解码侧能够基于元信息[0426]图42是表示计算机ex111等中的web页的显示画面例的图。图43是表示智能电话在构成web页的HTML中有表示是分级的内容的信息，则显示装置也可以解码到扩展层。此示装置也可以将图片的参照关系强行地忽视而将全部的B图片及P图片设为前方参照而较取得的运动图像数据发送。此时的运动图像数据是用智能电话ex115具有的LSIex500编码统中组装上述各实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码化装智能电话ex115具有用来在与基站ex110之间收发电波的天线ex450、能够拍摄影像及静止[0443]此外，综合控制显示部ex458及操作部ex466等的主控制部ex460、与电源电路部[0444]电源电路部ex461如果通过用户的操作使电源键成为开启状态，则通过从电池组据通信等的处理。在通话时，将由声音输入部ex456集音的声音信号通过声音信号处理部放大而实施频率变换处理及模拟数字变换处理，由调制/解调部ex452进行波谱逆扩散处影像信号或从照相机部ex465输入的影像信号通过在上述各实施方式中表示的运动图像编ex454将在由照相机部ex465摄像影像、静止图像等的过程中由声音输入部ex456集音的声影像数据和已编码声音数据以规定的方式复用，由调制/解调部(调制/解调电路部)ex452[0446]在接收到添附有影像及或声音的电子邮件、或链接在网为了将经由天线ex450接收到的复用数据解码，复用/分离部ex453通过将复用数据分离而将复用数据分为影像数据的比特流和声音数据的比特流，经由同步总线ex470将编码后的给。影像信号处理部ex455通过用与在上述各实施方式中表示的运动图像编码方法对应的AdaptiveOffset)及变换/量化的处理不是由CPU而是由GPU以图片等的单位一起进行，则相机或数字摄像机等的、将图像编码的编码装置或将编码的图像解码的解码装置等中使