CN116248864B 利用包含追加区域的分割单位的影像解码方法以及装置 （汉阳大学校产学协力团）

201880045023.02018.07.03KR20160143586A,2016.12.14利用包含追加区域的分割单位的影像解码本发明公开一种利用包含追加区域的分割从所接收到的比特流(bitstream)获取到的语法2通过参考从所接收到的比特流(bitstream)获取到的分割信息，将所述所接收到的比从多个参考样本层导出所述当前区块的参考基于所述参考样本和所述画面内预测模式生成所述当前其中，所述分割信息包括宽度信息和高度信息，所述宽其中，所述当前区块的所述参考样本层的每个与所述当前区块的边界具有不同的距使用与所述当前区块的所述边界具有最短距离的所述参考样本层来从多个参考样本层中确定所述当前区块的参考基于所述参考样本和所述画面内预测模式生成所述当前其中，所述分割信息包括宽度信息和高度信息，所述宽其中，所述当前区块的所述参考样本层的每个与所述当前区块的边界具有不同的距使用与所述当前区块的所述边界具有最短距离的所述参考样本层来从多个参考样本层中确定所述当前区块的参考3基于所述参考样本和所述画面内预测模式生成所述当前其中，所述分割信息包括宽度信息和高度信息，所述宽其中，所述当前区块的所述参考样本层的每个与所述当前区块的边界具有不同的距4[0001]本申请为2018年07月03日递交的申请号为2018800450230，发明名称为利用包含域并在进行编码时同时参考追加区域中的影像数据而提升编(Channel)带宽(Bandwidth)的发展速度仍然需要一种能够对急剧增加的多媒体数据的量PictureExpertGroup)和国际电联电信标准化部门(ITU_T)的视频编码专家组(VCEG，VideoCodingExpertGroup)正在通过坚持不懈的合作研究而致力于开发出更加高效的[0006]此外，基于现有的影像编码/解码方法的画面内预测是利用与当前区块最相邻的5收到的比特流(bitstream)获取到的语法元素(SyntaxElement)，将上述比特流中所包含过比特流对是否支持自适应的参考像素滤波方法进行[0023]当采用如上所述的适用本发明的利用包含追加区域的分割单位的影像解码方法[0024]当采用如上所述的适用本发明的支持多个参考像素层级的影像解码方法以及装6[0036]图10是将在适用本发明的一实施例中生成的追加区域在其他区域的编码/解码过[0037]图11至图12是用于对适用本发明之一实施例的分割单位的编码/解码方法进行说[0039]图14a至图14e是用于对适用本发明之一实施例的分割单位中的追加区域的参考[0040]图15是对包含于当前影像的分割单位的区块以及包含于其他影像的分割单位的[0043]图18是对适用本发明之一实施例的画面内预测中所使用的参考像素构成进行图[0044]图19a至图19c是对适用本发明之一实施例的参考像素构成进行图示的第2例示[0047]图22a至图22b是对在不可使用的参考候选区块中向预先设定的位置填充参考像[0048]图23a至图23c是对在按照适用本发明的一实施例构成的参考像素中以小数像素[0049]图24a至图24b是用于对适用本发明之一实施例的自适应参考像素滤波方法进行[0050]图25是用于对适用本发明之一实施例的自适应参考像素滤波方法进行说明的第2[0051]图26a至图26b是对适用本发明之一实施例的在参考像素滤波中利用一个参考像[0052]图27是对适用本发明之一实施例的在参考像素滤波中利用多个参考像素层级的[0053]图28是用于对适用本发明之一实施例的画面内预测模式的编码/解码方法进行说[0054]图29是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第1例示[0055]图30是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第2例示[0056]图31是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第3例示7[0057]图32是对适用本发明之一实施例的支持多个参考像素层级的影像解码方法进行在词典中做出定义的术语等应解释为与在相关技术的上下文中所具有的含义一致的含义，像组(GOP，GroupOfPictures)为单位进行划分，各个静止影像能够被称之为图像下自行编码/解码的图像，而P图像以及B图像能够是指通过使用参考图像执行如运动预测(MotionEstimation)以及运动补偿(MotionCompensation)等过程而进行编码/解码的图[0064]其中，将在编码/解码过程中作为参考的图像称之为参考图像(ReferencePicture)，并将作为参考的区块或像素称之为参考区块(ReferenceBlock)、参考像素8素值之外还能够是频率域(FrequencyDomain)的系数值、在编码/解码过程中生成以及确带、并行区块、区块等单位水准上确定，且能够以如视频参数集(VPS，VideoParameter收录到比特流中并被传送到解码器中，而在解码器中能够在相同水准的单位上进行解析(Parsing)并在对从编码器传送过来的设定信息进行解码之后在影像解码过程中进行使级参数集能够从一个以上的上级参数集中对具有一致编号值的上级参数集的信息进行参单位能够被称之为上级单位而被包含的单位能够被9多媒体播放器(PMP，PortableMultimediaPlayer)、便携式游戏站(PSP，PlayStationPortable)、无线通信终端(WirelessCommunicationTerminal)、智能手机(Smart括配备有用于与各种设备或有线无线通信网络执行通信的如通信调制解调器等通信装置、为了对影像进行编码或解码而对用于执行帧间或帧内预测的各种应用程序和数据进行存储的存储器(memory)120、125、用于通过执行应用程序而进行运算以及控制的处理器口传送到影像解码装置100并在影像解码装置100中得到解码而重建成影像之后进行播放。此外，通过影像编码装置105编码成比特流的影像还能够通过计算机可读取的存储介质从[0073]适用本实施例的影像解码装置20如图2所示，能够包括预测部200、减法运算部[0074]预测部200能够包括用于执行画面内预测的画面内预测部以及用于执行画面间预面内预测或画面间预测中的哪一种方式之后，非定向2个)或67个预测模式(定向65个+非定向2个)、131个预测模式(定向129个+非定向2个)等多种后选中的某一个作为候选组进行使[0077]画面内预测部的参考像素滤波部能够以减少通过编码过程残留的失真为目的对[0078]画面内预测部的参考像素插值部能够根据预测模式通过参考像素的线性插值过用的插值滤波器能够包括4抽头(4一tap)三次(Cubic)滤波器、4头筹(4一tap)高斯[0079]画面内预测部的预测模式确定部能够在考虑到编码成本的前提下从预测模式候选组中选定最佳的预测模式，而预测区块生成部能够使用相应的预测模式生成预测区块。照预测值合适的情况以及不合适的情况自适应地对预测信息进[0080]在画面内预测部中将上述预测值称之为最有可能模式(MPM，MostProbableMode)，能够从包含于预测模式候选组的所有模式中选择一部分模式构成最有可能模式(MPM)候选组。最有可能模式(MPM)候选组中，能够包括预先设定的预测模式(例如均值根据上述优先顺序对包含于最有可能模式(MPM)候选组中的顺序进行确定，而且能够在按照上述优先顺序填满最有可能模式(MPM)候选组的数量(根据预测模式候选组的数量进行[0085]在画面间预测部中，能够根据运动预测方法分为移动运动模型和非移动运动模能够按照上述运动模型在共同适用后续说明的一部分过程的同时个别适用其他一部分过基于离散余弦变换(DCT)的插值滤波器，并对色差成分适用4抽头(4_tap)的基于离散余弦较高的区块的过程，能够使用如全搜索区块匹配算法(FBMA，Fullsearch_basedBlock的过程，运动信息能够通过如跳过模式(SkipMode)、合并模式(MergeMode)、竞争模式[0091]用于当前区块的运动信息预测值的候选组根据运动信息编码模式自适应且能够的运动信息能够被包含于候选组中，而且在时间块等)的运动信息也能够被包含于候选组中，此外空间性候选与时间性候选的混合运动信息(例如通过在空间上相邻的区块的运动信息和在时间上相邻的区块的运动信息以平均、中央值等获取的信息、能够以当前区块或当前区块的子区块单位获取运动信息)等也能够够是在执行对左区块中的某一个位置(例如左区块的最下侧区块)的有效性检查之后跳转到上区块，或者其顺序能够是在执行对多个位置(法运算部205通过对需要进行编码的当前区块的各个像素的像素值与通过预测部生成的预测区块的各个像素的预测像素值之间的差异进行计算而生成区块形态的残差信号即残差[0097]变换部210通过将残差区块变换成频率区域而将残差区块的各个像素值变换成频于卡洛南洛伊变换的变换(KLTBasedTransform)等用于将空间轴的像素信号变换成频测模式为垂直时，能够在水平方向上使用基于离散余弦变换(DCT)的变换矩阵并在垂直方[0098]量化部215对通过变换部210变换成频率区域的包含频率系数的残差区块进行量化。其中，量化部215能够使用如死区均匀阈值量化(DeadZoneUniformThresholdQuantization)、量化加权矩阵(QuantizationWeightedMatrix)或对其进行改良的量化[0099]熵编码部245通过利用多种扫描方式对所生成的量化频率系数列进行扫描而生成通过对量化频率系数列进行逆量化而生成包含频率系数的部225通过对经过逆量化的残差区块的频率系数进行逆变换而生成包含像素值的残差区块[0102]加法运算部230能够通过对在预测部200中预测的预测区块与通过逆变换部225重(或参考区块)被存储到编码图像缓冲区240中，从而能够在对当前区块的下一个区块或后[0103]滤波部235能够包括去块滤波器、样本自适应偏移(SAO，SampleAdaptive适应环路滤波器(ALF)能够在通过去块滤波器对区块进行滤波之后再以对经过重建的影像与原始影像进行比较的值为基础执行滤波。样本自适应偏移(SAO)能够对已经适用去块滤[0104]滤波部中的去块滤波部能够将以区块边界为基准包含于两个区块上的几个列或[0106]滤波部中的样本自适应偏移(SAO)能够以经过重建的影像与原始影像之间的差异合适的情况以及不合适的情况自适应地对相关信息进的分割单位上或在本发明中后续说明的不可参考码图像缓冲区240中的重建区块或图像，能够被提供到用于执行画面内预测或画面间预测[0113]熵解码部305能够通过对比特流进行解码而对包含经过量化的系数以及从各个构[0116]逆量化部315能够对从比特流提供并通过熵解码部305进行解码的经过量化的变[0119]经过逆量化以及逆变换过程的残差区块能够通过与在预测部310中推导出的预测像分割部以及区块分割部。分割部是与在图2中所图示的影像解码装置中相同或相应的构[0124]图4a对将360度影像投影到2维平面的等距柱状投影(ERP，Equi_RectangularProjection)格式进行了图示。图4b对将360度影像投影到正方体的立方体投影(CMP，CubeMapProjection)格式进行了图示。图4c对将360度影像投影到八面体的八面体投影多样化的投影格式。例如，还能够使用如截头方形金字塔投影(TSP，TruncatedSquare投影到2维的表面数量能够是1个(例如等距柱状投影(EquirectangularProjection)，即影像与一个表面等同的情况)至2个以上(例如立方体投影(CubeMao配置能够以维持3维空间上的影像连续性的方式进行配置，也能够以即使破坏一部分相邻[0130]参阅图5a，能够对立方体投影(CMP)格式相关的表面配置(layout)的实例进行确右侧图像所示的即使破坏一部分相邻表面之间的影像连续性也在2维平面上无缝配置表面照如上端图像所示的维持3维空间上的影像连续性的方式进行配置，也能够按照如下端图将表面配置变更为其他表面配置的过程将被称之为在2维投影空间上的实际影像或场景的连续性。有连续性也能够表达为区域之间的相关性一开始就设定特定的表面配置的过程。(能够在360度影像编码/解码过程的区域式打包的位置、表面的旋转角度等)和/或表面重新配置信息(用于指示各个表面的位置或移动角生成表面配置信息和/或表面重新配置信息并由解码器从编码器接收如上所述的信息并进[0139]接下来在没有单独进行说明的情况下所指的表面是以图5a中的3×2配置[0144]图2或图3中的影像编码/解码装置还能够包括分割部，而分割部能够包括图像分割部以及区块分割部。图像分割部能够将图像分割成至少一个处理单位{例如色彩空间[0145]基本编码单位能够通过将图像沿着水平方向或垂直方向以一定的长度间隔进行基本编码单位能够被设定为与图像单位的基本编码单位以及其他分割单位的基本编码单[0148]上述区块的大小或形态能够是水平或垂直长度以2的指数幂(2n)表示的N×N正方的输入影像分割成256×256大小，将1080p的高清晰度(HD)级别的输入影像分割成128×收用于执行编码/解码的设定信息，而子图像能够从各个子图像的头信息直接获取用于执而获得的单位，并不是对数据进行传送的单位{例如视频编码层(VCL，VideoCoding[0152]在上述实例中，还能够变更为在子图像的上级单位进行编码/解码设定并以并行既能够独立进行设定也能够依赖于上级单位进够将水平以及垂直长度分别表示为8以及4(在本实例中相应分割单位的基本编码单位为M行区块进行说明，但与并行区块相关的说明能够相[0157]在上述内容中提及的分割单位中的一部分并不要求必须包含，能够根据编码/解码设定选择性地包含全部或其中的一部分，还能能够根据色彩格式由多个编码区块构成(例如一个亮度编码区块以及两个色差编码区块[0159]虽然在本发明中是假定通过分割方式获取到相同的大小以及形态的多个子区块(对称)的情况为例进行说明，但是同样能够适用于包时分割区块之间的水平比例<垂直相同>为1:3或3:1或垂直比例<水平相同>为1:3或3:1等、三叉树分割时分割区块之间的水平比例<垂直相同>为1:2:1或垂直比例<水平相同>为1:2:编码区块的编码将根据分割方式在分割深度为k+1的4个子编码区块(四叉树分割)或2个子[0161]上述子编码区块将重新设定为编码区块k+1且能够通过上述过程被再次分割成子分割中支持一个以上的分割比例(例如支持水平或垂直比例为1:1之外的追加分割比例即达到最大分割深度之前递归性地执行分割。此时，能够根据编码/解码设定(例如影像<条围内执行，而二叉树分割能够在16×16～64×64的范围以及最大分割深度为3的范围内执四叉树分割能够在8×8～128×128的范围内执行，而二叉树分割以及三叉树分割能够在4度等分割设定能够根据分割方式以及如上所述的编码/解码设定采用通用二叉树分割与三叉树分割中需要执行的分割将通过较早执行的分割而分割出的子编码区块再次设定为编码区块之后继续执行分表示执行分割时，能够在将所分割出的子编码区块再次设定为编码区块之后继续执行分的分割的结果表示执行分割且在将所分割出的子编码区块再次设定为编码区块时仍然支码区块，接下来能够在将上述子编码区块再次设定为编够是指不执行对预测区块的分割，而是利用通过编码区块的分割而获得的大小执行预测。够获取到与编码区块相同大小的一个预测区块并以编码区块为基础获取到至少一个变换[0180]通过上述结果获取到的各种大小的正方形或长方形形态的区块能够是在画面内[0181]通过利用图像分割部对图像进行分割而获取到的分割单位，能够根据编码/解码设定执行独立性的编码/解码或依赖性的编[0182]独立性的编码/解码能够是指在对一部分分割单位(或区域)执行编码/解码时无的过程中所使用或生成的信息{例如像素值或编码/解码信息(画面内预测相关信息、画面间预测相关信息以及熵编码/解码相关信息等)}将不会相互参考而独立性地进行编码，同样在解码器中对一部分单位进行纹理解码以及熵解码的过程中也不会对其他单位的解析分单位进行纹理解码以及熵解码的过程中也能够对其他单位的解析信息以及重建信息进分割成多个表面并配置到2维空间上时，可能会根据表面配置设定而导致与相邻表面的相如，即使是在将360度影像分割成表面单位的情况下也可能根据表面配置设定而发生与相[0186]此外，在本发明中独立性或依赖性的编码/解码不仅能够限定于空间区域进行适其他分割单位执行独立性或依赖性的编码/解码，还能够对于当前分割单位存在于不同时上有分割单位存在也假定为其他分割单位)执行独立性或依赖的视线聚焦的区域<视口，Viewport>或希望显示的区域等)的区域中对以较高画质传送的比特流A进行解析和解码，而在关注区域外则对以普通画质传送的比特流B进行解析和解实例中假定表面是利用与并行区块或子图像相同的方式进行数据处理)的情况下，能够对A)以及包含于关注区域外的分割单位的数据(比特流B)进地对各个比特流进行解码而获得整体或一部分影像。在上述实例中以360度影像的情况为[0191]在按照如上所述的实例执行编码/解码时，因为无法了解在解码器中将对那些数据进行重建(在本实例中解码器并不了解关注区域的位置，是根据关注区域随机存取许参考与当前分割单位对应的其他时间的相同位置上的分割单位并禁止参考除此之外的分割单位进行捆绑而获得多个分割单位)对执行哪种类型的解码(例如在这种情况下只要分割单位中的任意一个包含于关注区域则对多个单位进行解码)进行确定时，当前分割单位能够在空间区域上执行独立性或依赖性解码并在时如除了允许参考与当前分割单位对应的其他时间的相同位置上的分割单位之外还允许参位中的数据的分割单位有更多的数据可供参考，因此其编码/解码效率也将得到提升。此增强信息(SEI，SupplementEnhancementInformation)或元数据(Metadata)等形态将相[0198]当通过图像分割部将影像分割成两个以上的分割单位(或区域)并对各个分割单分割单位可参考的数据减少而导致编码性能下降的问题发生。为了解决如上所述的问题，能够通过分割单位(在本实例中将以并行区同或类似的设定进行适用)之间的依赖性的编码/在各个分割单位的外廓上形成扩展区域并在扩展区域中填充需要进行参考的其他分割单[0200]虽然如上所述的方法除了在对各个分割单位进行扩展之后再执行编码/解码之外与执行独立性的编码/解码的方式没有其他差异，但是因为现有的分割单位会事先从其他分割单位获取需要参考的数据并进行参考，因此能够理解为是依赖性编码/解码的一个实[0201]此外，在执行编码/解码之后能够以分割单位之间的边界为基准使用多个分割单[0202]在后续说明的实例中，将以通过执行编码/解码前处理过程(在本实例中为扩展)[0203]在适用本发明的一实施例中，能够对与当前并行区块相关的追加区域进行设具体来讲，能够以至少一个并行区块(在本实例割成两个以上的单位，但假定在没有被分割的情况下也被识别为是一个分割单位)为基准[0204]例如，能够对当前并行区块的上/下/左/右等方向中的至少一个方向设定追加区[0205]此外，追加区域能够利用当前并行区块之外的其他并行区块的影像数据进行填在上/下/左/右中的特定方向上与当前并行区块相邻的并行区块中的影能够在分割单位的所有边界方向上均扩展m或根据边界方向扩展mi(i为各方向索引)。m或中为独立地适用于影像内的个别分割单位的设定信息)、在整体影像上对追加区域进行填中所图示的各个并行区块设定适用本发明之一实施例的追加区域的结果如图8a至图8i所域)进行参考，且能够将位于左下的区块的数据作为追[0216]通过上述的实施例包含到追加区域中的数据能够被包含到当前并行区块中执行为追加区域而被更新或扩展的并行区块)上，因此在编码过程中同样可能会因为没有可供为当360度影像采用等距柱状(Equirectangular)投影时2维影像是由一个表面构成，因此在并行区块的外部边界方向中的全部或一部分设定追加第6号并行区块获取的影像数据，右上扩展区域能够是从第2号并行区块获取的影像数据，右下扩展区域能够是从第9号并行区块获取的影像的上侧边界图像的下侧边界在实际影像上具有连续性时，第0号并行区块的左侧方向边界与第2号并行区块的右侧边界具有连续性，且第0号并行区块的上侧方向边界与第6号并间上并不相邻，但是在2维影像(或图像)内仍然能够有在实际影像上具有连续性的区块存[0222]下述表1是用于从具有连续性的其他区域获取与追加区域对应的数据的伪式进行分割。当需要向并行区块4的下侧设定m大小的追加区域并利用并行区块7的上端部上述公式中的min以及max分别为0以及47，因此31～34的输出值将为其自身值即31～34。连续性)的水平长度范围为0～95且图像是按照如图7所示的方式进行分割。当需要向并行区块3的左侧设定m大小的追加区域并利用并行区块5的右侧数据填充追加区域时，能够通[0235]当并行区块3的垂直长度范围为0～31且需要向左侧设定4大小的追加区域时，能需要填充到追加区域中的数据为92～95位置上两端具有连续性的情况之外)而且以在图像内的空间上相邻的区域相互具有连续性作为前上具有连续性的位置数据进行确认并生成追加[0239]下述表2是利用特定分割单位的内部数据生成与上述特定分割单位相关的追加区表2，与特定分割单位相关的追加区域能够通过对相应分割单位的外廓像素进行复制而生考虑到表面的配置(或重新配置)以及表面之间的坐标系统特性的情况下变更适用重叠方[0252]图10是将在适用本发明的一实施例中生成的追加区域在其他区域的编码/解码过[0253]此外，因为适用本发明之一实施例的追加区域是利用其它区域中的影像数据生在对所生成的区域B进行去除之前，可以将区域B应用到包含于分割单位I的区域A的编码/[0255]具体来讲，在假定分割单位I与分割单位J分别是图7中的第0号并行区块以及第1对分割单位I进行重建时，与区域A对应的部分能够利用经过重建的区域A的影像数据以及个区域的数据(在附图中将此时的过程命名为Rec_Process)获得经过重建的影像(区域C，区域A和区域B进行替代。具体来讲，因为区域C中包含于左侧的一定范围(例如M个像素间因为区域C中包含于右侧的一定范围(例如N个像素间隔)的影像数据更接近于分割单位J，因此能够利用(或复制)区域B中的数据进行重建。将其表达为公式的结果如下述公式1所度以及需要进行补正的像素值的x坐标之间的距离差异为基础区域以及B区域的加权值平均，向A区域的像素乘以加权值w并向B区域的像素乘以1_w。但的大小重新调整(Resing)过程中进行去除并被存储到存储器(解码图像缓冲区，DPB，decodedpicturebuffer)中(在本实例中假定设定追加区域的过程为大小调整<Sizing>，上述过程能够通过上述的一部分实施例进行推导<例如通过追加区域标志确认、接下来的而相反在大小重新调整过程<能够通过上述过程的逆向过程进行推导>中执行变小的过[0267]此外，(具体来讲是在相应影像的编码/解码结束之后立即)也能够不执行大小重[0268]上述相关设定信息能够根据编码/解码设定默示或明示地进行处理，在采用默示执行编码的步骤；3)以用于指示并行区块边界的环路滤波容许与否的信息执行滤波的步为基础分割成一个以上的并行区块的步骤；2)按照所分割的并行区块单位执行解码的步滤波或在遵守上述的滤波适用与否的同时适用于并[0278]此外，还能够考虑在编码/解码过程中使用分割单位的追加区域之后不进行去除编码的步骤；4)对并行区块单位的追加区域进行存储的步骤(此时能够省略环路滤波的适是指根据360度影像的表面配置设定具有相关性的其他区域，因此能够是与当前并行区块为各个经过更新的并行区块的边界会因为追加区域而不对实际的并行区块边界进行共享。[0283]接下来，将结合附图对如上所述的适用本发明之一实施例的分割单位的编码/解[0284]图11至图12是用于对适用本发明之一实施例的分割单位的编码/解码方法进行说11中对包含追加区域的编码方法进行了图示而在图12中对去除追加区域的解码方法进行接下来根据编码设定或是否支持追加区域为分设定信息而将需要进行解码的影像分割成两个以上的接收到的比特流获取到的解码设定为各个分割单位过对包含于比特流中的影像数据进行解码而获得包含追来通过删除追加区域而生成经过重建的图像(步骤区块的)如loop_filter_across_enabled_flag等(具体来讲是初始状态的)分割单位边界生成追加区域之后，已生成追加区域的分割单位之间的边界上的影像连续性可能会消失。没有影像连续性。当对如上所述的没有影像连续性的分割单位之间的边界执行环路滤波[0295]上述实例是假定追加区域在各个分割单位的各个方向上受到支持的情况为例进位边界的全部或一部分中自适应地确定上述适用。[0296]上述相关设定信息能够根据编码/解码设定默示或明示地进行处理，在采用默示[0297]接下来，将对分割单位以及追加区域的可参考与否的确定方法进行详细的说[0298]适用本发明之一实施例的追加区域，能够在当前影像或其他影像的编码/解码过当前影像的编码/解码过程中进行参考或限制参考。此外，存储到存储器中之后的追加区域，除了当前影像之外还能够在时间上不同的影像的编码/解码过程中进行参考或限制参[0299]换言之，能够根据编码/解码设定对上述追加区域的参考可能性以及范围等进行[0300]上述与追加区域的参考可能性相关的设定信息能够根据编码/解码设定默示或明编码/解码设定<在本实例中为与追加区域相关的设定>)能够在不生成相关语法元素的情过图像分割部获得的单位的一般性质相关的实例，还能够对与其相关的追加性质进行定码设定不同的环境下对同一个影像进行编码的多个比特流进行传送且在解码器中选择性行解码)的比特流时，因为需要在同一个空间以及不同的空间上对各个分割单位之间的参考可能性进行限制，因此能够以只允许对不同影像中的同一区域进行参考的方式执行编[0305]上述相关设定信息能够根据编码/解码设定默示或明示地进行处理，在采用默示[0306]图13a至图13g是用于对特定的分割单位可参考的区域进行说明的例示图。在图有如位置上的限制以及只允许在相同图像内进行参考等限制的情况下允许对包含于其他块中的一部分区块C3能够通过执行无方向画面间预测而获得参考内进行参考等限制的情况下允许对包含于其他影像中的其他位置上的区块进行参考的实能够是仅允许对与包含当前区块的并行区块处于相同位置能够是在比特流中包含有用于指示当前分割单位可参考的并行P4。一部分并行区块中的一部分区块C1能够通过执行双方向画面间预测而获得参考区块够与当前区块相同或类似且能够具有与当前区块(具体来讲是在图像单位或分割单位上)[0318]图14a至图14e是用于对适用本发明之一实施例的分割单位中的追加区域的参考[0320]参阅图14a，一部分并行区块中的一部分区块C0能够通过执行单方向画面间预测[0323]一部分区块C2能够从一部分参考图像(在本实例中为t)的初始并行区块区域获得[0326]一部分区块C2无法从一部分参考图像(在本实例中为t)的初始并行区块区域获得参考区块FC0，但是能够从经过更新的并行区块区域获得参考区块FC1(在对一部分追加区[0327]一部分区块C2能够从一部分参考图像(在本实例中为t)的一部分并行区块区域获[0329]一部分区块C0能够从一部分参考图像t_1的初始并行区块区域(第0号并行区块)[0330]一部分区块C0能够从一部分参考图像t+1的初始并行区块区域(第0号并行区块)[0331]参阅图14e，图像被分割成两个以上的并行区块单位并设定了具有至少一个大小割单位是否能够对包含在当前图像内空间上相邻或与当前图像在时间上相邻的区块的分通过如图13a至图14e所示的方法确认包含当前区块的分割单位是否能够对包含相邻区块[0336]图15是对包含于当前影像的分割单位的区块以及包含于其他影像的分割单位的picture)时间上相邻的影像(Differentpicture)内位于与当前区块相同或相应位置上的[0340]当当前区块为S时，在时间上相邻的影像内与当前区块的位置相同位置的周边区中的一部分区块能够进行参考而剩余的区块能够限制参考。[0342]例如，当画面内预测中的当前区块为G、左上去快的参考受限且最有可能模式相邻的候选或空闲性候选与时间性候选的混合候选等顺序执行有效性检查而构成候选组，[0346]其中，至少一个处理器210能够是指中央处理装(centralprocessingunit，分的预测模式中或将从相应的模式推导出的模式包含到预测模与当前区块对应的亮度成分的重建区块生成当前模式候选组(A候选组)执行画面内预测的情况[0356]图18是对适用本发明之一实施例的画面内预测中所使用的参考像素构成进行图像素之后根据通过从影像编码装置接收到的语法元素(SyntaxElement)获取到的预测模在采用栅格形或之字形扫描执行编码/解码时所选定的区块，而在变更扫描顺序时包含于与当前区块对应的区块能够是指与当前区块具有相同的位置坐标或根据色彩成分构成比[0363]换言之，当前区块的相邻区域能够是用于当前区块的画面内预测的参考像素位前区块之前已经完成编码/解码的区域或在已经完成编码/解码的区域的探索范围(例如包括当前区块的左侧或右侧或左上或右上等)内所包含的区域作为参当前区块最相邻的像素ref_0{与当前区块的边界像素的像素值差异为1[0367]其中，通常在执行画面内预测时所参考的参考像素集合包含于与当前区块的左更大的值，参考像素层级的数量以及基于可参考的相邻区块位置的参考像素集合的数量各个参考像素层级中适用加权值合的像素既能够是整数单位像素，也能够是小数单位像条带、并行区块等单位上生成容许自适应的参考像素构成的指示信息(在本实例中为adaptive_intra_ref_sa[0373]当上述指示信息代表容许自适应的参考像素构成(在本示例中为adaptive_[0374]当上述构成信息代表自适应的参考像素构成(在本示例中为adaptive_intra_够在排除预先设定的信息(例如参考像素层级被预先设定为ref_0的情况)之后构成(例如以及当前区块与相邻区块的编码/解码信息组合等对画面内预测设定(在本实例中为参考[0378]图19a至图19c是对适用本发明之一实施例的参考像素构成进行图示的第2例示定向预测模式(从附图中的右上侧到左下侧的方向或其相反方向)执行画面内预测的实例其中所使用的参考像素层级相关的设定信息并[0384]当将附图编号a的区块作为需要执行画面内预测的当前区块时，能够利用最相邻平边界面相邻的参考像素层级设定为2个并将与当前区块的垂直边界面相邻的参考像素层级设定为1个的情况进行确认。与当前区块中长度较短的垂直侧边界面相邻的像素可能会因为与当前区块中所包含的像素之间的距离通常相对较远(因为水平长度较大)而导致准的区块中所包含的像素作为参考像素使用的定向模式能够使用两个以上的参考像素层级，所接收到的信息为基础判断是否需要接收用于选定参考像候选区块的参考进行限制的标志(例如constrained_intra_信环境在内的各种外部因素而导致错误时也能够有效地执行编码/解码，能够在参考候选区块是通过对与当前区块在时间上不同的影像进图像类型中的constrained_intra_pred_flag＝0时)，能够将参考候选区块中的所有像素像类型中的constrained_intra_pred_flag＝1时)，能够根据参考候选区块是通过画面内够对相应的参考候选区块进行参考，而当参考候选区块是通过画面间预测(Interprediction)进行编码时，能够根据上述标志是否被活性化而对相应参考候选区块的可参位置且已经完成编码/解码的区块(＝参考候选区块)的编码模式对可参考与否进行确定。这能够是与根据色彩空间独立性地确定编码模式的情况对应[0407]在不可使用的参考候选区块中向预先设定的位置填充参考像素的方法如下所方向能够遵循预先设定的一个方向或根据不可使用的区块的位置自适应[0409]图22a至图22b是对在不可使用的参考候选区块中向预先设定的位置填充参考像[0410]参阅图22a，可以对在由一个参考像素层级构成的参考像素中对不可使用的参考素(表示为<1>)能够通过对与当前区块的上端相块时，与左侧相邻的相邻区块中所包含的参考像素左上端相邻的相邻区块(对应于可使用的区块)中所包含的参考像素进行逆时针方向的外在相邻区块中所包含的参考像素的一部分不可使用而非全部不可使用的情况下也能够进[0413]参阅图22b，可以对在由多个参考像素层级构成的参考像素中的一部分参考像素右上端相邻的相邻区块为不可使用的参考候选区块时，包含于相应的相邻区块的3个参考像素层级中所包含的像素(表示为<1>)能够利用与当前区块的上端相邻的相邻区块(对应于可使用的区块)中所包含的像素沿着顺时针将与当前区块的上端相邻的相邻区块中所包含的3个参考像素层级中的参考像素(表示为<最远离的参考像素层级ref_2中所包含的像素，能够利用包含于相同的参考像素层级且可过2次线性内插等方法填充到不可使用的参[0416]上述实例是当多个参考像素层级由参考像素构成且一部分参考候选区块不可使区块不可用或所有的参考候选区块不可用的情况等)设定为不容许自适应的参考像素构成波时解决因为适用于参考像素中的滤波次数的增加而导致的参考像素发生失真的情况而[0422]插值能够从较低精确度至较高精确度(例如也能够一次性执行。前一种情况是指以整数单前拟插值的像素更低的精确度完成插值的像素)为基础执行插值，而后一种情况是指以整[0423]当使用多个滤波器候选组中的一个时，能够明示生成或模式确定滤波器选择信数单位的参考像素以及1/4以上单位的已插值的参考像素适用4抽头(4_tap)高斯滤波器，的已插值的参考像素适用2抽托(2_ta及16×16以上的区块适用6抽头(6_tap)维纳滤波器，对不足16×16的区块适用4抽头(4_[0427]此外，多个滤波器候选组在一部分编码/解码设定中能够由4抽头(4_tap)三次滤[0428]图23a至图23c是对在按照适用本发明的一实施例构成的参考像素中以小数像素行滤波(插值过程，函数int_func_1D)而分别获得插值对象像素(xj的位置)以及包含于其他参考像素层级且与插值对象像素对应的位[0431]在上述实例中，对能够在各个参考像素层级上通过滤波获得1次插值像素并通过以1次插值像素为对象执行追加滤波而获得最终差值像素的情况进行了说明，但是也能够[0432]在图23b中所支持的3个参考像素层级中，实际作为参考像素使用的层级能够是(例如不由参考像素构成是指相应参考像素层级中的像素不适用于预测，但是在上述情况下执行插值时会对相应的像素进行参考，因此准确地来讲也能够属于使用的情况)中的其jij)构成输入像素并对相邻像素执行滤波而获得最终插值像[0435]图24a至图24b是用于对适用本发明之一实施例的自适应参考像素滤波方法进行[0436]通常，参考像素滤波部的主要目的能够是通过使用低通滤波器{Low_pass平滑化(Smoothing)，但是也能够根据滤波器适用目的{例如锐化(Sharpening)等}使用其减少在编码/解码过程中生成的失真的情况为中色彩成分C等)的分类(类别0)时能够不适别1)时能够利用滤波器A执行滤波，而当属于根据一部分编码/解码(例如当前区块的父区采用在一部分情况下通过明示设定进行确定而在另一部分情况下通过默示设定进行确定[0444]图25是用于对适用本发明之一实施例的自适应参考像素滤波方法进行说明的第2[0445]参阅图25，能够通过利用编码/解码信息进行确认的影像特性对类别进行分类并够自适应地构成各个参考像素滤波器相关候考像素滤波容许信息、参考像素滤波器信息等)可能会导致不必要的重复信息的生成。例波关闭)适用滤波。解码器能够在接收到画面内预测信息之后按照与编码器相同的方式判条带、并行区块等单位上生成容许自适应的参考像素滤波的指示信息(在本实例中为[0457]当上述指示信息代表容许自适应的参考像素滤波(在本示例中为adaptive_ref_[0458]当上述容许信息代表自适应的参考像素滤波(在本示例中为adaptive_ref_[0460]图26a至图26b是对适用本发明之一实施例的在参考像素滤波中利用一个参考像[0461]参阅图26a，可以确认通过对参考像素层级ref_i中所包含的像素中的对象像素d之间的距离z)成比例的线性插值而获得经过滤波(称之为smt_func_2函数)的像素e*。其左侧区块+上侧区块+左下区块+右上区块构成的区块内位于相邻像素的两侧末端上的像[0464]在图26a至图26b中图示的是为了参考像素滤波而使用与滤波对象参考像素相同[0466]图27是对适用本发明之一实施例的在参考像素滤波中利用多个参考像素层级的邻像素ak至gk执行滤波(定义为函数smt_func_在参考像素层级ref_i上对对象像素di以及相邻像素ai至gi执行滤波(定义为函数smt_[0468]此外，在参考像素层级ref_j上执行参考像素滤波时不仅能够使用相同的参考像kkjjiiikjjjjjjijjji)等遮罩的滤波器。邻区块且与当前区块的边界接近的像素构成。考虑到如上所述的方面，在参考像素层级[0470]此外，在各个参考像素层级中能够以已经适用了1次参考像素滤波的参考像素为[0471]预测区块生成部能够根据至少一个画面内预测模式(能够简单地称之为预测模对参考像素进行外插(Extrapolation)或内插(Interpolation)或平均(DC)复制(Copy)而一个以上的预测像素，所复制的参考像素的数量能够等于或少于被复制的预测像素的数能够在获得多个预测区块之后通过对所获取到的多个预测区块适用加权值合等的方式生SquareDifference)等}以及在预测模式下生成的比特量进行预测的率失真(Rate_Distortion)技法对在编码成本方面的最佳模式进行确定。以通过上述过程确定的预测模式为基础生成的预测区块能够被传送到减法运[0475]编码装置的预测模式编码部能够对通过预测模式确定部选定的最佳的画面内预通过可从周边的其他区块等获取到的预测模式对最佳预测模式进行预测之后对与预测模式相关的预测信息(例如所预测出的预测模式索引佳预测模式的可能性最高的预测模式，能够由预先设定[0477]此外，还能够将从由最有可能模式(MPM)构成的预测模式的集合即最有可能模式向模式中，能够将与最有可能模式(MPM)候选组中所包含的预测模式之间的索引间隔等于[0478]上述实例能够相当于最有可能模式(MPM)候选组由多个模式构成的情况，最有可能模式(MPM)候选组的构成(例如最有可能模式(MPM)中包含的预测模式的数量、构成的优[0479]能够对最有可能模式(MPM)候选组中所包含的预测模式的优先顺序进行设定。能够根据所设定的优先顺序对包含于最有可能模式(MPM)候选组中的预测模式的顺序进行确定，在所添加的预测模式达到预先设定的数量时能够完成最有可能模式(MPM)候选组的构模式的顺序设定优先顺序，接下来能够将包含于最有可能模式(MPM)候选组的预测模式的面(Planar)一左下右上左上(空间相邻区块模式)+1(空间相邻区块模式)1水平垂[0481]在上述实例中，对最有可能模式(MPM)候选组构成的优先顺序固定的情况进行了[0482]在利用最有可能模式(MPM)对当前区块的预测模式执行编码时，能够生成预测模式与最有可能模式(MPM)的一致与否相关的信息(例如most_[0483]当与最有可能模式(MPM最有可能模式(MPM)是由一个预测模式构成时能够不生成追加的最有可能模式(MPM)索引信息，而当由多个预测模式构成时能够生成与最有可能模式(MPM)候选组中的当前区块的成从所支持的画面内预测模式中排除最有可能模式(MPM)候选组之后的剩余预测模式候选模式(nonMPM)索引信息(例如non_mpm_idx)[0485]当非最有可能模式(non_MPM)候选组由多个组构成时，能够生成与当前区块的预成且当前区块的预测模式与A组的预测模式一致时(例如non_mpm_A_flag＝1)，能够在A组的候选组中生成与当前区块的预测模式对应的索引信息，而flag＝0)，能够在剩余的预测模式候选组(或的接下来的预测模式包含到A组中或将具有一定间隔的定向量较多且当前区块的预测模式与最有可能模式(MPM)不一致的情况下实现减少模式编码比[0488]在利用最有可能模式(MPM)执行当前区块的预测模式的编码(或预测模式的解码)示在将当前的画面内预测模式分类成多个类别时属于哪一个类别的信息以及相应类别内[0490]图28是用于对适用本发明之一实施例的画面内预测模式的编码/解码方法进行说否(通过mpm_flag指示)进行确认(S11)，并在一致时对最有对与2次最有可能模式(MPM)的一致与否(通过rem_mpm_flag指示)进行确认(S14)，并在一致时对2次最有可能模式(MPM)索引信息(rem_mpm_idx)进行确认(S16)。当与2次最有可能模式(MPM)不一致时，对由剩余的预测模式构成的候选组的索引信息(rem_mode_idx)进行确认(S15)。在本实例中对根据2次最有可能模式(MPM)的一致与否生成的索引信息是利用相同的语法元素表现的情况进行了说明，但是也能够[0493]因为影像解码装置的参考像素构成部以及预测区块生成部能够起到与影像编码[0495]图29是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第1例示[0499]在解码器中对画面内预测相关信息(例如预测模式等)进行重建并在生成基于经在当前区块中支持(或使用)的参考像素层级ref_idx以及参考像素滤波类别ref_filter_[0501]图30是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第2例示[0503]在编码器中确定支持多个参考像素层级之后利用一个参考像素层级构成参考像测区块生成的参考像素层级以及参考像素滤波遵守根据从编码器传送过来的信息确定的前区块的最佳预测模式进行确认(S30)，并对多个参考像素层级的支持与否(multi_ref_(S33)，当支持自适应的参考像素滤波时通过参考像素滤波器信息(ref_filter_idx)对参[0508]图31是用于对基于参考像素构成的画面内预测的比特流构成进行说明的第3例示[0510]在利用编码器所支持的多个参考像素层级中的一个参考像素层级构成参考像素[0513]例如，能够以通过图19c中的ref_0生成的预测区块与通过ref_1生成的预测区块[0515]例如，以通过滤波A(在本实例中为3抽头(3_tap)滤波器)获取到的预测区块与通过滤波B9在本实例中为5抽头(5_tap)滤波器)获取到的预测区块之间的差异值为基础对其块的参考像素层级信息以及参考像素滤波遵守根据从编码器传送过来的信息确定的设定，解码器能够在对重复性与否直接进行确认(不通过语法元素)之后在具有重复性时遵守预参考像素层级时，执行基于所支持的多个参考像素层级的预测区块的重复性检查(通过S47)，从比特流对参考像素滤波方法的选择信息(ref_filter_idx)进行参考(S48)并对最[0521]图32是对适用本发明之一实施例的支持多个参考像素层级的影像解码方法进行比特流中所包含的语法信息进行参考而对需要在当前区块中使用的参考像素层级进行确定的步骤(S110)；利用所确定的参考像素层级中所包含的像素构成参考像素的步骤[0525]适用本发明的方法能够以可通过多种计算手段执行的程序指令的形态实现并被行特别设计的程序指令或者是计算机软件从业人员公知可用的[0526]计算机可读取的介质的实例中能够包括如只读存储器(ROM)、随机存取存储器