CN114205623B 视频处理装置及相关视频处理方法 （联发科技股份有限公司）

US2007172133A1,2007.07.26HansungKim."PLANARURBANSCUSINGFACADEALIGNMENT".IEEE.20HansungKim."PLANARURBANSCUSINGFACADEALIGNMENT".IEEE.202022.03.18201680059890.02016.10.13用于在视频的子区域被选择以用于观看时对视视频编码器接收包括对应于全尺寸360度虚拟现根据不同于第一配置的第二配置将多个立方体二配置重新排列立方体360度虚拟现实图像的62重新格式化所述视频帧，其中已重新格式化视频帧包括对应方体面被排列成具有比所述第一宽度窄的第二宽其中通过将多个参考像素存储在线缓存器处，并基于存储其中所述第二布局的所述第二宽度基于一个立方体面或两个所述第一布局的所述第一宽度是基于四个立方体面转换器电路，用于重新格式化所述视频帧，其中已重新格式化视频编码电路，通过将多个参考像素存储在线缓存器方体面被排列成具有比所述第一宽度窄的所述第二宽其中所述第二布局的所述第二宽度基于一个立方体面或两个所述第一布局的所述第一宽度是基于四个立方体面解码器电路，用于通过将多个参考像素存储在线缓存器处，并基于存储3其中，接收到的所述视频帧的多个立方体面被排列成具有所述第一宽度的第一布局，其中已重新格式化360度虚拟现实视频帧的多个立方体面处于球面格式或者立方体格式，度虚拟现实视频帧的多个立方体面被排列成具有比所述第一宽度宽的第二宽度的第二布4[0002]本发明主张在2015年10月13日提出申请号为62/240,693的美国临时专利申请和5[0010]在一些实施例中，视频编码器可以接收球面格式或者立方体格式的360度虚拟现实视频帧。当接收到的360度虚拟现实视频帧处于立方体格式时，视频帧具有多个立方体360度虚拟现实视频帧。已重新格式化视频帧的立方体面被排列成：(i)6个立方体面的单[0011]本发明提供了附图以更好地理解本发明，附图并入本发明且构成本发明的一部[0012]图1示出了基于任意选择的观看角度或者观看区域执行视频帧的部分解码的视频[0014]图3示出了在将视频帧分割成不同类型的已编码数据单元的不同视频编码标准下[0024]图15示出了将6个立方体360VR面重新排列成允许使用窄线缓存器的窄配置的视[0025]图16示出了在使用更窄线缓存器时接收连续立方体格式的原始360VR视频源的视6[0035]尽管360VR视频对围绕用户周围的视觉环境进行编码，但是用户通常在特定观看角度处观看视频。换言之，不像用户被期望观看视频的整个显示区域的传统平面视频，360VR的用户被期望观看视频的整个显示区域的具体子区域。这种观看区域通常是每帧的[0037]本发明的一些实施例提供了在视频的子区域被选择以用于观看时部分解码视频[0038]对于一些实施例，图1示出了基于任意选择的观看角度或者观看区域执行视频帧规格(specification)105执行部分解码。如图所示，视频解码系统100包括已编码视频源150对应于感知并记录用户的运动的虚拟显示眼镜的位置传感器和运动传感器的集合，而110由嵌入在眼镜中的处理电路组件和存储器自外部源通过有线通信介质或者无线通信介质接收已编码以具有切片(或者方块)，其不依存于同一帧处的其他切片(或者方块)以用于编码或者解7[0043]用户接口150接收表示用户观看的子区域或者用户的观看通过虚拟现实眼镜的运动或位置，或者通过其他用户交互)，并相应地生成观看区域规格[0044]图2概念性示出了基于观看区域规格(例如，105)的示例视频帧200的部分解码的频115是360VR视频时的情况中，示例视频帧200表示围绕用户周围的整个虚拟现实显示区[0045]如图所示，视频帧200被分割成像素块的二维阵列。每个像素块是像素的二维阵面描述的图3示出了每个已编码数据单元对应于H.265中的切片或者VP9中的视频组中的子观看区域205覆盖像素块集220(如阴影像素块所示)以及已编码数据单元212和已编码数据据以重构像素块224(其是覆盖观看区域205的切片213中的最后一个像素块)，解码器就可在将视频帧分割成不同类型的已编码数据单元的不同视频编码标8响应于识别观看区域305的观看区域规格1一视频帧中(帧间预测)或者同一帧中的其他地方中(帧内预测)的像素数据对像素块进行[0056]图4示出了序列400中的示例从帧421的部分解码操作。从帧421使用主帧412和主[0057]图5和图6示出了主帧与从帧之间的几种类型的预测结构。图5示出了具有不同主个从帧通过使用参考至少两个主帧(即先前和后续)的双向预测而被编码，即每个从帧是B[0058]图6示出了具有不同主从预测结构的两种其他的视频序列601和视频序列602。视9[0059]部分解码从帧将解码系统从必须解码位于特定观看区域外部且用户将不观看的的尺寸是1280x720(其可以需要占用区域1536x864的已解码像素块)，并且主帧的周期是6[0060]对于一些实施例，图7示出了根据任意特定观看区域执行从帧的部分解码的示例[0061]解码器120包括用于去压缩已编码数据单元的组件和用于重构像素块的组件。各种组件根据由用户接口150提供的观看区域单元通过基于熵编解码的变长编解码(variablelengthcoding，VLC)进行无损压缩。因将跳过不包括覆盖特定观看区域的任何像素块的已编[0064]像素块解码器720用于基于存储在已编码数据单元中的信息(未压缩形式)重构像素块解码器720通过参考同一帧内的相邻像素块，(通过使用帧内预测器740)重构像素块。[0065]参考帧缓存器730存储已解码帧(以及已解码帧的已重构像素块)。当执行部分解视频帧的哪个区域被选择为用于显示的观看[0067]视频解码器100识别出显示特定观看区域所必需的已编码数据单元和像素块。在[0068]图8和图9概念性示出了基于任意特定观看区域的视频帧的部分解码的流程800和[0070]流程800接收指定了观看区域的任意观看角度或者观看区域选构其他帧(从帧和主帧)中的帧间预测像素块的参考缓存器(例如，730)中。在一些实施例码数据单元集是可以包含特定观看区域的最小得用于重构已识别的像素块集的必需数据。已重构像素块被存储在显示缓存器130中以用[0077]流程900接收指定了观看区域的任意观看角度或者观看区域选[0078]流程900确定当前在被解码的帧是从帧还是主帧(在步骤920中)。在一些实施例中，视频比特流的编码器将确定帧是主帧还是从帧(用于部分解码的目的)嵌入到比特流[0080]在步骤930中，本流程确定在被解码或去压缩的当前分割或者已编码数据单元是[0082]在步骤940中，流程900解码当前分割直到覆盖观看区域的所有像素块均被解可取的，因为如果覆盖观看区域的像素块通过参考同一帧中的相邻像素块而被帧内预测，系列帧内预测块(一系列帧内预测块将通过部分解码阻碍性能增益，因为落入观看区域外的时间点同时具有相似视觉质量和/或相同的帧类型。一些实施例中的解码器被配置有后[0089]图10示出了可被约束成产生最大化部分解码性能的已编码视频的示例性视频编1090以用于存储或者传输。视频编码器1000的操作受部分解码优化模式1050(其可以是存储的标志或者用户接口提供的信号)的影响，其约束编码器产生用于部分解码的优化的已[0090]如图所示，视频编码器1000包括像素块编码器1010、量化器1020、变长编码器[0096]图11概念性示出了为(任意观看区域的)部分解码所优化的编码视频的流程110例中，通过执行具有对应于编码器1000的各个组件的模块的软件，例如，像素块编码器[0102]在步骤1160中，流程1100根据在步骤1145或者步骤1150对帧的像素块进行编码。随后，流程1100结束(或者返回到步骤1110以接收另一原始视频以以球面格式被存储，其中球面地围绕用户的虚拟现实以等角(equirectangular)形式被的宽度和W/4个像素的高度，形成了具有W个像素的整体宽度和3W/4个像素的高度的图像。解码后续像素块时，存储在线缓存器中的已重构像素数据用作用于帧内预测的参考像素。360VR图像1320的解码或编码所需的线缓存器的码360VR立方体图像所需的线缓存器(linebuffer，LB)的宽度降低成一个立方体面的宽出了在使用更窄线缓存器时接收连续立方体格式的原始360VR视频排列立方体格式的6个面，重新格式化原始360VR视频。这产生了具有一列布局(即布局者两行三列布局(即布局1404)。图19示出了在编码期间被重新排列成两行三列布局的码器保证已重新排列360VR帧的所有分割和所有立方体面具有相似的视频质量。在一些实块解码器720包括线缓存器2025以用于暂时存储用于执行帧内预测(在750处)以用于重构[0127]像素块解码器720将已重构像素存储在参考帧缓存器730中以用于后续解码和/或重新排列窄格式(例如，布局1402)的已重构像素，并且为了重构原始连续格式(即布局[0128]图21概念性示出了对立方体格式的360VR视频进行编码的流程2101和解码的流程连续格式的视频的帧重新排列成已重新排列立方体内编解码和预测)。在一些实施例中，预测编码操作需要来自于已量化样本的像素块的重[0133]流程2102开始于接收包括具有窄格式的已重新排列帧的360VR视频的已编码视频机可读介质的示例包括但不限于CD-ROM、闪存驱动器(flashdrive)、随机存取存储器(randomaccessmemory，RAM)芯片、硬盘、可擦写可编程只读存储器(erasableprogrammablereadonlymemory，EPROM)，电可擦除可编程只读存储器(electrically这个电子系统包括各种类型的计算机可读媒质和用于各种其他类型的计算机可读媒质的[0140]总线2205整体表示与大量的电子系统2200通信连接的内部设备的所有系统总线、[0142]只读存储器2230存储处理单元2210或者该电子系统的其他模块所需要的静态数据和指令。另一方面，永久存储设备2235是一种读写存储器设备(read-and-write闭时也存储指令和数据。本发明的一些实施例使用大容量存储设备(例如磁盘或光盘及其相应的磁盘驱动器)作为永久存储设备22[0143]其他实施例使用可移动存储设备(如软盘、闪存设备等，以及其相应的磁盘驱动器)作为永久存储设备。与永久存储设备2235一样，系统存储器2220是一种读写存储器设息并选择指令到该电子系统上。该输入设备2240包括字母数字键盘和指点设备(也被称为设备等。输出设备2245显示由该电子系统生成的图像或以其他方式输出的数据。输出设备2245包括打印机和显示设备，例如阴极射线管(cathoderaytube，CRT)或液晶显示器指令存储到机器可读介质或者计算机可读介质(可选地被称为计算机可读存储介质、机器可读介质或者机器可读存储介质)。计算机可读介质的一些实例包括RAM、ROM、只读光盘写光盘(rewritablecompactdisc，CD-RW)、只读数字通用光盘(read-onlydigital及包含由计算机、电子元件或微处理器使用注释器(interpreter)而执行的高级代码的文用程序由一个或多个集成电路执行，如特定应用的集成电路(applicationspecificintegratedcircuit，ASIC)或现场可编程门阵列(fieldprogrammablegatearray，[0149]在结合许多具体细节的情况下描述了本发明时，本领域普通技术人员将认识到，12-图24和图17-图19所述的示例方案和情景、结合图7和图20所述的示例结构示意图以及个单核处理器、一个或多个多核处理器或者一个或多个复杂指令集计算(complex-360VR视频帧重新格式化成传统连续立方体布局(即格式1401或者1320)或者球面布局(即110(即比特流)。(外部源可以是外部存储设备或者网络)。在一些实施例中，解码器装置储器电路集2330可以是一个或多个处理器的组成部分(并且用于示意目的且不限于，这些设计且配置以先前不存在或者可用的一个或多个新方式渲染或者影响360VR视频的解码，显示器(surface-conductionelectron-emitterdisplay，SED)、场发射显示器(fieldemissiondisplay，FED)、激光器、碳纳米管、量子点显示、干涉式调制器显示器(interferometricmodulatordisplay，IMOD)和数字微快门显示器(digitalmicro-素数据被存储在显示缓存器130中。显示缓存器130可以在存储电路2330处或者显示设备意图以及结合图11和图21所述的示例流程11路2424。编码器电路2424执行像素块编码器1010的操作(包括帧间预测1040和帧内预测2422用于将来自于传统连续立方体布局(即格式1401或者1320)或者球面布局(即格式即执行转换器1508的功能以用于重新排列立方体面。通信电路2440用于与外部源进行通储器电路集2430可以是一个或多个处理器的组成部分(并且用于示意目的且不限于，这些设计且配置以先前不存在或者可用的一个或多个新方式渲染或者影响360VR视频的编码，[0167]本文所描述的主题有时表示不同的组件，其包含在或者连接到其他不同的组实现特定功能。可操作连接的具体例子包括但不限于物理可配对和/或物理上相互作用的引用特定数量的介绍性内容，本领域的技术人员可以认识到，这样的内容应被解释为表示论在说明书中、权利要求中或者附图中，由两个或两个以上的替代术语所表现的任何分隔权利要求表示真实的范围和精神。