CN113853529B 用于空间音频捕获的装置和相关方法 （诺基亚技术有限公司）

2021.11.19PCT/EP2020/0629872WO2020/234015EN2020.11.26EP2824663A2,2015.01.14US2016299738A1,2016.10.13空间音频数据包括从围绕捕获设备延伸的空间据方向信息而被确定的每个音频源关联于与朝的一个或多个音频源中的每个音频源关联于视中的选择的一个音频源的至少一个音频捕获属2接收空间音频数据，所述空间音频数据包括从围绕捕获设备延伸接收由所述捕获设备的相机捕获的视频图像，所述视频图像具针对所述视场内的音频源，将根据所述方向信息而被确定的所述从其一端到另一端的定位表示与所述视图外图形相关联的所述音频源的所述音频被接收线的所述另一端表示至少与跟所述第一边缘相对的所述视场的第二边缘相对应的提供所述视频图像与所述视图外图形一起在显示器上提供对所述一个或多个音频源中的选择的一个音频源的至少一个音频捕获属性的控2.根据权利要求1所述的装置，其中所述部件被配置为在以下的一项或多项处提供对与朝向所述一个或多个音频源的一个或多个所述方向相对应的所述视图外图形的一与朝向所述一个或多个音频源的一个或多个所述方向相对应的所述视频图像的一个3.根据权利要求1或权利要求2所述的装置，其中4.根据权利要求1或权利要求2所述的装置，其中对至少一个音相对于应用于所述空间音频数据的其他音频的音量增益以更大的音量增益来捕获或相对于应用于所述空间音频数据的其他音频的质量以较高质量来捕获或记录所述选将所述选择的一个音频源的所述音频捕获或记录为与所述空间音频数据的其他音频5.根据权利要求1或权利要求2所述的装置，36.根据权利要求1或权利要求2所述的装置，其中指至少与跟所述第一边缘相对的所述视场的第二边7.根据权利要求1或权利要求2所述的装置，图形上方或下方的一距离处被描绘的所呈现的标记的定位对应于所述音频源的所述音频8.根据权利要求1或权利要求2所述的装置，其中所输入设备上在一位置处选择所述视频图像的所述区域或所述视图外图形的所述部分的轻9.根据权利要求1或权利要求2所述的装置，其中所输入设备上在一位置处选择所述视频图像的所述区域或所述视图外图形的所述部分的捏述用户输入选择了不存在相关联的音频源的所述视频图像的区域或所述视图外图形的一12.根据权利要求1或权利要求2所述的装置，其中所述部件被配置为利用具有受控音接收空间音频数据，所述空间音频数据包括从围绕捕获设备延伸接收由所述捕获设备的相机捕获的视频图像，所述视频图像具针对所述视场内的音频源，使根据所述方向信息而被确定的所述4从其一端到另一端的定位表示与所述视图外图形相关联的所述音频源的所述音频被接收线的所述另一端表示至少与跟所述第一边缘相对的所述视场的第二边缘相对应的提供所述视频图像与所述视图外图形一起在显示器上提供对所述一个或多个音频源中的选择的一个音频源的至少一个音频捕获属性的控15.一种包括存储在其上的计算机程序代码的计算机可读介质，所述计算机可读介质接收空间音频数据，所述空间音频数据包括从围绕捕获设备延伸接收由所述捕获设备的相机捕获的视频图像，所述视频图像具针对所述视场内的音频源，使根据所述方向信息而被确定的所述从其一端到另一端的定位表示与所述视图外图形相关联的所述音频源的所述音频被接收线的所述另一端表示至少与跟所述第一边缘相对的所述视场的第二边缘相对应的提供所述视频图像与所述视图外图形一起在显示器上提供对所述一个或多个音频源中的选择的一个音频源的至少一个音频捕获属性的控5[0003]本说明书中的先前公开的文件或任何背景的列表或讨论不应当被视为承认该文件或背景是现有技术的一部分或公知常识。本公开的一个或多个方面/示例可以解决或可根据方向信息而被确定的一个或多个音频源中的每个音频源关联于与朝向音频源的方向[0010]提供对所述一个或多个音频源中的选择的一个音频源的至少一个音频捕获属性[0012]与朝向一个或多个音频源的一个或多个方向相对应的视图外图形的一个或多个[0013]与朝向一个或多个音频源的一个或多个方向相对应的视频图像的一个或多个区令以引起使用波束成形技术对选择的一个音6[0016]相对于应用于空间音频数据的其他音频的音量增益以较大的音量增益来捕获或[0017]相对于应用于空间音频数据的其他音频的质量以较高质量来捕获或记录选择的[0018]将选择的一个音频源的音频捕获或记录为与空间音频数据的其他音频分离的音方向到至少与跟第一边缘相对的视场的第二边缘相对应的方向接收音频源的音频的方向；少与跟第一边缘相对的视场的第二边缘相对应的方向接收视场的第一边缘相对应的方位角方向到至少与跟第一边缘相对的视场的第二边缘相对应的方位角方向被接收，并且其中线上方或下方的距离对应于接收音频源的音频的仰角方选择视频图像的区域或视图外图形的部分的捏合手势(pinchgesture)的用户输入，通过记用于指示在与视频图像的所选择的区域或视图外图形的一部分相对应的方向上不存在被强化(emphasized)的延迟求和波束成形技术或参数空间7据方向信息而确定的一个或多个音频源中的每个音频源关联于与朝向音频源的方向相对[0038]提供对所述一个或多个音频源中的选择的一个音频源的至少一个音频捕获属性[0040]与朝向一个或多个音频源的一个或多个方向相对应的视图外图形的一个或多个[0041]与朝向一个或多个音频源的一个或多个方向相对应的视频图像的一个或多个区[0044]相对于应用于空间音频数据的其他音频的音量增益以较大的音量增益来捕获或[0045]相对于应用于空间音频数据的其他音频的质量以较高质量来捕获或记录选择的[0046]将选择的一个音频源的音频捕获或记录为与空间音频数据的其他音频分离的音8示在与视频图像的所选择的区域或视图外图形的一部分相对应来提供空间音频数据的呈现和记录中的一项或两质，该计算机可读介质和计算机程序代码被配置为当在至少一个处理器上运行时执行方据方向信息而确定的一个或多个音频源中的每个音频源关联于与朝向音频源的方向相对[0058]提供对所述一个或多个音频源中的选择的一个音频源的至少一个音频捕获属性[0062]该至少一个存储器和该计算机程序代码被配置为与该至少一个处理器一起使该9据方向信息而确定的一个或多个音频源中的每个音频源关联于与朝向音频源的方向相对[0068]提供对所述一个或多个音频源中的选择的一个音频源的至少一个音频捕获属性提供的功能可以由第二方面的方法和第三方面的计算机可读介质的代[0071]用于实现所公开的方法中的一个或多个方法的对应计算机程序也在本公开内并[0074]图1示出了用于控制至少一个音频捕获属性的示例装置，该装置被示出为具有音[0078]图5示出了示出基于来自装置的信令的界面的显示器的第四示例视图，其中用户[0079]图6示出了示出基于来自装置的信令的界面的显示器的第五示例视图，其中用户该方向信息指示音频从一个或多个音频源到达的方向，这种音频的有效捕获可以很复杂。获的空间音频可以具有表示音频本身的信息以及指示该音频的源在空间音频捕获设备周[0084]所捕获的空间音频可以是参数空间音频，诸如DirAC或一阶或高阶Ambisonics在该空间音频空间中以呈现给用户。空间音频可以由耳机通过使用头部相关传递函数听觉来源来呈现。空间音频可以使用向用户的每个耳朵呈现的可听呈现之间的音量差异、时间差异和音高差异中的一项或多项来创建关于音频源在空间中的特定位置或特定方向音频呈现可以涉及仅具有朝向其起源的感知方向的音频呈现以及使得音频的起源具有感音频，使得空间音频被感知为源自用户可见的真实世界对象和/或源自覆盖在用户视图上[0087]图1示出了被配置为提供对一个或多个音频源中的选择的一个音频源的至少一个置100可以包括诸如智能电话或平板电脑等电子设备103的一部分。电子设备103可以包括被配置为接收空间音频数据和/或视频图像的捕获设备的个或多个麦克风104可以包括例如布置为用于捕获空间音频数据的麦克风阵列的至少三个麦克风。装置100或电子设备103可以被配置为处理从麦克风104捕获的音频以生成相关联子设备103的一部分，但在其他示例中可以与电子设备103分离。相机具有空间105的视场捕获空间音频数据和视频图像。然而，如果相机106和麦克风104与电子设备103分离或独[0090]装置100可以被配置为通过向显示器111提供信令来提供显示。显示器111可以与[0091]虽然在该示例中，装置100被示出为电子设备103的一部分并且可能与电子设备[0093]处理器可以是专用于根据以计算机程序代码形式存储在存储器中的指令来执行/处理从其他组件(诸如从麦克风104、相机106和触敏用户输入设备112)接收的信息的通用以包括用于处理空间音频数据的部件并且可以修改空间音[0094]存储器102(不一定是单个存储器单元)是存储计算机程序代码的计算机可读介质间提供主动耦合以允许处理器访问存储在存储器上的计算机数据或者音频本身可以被编码以指示方向117-12第四音频源116的音频在空间音频数据中具有特征，但是第三音频源115和第四音频源116[0099]示例图2示出了视图外图形200的第一示例。视图外图形200包括被显示以表示视现在视频图像中的音频源不在视图外图形200上表示。在一个或多个示例中，视图外图形200可以不仅表示视场107外的空间105，并且可以包括表示视场107内的空间105的部分的圆或圆可以用于表示围绕电子设备103的空间105的360度，而半椭圆或其他扇形部分可以向部分201和第二径向部分202，第一径向部分201表示与视场107的至少第一边缘108相对应的方向，第二径向部分202表示与视场107的至少第二边缘109相对应的方向，第二边缘[0101]为了提供对基于示出在显示器111上的定位而选择的音频源的音频捕获属性的控制，装置100可以将所显示的视频图像或视图外图形200的区域/部分与一个或多个音频源表示朝向第三音频源115的位置或方向，并且标记216表示朝向第四音频源116的位置或方位置或通过控制器对光标或指针的移动。用户输入在显示器111上的定位可以选择视频图[0103]装置100可以被配置为提供对至少一个音频捕获属性的控制，其中该控制特定于所述一个或多个音频源113-116中的所选择的该方式使得可以克服与空间音频捕获的控制相关联的问题以及相机106的较小视场与空间[0105]视图外图形200被示出为具有若干箭头，箭头可以被标记以帮助用户理解所表示[0106]在一个或多个示例中，装置100可以通过诸如耳机等音频呈现设备(未示出)来提为当前时间的第一音频源113或第二音频源114，并且示出音频源的定位(除了在视频图像[0108]在一个或多个示例中，装置100被配置为在空间音频数据和视频图像被捕获时提被配置为控制如何捕获空间音频数据，诸如通过修改麦克风104的布置或麦克风104的参是提供对来自特定音频源113-116或方向据，该空间音频数据在所选择的方向上的音频源相对被强化和/或在其他方向上的音频源束成形技术可以包括用于形成波束成形输出的参数空间音频处理，其中空间音频的某个[0111]因此，标识视频图像和视图外图形200中的任何一个上的定位的用户输入可以引数据的其他音频的比特率相比，可以使用较高比特率来记录来自所选择的音频源116的音频数据中的音频源的存在。装置100可以被配置为使用方向信息确定具有高于预定阈值的[0114]可以使用不同技术来定位空间105中的主要声源。一个示例是转向响应功率相位中沿着线从其一端301到另一端302的定位表示从至少与视场107的第一边缘108相对应的方向到至少与跟第一边缘108相对的视场107的第二边缘109相对应的方向接收音频源的音一边缘108相对应的方位角方向到与跟第一边缘相对的视场的至少第二边缘109相对应的的两端之间在中央并且在线上方距离401处，以表明音频是从麦克风104后面和上方接收或波束成形或其他控制的度是可控的。装置100可以被配置为提供一种有效的方法来选择装置100可以被配置为接收捏合手势。图5示出了用户的两个手指501和502在标记216中的[0120]装置100可以被配置为通过应用具有与捏合手势的大小503相关的度的波束成形[0121]在波束成形技术的应用方面，捏合手势的大小503可以确定空间音频数据中音频[0122]该装置可以被配置为通过控制表示由捏合手势选择的音频源的标记的大小来向四音频源116的音频通过波束成形或以其他方式被修指示在与视频图像的所选择的区域或视图外图形300的部分相对应的方向上不存在音频从围绕捕获设备延伸的空间中的一个或多个音频源被捕获的音频和至少指示朝向所述一根据方向信息而被