CN114731459B 用于个性化音频内容的方法和设备 （杜比国际公司）

2022.05.19PCT/EP2020/0824932020.11.18WO2021/099363EN2021.05.27US2017156015A1,2017.06.01DVBORGANIZATION.HbbT本文档描述了一种用于个性化音频内容的方法(400)。该方法(400)包括接收(401)用于该括参考音频比特流(121)的至少一个自适应集合音频对象(181)和用于该自适应集合(281，282)择(402)预选元素(291)，以及引起(403)取决于2-参考第一音频比特流的第一自适应集合和参考第二音频比特流的第二自适应集合，所述第一音频比特流包括第一音频对象集合，所述第二音频比特流包括第二音频对象集-所述多个不同的预选元素提供介于所述第一音频体验与所述第二音频体验之间的一述性内容表现出更低的重视程度，并且其中所述一个或多个中间音频体验对所述对话和/-所述第一自适应集合和所述第二自适应集合在如何组合来自所述共同的音频对象集合的音频对象以形成用于呈现的所述音频信号-参考第一音频比特流的第一自适应集合和参考第二音频比特流的第二自适应集合，所述第一音频比特流包括第一音频对象集合，所述第二音频比特流包括第二音频对象集3-所述多个不同的预选元素提供介于所述第一音频体验与所述第二音频体验之间的一述性内容表现出更低的重视程度，并且其中所述一个或多个中间音频体验对所述对话和/于控制一个或多个设备执行如权利要求1至7中任一4[0002]本申请要求以下优先申请的优先权：于2019年11月20日提交的美国临时申请62/937,883(参考号：D19136USP1)和于2020年6月24日提交的美国临时申请63/043,179(参考由内容提供商提供，并且它可以允许用户从内容提供商的服务器中选择音频和/或视频内[0005]向用户提供个性化的音频和/或视频内容的可能背景是HbbTV(混合广播宽带电频内容(特别是音频/视频体验)的清单文件。该清单文件包括参考音频比特流的至少一个的元数据可以用于混合多个音频对象以形成要呈现的[0008]根据另一方面，描述了一种用于个性化来自音频比特流的音频内容的设备和/或用于该音频比特流的音频对象的增益和/或位置的第一比特流元素。该第一比特流元素可5音频对象之前修改第一比特流元素的值(从而修改音频对象的增益和/或位置以用于呈比特流元素的指针。该元素部分包括用于音频比特流的音频对象的增益和/或位置的第一的特殊值使得其防止解码器验证音频比特流片段的增益和/或位置的第一比特流元素。该第一比特流元素可以是音频比特流片段的元素部分识别增益指针，该增益指针指向用于该音频比特流的音频对象的增益和/或位置的第一比[0013]根据另一方面，描述了一种用于实现来自音频比特流的音频内容的个性化的方中，该元素部分包括用于该音频比特流片段的音频对象的增益和/或位置的第一比特流元殊值使得其防止解码器验证音频比特流片段的元[0014]根据另一方面，描述了一种用于实现来自音频比特流的音频内容的个性化的方部分包括用于音频比特流的音频对象的增益和/或位置的第一比特流元素。该方法进一步[0015]应当注意，本文所述的方法可全部或部分地各自以软件和/或计算机可读代码的6可以适于在处理器上执行并且当在处理器上执行时用于执行本文档中这些可执行指令当在计算机上执行时用于执行本文档中概述[0026]图2a图示了用于实现音频内容的可扩展个性化的不同自适应集合和不同预选元[0035]内容接收器110包括终端111，该终端被配置为将视频和/或音频内容提供给解码7供商提供的应用程序112。应用程序112可以在硬件平台(其可以集成在电视机内)上执行。网从HTTPweb服务器101流式传输媒体(特别是视频和/或音频)内容。DASH协议在ISO/IEC23009-1:2019信息技术—基于HTTP的动态自适应流(DASH)—第1部分：媒体展示描述和片[0038]DASH协议使得能够将音频比特流121(用于媒体元素)从服务器101传输到接收器[0041]用于定义展示或音频体验的可能方式是所谓的自适应集合和/或所谓的预选元素流121可以仅包括可用于特定视频和/或音频内容(或媒体元素)的自适应集合180的总数的[0042]用于定义展示或音频体验的另一种方式是预选元素190。预选指定了一个或多个[0043]DASH协议指定了所谓的清单文件，该清单文件是指示和描述包含在音频比特流用于不同展示的描述141。清单文件140可以提供用于音频比特流121或媒体元素内可用的[0044]图1c图示了在音频比特流121内提供的或为媒体元素(例如，在音频比特流121的8禁用(透明框)不同音频对象181的指示符153以高效的方式指定展括指示可用的不同展示152的多个展示部分161。可以根据特定的片段顺序162在初始化片[0046]初始化片段160(特别是不同的展示部分161)可以指示所谓的音频轨道对象，其的展示152列表的音频轨道对象列表。音频轨道对象列表可以根据片段顺序162(其可以与[0048]如上所述，本文档旨在为用于提供音频轨道(即音频对象)的个性化接口提供机以使轨道或对象181静音和取消静音。详细描述请参见/multipage/media.html#audiotrack或/en-US/docs/于压缩技术的进步，下一代音频编解码器能够在一个音频比特流121中将所有不同的音频[0053]接收器110的标准定义了向接收器110分发和发信号通知这样的多成分流121的功的可能展示152中选择一种体验(在本文也称为展示)152的功能，和/或旨在定义个人体验9与HbbTV规范TS102796V1.4.1或更高版本(其通过引用并入本文)共同指定能够发现和选在图2a所示的一个示例中，用于标准音频混合的自适应集合281和用于叙述性音频混合的内的单独音频对象181可以使用不同的编解码器设置(例如，比特率)来实现自适应流。例[0059]当应用程序112从网络服务器101请求回放媒体(即媒体元素，特别是媒体元素的提供不同的自适应集合281、282通常需要为每个自适应集合281、282提供专用的音频(比特)流。因为在不同的自适应集合281、282内使用单独的音频流，所以不同的自适应集合281、282之间的切换可能会触发重新缓冲并且可能不允许无缝体验(当在不同的音频体验[0062]可以提供包括一个或多个自适应集合281、282和一个或多个预选元素291、292、一自适应集合281的第一体验到使用第二自适应集合282的第二体验的逐渐转移。特别地，[0065]图2b图示了示例清单文件140，其包括用于不同自适应集合281、282的数据元素特流或媒体片段170中(如图3a所示)。然后应用程序112可以使用指向用于音频对象181的编码器可以被配置为添加指向帧或音频比特流片段170内的比特流元素304的指针303。应170传递给解码器113。解码器113可以用修改的增益对帧或音频比特流片段170进行解码，能是在接口122上使用媒体源扩展(MSE)API时的情况。缓冲区内的AC-4帧或音频比特流片段170的起点可以通过解析缓冲区中的ISOBMFF(ISO/IEC基本媒体文件格式)文件结构来识[0070]指向各个比特流元素304的数据指针303可以按每一帧来存储并且可以在实际AC-部分位302于包括比特流元素304的元素部[0071]以下句法可以用于定义指向用于音频对象181的增益和/或位置的比特流元素304该标识符来确定是否存在指向比特流元素3[0083]键或指针的指配优选地为应用程序112所熟知，并且可能存在一些可以考虑的特[0093]编辑键或指针使应用程序112能够通过将来自用户界面(UI)控制元素的映射应用字。如果需要对这种特殊值进行修改，则不可能单独替换数据元素并且需要重写比特流[0100]·MDAT—ISO基本媒体文件(MP4文件)内的容器，其中存储媒体数据(例如音频片段170创建比特流元素指针303的列表的方法和装置。如果比特流元素304被包含在比特广播宽带电视(HbbTV)系统100内的应用程序1流121可以包括或者可以是AC-4音频比特流(如ETSITS10319[0110]多个音频对象181可以包括用于对话和/或叙述性内容的音频对象181、用于音乐291。该选择可以根据用户输入来执行。清单文件140可以包括对与多个不同的预选元素[0112]另外，方法400可以包括基于多个音频对象181和基于所选的预选元素291来确定用于呈现的音频信号。方法400可以进一步包括取得用于所确定的音频信号的至少一个音及通常根据多个音频对象181中的一个或多个)的音频信[0114]清单文件140可以包括参考第一音频比特流121的第一自适应集合281和参考第二或多个中间音频体验可以对对话和/或叙述性内容表现出重视程度，并且该重视程度介于[0115]第一音频对象集合181和第二音频对象集合181可以包括共同的音频对象集合[0116]图4b示出了用于个性化来自(媒体元素的)音频比特流121的音频内容的另一示例170可以包括指针部分302，该指针部分具有指向音频比特流片段170的不同的比特流元素频比特流121的音频对象181的增益和/或位置的第一比特流元素304。第一比特流元素304可以是音频比特流片段170的元素部分301内的任何一个比特流元素304。第一比特流元素304可以指示增益值(用于放大和/或衰减)和/或位置值(用于在空间中定位)，这可以用于[0119]另外，方法410可以包括在呈现音频对象181之前修改413第一比特流元素304的以个性化的方式高度精确地修改音频对象181的重视程[0121]方法410可以包括确定音频比特流片段170的元素部分301的修改散列值，该元素[0122]方法410可以包括验证指针部分302内的完整性指针305是指向散列比特流元素还[0127]可以从数据集的指针部分302识别增益指针303，该数据集对应音频比特流121的[0128]图4c示出了用于实现来自音频比特流121的音频内容的个性化的方法420的流程同比特流元素304的指针303。元素部分301包括用于比特流元素170的音频对象181的增益[0130]另外，方法420包括将指针部分302内的完整性指针305设置其中，该预定的特殊值使得其防止解码器113验证音频比特流片段170的元素部分301的完[0131]图4d示出了用于实现来自音频比特流121的音频内容的个性化的示例方法430的[0132]方法430包括接收431音频比特流121的音频比特流片段170。音频比特流片段170的指针303。元素部分301可以包括用于比特流元素170的音频(比特)流181的增益和/或位从而使应用程序11