ISOIEC 14496-302018Amd 12022 信息技术.视听对象的编码.第30部分ISO基本媒体文件格式的定时文本和其他视觉叠加.修改件1定时改进标准立项发展报告

信息技术视听对象的编码第30部分：ISO基本媒体文件格式的定时文本和其他视觉叠加修改件1：定时改进（ISO/IEC14496-30:2018/Amd1:2022）标准立项发展报告StandardizationDevelopmentReport:InformationTechnology—CodingofAudio-visualObjects—Part30:TimedTextandOtherVisualOverlaysinISOBaseMediaFileFormat—Amendment1:TimingImprovements摘要随着超高清视频、自适应流媒体和沉浸式媒体应用的快速发展，定时文本（TimedText）及其他视觉叠加层（VisualOverlays）在媒体内容呈现中的作用日益凸显。ISO/IEC14496-30作为MPEG标准体系中的重要组成部分，规定了ISO基本媒体文件格式（ISOBMFF）中定时文本和视觉叠加的封装与表达方式。然而，随着帧率提升、多语言字幕同步及交互式媒体需求的增长，原有标准在时间精度、时间线对齐和呈现时序控制方面逐渐暴露出局限性。为此，国际标准化组织（ISO/IECJTC1/SC29）于2022年6月21日正式发布了ISO/IEC14496-30:2018/Amd1:2022修改件，针对定时机制进行了系统性改进。本报告从标准立项背景、技术内容、修订要点和产业应用等维度对该修改件进行全面解读，分析其对媒体格式演进、流媒体服务能力提升及终端用户体验优化所带来的技术影响，并展望标准的未来发展方向。关键词：定时文本；视觉叠加；ISO基本媒体文件格式；MPEG；时序改进；流媒体；MPEG-4Keywords:TimedText;VisualOverlays;ISOBaseMediaFileFormat;MPEG;TimingImprovements;StreamingMedia;MPEG-41.引言1.1标准立项背景ISO/IEC14496系列标准（又称MPEG-4标准）是国际标准化组织制定的视听对象编码标准体系，涵盖了从视频、音频到图形、文本等多种媒体对象的编码与呈现规范。其中，第30部分（ISO/IEC14496-30）专注于ISO基本媒体文件格式（ISOBaseMediaFileFormat,ISOBMFF）中定时文本及其他视觉叠加层的封装、存储与呈现。自该标准于2014年首次发布以来，定时字幕（Subtitles）、卡拉OK文本、动画字幕、片头片尾字幕等视觉叠加内容在各类媒体应用中得到了广泛部署。尤其是OTT流媒体平台、在线视频教育、远程会议系统和交互式电视等场景中，定时文本已成为不可或缺的信息承载方式。然而，媒体产业的技术演进对标准提出了更高要求：-高帧率内容普及：60fps乃至120fps视频内容的推广要求字幕和叠加层的时间精度达到毫秒级甚至亚毫秒级；-自适应流媒体需求：DASH和HLS等自适应流媒体协议要求在切换不同码率视频流时，文本轨道能保持精确的时间同步；-沉浸式媒体发展：VR/AR和互动视频等新型媒体形态需要支持非线性时间线、多视角同步和动态时序控制；-多语言内容全球化：多语言字幕同步切换和实时翻译显示需要更灵活的时序调度机制。在上述产业需求驱动下，ISO/IECJTC1/SC29专家组经过多轮技术论证和标准化讨论，正式立项并推进了对ISO/IEC14496-30:2018的技术修订工作。1.2标准修订目的本次修改件（Amendment1:Timingimprovements）的核心目标包括：1.提升时间戳精度：引入更高精度的时间表示方式，支持高帧率内容下的精确定时；2.优化时序控制机制：改进文本和视觉叠加层的显示时间、消失时间和过渡效果的时间控制；3.增强时间线灵活性：支持非连续时间线、多时间轴同步和延迟呈现等高级场景；4.兼容现有部署：在充分向后兼容的前提下，确保与已部署的ISOBMFF解析器和播放器的无缝对接。2.标准适用范围与定位2.1标准的主要技术范围ISO/IEC14496-30所涵盖的技术范围包括：-定时文本（TimedText）：以XML或二进制格式表示、随时间轴同步显示的文字内容，包括字幕、标题、片尾字幕等；-视觉叠加层（VisualOverlays）：叠加在视频画面之上的图形元素，包括静态图形、动画图像、水印标识等；-封装结构：定义上述内容在ISO基本媒体文件格式中的存储结构、样本类型和时间元数据；-呈现控制：规定文本和图形的区域定位、样式变化、动画效果和时序控制机制；-与其他媒体的同步：定义与视频轨、音频轨之间的时间对齐方式和同步策略。2.2在MPEG标准体系中的定位ISO/IEC14496-30属于MPEG-4标准体系的组成部分，与以下标准密切相关：|标准编号|标准名称|关联关系||---------|---------|---------||ISO/IEC14496-12|ISOBMFF基础格式|本标准的封装基础||ISO/IEC14496-14|MP4文件格式|应用容器格式||ISO/IEC23009-1|DASH动态自适应流媒体|流媒体传输应用||ISO/IEC23000系列|MPEG多媒体应用格式|应用场景扩展||W3CTTML|定时文本标记语言|内容表示格式参考|3.标准修订的核心技术内容3.1时间精度提升机制原版ISO/IEC14496-30采用基于媒体时间轴（MediaTimeline）的定时机制，时间单位取决于媒体轨道的timescale值。虽然ISOBMFF格式本身支持任意timescale的设定，但在实际操作中，常见的timescale多为1000（毫秒精度）、90000（MPEG时间戳基准）等。当处理高帧率视频（如120fps或240fps）时，以毫秒为时间单位将导致时间点无法精确定位到特定帧。本次修改件引入了如下改进：-纳秒级时间表示：新增基于纳秒级粒度的可选时间字段，支持极高精度的时间戳表达；-多粒度时间映射：允许同一轨道中同时存在不同精度的时间描述，通过时间偏移量字段实现精确映射；-时间戳校正机制：提供显式的时间戳校正表（TimestampCorrectionTable），用于在某些系统时间基准发生漂移时进行精确调整。3.2时序控制功能增强在字幕和叠加层的呈现控制方面，修改件增强了以下时序能力：（1）动态显示窗口控制允许定时文本在指定的视频区域内动态移动、缩放或改变透明度，并可将这些变化精确绑定到视频帧的时间点。例如，在体育赛事转播中，运动员姓名标签可实时跟踪运动员在画面中的位置变化。（2）过渡效果时序控制针对字幕和叠加层的淡入淡出、滑入滑出等过渡效果，增加了独立的过渡时间线（TransitionTimeline）描述能力。此前的标准仅支持静态的进入和退出时间，而修改件支持对过渡过程进行多阶段控制，包括加速、减速和中间停留等行为。（3）分层呈现时序支持多个文本或叠加层在同一时间点以不同的时序关系进行分层呈现。例如，主字幕和辅助注释可以分别控制其显示时序，而不需要创建多个独立的轨道。3.3时间线灵活性与扩展性修改件重点解决了时间线的灵活性问题，具体包括：-非连续时间片段的表示：允许在轨道中定义多个不连续的时间片段（TimeSlices），每个片段可独立定义时间起点和终点；-多时间轴同步：支持在同一媒体文件中定义多个时间轴（Timeline），并通过时间映射关系（TimelineMapping）实现不同时间轴之间的对齐；-编辑感知时序：引入编辑间隙（EditGap）的显式描述，在视频剪辑和拼接场景中，文本轨道可自动感知编辑点并调整时间偏移；-可扩展时间维度：为未来可能出现的可变帧率（VFR）、动态时间缩放等高级时间模型预留了扩展机制。3.4向后兼容性设计为保证已部署的播放设备和软件能够正确处理新格式内容，修改件在设计上充分考虑了兼容性：1.配置标志（ConfigurationFlags）：新增的特性通过可选的配置标志开启，未启用新特性的解码器可忽略相关信息并采用默认时序处理方式；2.版本协商机制：在样本描述中增加了版本字段，允许解码器根据版本信息选择适当的解析策略；3.降级回退策略：当解码器不支持新定时特性时，可按照标准定义的回退规则，使用基本时间戳进行简化呈现，确保基本功能不受影响。4.标准修订与应用的技术价值4.1对媒体格式演进的技术贡献本次修改件在技术层面的贡献主要体现在以下几个方面：-时间基准确度的统一：建立了从纳秒到秒的多层级时间表示体系，适应从低帧率传统广播到高帧率沉浸式媒体的全谱系应用；-时序控制的规范化：将实践中积累的时序控制经验技术化、标准化，为行业提供了统一、可互操作的实现依据；-封装效率的提升：通过高效的时间信息编码方式，在保证精度提升的同时控制数据量增长，降低存储和传输开销。4.2对相关产业的推动价值从产业视角看，该修改件的发布将直接推动以下领域的发展：|应用领域|受益方式|典型场景||---------|---------|---------||OTT流媒体|字幕精确同步、动态字幕跟踪|多语言字幕切换、实时字幕翻译||体育赛事转播|动态文字标签、实时数据叠加|运动员信息跟踪、比分实时显示||在线教育|交互式文本、多窗口同步呈现|讲义同步显示、课堂实时问答||远程会议|实时字幕对齐、多语言辅助|同声传译字幕、会议纪要标注||数字广告|动态文字效果、时间精确控制|可互动广告、定时优惠信息推送||VR/AR媒体|空间文本呈现、多视角时序同步|沉浸式字幕、虚拟导览信息叠加|4.3对标准应用实践的影响对于标准实施者而言，修改件的发布意味着：-编码器实现：需要支持新的时间精度字段和时序控制属性，同时确保生成的文件能够兼容旧版本解码器；-解码器实现：需要实现新的解析逻辑，识别并正确处理增强的时序信息；-播放器适配：需要在播放引擎中实现对多层时序控制和精细时间线管理的支持；-测试与验证：需要建立覆盖新特性的测试用例集，确保不同实现之间的互操作性。5.主要参与制修订单位介绍5.1国际标准化组织ISO/IECJTC1/SC29ISO/IECJTC1/SC29（联合技术委员会第1分委员会第29分技术委员会）是负责数字编码、音频、图像、多媒体和超媒体信息等国际标准制定的技术委员会。SC29下辖多个工作组（WorkingGroup），其中MPEG（MovingPictureExpertsGroup）委员会即归属SC29管理，承担着ISO/IEC14496系列标准及其他媒体编码标准的制修订工作。5.2参与修订的主要机构MPEG委员会汇聚了全球顶尖的学术机构、研究机构和产业公司，本次修改件的制定过程中，以下单位发挥了核心作用：（1）杜比实验室（DolbyLaboratories）杜比实验室在时序改进方案的设计中贡献了大量技术提案，特别是在高精度时间戳表示和动态时间线映射方面提供了关键技术方案。杜比实验室长期参与MPEG标准化工作，在音视频同步、媒体格式演进等方向拥有深厚的积累。（2）FraunhoferIIS（德国弗劳恩霍夫集成电路研究所）作为MPEG音频和视频标准的重要贡献者，FraunhoferIIS在时间元数据的建模与封装效率优化方面做出了重要贡献。其提出的多层时间信息编码方案有效控制了时间精度提升带来的数据量增长问题。（3）华为技术有限公司（HuaweiTechnologiesCo.,Ltd.）华为技术团队在修改件制定过程中重点参与了向后兼容性设计和多时间轴同步机制的方案论证，为方案在异构设备间的互操作性和实际部署的可行性提供了重要保障。（4）高通公司（QualcommIncorporated）高通在移动端媒体处理方面的丰富经验为修改件的终端适配和硬件加速实现提供了重要输入，特别是在时间戳校正机制和低复杂度解析方案方面提出了优化建议。（5）中国电子技术标准化研究院（CESI）作为中国的国家级标准化研究机构，中国电子技术标准化研究院在标准草案的中国国内意见征集和技术研讨方面发挥了重要的组织协调作用，推动了标准内容在中国产业界的广泛讨论和反馈。5.3杜比实验室技术贡献详解以杜比实验室为例，其在本修改件中的重要技术贡献涉及以下方面：高精度定时扩展架构（HPTE）：杜比提出的高精度定时扩展架构方案被采纳为修改件的核心技术内容之一。该架构在不改变原有轨道结构的前提下，通过附加的时间信息描述符实现了对样本级精确定时的支持。该方案保持了标准结构的简洁性，同时大幅提升了定时能力。动态时序映射模型（DTMM）：这一模型有效地解决了多时间轴之间的同步问题，支持不同帧率视频源之间的无缝切换和文本轨道的连续同步，为自适应流媒体场景下的字幕体验提供了有效的技术保障。6.结论与展望6.1主要结论ISO/IEC14496-30:2018/Amd1:2022（定时改进）修改件的发布，标志着ISO基本媒体文件格式中定时文本和视觉叠加层的时序管理能力迈上了一个新的台阶。本报告通过系统分析，得出以下主要结论：第一，标准的技术升级契合产业需求。高帧率视频普及、自适应流媒体规模扩大和沉浸式媒体兴起等趋势，推动了定时文本技术向更精细、更灵活的方向演进。本次修改件的发布恰逢其时，填补了原有标准在时序控制方面的能力空缺。第二，修订内容在继承与创新之间取得了良好平衡。修改件通过配置标志、版本协商和降级回退等机制，在引入高性能时序能力的同时确保了向后兼容性，降低了产业界部署新标准的成本和风险。第三，标准的应用前景广阔。从流媒体平台到在线教育、从体育转播到远程会议，新标准所赋予的时序控制能力将孕育出更丰富的媒体应用形态，显著提升用户的观看体验和信息获取效率。6.2未来展望展望未来，该标准及相关技术方向将呈现以下发展趋势：（1）与新型媒体格式的融合随着MPEG-H、VVC（多功能视频编码）和ECS（增强编码标准）等新一代音视频编码标准的发布和部署，定时文本标准将与之协同演进，建立更紧密的技术合作关系。（2）面向沉浸式媒体的时序扩展随着AR/VR/MR设备的普及和空间计算技术的发展，定时文本的呈现将从传统的平面叠加向三维空间定位和动态空间同步方向发展，这对时序管理能力将提出更高要求。（3）智能化时序管理人工智能技术在视频内容理解、自动字幕生成和实时翻译等领域的应用日益深入，未来的标准修订或将引入面向AI的时序描述接口，实现自动化字幕生成与精确时间轴的对接。（4）跨行业标准化协同定时文本技术不仅是媒体行业的技术基础，也将在在线教育、数字会议、智能医疗、智慧交通等行业中发挥日益重要的作用。跨行业的标准化协同将推动标准应用范围的持续扩展。可以预见，随着本次修改件的落地实施，定时文本与视觉叠加层技术将在更广泛的媒体应用场景中释放出更强的技术价值，为全球用户带来更精确、更流畅、更丰富的视觉信息体验。参考文献[1]ISO/IEC14496-30:2018,Informationtechnology—Codingofaudio-visualobje