ISOIEC 246612023 信息技术.用户接口.全双工语音交互标准立项发展报告

信息技术用户接口全双工语音交互标准立项发展报告StandardizationDevelopmentReport:InformationTechnology-UserInterfaces-FullDuplexSpeechInteraction摘要随着人工智能、物联网与5G通信技术的深度融合，语音交互正从"命令-响应"的单轮模式向自然、连续、实时的全双工对话范式演进。全双工语音交互技术允许用户与系统同时进行双向语音通信，是实现"机器像人一样对话"的关键技术底座。然而，由于缺乏统一的技术标准，行业内长期存在接口不兼容、语义理解歧义、回声消除性能参差、多模态协同困难等问题，严重制约了该技术的规模化应用与生态构建。在此背景下，国际电工委员会（IEC）联合国际标准化组织（ISO）于2023年5月22日正式发布了ISO/IEC24661:2023《信息技术用户接口全双工语音交互》国际标准。本标准定义了全双工语音交互的系统参考架构、核心功能模块、接口协议、服务质量要求及安全隐私规范，填补了该领域国际标准的空白。本报告系统梳理了该标准的立项背景、编制过程、核心技术与内容框架，深入分析了其对产业生态、用户体验及技术演进的多维影响，并提出了面向未来的标准化发展方向与建议。该标准的发布将为全球全双工语音交互技术的研发、应用与评测提供统一依据，对推动人机交互范式变革具有里程碑式意义。关键词：全双工语音交互；用户接口；国际标准；人机交互；语音识别；服务质量管理AbstractWiththedeepintegrationofartificialintelligence,theInternetofThings,and5Gcommunicationtechnologies,voiceinteractionisrapidlyevolvingfromasingle-turn"command-response"modeltowardnatural,continuous,andreal-timefullduplexconversationparadigms.Fullduplexspeechinteractiontechnologyenablessimultaneousbidirectionalvoicecommunicationbetweenusersandsystems,servingasacriticaltechnicalfoundationforachievinghuman-likeconversationalmachines.However,theabsenceofunifiedtechnicalstandardshaslongledtoissuessuchasincompatibleinterfaces,semanticambiguity,unevenechocancellationperformance,andpoormultimodalcoordination,significantlyconstraininglarge-scaledeploymentandecosystemdevelopment.Againstthisbackdrop,theInternationalElectrotechnicalCommission(IEC),incollaborationwiththeInternationalOrganizationforStandardization(ISO),officiallyreleasedISO/IEC24661:2023onMay22,2023.Thisstandarddefinesthesystemreferencearchitecture,corefunctionalmodules,interfaceprotocols,qualityofservicerequirements,andsafetyandprivacyspecificationsforfullduplexspeechinteraction,fillingthegapininternationalstandardizationinthisfield.Thisreportsystematicallyreviewstheprojectbackground,draftingprocess,coretechnologies,andcontentframeworkofthestandard,analyzesitsmultifacetedimpactsontheindustrialecosystem,userexperience,andtechnologicalevolution,andproposesfuturedirectionsandrecommendationsforstandardizationdevelopment.Thereleaseofthisstandardprovidesaunifiedbasisforthedevelopment,application,andevaluationoffullduplexspeechinteractiontechnologiesworldwide,markingamilestoneinadvancingthetransformationofhuman-computerinteractionparadigms.Keywords:FullDuplexSpeechInteraction;UserInterface;InternationalStandard;Human-ComputerInteraction;SpeechRecognition;QualityofServiceManagement一、引言1.1研究背景人机交互技术经历了从命令行界面（CLI）到图形用户界面（GUI），再到自然语言交互界面的三次重大跃迁。当前，以智能音箱、车载语音助手、智能客服、实时翻译耳机等为代表的语音交互产品已大规模进入日常生活与生产场景。然而，传统的语音交互系统多采用"半双工"（HalfDuplex）机制——即用户说话时系统处于"聆听"状态，系统应答时用户需等待，双方无法同时进行语音交流。这种机制在交互体验上存在明显的"机械感"和"延迟感"，与人类自然对话中"边听边说""随时插话""即时反馈"的交流习惯存在根本性差距。全双工语音交互（FullDuplexSpeechInteraction）技术旨在打破这一瓶颈，使人与机器能够在同一时间通道内进行双向、连续、实时的语音信息交换。其核心技术挑战包括：回声消除（AEC）、双讲检测（Double-TalkDetection）、语音活动检测（VAD）、打断管理（Barge-inManagement）、流式语义理解（StreamingSemanticUnderstanding）以及对话状态跟踪（DialogueStateTracking）等。近年来，随着深度神经网络、端到端语音处理模型以及边缘计算能力的快速进步，全双工语音交互的技术可行性已获验证，并开始在智能座舱、智能家居、智能办公等场景中落地应用。1.2标准化需求分析尽管全双工语音交互技术发展迅速，产业界却面临一系列因标准缺失而导致的突出问题：第一，系统架构不统一。不同厂商设计的全双工语音交互系统在模块划分、数据流向、接口定义等方面存在显著差异，导致上下游产业链协作困难，系统集成成本居高不下。第二，接口协议各自为政。语音前端处理、唤醒、识别、理解、生成、合成等模块之间的数据交换格式与时序协议缺乏统一规范，造成"碎片化"发展格局。第三，服务质量评价缺乏基准。全双工场景下的交互延迟、打断响应时间、回声消除效果等关键性能指标缺少统一的测试方法和评价标准，用户无法客观比较不同产品之间的性能优劣。第四，多模态协同无据可依。全双工语音交互日益与手势、视线、触控等多模态输入方式融合，但多模态信息的同步与融合缺乏标准化指导。第五，安全与隐私保护亟待规范。全双工语音交互系统在持续监听状态下涉及大量个人敏感语音数据的采集与处理，对数据安全、隐私保护及用户知情权提出了更高的合规要求。在上述产业需求的强力驱动下，国际标准化组织启动了全双工语音交互国际标准的编制工作，以填补该领域的标准空白。二、标准编制背景与过程2.1国际标准化环境ISO/IECJTC1（联合技术委员会第1分委员会）是国际标准化组织（ISO）与国际电工委员会（IEC）联合设立的技术委员会，负责信息技术领域的国际标准化工作。其中，SC35分委员会专门负责"用户接口"（UserInterfaces）领域的标准化，涵盖语音交互、手势交互、表情交互、脑机接口等人机交互技术的标准制定。SC35下设多个工作组，其中WG6（人机交互与可访问性工作组）承担了语音交互相关标准的研制任务。随着全双工语音交互技术的成熟和产业化进程加速，ISO/IECJTC1/SC35认识到该领域标准化的紧迫性。2018年，在SC35全体会议上，多国代表提议开展全双工语音交互标准化的预研工作。经过为期两年的技术调研和产业需求分析，该提案于2020年正式立项，编号为ISO/IEC24661，由SC35/WG6负责研制。2.2编制历程ISO/IEC24661的编制历程大体可分为四个阶段：预研阶段（2018—2020年）：SC35组织多国专家开展全双工语音交互的技术趋势分析和标准化需求调研，梳理了全球主要语音交互技术方案、产品形态及产业痛点，形成了标准提案的初步框架。中国、韩国、德国、美国、日本等国家的标准化机构积极参与了预研工作。立项与起草阶段（2020—2021年）：2020年正式立项后，成立了由中国专家担任召集人的起草工作组。工作组广泛征集各国在语音交互领域的技术积累和标准提案，确立了"架构引领、接口驱动、评价支撑"的编制思路。2021年形成工作草案（WorkingDraft，WD）。委员会草案与征询阶段（2021—2022年）：工作草案经过多轮讨论和修订，于2022年形成委员会草案（CommitteeDraft，CD），分发至各成员国征求意见。在此期间，工作组收到了来自15个国家的200余条反馈意见，对标准中涉及的系统架构、接口协议、服务质量指标体系等内容进行了深入修订完善。国际标准草案与发布阶段（2022—2023年）：2022年底形成国际标准草案（DraftInternationalStandard，DIS），进入最终投票阶段。2023年初，该标准以高赞成票数通过最终国际标准草案（FDIS）投票，于2023年5月22日正式发布，标准编号为ISO/IEC24661:2023。三、标准主要内容3.1标准定位与适用范围ISO/IEC24661:2023《信息技术用户接口全双工语音交互》是一项基础性用户接口标准，规定了全双工语音交互系统的参考架构、核心功能模块、接口协议、服务质量要求、安全与隐私保护要求以及测试评估方法。该标准适用于以下系统和产品的设计、开发、测试与评估：-支持全双工语音交互的智能语音助手系统；-车载智能座舱语音交互系统；-智能家居语音控制平台；-实时语音翻译与会议转写系统；-面向特殊人群（如视障用户）的语音辅助交互系统；-其他需要全双工语音交互能力的信息技术系统。3.2系统参考架构标准提出了一种分层式全双工语音交互系统参考架构，自下而上分为五个层次：（1）物理感知层：负责语音信号的采集与输出，包括麦克风阵列、扬声器、音频编解码器等硬件设备，以及回声消除、噪声抑制、波束形成等前端信号处理功能。（2）语音处理层：包含语音活动检测（VAD）、说话人识别、语音识别（ASR）、语音合成（TTS）等核心语音处理模块，实现语音信号向语义内容的转换和生成。（3）对话管理层：承担对话状态跟踪、意图理解、槽位填充、对话策略管理、打断处理等功能，是全双工语音交互的"大脑"核心。（4）服务集成层：负责与外部业务系统、知识库、第三方服务平台的对接与集成，实现任务执行与信息查询。（5）应用呈现层：面向最终用户的应用界面和服务入口，支持多模态交互协同呈现。各层之间通过标准化的接口协议进行数据交互，以保障系统的可扩展性和互操作性。3.3核心功能模块及其技术要求标准对各核心功能模块的性能与技术要求进行了明确规定：回声消除（AEC）模块：全双工语音交互中，扬声器播放的系统语音会通过空间传播被麦克风重新采集，形成声学回声。标准要求AEC模块在双讲场景下的回声衰减量不低于设定阈值，且对近端语音信号的失真度控制在可接受范围内。语音活动检测（VAD）模块：要求能够在复杂声学环境下准确区分语音段与非语音段，在信噪比低至0dB的条件下，语音检测准确率不低于设定标准。打断管理模块：当用户在系统播报过程中发起新的语音指令时，系统应在规定的响应时间内检测到打断意图并完成播报暂停，实现平滑的人机对话切换。双讲检测模块：要求系统能够准确判断"用户与系统同时发声"的双讲状态，并将双讲误检率控制在允许范围内，以确保对话流程的连贯性。流式语义理解模块：支持对连续语音流的增量式语义解析，即系统可在用户尚未说完时即开始理解语义意图，实现"边说边理解"的低延迟交互体验。3.4接口协议规范标准定义了全双工语音交互系统中各功能模块之间的数据接口协议，包括：-音频流接口：规定音频数据的编码格式、采样率、帧长、传输协议等参数，确保不同模块间的音频数据无缝对接；-语义事件接口：定义从语音识别结果到语义理解结果的标准化事件数据结构，包括意图、实体、置信度等元数据；-控制信令接口：规定系统内部的状态控制指令（如打断、恢复、结束、切换等）的格式与语义；-会话管理接口：定义对话上下文的创建、更新、查询与销毁等操作的标准接口协议。3.5服务质量要求与隐私安全标准从用户可感知的角度定义了全双工语音交互的服务质量评价指标体系，包括：-端到端交互延迟：从用户停止说话到系统完成语义理解并开始应答的时间；-打断响应时间：从用户发起打断到系统执行暂停操作的时间；-语义理解准确率：系统对用户意图判别的准确程度；-对话连贯性：多轮对话中的上下文保持和指代消解能力；-交互自然度：系统应答的流畅度、拟人化程度及整体用户体验。在安全与隐私保护方面，标准要求系统应具备语音数据加密传输和存储能力，明确告知用户录音行为并取得授权同意，提供录音数据的查阅、导出和删除机制，支持敏感信息的本地化处理，防止未经授权的数据外传。四、主要参与单位介绍4.1中国电子技术标准化研究院中国电子技术标准化研究院（CESI，原工业和信息化部电子工业标准化研究院）是中国从事电子信息技术领域标准化工作的国家级科研机构，也是ISO/IECJTC1/SC35的国内技术归口单位。该院创建于1963年，是中国电子信息技术标准化的权威机构，长期承担信息技术领域国际标准、国家标准和行业标准的研制任务。在全双工语音交互标准研制过程中，中国电子技术标准化研究院发挥了关键作用。作为ISO/IEC24661标准起草工作组的核心成员单位和国内技术对口单位，该院牵头组织了中国境内的标准提案征集和技术研讨工作，整合了百度、科大讯飞、阿里巴巴、华为等国内语音技术领军企业的技术积累和产业实践，形成了具有中国特色的全双工语音交互技术方案。同时，该院还派出资深标准化专家深度参与了标准的架构设计、接口协议定义和质量评价体系构建等核心编写工作，将中国在全双工语音交互领域的技术创新成果和工程实践经验成功转化为国际标准内容。五、标准影响与展望5.1产业影响分析ISO/IEC24661:2023的发布对全球全双工语音交互产业将产生深远影响：在产业层面，统一的标准接口协议将打破不同厂商之间的"技术孤岛"，促进语音交互产业链上下游的无缝对接。芯片厂商、算法提供商、设备制造商、内容服务商可以在标准框架下各司其职、协同创新，从而降低系统集成的复杂度和成本，加速全双工语音交互产品的规模化商用进程。在用户体验层面，服务质量评价指标体系为用户选择和比较不同产品提供了客观依据，有利于形成"优胜劣汰"的良性市场竞争格局。全双工语音交互技术的标准化推广，将显著缩短用户与机器之间的距离感，推动交互方式从"命令式"向"对话式"的根本转变。5.2未来标准化方向随着大语言模型（LLM）、多模态感知和生成式AI技术的迅猛发展，全双工语音交互正向更自然、更智能、更个性化的方向演进。未来标准化工作方向包括：多模态全双工交互标准：将语音与手势、表情、唇动、视线等多模态信号进行深度融合，制定多模态全双工交互的统一标准框架。情感感知与表达标准：全双工语音交互系统将具备情感识别与表达的能力，需要建立情感标注、情感理解与情感生成的标准化规范。大模型驱动的对话系统标准：面向以LLM为核心引擎的新