《车载智能座舱大模型交互意图理解及执行能力测试评价方法》编制说明

刘挺8675《车载智能座舱大模型交互刘挺8675意图理解及执行能力测试刘挺8675评

价方法》编制说明

一、工作简况

刘挺8675刘挺8675刘挺8675

1.1任务来源

《车载智能座舱大模型交互意图理解及执行能力测试评价方法》团体标准是由

中国汽车工程学会批准立项。文件号中汽学函【2024】85号，任务号为2024-85：。

本标准由中国汽车工程学会智能座舱分会提出，上海蜂舱智能科技有限公司、浙江

刘挺8675刘挺8675刘挺8675

极氪智能科技有限公司、宝马(中国)汽车贸易有限公司、上汽大众汽车有限公司、

斑马网络技术有限公司、上海汽车集团股份有限公司乘用车分公司、雄狮汽车科技

（南京）有限公司、莲花跑车、东风汽车股份有限公司、星河智联汽车科技有限公

司、中瓴智行（成都）科技有限公司、科大讯飞股份有限公司、上海塞伯火种人工

智能科技有限公司、标普全球信息服务（北京）有限公司、博世汽车、小米汽车科

刘挺8675刘挺8675刘挺8675

技有限公司、理想汽车、东风汽车集团研发总院、大众（中国）有限公司、阿维塔

科技有限公司等单位起草。

1.2编制背景与目标

现阶段，车载智能座舱大模型技术快速发展，作为智能交互的核心能力，意图

刘挺8675刘挺8675刘挺8675

理解与执行能力正成为行业竞争的关键点。车载大模型技术快速演进，但缺乏统一

的测试评价标准，可能导致研发资源浪费和行业无序竞争。建立科学的测试评价方

法，对于客观评估技术现状、引导技术发展方向具有重要意义。同时，用户对不同

车型的大模型交互能力缺乏清晰认知。构建规范化的测试评价体系，对促进行业健

刘挺8675康发展和提升用户认知具有重要作用。刘挺8675刘挺8675

本标准以技术引领和应用规范为目标，规定了车载智能座舱大模型交互意图理

解及执行能力的测试评价方法，从意图理解能力、执行质量和执行效率三个维度构

建评价指标体系，明确各指标的定义、测试方法和评分标准，建立基于毕达哥拉斯

模糊层次分析法（PF-AHP）的指标权重计算方法，为行业提供统一的测试评价基准。

刘挺8675刘挺8675刘挺8675

1.3主要工作过程

1

刘挺8675刘挺8675刘挺8675

刘挺86751.3.1预研阶段刘挺8675刘挺8675

本标准于2024年9月启动前期研究工作，由同济大学、上海蜂舱智能科技有限

公司牵头，联合行业头部车企及技术供应商，围绕车载智能座舱大模型交互意图理

解及执行能力的测试评价需求展开调研。通过分析行业技术现状和用户痛点，初步

刘挺8675确定了标准的技术框架和核心评价维度刘挺8675，包括意图理解能力、执行质量和执行刘挺8675效率

三大方向。在专家论证会上，与会代表一致认可标准的必要性，并建议加快推进立

项。

1.3.2立项阶段

2024年10月，项目组在预研成果基础上，进一步完善标准草案，明确测试方

刘挺8675刘挺8675刘挺8675

法、指标体系和评分规则。在中国汽车工程学会组织的立项审查会上，专家组对标

准的技术路线和可行性进行了充分论证，最终通过立项评审，正式批准本标准进入

起草阶段。

1.3.3起草阶段

刘挺8675刘挺8675刘挺8675

2024年11月至2025年1月，标准起草工作组正式成立，成员包括上海蜂舱智

能科技有限公司、同济大学等20余家单位。工作组召开多次专题会议，讨论并确定

了标准的核心技术内容，形成标准初稿。2025年5月至7月，工作组对初稿进行多

轮修订，细化测试用例和评分细则，最终完成征求意见稿。

刘挺86751.3.4征求意见阶段刘挺8675刘挺8675

1.3.5审查阶段

2025年9月至10月，工作组根据征求意见阶段的反馈，形成标准送审稿，并

提交中国汽车工程学会专家组评审。评审会上，专家组对标准的科学性、实用性和

刘挺8675可操作性给予高度评价，一致同意通过刘挺8675审查。刘挺8675

1.3.6报批阶段

1.4主要起草人及所承担工作

通过公开征集参与标准编制的意向单位，成立了标准编制工作组。标准编制工

刘挺8675作由同济大学、上海蜂舱智能科技有限刘挺8675公司牵头起草，浙江极氪智能科技有限刘挺8675公司、

2

刘挺8675刘挺8675刘挺8675

刘挺8675宝马(中国)汽车贸易有限公司、上汽大刘挺8675众汽车有限公司、斑马网络技术有限公刘挺8675司、

上海汽车集团股份有限公司乘用车分公司、雄狮汽车科技（南京）有限公司、莲花

跑车、星河智联汽车科技有限公司、中瓴智行（成都）科技有限公司、科大讯飞股

份有限公司、上海塞伯火种人工智能科技有限公司、标普全球信息服务（北京）有

限公司、博世汽车、小米汽车科技有限公司、理想汽车、东风汽车集团研发总院、

刘挺8675刘挺8675刘挺8675

大众汽车集团、阿维塔科技有限公司等等20余家单位共同参与了标准的编制工作。

二、标准编制原则和主要内容

2.1标准制定原则

本标准的研制过程中，充分调研了国内外当前车载大模型、人机交互、智能座

刘挺8675刘挺8675刘挺8675

舱测试等相关标准和技术发展现状，系统分析已有研究成果和行业实践案例，广泛

征求整车厂、供应商及高校等多方意见，经过多轮专家研讨，最终确定适用于车载

智能座舱大模型交互意图理解及执行能力的测试评价方法。标准中构建的测评指标

体系具备通用性、指导性、协调性和兼容性。

刘挺8675本标准按照GB/T1.1－2020《标准刘挺8675化工作导则第1部分：标准化文件的刘挺8675结构

和起草规则》给出的规则制定标准内容。

2.1.1通用性原则

本标准适用于搭载大模型系统的车载智能座舱的交互意图理解与执行能力测评，

刘挺8675涵盖多种品牌和类型的乘用车，具有广刘挺8675泛的适用性与参考价值，能够支持行业刘挺8675内不

同研发主体开展一致性的测试评价。

2.1.2指导性原则

当前车载大模型交互技术快速演进，但缺乏统一科学的测试评价标准，易导致

刘挺8675企业重复研发、资源浪费、用户感知差刘挺8675异较大等问题。本标准基于大量调研和刘挺8675工程

实践，提出规范化的测试指标体系和方法，为企业进行车载大模型能力建设与优化

提供技术指导，同时也为测评机构和消费者建立清晰的评估依据。

2.1.3协调性原则

刘挺8675本标准在制定过程中，充分参考了现刘挺8675行国家标准、行业标准和团体标准，如刘挺8675GB/T

36464.5-2018《信息技术智能语音交互系统第5部分：车载终端》等，并与《汽

3

刘挺8675刘挺8675刘挺8675

刘挺8675车智能座舱语音分级与测评方法》《汽刘挺8675车智能座舱分级与综合评价方法》等已刘挺8675有标

准体系进行协调，确保测试维度划分与能力指标设定不冲突、互补性强。

2.1.4兼容性原则

本标准在建立交互意图理解与执行能力评价方法时，兼顾不同车型、不同平台、

刘挺8675不同供应链体系下的智能座舱产品形态刘挺8675与交互方式，支持文本、语音、多模态刘挺8675等多

种输入输出方式的适配，具有良好的横向扩展能力与平台兼容性。

2.1.5规范性原则

本标准按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构

刘挺8675和起草规则》的规定起草。刘挺8675刘挺8675

2.2标准主要技术内容

本标准共分为8章，提出了《车载智能座舱大模型交互意图理解及执行能力测

试评价方法》，涵盖核心术语定义、评价指标体系、测试方法与评分规则等内容，

刘挺8675旨在构建一套科学、系统、可落地的大刘挺8675模型能力测评体系。核心技术内容包括刘挺8675：

2.2.1术语体系建立

本标准明确了生成式人工智能、大语言模型、AI幻觉、安全红线、跨域协作能

力、意图理解能力、执行质量、执行效率等一系列核心概念。术语定义为后续指标

刘挺8675设计与测评逻辑提供统一基础，确保测刘挺8675试维度边界清晰、评价体系具有一致性刘挺8675与可

比性。

2.2.2评价体系构建逻辑

本标准以车载大模型“人机交互闭环流程”为核心，划分出三大一级评价维度：

意图理解能力、执行质量与执行效率。每个维度下设置若干二级评价指标，覆盖从

刘挺8675刘挺8675刘挺8675

自然语言识别到跨域任务执行的全过程能力要求。所有指标均具备可观察性、可量

化性、安全性导向与车载适配性四项原则要求。

2.2.3指标层级与定义

评价指标采用“一级指标-二级指标”两级结构，覆盖意图解析-任务规划-

刘挺8675刘挺8675刘挺8675

内容生成-效率反馈等关键能力。共设立3项一级指标、13项二级指标，如表1

4

刘挺8675刘挺8675刘挺8675

刘挺8675所示：刘挺8675刘挺8675

表1评价指标体系

一级指标二级指标定义

意图理解能直接指令识评价汽车大模型对用户明确、具体、不含歧义指令识

刘挺8675刘挺8675刘挺8675

力别能力别的准确性。

复杂指令识评价汽车大模型对单句话中包含多个任务或约束条

别能力件的指令的识别准确性。

模糊意图识评价汽车大模型对用户包含个人情感、偏好、观点或

刘挺8675刘挺8675刘挺8675

别能力场景化描述指令的识别准确性。

上下文理解评价汽车大模型对涉及多轮对话、需要上下文记忆的

能力指令识别的准确性。

拒识准确率评价汽车智能座舱大模型对应响应指令和应拒识指

刘挺8675令的判断能刘挺8675力。刘挺8675

执行质量任务完成率评价汽车智能座舱大模型成功执行并达到预期结果

的任务数量占总任务数量的百分比。

跨域协作能评价汽车智能座舱大模型调用不同功能域间高效、安

刘挺8675力全地共享信刘挺8675息和协同工作的能力。刘挺8675

文本生成质评价汽车智能座舱大模型生成文本内容的质量，涉及

量安全性、可靠性、准确性、冗余度等。

刘挺8675图像生成质评价汽车智刘挺8675能座舱大模型生成图像内容的质量，涉及刘挺8675

量协调性、整体性、美学指标等。

执行效率首字响应延计算从用户语音输入结束到模型输出首个字到用户

迟界面的时间延迟。

刘挺8675文本生成速计算汽车智刘挺8675能座舱大模型文本的每秒生成字数。刘挺8675

5

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

率

图像生成速计算汽车智能座舱大模型生成单张图像的平均耗时。

率

2.2.4测评体系研究

刘挺8675刘挺8675刘挺8675

测评体系由3个一级维度、13个二级指标组成，涵盖语言识别精度、上下文建

模能力、执行反馈表现、生成输出质量等方。同时，为每个二级指标提供了10+组

典型测试用例及预期系统响应表现，支持标准实际落地和比对评测，以此构建了一

套主客观融合的交互能力测试评价体系，以真实用户任务驱动为基础，结合标准化

用例、定量测试工具、专家评分机制，确保模型能力评估的全面性、一致性与可实

刘挺8675刘挺8675刘挺8675

施性。

2.2.4测评体系研究

本标准对每个指标制定了1至5级评分标准，结合用户感知和技术表现给出分

档划分。同时，为每个二级指标提供了10+组典型测试用例及预期系统响应表现，

刘挺8675刘挺8675刘挺8675

支持标准实际落地和比对评测。

2.2.5权重设计

采用毕达哥拉斯模糊层次分析法（PF-AHP）构建指标权重体系，兼顾专家判断

与场景实际感知权重。意图理解能力、执行质量、执行效率的权重分别为40%、35%、

刘挺8675刘挺8675刘挺8675

25%，确保评价结果兼具公平性、科学性和行业代表性。

2.3关键技术问题说明

本标准聚焦于车载智能座舱大模型在实际交互中的意图理解与执行闭环流程，

围绕车载语境下大模型测试评估面临的关键挑战，重点解决以下技术难题：

刘挺8675刘挺8675刘挺8675

1.多义模糊意图的理解难题

车载场景下用户指令常具有省略、省指代、主观化等特征，对模型上下文建模

和多轮语义保持能力提出挑战，标准通过设定典型任务用例，规范测试路径与判断

标准。

刘挺8675刘挺8675刘挺8675

2.AI幻觉与越权响应问题

6

刘挺8675刘挺8675刘挺8675

刘挺8675大模型易出现幻觉内容、越权回答刘挺8675或误执行等安全隐患，标准引入“拒识刘挺8675准确

率”及“生成内容安全性”指标，并设立红线任务集，强化模型在车载使用场景下

的稳健性要求。

3.多模态与跨域协作的测评复杂性

刘挺8675座舱任务常涉及语言、视觉、图表刘挺8675、导航等跨模态执行，标准提出“跨域刘挺8675协作

能力”“图像生成质量”等专项指标，构建统一的多模态测评接口及表现标准。

4.主客观融合测评的一致性挑战

部分交互维度（如表达是否自然、响应是否贴切）难以量化，标准采用主客观

刘挺8675结合测评方法，并通过标准用例+分档规刘挺8675则提高测评复现性和结果一致性。刘挺8675

5.权重分配的合理性与行业通用性

不同企业对模型能力关注点不同，为确保通用性，标准基于专家调研和PF-AHP

方法构建权重体系，平衡模型能力广度与实际用户感知维度。

刘挺86752.4标准主要内容的论据刘挺8675刘挺8675

本标准的制定参考了GB/T1.1—2020《标准化工作导则第1部分：标准化文

件的结构和起草规则》、GB/T44373-2024《智能网联汽车术语和定义》、GB/T

21023-2007《中文语音识别系统通用技术规范》、中国汽车工程学会《汽车智能座

刘挺8675舱场景-需求-功能基础体系研究.2023》刘挺8675、GB/T21024-2007《中文语音合成系刘挺8675统通

用技术规范》、GB/T36464.5-2018《信息技术智能语音交互系统第5部分：车

载终端》等多个国际和国家标准、行业规范及法律法规，同时与业界各家单位进行

多次讨论协商，结合车载智能座舱大模型在产业中的实际应用需求与技术特点，建

立了科学系统的测试评价方法。。

刘挺8675刘挺8675刘挺8675

2.5标准工作基础

本标准编制工作依托课题组在智能座舱大模型测试、车载人机交互评估以及语

音理解等领域的长期研究基础，结合近年来在整车企业、供应链企业中的工程应用

积累，构建了一套具有系统性与可落地性的能力评价框架。

刘挺8675刘挺8675刘挺8675

7

刘挺8675刘挺8675刘挺8675

刘挺8675前期工作中，起草单位围绕智能座刘挺8675舱中大模型应用的实际交互流程，梳理刘挺8675了涵

盖语音、视觉、任务联动等典型功能域的用户场景，并组织测试团队完成了多轮实

车验证与系统级仿真测试。测试对象涵盖主流搭载大语言模型（LLM）座舱平台，包

括自主品牌和合资品牌的多个车型版本，验证内容覆盖意图识别、上下文理解、执

行效率、生成表现、越权响应、安全控制等多个维度，累计覆盖超过300条任务用

刘挺8675刘挺8675刘挺8675

例，形成较为完备的测试样本集。

在理论方法方面，起草单位基于已有语音系统测评标准和人因工程研究成果，

提出了适用于大模型交互场景的“主客观融合式评价方法”，并引入毕达哥拉斯模

糊层次分析法（PF-AHP）对能力指标进行权重建模，保障评分体系的科学性和一致

刘挺8675性。此外，相关团队在《汽车智能座舱刘挺8675语音分级与测评方法》《智能座舱多模刘挺8675态交

互系统功能适配评估》等标准项目中积累了丰富的模型评估、指标构建与测试方法

制定经验，为本标准的形成提供了良好的基础支撑。

同时，本标准由同济大学、上海蜂舱智能科技有限公司牵头，参编单位包括浙

江极氪智能科技有限公司、宝马(中国)汽车贸易有限公司、上汽大众汽车有限公司、

刘挺8675刘挺8675刘挺8675

斑马网络技术有限公司、上海汽车集团股份有限公司乘用车分公司、雄狮汽车科技

（南京）有限公司、莲花跑车、星河智联汽车科技有限公司、中瓴智行（成都）科

技有限公司、科大讯飞股份有限公司、上海塞伯火种人工智能科技有限公司、标普

全球信息服务（北京）有限公司、博世汽车、小米汽车科技有限公司、理想汽车、

刘挺8675东风汽车集团研发总院、大众汽车集团刘挺8675、阿维塔科技有限公司等。上述工作单刘挺8675位为

标准的可实施性、代表性和行业通用性提供了坚实支撑。

三、主要试验（或验证）情况分析

本标准试验工作在2024年10月至11月期间开展，验证分析情况随后提供。

刘挺8675四、标准中涉及专利的情况刘挺8675刘挺8675

尚无。

五、预期达到的社会效益、对产业发展的作用的情况

本次标准的研究内容涵盖车载智能座舱大模型交互意图理解及执行能力的测试

刘挺8675评价体系构建，从整车厂、供应商、第刘挺8675三方检测机构等多方视角，系统性地建刘挺8675立了

8

刘挺8675刘挺8675刘挺8675

刘挺8675大模型交互能力的评价维度与方法。该刘挺8675标准将为产业链中推动技术标准化发展刘挺8675、规

范市场有序竞争、提升终端用户体验、促进产业转型升级以及引领技术发展方向等

环节提供重要支撑。

本标准的实施将有效解决当前车载大模型"评价无标可依"的行业痛点，通过建

刘挺8675立科学、全面的测试评价体系，推动智刘挺8675能座舱交互技术从"能用"向"好用"跨越刘挺8675，最

终实现产业健康发展和用户体验提升的双赢局面。同时，标准中提出的创新性评价

方法也将为学术界在智能交互领域的研究提供重要参考。

六、采用国际标准和国外先进标准情况，与国际、国外同类标准水平的对比情况，国内外关键

指标对比分析或与测试的国外样品、样机的相关数据对比情况

刘挺8675刘挺8675刘挺8675

尚无。

七、在标准体系中的位置，与现行相关法律、法规、规章及相关标准，特别是强制性标准的协

调性

本标准符合国家有关法律、法规和相关强制性标准的要求，与现行的国家标准、行业标准

刘挺8675刘挺8675刘挺8675

相协调。

八、重大分歧意见的处理经过和依据

尚无。

刘挺8675九、标准性质的建议说明刘挺8675刘挺8675

本标准为中国汽车工程学会标准，属于团体标准,供学会会员和社会自愿使用。

十、贯彻标准的要求和措施建议

严格按照本标准提出的试验方法对车载智能座舱大模型交互意图理解及执行能力进行测评，

刘挺8675对试验人员进行理论学习和操作培训，保证刘挺8675检测方法操作的准确性。刘挺8675

十一、废止现行相关标准的建议

无。

十二、其他应予说明的事项

刘挺8675刘挺8675刘挺8675

无。

9

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

标准起草工作组

2025年7月28日

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

10

刘挺8675刘挺8675刘挺8675

刘挺8675《车载智能座舱大模型交互刘挺8675意图理解及执行能力测试刘挺8675评

价方法》编制说明

一、工作简况

刘挺8675刘挺8675刘挺8675

1.1任务来源

《车载智能座舱大模型交互意图理解及执行能力测试评价方法》团体标准是由

中国汽车工程学会批准立项。文件号中汽学函【2024】85号，任务号为2024-85：。

本标准由中国汽车工程学会智能座舱分会提出，上海蜂舱智能科技有限公司、浙江

刘挺8675刘挺8675刘挺8675

极氪智能科技有限公司、宝马(中国)汽车贸易有限公司、上汽大众汽车有限公司、

斑马网络技术有限公司、上海汽车集团股份有限公司乘用车分公司、雄狮汽车科技

（南京）有限公司、莲花跑车、东风汽车股份有限公司、星河智联汽车科技有限公

司、中瓴智行（成都）科技有限公司、科大讯飞股份有限公司、上海塞伯火种人工

智能科技有限公司、标普全球信息服务（北京）有限公司、博世汽车、小米汽车科

刘挺8675刘挺8675刘挺8675

技有限公司、理想汽车、东风汽车集团研发总院、大众（中国）有限公司、阿维塔

科技有限公司等单位起草。

1.2编制背景与目标

现阶段，车载智能座舱大模型技术快速发展，作为智能交互的核心能力，意图

刘挺8675刘挺8675刘挺8675

理解与执行能力正成为行业竞争的关键点。车载大模型技术快速演进，但缺乏统一

的测试评价标准，可能导致研发资源浪费和行业无序竞争。建立科学的测试评价方

法，对于客观评估技术现状、引导技术发展方向具有重要意义。同时，用户对不同

车型的大模型交互能力缺乏清晰认知。构建规范化的测试评价体系，对促进行业健

刘挺8675康发展和提升用户认知具有重要作用。刘挺8675刘挺8675

本标准以技术引领和应用规范为目标，规定了车载智能座舱大模型交互意图理

解及执行能力的测试评价方法，从意图理解能力、执行质量和执行效率三个维度构

建评价指标体系，明确各指标的定义、测试方法和评分标准，建立基于毕达哥拉斯

模糊层次分析法（PF-AHP）的指标权重计算方法，为行业提供统一的测试评价基准。

刘挺8675刘挺8675刘挺8675

1.3主要工作过程

1

刘挺8675刘挺8675刘挺8675

刘挺86751.3.1预研阶段刘挺8675刘挺8675

本标准于2024年9月启动前期研究工作，由同济大学、上海蜂舱智能科技有限

公司牵头，联合行业头部车企及技术供应商，围绕车载智能座舱大模型交互意图理

解及执行能力的测试评价需求展开调研。通过分析行业技术现状和用户痛点，初步

刘挺8675确定了标准的技术框架和核心评价维度刘挺8675，包括意图理解能力、执行质量和执行刘挺8675效率

三大方向。在专家论证会上，与会代表一致认可标准的必要性，并建议加快推进立

项。

1.3.2立项阶段

2024年10月，项目组在预研成果基础上，进一步完善标准草案，明确测试方

刘挺8675刘挺8675刘挺8675

法、指标体系和评分规则。在中国汽车工程学会组织的立项审查会上，专家组对标

准的技术路线和可行性进行了充分论证，最终通过立项评审，正式批准本标准进入

起草阶段。

1.3.3起草阶段

刘挺8675刘挺8675刘挺8675

2024年11月至2025年1月，标准起草工作组正式成立，成员包括上海蜂舱智

能科技有限公司、同济大学等20余家单位。工作组召开多次专题会议，讨论并确定

了标准的核心技术内容，形成标准初稿。2025年5月至7月，工作组对初稿进行多

轮修订，细化测试用例和评分细则，最终完成征求意见稿。

刘挺86751.3.4征求意见阶段刘挺8675刘挺8675