《车载智能座舱大模型交互意图理解及执行能力测试评价方法》

ICS43.040.15

CCST40

刘挺8675刘挺8675刘挺8675

团体标准

T/CSAExxx－2025

刘挺8675刘挺8675刘挺8675

车载智能座舱大模型交互意图理解与执行

刘挺8675刘挺8675刘挺8675

能力测试评价方法

Testandevaluationmethodforinteractionintentunderstandingandexecution

刘挺8675刘挺8675刘挺8675

capabilityofin-vehiclesmartcockpitlargemodels

（征求意见稿）

在提交反馈意见时，请将您知道的该标准所涉必要专利信息连同支持性文件一并附上。

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

20xx-xx-xx发布20xx-xx-xx实施

刘挺8675刘挺8675刘挺8675

中国汽车工程学会发布

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAExx—2025

前言

刘挺8675 刘挺8675 刘挺8675

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起

草。

请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。

本文件由中国汽车工程学会智能座舱分会提出，

本文件由中国汽车工程学会标准化工作委员会归口。

本文件起草单位：同济大学、上海蜂舱智能科技有限公司、浙江极氪智能科技有限公司、宝马（中

国）汽刘挺8675车贸易有限公司、上汽大众汽车有限公司、斑刘挺8675马网络技术有限公司、上海汽车集团股份有刘挺8675限公司

乘用车分公司、雄狮汽车科技（南京）有限公司、莲花跑车、星河智联汽车科技有限公司、中瓴智行（成

都）科技有限公司、科大讯飞股份有限公司、上海塞伯火种人工智能科技有限公司、标普全球信息服务

（北京）有限公司、博世汽车、小米汽车科技有限公司、理想汽车、东风汽车集团研发总院、大众汽车

集团、阿维塔科技有限公司。

本文件主要起草人：马钧、杨振宇、胡志鹏、郭明阳、周子尧、林倩莉、刘镇铭、王耔懿、卢思怡、

王隽苇、邓皓、杨寒、唐强、何雷、庞笑博、袁清鹏、翟亚婵、周源、李歆、徐佳、李凡妮、林全刚、

陈艳梅、苏醒、侯立良、卢佛财、陈沛康、何欣、张国霞、张薇、李淑玲、张宇、石爱森、安晴、胡政。

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

II

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAE85—2024

车载智能座舱大模型交互意图理解与执行能力测试评价方法

1范围

刘挺8675刘挺8675刘挺8675

本文件规定了汽车智能座舱大模型人机交互意图理解及执行能力的评价指标体系、要求及测试方法。

本文件适用于汽车智能座舱领域大语言模型在产品定义、开发、验收及测试阶段的能力评价。评价

对象包括：

a）大语言模型对用户交互意图的理解能力水平；

b）大语言模型对用户下发指令的执行能力水平，涵盖执行的质量与效率。

2刘挺8675规范性引用文件刘挺8675刘挺8675

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T44373—2024智能网联汽车术语和定义

GB/T36464.5—2018信息技术智能语音交互系统第5部分：车载终端

刘挺8675刘挺8675刘挺8675

3术语和定义

GB/T44373—2024界定的及下列术语和定义适用于本文件。

3.1

生成式人工智能artificialintelligencegeneratedcontent；AIGC

刘挺8675刘挺8675刘挺8675

基于算法、模型、规则，通过对海量数据进行学习和分析，自主生成文本、图像、音频、视频或代

码等内容的技术。

3.2

大语言模型largelanguagemodel；LLM

刘挺8675刘挺8675刘挺8675

在海量文本数据上进行预训练，参数规模巨大，具备强大的自然语言理解、生成和推理能力的深度

学习模型。

3.3

车载智能座舱大模型in-vehiclecockpitlargemodel；ICLM

刘挺8675刘挺8675刘挺8675

针对汽车智能座舱场景进行大规模数据预训练并优化或微调的语言模型。

1

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAExx—2025

3.4

AI幻觉AIhallucination

大模型在生成内容时，产生与客观事实不符、逻辑矛盾或凭空捏造信息的现象。

刘挺8675刘挺8675刘挺8675

示例：

在车载场景下，AI幻觉可能导致错误的车辆功能介绍（“本车支持飞行模式”）、危险的操作建议或虚构的导航信

息。

3.5

刘挺8675刘挺8675刘挺8675

安全红线safetyredline

车载大模型在任何交互中不得逾越法律法规、伦理、安全及隐私的边界。

注：触碰安全红线的行为包括但不限于生成违法、暴力、歧视性内容，泄露个人隐私，或提供直接危及驾驶安全的

操作建议。

3.6

刘挺8675刘挺8675刘挺8675

端到端任务成功率end-to-endtasksuccessrate

用户指令发出至系统输出正确结果的完整闭环成功率。该指标综合衡量了模型的意图理解、任务规

划、功能调用与结果反馈的综合能力。

3.7

刘挺8675刘挺8675刘挺8675

提示词prompt

用户向大语言模型输入的，用于引导或约束其生成特定内容的文本指令或问题。

3.8

刘挺8675刘挺8675刘挺8675

意图理解能力intentunderstandingcapability

汽车智能座舱大模型通过自然语言处理等技术，对用户的语音或文本输入进行分析，具有准确识别、

解析和理解其中所包含的真实需求和交互意图的能力。

3.9

刘挺8675刘挺8675刘挺8675

执行能力executioncapability

2

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAE85—2024

衡量汽车智能座舱大模型在成功理解用户意图后，调用相应车载功能或服务，以完成用户指令的综

合能力，包含执行质量和执行效率两个维度。

3.10

刘挺8675刘挺8675刘挺8675

直接指令识别能力directcommandrecognitioncapability

评价汽车大模型对用户下达的明确、具体、不含歧义的单一任务指令的识别准确性。

注：这类指令通常意图清晰，可以直接映射到具体的功能操作。

3.11

刘挺8675刘挺8675刘挺8675

上下文理解能力contextunderstandingcapability

评价汽车大模型在多轮对话中，记忆和利用先前对话信息以正确理解后续指令的能力。

注：这包括对指代（如“他”、“那里”等）、省略和连续问答场景的处理。

3.12

刘挺8675刘挺8675刘挺8675

多轮对话multi-turndialogue

人机交互过程中，用户与系统通过多次连续的对话轮次，逐步完成复杂任务或深入交流的交互模式。

3.13

刘挺8675刘挺8675刘挺8675

复杂指令识别能力complexcommandrecognitioncapability

评价汽车大模型对在单句话语中包含多个任务或约束条件的指令（即“一句话多指令”）进行准确

识别、拆解和处理的能力。

3.14

刘挺8675刘挺8675刘挺8675

模糊意图识别能力fuzzyintentrecognitioncapability

评价汽车大模型对用户指令中包含的非结构化、主观性信息（如个人情感、偏好、观点或场景化描

述）的识别和推理准确性。

3.15

刘挺8675刘挺8675刘挺8675

拒识准确率rejectionaccuracy

3

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAExx—2025

评价汽车智能座舱大模型对于超出其能力范围或不符合安全伦理规范或无法理解的指令，能够做出

正确拒绝或响应的判断能力。

3.16

刘挺8675刘挺8675刘挺8675

任务完成率taskcompletionrate

在系统正确理解指令的前提下，成功执行并达到用户预期结果的任务数量占总任务数量的百分比。

3.17

跨刘挺8675域协作能力cross-domaincollaboration刘挺8675capability刘挺8675

评价汽车智能座舱大模型在执行复杂任务时，能够有机地调用和协调不同功能域（如导航、娱乐、

车控、通讯、信息查询等）的资源，以实现无缝、连贯的用户体验的能力。

3.18

文刘挺8675本生成质量textgenerationquality刘挺8675刘挺8675

综合评价汽车智能座舱大模型所生成文本内容的优劣程度。

注：评价维度包括但不限于：安全性、可靠性、准确性、逻辑性、流畅性和相关性。

3.19

刘挺8675刘挺8675刘挺8675

图像生成质量imagegenerationquality

综合评价汽车智能座舱大模型根据用户指令生成图像的质量。

注：评价维度包括但不限于：主题符合度、美学表现（构图、色彩）、内容准确性、细节丰富度及原创性。

3.20

刘挺8675刘挺8675刘挺8675

首字响应延迟timetofirsttoken；TTFT

从用户语音指令的最后一个字结束的时刻，到模型输出的第一个字通过语音播报或屏幕显示等形式

呈现给用户的时刻之间的时间间隔，单位为秒（s）。

注：该指标是衡量系统交互即时性的关键指标。

刘挺8675刘挺8675刘挺8675

3.21

4

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAE85—2024

文本生成速率textgenerationspeed

计算汽车智能座舱大模型在响应用户请求后，单位时间内生成文本的平均字数。

3.22

刘挺8675刘挺8675刘挺8675

图像生成速率imagegenerationspeed

计算汽车智能座舱大模型从接收并确认用户图像生成指令，到在屏幕上完整呈现单张图像所需的平

均时间。

3.23

刘挺8675刘挺8675刘挺8675

静态测试statictest

静态测试指在车辆保持静止且车机系统正常运行的状态下对其进行测试，期间驾驶员无需进行驾驶

相关的活动。

4评价指标体系

刘挺8675刘挺8675刘挺8675

汽车智能座舱大模型交互意图理解及执行能力评价指标体系由三个一级指标和十个二级指标构成，

如表1所示。

表1评价指标体系

一级指标二级指标定义

刘挺8675刘挺8675刘挺8675

直接指令识别能力评价汽车大模型对用户明确、具体、不含歧义指令识别的准确性。

评价汽车大模型对单句话中包含多个任务或约束条件的指令的识

复杂指令识别能力

别准确性。

刘挺8675意图理解能评价汽车大刘挺8675模型对用户包含个人情感、偏好、观点或场景化描刘挺8675述指

模糊意图识别能力

力令的识别准确性。

评价汽车大模型对涉及多轮对话、需要上下文记忆的指令识别的准

上下文理解能力

确性。

拒识准确率评价汽车智能座舱大模型对应响应指令和应拒识指令的判断能力。

刘挺8675刘挺8675刘挺8675

5

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAExx—2025

评价汽车智能座舱大模型成功执行并达到预期结果的任务数量占

任务完成率

总任务数量的百分比。

评价汽车智能座舱大模型调用不同功能域间高效、安全地共享信息

刘挺8675跨域协作能力刘挺8675刘挺8675

和协同工作的能力。

执行质量

文本生成质量评价汽车智能座舱大模型生成文本内容的质量，涉及安全性、可靠

性、准确性、冗余度等。

评价汽车智能座舱大模型生成图像内容的质量，涉及协调性、整体

刘挺8675图像生成质量刘挺8675刘挺8675

性、美学指标等。

计算从用户语音输入结束到模型输出首个字到用户界面的时间延

首字响应延迟

迟。

执行效率

文本生成速率计算汽车智能座舱大模型文本的每秒生成字数。

刘挺8675刘挺8675刘挺8675

图像生成速率计算汽车智能座舱大模型生成单张图像的平均耗时。

5评价要求

5.1总体原则

刘挺8675刘挺8675刘挺8675

测试数据应按评价指标逐项统计与分析，各指标须满足对应判定与度量要求，最终得分按第6章权

重加权计算。

5.2技术要求

5.2.1意图理解能力

5.2.1.1直接指令识别能力

刘挺8675刘挺8675刘挺8675

5.2.1.1.1评价目的

验证模型对基础、高频用车指令的识别能力，确保核心交互功能的稳定可靠；该能力的理论依据主

要依赖于模型自然语言理解模块中意图分类与槽位填充的准确性。

5.2.1.1.2评分准则

直接指令识别能力的评分准则见表2。

刘挺8675刘挺8675刘挺8675

表2直接指令识别能力评分准则

6

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAE85—2024

得分描述得分准则

5完美识别所有直接指令，意图和参数均准确无误理解正确，执行成功

刘挺8675刘挺8675刘挺8675

4绝大部分指令识别正确，偶有参数错误（如将24度识理解正确，执行成功（大部分任

别为14度）务成功，还有优化空间）

3能识别大部分指令，但意图或关键参数错误率较高理解（部分）正确，部分执行错

误

刘挺8675刘挺8675刘挺8675

2识别能力有限，超过一半的指令需要用户重复或澄清理解（部分）正确，执行失败/

错误（如反应无法操作，或提示

用户手动操作，不支持等）

1基本无法完成直接指令的识别，系统不可用理解错误，执行失败/错误（如拒

刘挺8675刘挺8675刘挺8675

识）

5.2.1.1.3代表性测试用例

直接指令识别能力的代表性测试用例见表3。

表3直接指令识别能力代表性测试用例

刘挺8675刘挺8675刘挺8675

编号测试用例预计表现

DI-C-001“打开空调”系统能够正常识别指令并成功执行“开启空调”的动作。

刘挺8675DI-C-002“打开主驾驶车系统能刘挺8675够准确识别“打开车窗”的动作和“主驾驶”的位刘挺8675置并

窗”且成功执行。

DI-C-003“切换驾驶模式系统能够将车辆的驾驶模式切换为“运动模式”。

为运动模式”

DI-C-004“打开座椅通风”系统正确开启了座椅通风功能，默认档位或指定档位均可。

刘挺8675刘挺8675刘挺8675

7

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAExx—2025

DI-C-005“打开雨刮器”系统成功启动了雨刮器。

DI-N-001“导航去上海人系统成功发起导航，且目的地准确设置为“上海人民广场”。

刘挺8675刘挺8675刘挺8675

民广场”

DI-N-002“搜索附近的加系统准确地在地图上或以列表形式展示了车辆附近的加油站。

油站”

DI-N-003“取消路线”在导航状态下，系统成功取消路线，退出了当前导航任务。

刘挺8675刘挺8675刘挺8675

DI-E-001“播放周杰伦的系统准确播放了指定歌手的指定歌曲。

《稻香》”

DI-E-002“音量调大”系统准确识别指令并执行了“增大音量”的操作。

刘挺8675刘挺8675刘挺8675

DI-E-003“暂停播放”在播放状态下，系统成功暂停了当前媒体。

DI-T-001“打电话给张三”系统成功从通讯录中找到“张三”并发起电话呼叫。

DI-T-002“接听电话”在来电状态下，系统成功接通了电话。

刘挺8675DI-Q-001“今天天气怎么系统成功刘挺8675播报或显示了当天的天气信息。刘挺8675

样”

DI-Q-002“现在几点了”系统准确地根据所在地区报时。

5.2.1.2复杂指令识别能力

5.2.1.刘挺86752.1评价目的刘挺8675刘挺8675

评估模型在一次交互中处理多个信息点的能力，反映其智能化的深度。涉及意图的并行识别、依赖

关系解析和执行顺序规划。

5.2.1.2.2评分准则

复杂指令识别能力的评分准则见表4。

刘挺8675刘挺8675刘挺8675

8

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAE85—2024

表4复杂指令识别能力评分准则

得分描述得分准则

5能准确识别并拆解几乎所有子意图，并理解它1-理解错误，执行失败/错误（如

刘挺8675刘挺8675刘挺8675

们之间的关系。拒识）；

4能识别大部分子意图，但可能遗漏次要意图或4-理解正确，执行成功（表现尚

约束条件。可，还有优化空间）；

刘挺86753能识别主要意图，但经常遗刘挺8675漏多个子意图，或3-理解（部分）正确，部分刘挺8675执行

无法处理否定等复杂逻辑。错误；

2仅能识别出最简单的一个意图，忽略其他所有2-理解（部分）正确，执行失败/

指令。错误（如反应无法操作，手动试

试，不支持等）；

刘挺8675刘挺8675刘挺8675

1完全无法理解多指令语句，通常会询问或执行1-理解错误，执行失败/错误（如

错误。拒识）；

5.2.1.2.3代表性测试用例

复杂指令识别能力的代表性测试用例见表5。

刘挺8675表5复杂指令识刘挺8675别能力代表性测试用例刘挺8675

编号测试用例预计表现

CX-NC-001“打开车窗并播放音乐”系统成功打开车窗并且开始播放音乐，两个子任务

均成功得满分。

刘挺8675刘挺8675刘挺8675

CX-NC-002“把空调调到22度，风量调到2系统能够准确将空调温度设置为22度，并且风量设

档”置为2档，两个参数均设置正确得满分。

CX-NE-001“导航去公司，并播放我的收藏系统成功发起至“公司”的导航并且播放“我的收

刘挺8675歌单”刘挺8675藏”歌单。刘挺8675

9

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAExx—2025

CX-NE-002“播放周杰伦的歌，但不要《七系统准确识别指令，将播放列表均设置为周杰伦的

里香》”歌曲，并且播放列表中排除了指定歌曲《七里香》。

CX-NT-001“导航回家，到了之后提醒我拿系统成功发起至“家”的导航，并且成功设置了到

刘挺8675刘挺8675刘挺8675

快递”达目的地的提醒事项。

CX-NF-001“导航去最近的充电站，要快充系统准确导航至充电站，且目的地满足“快充”这

的”一约束条件。

CX-NF-002“找附近人均100元以下的火锅系统搜索结果均为当前位置附近的火锅店，且满足

刘挺8675店，不要川味的”刘挺8675人均价格和口味的筛选条件。刘挺8675

CX-CC-001“打开主驾和副驾的车窗，再打系统正确打开主驾和副驾车窗，且座椅加热功能成

开座椅加热”功开启。

CX-CQ-001“把氛围灯调成蓝色，并降低屏系统成功将氛围灯颜设置为蓝色，且降低了屏幕亮

刘挺8675幕亮度”刘挺8675度。刘挺8675

CX-EC-001“播放一首安静的纯音乐，然后系统准确播放了符合“安静”、“纯音乐”条件的

把座椅调到最舒服的位置”音乐，并且启动了座椅位置的自动调节。

CX-TC-001“给老婆发微信说我堵在路上系统尝试通过微信发送了指定内容的消息，给予车

了，顺便打开双闪”主反馈，同时打开了车辆双闪灯。

刘挺8675刘挺8675刘挺8675

CX-NN-001“导航去A公司，途经B咖啡店”系统正确将导航目的地设置成公司A，并将B咖啡店

添加为途经点。

CX-QQ-001“搜索一下特斯拉的股价，再查系统正确提供了特斯拉的股价信息，并且回答了创

查它的创始人是谁”始人是马斯克。

刘挺8675刘挺8675刘挺8675

CX-QC-001“帮我查一下去机场的路况，然系统成功查询并反馈了路况信息，且开启了车内空

后打开车内净化”气净化功能。

CX-QE-001“这首歌叫什么名字，帮我把它系统准确识别了当前歌曲的名称，且将该歌曲加入

加入收藏”了收藏列表。

刘挺8675刘挺8675刘挺8675

10

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAE85—2024

5.2.1.3模糊意图识别能力

5.2.1.3.1评价目的

评估模型是否能超越字面意思，理解用户的主观感受和潜在需求，提供更人性化的服务。依赖于知

识图谱、用户画像和情景感知技术。

刘挺8675刘挺8675刘挺8675

5.2.1.3.2评分准则

由测试员根据模型响应的贴切性、人性化程度和解决问题的有效性进行主观评分。评分准则见表6。

表6模糊意图识别能力评分准则

得分得分描述得分准则

刘挺8675刘挺8675刘挺8675

5理解精准，响应极具同理心和创造性，超出用户预理解正确，执行成功，表现优异

期，提供主动建议

4理解正确，能将模糊意图转化为具体可行的操作或理解正确，执行成功（表现尚可，还有

建议，响应合理优化空间）

刘挺8675刘挺8675刘挺8675

3理解基本正确，但响应较为刻板，或提供的建议不理解（部分）正确，部分执行错误

够贴切

2部分理解，但抓不住核心意图，响应偏差较大或给理解（部分）正确，执行失败/错误（如

出无关信息反应无法操作，手动试试，不支持等）

刘挺8675刘挺8675刘挺8675

1完全误解，响应与用户意图无关，或直接表示“听理解错误，执行失败/错误（如拒识）

不懂”

5.2.1.3.3代表性测试用例

模糊意图识别能力的代表性测试用例见表7。

刘挺8675表7代刘挺8675表性测试用例刘挺8675

编号测试用例预计表现

FU-S-001“我有点冷”系统能够理解用户体感并执行相关操作，如“调高空调温度”

或“关闭车窗”。主动询问或直接执行均可。

刘挺8675刘挺8675刘挺8675

11

刘挺8675刘挺8675刘挺8675

刘挺8675刘挺8675刘挺8675

T/CSAExx—2025

FU-S-002“车里好闷”系统能够理解车内空气质量不佳，并执行如“开启外循环”、

“打开车窗”或“开启空气净化”等操作。

FU-S-003“我有点累了”系统能识别用户疲劳状态，并提供有效建议或操作，如“播

刘挺8675刘挺8675刘挺8675

放提神音乐”、“开启提神模式”、“提示注意安全驾驶”

等。

FU-S-004“今天心情不太好”系统能够给予情感关怀，并提供建设性建议，如“播放舒缓

的音乐”、“讲个笑话”、“推荐个风景好的地方兜兜风”

等。

刘挺8675刘挺8675刘挺8675

FU-S-005“我饿了”系统能理解用餐需求，并主动推荐附近的餐厅或外卖服务。

FU-S-006“感觉有点无聊”系统能理解娱乐需求，并提供多样化的建议，如“播放音乐/

播客”、“玩个游戏”、“聊聊天”等。

刘挺8675FU-R-001“找个适合约会的地系统能理刘挺8675解场景化需求，并推荐符合“约会”氛围的地点，刘挺8675

方”如高评分餐厅、电影院、公园等。

FU-R-002“推荐点适合开车时系统能理解特定场景下的音乐偏好，并推荐节奏感强、适合

听的音乐”驾驶的歌单。

FU-R-003“找个安静的地方喝系统能理解需求中的“安静”属性，并推荐符合该条件的咖

刘挺8675刘挺8675刘挺8675

杯咖啡”啡馆，而非简单的“附近咖啡馆”。

FU-C-001“我想看星星”系统能创造性地满足用户需求，如“打开天窗”、“推荐附

近的观星点”或“在中控屏生成星空壁纸”。

FU-C-002“我想放松一下”系统能提供组合式的放松方案，如“开启座椅按摩，播放轻

刘挺8675刘挺8675刘挺8675

音乐，调节氛围灯为舒缓模式”。

FU-C-003“外面天好蓝”系统能对用户的感叹做出人性化回应，如“是啊，这么好的

天气很适合出去走走，需要为您打开天窗吗？”。

FU-C-004“今天是我生日”系统能识别特殊日子，并送上祝福，甚至提供惊喜，如“唱

刘挺8675