版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1人工智能终端智能化分级本文件规定了人工智能终端(以下简称“终端”)智能化的分级体系,包括终端智能化等级划分、能力要素和各等级关键能力,描述了测试方法。本文件适用于各类终端的智能化分级,也为终端的设计、开发、应用、选型及测试等环节提供参考。2规范性引用文件3术语和定义测试场景testingscenario在特定应用场景下,为测试终端的关键能力而设定的综合性测试情境。测试任务testingtask终端智能化测试中的基本执行单元。终端在执行特定任务时,为实现对用户意图的精准理解与响应,实时构建的关于用户、设备及环境的动态信息集合。端到端闭环end-to-endclosed-loop从用户发出指令或意图开始,终端完成感知、认知、执行等必要环节,最终成功交付任务结果的完整流程。个人知识库personalknowledgebase终端在长期使用过程中,经用户授权后学习并存储的关于该用户的特定事实、关系、偏好和习惯等个性化信息集合。2会话session用户与终端之间为完成一个或一组相关联的任务而进行的一次交互过程。会话上下文sessioncontext在一次会话期间,为确保交互的连贯性与任务的准确执行,所记录和维护的该会话内交互历史与当前状态等动态信息的集合。能力要素abilityelement构成终端智能化能力顶层框架的基本分类。任务分解taskdecomposition终端将用户提出的一个复杂意图或多步骤指令,自动拆解成一系列更小、更具体且可执行子任务的能力。任务编排taskorchestration在任务分解的基础上,根据子任务之间的逻辑关系、依赖关系和执行优先级,规划并生成最优或合理执行顺序的能力。意图澄清intentclarification当终端识别到用户意图不明确时,通过主动提问、提供选项或请求补充信息等方式,进一步明确用户真实需求的能力。5概述根据终端在功能范围内执行各类任务的能力复杂度及自动化程度,将终端智能化水平划分为四个等级,分别为1级(L1)~4级(L4)。等级越高,表明终端的智能化水平越高。高等级终端的能力涵盖全部低等级终端的能力,如L3级终端需同时具备L1级和L2级的所有关键能力。6.1L1响应级终端理解单个简单指令,根据指令调用确定工具,完成单步骤任务。6.2L2工具级终端理解用户指令以及简单意图,具备简单推理能力;具备调用预设工具,完成单步骤或明确的多步骤执行任务的能力;具备文本、音频或图片等至少一种模态内容生成的能力;具备在单次会话内的短期记忆能力。36.3L3辅助级终端能够全面理解用户指令和意图,具备主动进行意图澄清的能力,具备较强的推理能力,能够自动完成任务分解和任务编排;具备动态选择和自动调用工具的能力,具备文本、音频或图片等至少一种模态内容生成的能力;具备短期和长期记忆能力。6.4L4协同级待定。注:根据当前技术发展水平,本文件给出了L1级~L3级的智能化关键能力,L4级及更高等级的划分将在本文件的后续修订中予以明确和完善。7能力要素7.1一级能力要素终端通过内外部传感器、数据采集模块和识别模块等获取传感器、系统服务和应用服务等数据,并构建任务执行所需的场景上下文信息的能力,包括用户信息感知、设备信息感知和环境信息感知。终端对用户意图及相关信息进行理解,对信息进行推理分析以及对任务进行动态规划的能力,以确保任务的执行符合用户预期目标,包括理解、推理、规划。7.1.4记忆终端在用户授权下,对交互内容和相关信息进行提取、存储、检索和动态更新的能力,包括短期记忆和长期记忆。终端通过用户反馈、外部知识输入和自我反思等方式,不断优化指令遵从、知识问答、特定任务执行等方面的表现,实现输出结果优化和智能化水平提升的能力,包括情境适应学习和持续演进学习。7.2二级能力要素7.2.1.1用户信息感知47.2.1.2设备信息感知7.2.1.3环境信息感知终端感知其所处的外部环境与用户使用情境,并实现对环境信息进行采集与识别的能力。感知内容包括环境光、环境声、温度、湿度、空气质量、空间位置等。环境信息感知可通过终端传感器、外联设备或互联网等方式实现。终端对感知到的各类信息进行分析与解读,以准确理解用户意图、用户状态、所处环境及终端处理或输出内容的能力。包括理解用户输入的指令与意图,并对用户的行为、生理及情绪状态进行理解;对终端处理或输出的内容进行理解;对终端所处的环境进行理解;对多种来源的感知信息进行融合理解;当意图不明确时,能够主动进行意图澄清;具备依据用户习惯和场景上下文主动预测用户意图的能力。各类型用户指令和意图描述见附录A。终端基于感知的信息,通过逻辑推理或归纳推理等方式对信息进行论证,从而得出结论的能力。终端为完成用户的复杂任务,基于情景上下文,将任务分解为子任务并编排成可行的行动方案,并能在执行中根据反馈进行动态调整的能力。注:仅基于模型能力的内容生成任务(如小说创作、文章摘要等)通常依赖推理能力,不属于规划能力。7.2.3.1工具调用终端通过调用各类工具完成特定任务的能力,包括完成单步骤任务的确定性工具调用、完成预设且明确的多步骤任务的组合工具调用以及依据规划结果的工具调用。注:工具指终端系统功能、终端应用程序及互联网服务,终端系统功能包括调节音量、拍照等,终端应用程序包括发送消息、文档编辑等,互联网服务包括网上购物、预订机票等。终端通过人工智能技术生成文本、图片、音频、视频等内容的能力,文本生成包括文本摘要、扩写等,图片生成包括文生图、图片修饰等,音频生成包括声音克隆、情感模拟等,视频生成包括视频创作、内容替换等。注:本文件中的音频生成指具备情感、韵律或个性化音色特征的语音生成能力,以区别于传统的TTS技术。57.2.4记忆7.2.4.1短期记忆终端对单个会话上下文内容的记忆能力。7.2.4.2长期记忆7.2.5.1情境适应学习7.2.5.2持续演进学习终端通过持续分析用户正面与负面的反馈,反思任务失败或结果偏差的原因,以及从外部文档与数据中学习知识等方式,对内部模型和策略进行调整、优化与扩展,以实现智能化能力持续提升。8关键能力8.1.1智能化能力构成终端智能化能力由端侧能力与端云协同能力两部分组成:a)端侧能力指终端依托本地硬件和软件资源,独立实现智能化应用功能的能力;b)端云协同能力指终端在接入互联网条件下,通过协同调度终端本地及云侧的计算、存储与服务资源,以支撑智能化应用的综合能力。因弱算力终端的本地计算与存储资源限制,本文件只给出了强算力终端的端侧关键能力。8.1.2关键能力说明GB/Z177具体产品部分遵循本文件中的能力要素,并可依据终端技术特征与应用场景,对关键能力进行增强或细化,方式包括但不限于:a)增加本文件中未包含的关键能力;6b)可将本文件中较高等级的关键能力,要求在较低等级实现。8.2强算力终端的端侧能力8.2.1L1响应级8.2.1.1.1用户信息感知8.2.1.1.2设备信息感知设备信息感知能力包括:b)应具备感知终端软件信息的能力,如已安装软件的列表、权限配置、运行状态等。8.2.1.1.3环境信息感知无要求。8.2.1.2.1理解应具备理解用户的单个简单指令的能力。8.2.1.2.2推理无要求。8.2.1.2.3规划无要求。8.2.1.3.1工具调用应具备调用确定性工具完成单步骤任务的能力。无要求。无要求。8.2.1.3.4表达输出应具备通过其支持的输出方式,向用户反馈任务执行状态与结果的能力。8.2.1.4记忆8.2.1.4.1短期记忆无要求。8.2.1.4.2长期记忆无要求。8.2.1.5.1情境适应学习无要求。8.2.1.5.2持续演进学习无要求。8.2.2L2工具级8.2.2.1.1用户信息感知设备信息感知能力包括:a)应具备感知终端硬件状态的能力,如处理器、存储器、外部通信接口等;8.2.2.1.3环境信息感知无要求。应具备理解用户的单个简单指令的能力。无要求。无要求。8.2.2.3执行8.2.2.3.1工具调用应具备调用确定性工具完成单步骤任务的能力。8应具备生成文本、图片或音频等至少一种模态的内容的能力。无要求。8.2.2.3.4表达输出应具备通过其支持的输出方式,向用户反馈任务执行状态与结果的能力。8.2.2.4.1短期记忆无要求。8.2.2.4.2长期记忆无要求。8.2.2.5.1情境适应学习无要求。8.2.2.5.2持续演进学习无要求。8.2.3L3辅助级8.2.3.1感知8.2.3.1.1用户信息感知8.2.3.1.2设备信息感知设备信息感知能力包括:8.2.3.1.3环境信息感知无要求。8.2.3.2.1理解应具备理解用户的单个简单指令的能力。无要求。无要求。8.2.3.3执行8.2.3.3.1工具调用工具调用能力包括:a)应具备调用确定性工具完成单步骤任务的能力;b)应具备调用确定性组合工具完成预设且明确的多步骤任务的能力。8.2.3.3.2内容生成无要求。8.2.3.3.4表达输出应具备通过其支持的输出方式,向用户反馈任务执行状态与结果的能力。8.2.3.4记忆8.2.3.4.1短期记忆无要求。8.2.3.4.2长期记忆无要求。无要求。8.2.3.5.2持续演进学习8.3端云协同能力8.3.1L1响应级8.3.1.1.1用户信息感知8.3.1.1.2设备信息感知设备信息感知能力包括:a)应具备感知终端硬件状态的能力,如处理器、存储器、外部通信接口等;b)应具备感知终端软件信息的能力,如已安装软件的列表、权限配置、运行状态等。8.3.1.1.3环境信息感知无要求。8.3.1.2.1理解应具备理解用户的单个简单指令的能力。无要求。无要求。8.3.1.3.1工具调用应具备调用确定性工具完成单步骤任务的能力。8.3.1.3.2内容生成无要求。无要求。8.3.1.3.4表达输出应具备通过其支持的输出方式,向用户反馈任务执行状态与结果的能力。8.3.1.4.1短期记忆无要求。8.3.1.4.2长期记忆无要求。8.3.1.5学习8.3.1.5.1情境适应学习无要求。8.3.1.5.2持续演进学习无要求。8.3.2L2工具级8.3.2.1.1用户信息感知8.3.2.1.2设备信息感知设备信息感知能力包括:a)应具备感知终端硬件状态的能力,如处理器、存储器、外部通信接口等;c)应具备感知外联设备信息的能力,如外联设备的类型、能力和运行状态等。8.3.2.1.3环境信息感知应具备通过互联网感知环境信息的能力,如时间、位置等。理解能力包括:a)应具备理解用户的单个简单指令的能力;b)应具备理解包含条件或多个步骤的用户复杂指令的能力;c)应具备理解用户的简单意图的能力。无要求。8.3.2.3.1工具调用工具调用能力包括:a)应具备调用确定性工具完成单步骤任务的能力;b)应具备调用确定性组合工具完成预设且明确的多步骤任务的能力。应具备生成文本、图片或音频等至少一种模态的内容的能力。应具备对外部设备进行控制的能力。8.3.2.3.4表达输出应具备通过其支持的输出方式,向用户反馈任务执行状态与结果的能力。8.3.2.4记忆应具备对单个会话上下文内容的记忆能力。8.3.2.4.2长期记忆无要求。8.3.2.5.1情境适应学习无要求。8.3.2.5.2持续演进学习无要求。8.3.3L3辅助级8.3.3.1.1用户信息感知8.3.3.1.2设备信息感知设备信息感知能力包括:a)应具备感知终端硬件状态的能力,如处理器、存储器、外部通信接口等;b)应具备感知终端软件信息的能力,如已安装软件的列表、权限配置、运行状态等;c)应具备感知外联设备信息的能力,如外联设备的类型、能力和运行状态等。8.3.3.1.3环境信息感知应具备通过互联网感知环境信息的能力,如时间、位置等。8.3.3.2.1理解理解能力包括:a)应具备理解用户的单个简单指令的能力;b)应具备理解包含条件或多个步骤的用户复杂指令的能力;c)应具备理解用户简单意图的能力;d)应具备理解用户复杂意图的能力;e)应具备对多种感知信息进行融合理解的能力;f)当意图不明确时,终端应具备通过追问或提供选项等方式进行意图澄清的能力。8.3.3.2.2推理推理能力包括:规划能力包括:工具调用能力包括:a)应具备调用确定性工具完成单步骤任务的能力;b)应具备调用确定性组合工具完成预设且明确的多步骤任务的能力;内容生成能力包括:a)如果终端只支持单模态输出,应具备生成文本、图片或音频等一种模态的内容的能力;b)如果终端支持多模态输出,应具备生成文本、图片或音频等多种模态的内容的能力。互联协同能力包括:a)应具备对外部设备进行控制的能力;b)应具备实现跨设备的内容迁移的能力。8.3.3.3.4表达输出应具备通过其支持的输出方式,向用户反馈任务执行状态与结果的能力。8.3.3.4.1短期记忆应具备对单个会话上下文内容的记忆能力。8.3.3.4.2长期记忆应具备对会话历史、用户偏好、场景上下文或个人知识库的长期记忆能力。8.3.3.5.1情境适应学习无要求。9测试方法9.1测试原则对终端量化参数的测试一般通过执行测试任务实现,终端的各项关键能力的测试一般通过执行测试场景实现,测试场景遵循以下原则:a)场景代表性原则:单个测试场景覆盖多个关键能力,在设计测试场景时,充分兼顾场景的典型性和可用性;c)覆盖充分性原则:执行的测试场景的总和应覆盖该等级的全部关键能力,确保能力验证的全面性和系统性;d)端到端闭环原则:单个测试场景的执行一般需端到端闭环完成,仅当终端成功完成测试场景的所有任务后,该场景所覆盖的关键能力可被判定为通过。9.2测试框架9.2.1端侧能力对GB/Z177具体产品部分描述的端侧关键能力,需验证该关键能力由终端独立完成。关键能力的端侧实现可通过以下任一方式进行测试:a)终端在未接入互联网的环境下执行测试任务,确认相关能力在不依赖云侧服务的情况下仍可正常运行,强算力终端可优先采用该方式;b)终端在接入互联网环境下执行测试任务,由终端输出其端侧实现相关能力的证明材料,例如本地模型调用日志、本地服务组件信息、运行轨迹等。9.2.2端云协同能力在终端保持接入互联网条件下,依据GB/Z177具体产品部分描述的测试场景对终端的各项关键能力进行测试。9.3智能化等级判定9.3.1符合性判定法对于形态相对简单、形态特征(如感知、表达模态)无交叉重叠的终端品类,采用符合性判定法。针对申请的目标智能化等级,测试终端的端侧能力与端云协同能力是否符合该等级对应的关键能力。仅当该终端在上述两方面的能力全部符合所申请等级对应的所有关键能力时,可判定为达到所申请的智能化等级。9.3.2综合评分判定法对于终端品类中存在多种形态特征的灵活组合,导致形态特征交叉重叠的终端品类,可采用综合评分判定法。9.4测试流程测试流程包括提交测试申请、形式审查、制定测试方案、实施测试、确定智能化等级及输出测试结论六个部分,测试流程见图1。③制定测试方案②形式审查①提交测试申请③制定测试方案②形式审查④实施测试⑥输出测试结论⑤确定智能化等级④实施测试⑥输出测试结论图1终端智能化测试流程9.4.2提交测试申请a)终端基本信息(如终端型号、硬件配置、操作系统版本、软件配置等);c)必要的接口说明;d)所涉及的云服务情况。9.4.3形式审查测试方审核被测方提交的测试申请资料,以确认其是否能够参与测试,审核要点主要包括:a)确认被测终端的产品品类是否属于各部分标准定义的范围;b)确认终端的端侧智能化能力核心组件由被测方发布或被授权使用,终端一般预置该核心组件。9.4.4制定测试方案测试方编写测试方案,测试方案至少包括:b)测试环境:明确测试环境的各项条件,并对关键环境参数进行量化,如环境本底噪声、环境光照度等;c)测试用例与测试数据:包含测试用例的描述、操作步骤,以及所使用的测试数据的说明;d)测试工具:明确测试过程中所使用的测试工具的名称、版本;e)测试用例判定依据:为测试用例设定清晰、准确的通过/不通过准则。9.4.5实施测试a)测试准备工作包括:3)工具对接:将被测终端与测试工具进行对接,必要时,被测方需配合完成被测终端与测试工具的接口适配。b)测试执行
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 阳江市事业单位招聘高校毕业生考试真题2025
- 高尿酸患者健康档案管理
- 2026年医共体健康管理服务合同三篇
- 幼儿园疫情复课安全教育《生命至上》
- 非结核分枝杆菌病诊断与治疗指南总结2026
- 中国儿童青少年近视防控循证指南(2026年)
- 2026比赛组织类面试题及答案
- 2026北京幼师面试题目及答案
- 2025年中国玻璃包装瓶市场调查研究报告
- 2025年中国烧结设备市场调查研究报告
- 2026全国一卷语文真题 (回忆版)
- 2026二季度重庆巫山县事业单位公开考调25人笔试备考题库及答案解析
- 2026年六年级下册古文古诗断句专项题目及答案(部编版)
- 安徽省皖江名校联盟2026年5月高三最后一卷地理+答案
- 2026-2030中国电热合金行业发展分析及发展战略研究报告
- 湖北水利发展集团有限公司招聘笔试题库2026
- GB/T 4622.2-2008缠绕式垫片管法兰用垫片尺寸
- GB 4706.1-1998家用和类似用途电器的安全第一部分:通用要求
- GA 286-2017警用服饰套式肩章
- 链传动的运动特性和滚子链传动的计算是本章重点内容链
- 《圆柱的体积》(课件)(共22张)
评论
0/150
提交评论