T∕TAF 254-2024 移动智能终端AI能力评估方法_第1页
T∕TAF 254-2024 移动智能终端AI能力评估方法_第2页
T∕TAF 254-2024 移动智能终端AI能力评估方法_第3页
T∕TAF 254-2024 移动智能终端AI能力评估方法_第4页
T∕TAF 254-2024 移动智能终端AI能力评估方法_第5页
已阅读5页,还剩62页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

CCSM37AIcapabilityevaluationmethod电信终端产业协会发布T/TAF254—2024I前言 12规范性引用文件 13术语和定义 1 2 26端侧大模型 46.1端侧大语言模型 4 4 47.1语言处理能力 47.2图像处理能力 78AI智能服务与应用 98.1通话辅助 98.2文本处理 8.3图像处理与生成 8.4信息管理 9智能人机交互 9.1意图识别人机交互 10.1智能体应用功能 10.2智能体应用能力 T/TAF254—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分:标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由电信终端产业协会提出并归口。本文件起草单位:中国信息通信研究院、荣耀终端有限公司、OPPO广东移动通信有限公司、华为终端有限公司、维沃移动通信有限公司、小米通讯技术有限公司、珠海市魅族科技有限公司、高通无线通信技术(中国)有限公司、翱捷科技股份有限公司、北京三星通信技术研究有限公司、中兴通讯股份有限公司、紫光展锐(上海)科技有限公司、博鼎实华(北京)技术有限公司。本文件主要起草人:翟梦冉、张沛、祖廷伟、聂大伟、曾勇波、李辰淑、袁蔚、李根、麦睿楷、罗敏、王健宇、刘跃、高立发、于磊、王江胜、朱景鹏、杨帆、刁浩然、张宇超、李维成、龙迪、吴越、张宏伟、高斌、李丛蓉、刘妍、李一冉、王轶哲。T/TAF254—20241移动智能终端AI能力评估方法本文件规定了移动智能终端AI能力评估方法。本文件适用于支持大模型应用的手机等移动智能终端。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中,注日期的引用文件,仅该日期对应的版本适用于本文件;不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。T/TAF255—2024智能终端大模型应用评估规范3术语和定义下列术语和定义适用于本文件。人工智能ArtificialIntelligence表现出人类智能(如推理和学习)相关的各种功能的功能单元和能力。大模型LargeModel指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有数十亿甚至数千亿个及以上的参数。其中大型模型:通常包含数十亿((10^9))到数百亿((10^{10}))的参数。超大型模型:通常包含数千亿((10^{11}))甚至更多的参数。PR曲线Precision-RecallCurve评估分类模型性能的一种图表,横轴是召回率,纵轴是精确度。意图式人机交互Intent-basedUI通过理解用户的意图来提供更自然和高效的交互体验。跨设备融合cross-deviceintegrationT/TAF254—20242基于共享服务管理框架、跨设备协同决策中心,针对用户互联设备和单设备正在使用的服务向用户提供意图识别能力,实现能力开放与生态接入。智能体AIAgent智能体,即人工智能(AI)代理是一个软件程序,它具备独立记忆,能够接受用户指令,可以与环境互动、收集数据,通过分析和学习这些数据执行自我决定的任务以满足预定的目标。终端智能体通过与软件、硬件、服务之间的交互,完成复杂任务,可以充当新的“服务入口”,基于相关信息向终端用户推荐服务(应用)。4缩略语下列缩略语适用于本文件。AI:人工智能(ArtificialIntelligence)AP:平均精度(AveragePrecision)IOU:交并比(IntersectionoverOCR:光学字符识别(OpticalCharacterRecognition)POI:兴趣地点(PointofInterest)5评估框架移动智能终端AI能力评估框架见表1。表1评估框架12T/TAF254—20243表1评估框架(续)3实时将通话内容翻译成另一种语言,帮助进行有识别图像中的文字,并理解用户意图的能力(地图像处理与视频通过理解用户查询的意图,提供符合描述的文本4智能人机交互复杂语音、文字、图片通过深度语义理解和图文5智能体应用个人助理、用机助理帮助用户执行任务、获取信息、管理日程等,以提高效率和便利性等智能体应用智能体通过与环境的交互,学习短期记忆和长期T/TAF254—202446.1端侧大语言模型6.1.1模型体积相近参数规模下,依照T/TAF255—2024第7.1节中的方法进行测试。相近参数规模下,依照T/TAF255—2024第7.2节中的方法进行测试。6.1.3响应时间相近参数规模下,依照T/TAF255—2024第7.3节中的方法进行测试首词响应时间、出词速率。6.2端侧CV模型6.2.1模型体积相近参数规模下,依照T/TAF255—2024第7.1节中的方法进行测试。相近参数规模下,依照T/TAF255—2024第7.2节中的方法进行测试。6.2.3响应时间相近参数规模下,依照T/TAF255—2024第7.3节中的方法进行测试出图速率。7.1语言处理能力7.1.1ASR能力7.1.1.1客观指标7.1.1.1.1字符错误率分别在无背景噪声的安静场景和包含可控背景噪声的噪声场景下,输入ASR客观测试数据集,使被测设备的ASR功能进行识别并获取识别结果,记录原字符串的长度、替换掉的字符数量、删除掉的字符数量、额外插入的字符数量。按照公式(1)分别计算在安静场景和噪声场景下的字符错误率CER。CER(1)式中:I——额外插入的字符数量。T/TAF254—202457.1.2TTS能力7.1.2.1主观指标7.1.2.1.1发音输入TTS主观测试数据集,使被测设备的TTS功能合成语音。通过主观MOS打分,对生成语音的发音清晰度、准确性、错/漏读进行打分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表2所示。表2TTS能力的发音主观评分标准54321没有任何模糊或不清晰的部所有单词和句子都正确无误读或漏读的现原文本完全一致极少数部分可能需要仔细聆听才能完全理解;准确性较能存在极个别对整体理解影但存在一些模糊或不清晰的集中注意力来存在一些错读对原文核心意多处地方模糊理解造成较大错读或漏读现对原文错误理解发音非常不清法理解语音输或漏读现象非出与原文本差响对原文的理解输入TTS主观测试数据集,使被测设备的TTS功能合成语音。通过主观MOS打分,对生成语音的语音语调自然度进行打分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表3所示。表3TTS能力的自然度主观评分标准54321语音语调极其语音节奏和停顿与自然语言语音语调较为的机械感或不大部分符合语偶尔出现不自但存在一些机械感或不自然有时显得生硬或不连贯基本节奏和停顿存在一些不自然语音语调较为语音节奏和停顿经常出现不自然或不恰当解语音语调非常变化非常不自和停顿极其不语音的可理解T/TAF254—202467.1.2.1.3感情化输入TTS主观测试数据集,使被测设备的TTS功能合成语音。通过主观MOS打分,对生成语音的感情化表现力和合理性进行打分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表4所示。表4TTS能力的感性化主观评分标准54321语音表现出极高的感情化特然地传达文本音表达富有感听众的情感共鸣语音表现出较好的感情化特然地传达文本音表达具有一够较好地引起听众的情感反应语音表现出一定程度的感情在某些地方显得不够自然或表达的情感感充分引起听众语音表现出的感情化特征较传达文本的情难以引起听众至可能产生误解语音几乎不表现出感情化特感色彩完全不语音表达完全仅无法引起情引起听众的反感7.1.3NLU能力7.1.3.1客观指标7.1.3.1.1BLEU输入NLU客观测试数据集,使被测设备将该自然语言文本自动翻译成另一种自然语言文本。依照T/TAF255-2024第7.1.4.3.2节中的方法计算BLEU。7.1.3.2主观指标7.1.3.2.1忠实度输入NLU主观测试数据集,测试文本应包含简单句和复合句,使被测设备将该自然语言文本自动翻译成另一种自然语言文本。通过主观MOS打分,判断译文是否忠实地表达了原文的内容。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表5所示。表5语言翻译忠实度主观评分标准54321概念及其之间上的概念及其上的概念及其上的概念及其的概念及其之的关系被正确之间的关系被之间的关系被之间的关系被间的关系被正7.1.3.2.2流畅度T/TAF254—20247输入NLU主观测试数据集,测试文本应包含简单句和复合句,使被测设备将该自然语言文本自动翻译成另一种自然语言文本。通过主观MOS打分,判断译文是否流畅和地道。采用多人评分,全部测试完表6语言翻译流畅度主观评分标准54321整体译文流畅的主谓宾部分个别词语或搭流畅(少数的短语或比词大的语法成分可以理解)译文晦涩难懂(只有个别的短语或比词大的语法成分可以可理解)7.2图像处理能力7.2.1OCR7.2.1.1客观指标7.2.1.1.1文本要素误检率输入OCR客观测试数据集,使用OCR系统进行处理,记录OCR系统在每个图像上的输出结果。统计被测设备在没有文本的图像中错误地检测出文本单元的数量。按照公式(2)计算文本要素误检率FPR。FPR(2)式中:FP——被测设备在没有文本的图像中错误地检测出文本单元的数量;7.2.1.1.2文本要素漏检率输入OCR客观测试数据集,使用OCR系统进行处理,记录OCR系统在每个图像上的输出结果。统计被测设备在包含文本的图像中未检出文本单元的数量。按照公式(3)计算文本要素漏检率FNR。FNR(3)式中:FN——被测设备在包含文本的图像中未检出文本单元的数量;NT——所有样本中包含文本单元总数量。7.2.1.1.3F1Score输入OCR客观测试数据集,使用OCR系统进行处理,记录OCR系统在每个图像上的输出结果。统计被测设备在包含文本的图像中正确识别的字数。按照公式(4)~(6)计算F1Score。T/TAF254—20248F式中:NT——测试样本中包含的总字符数。7.2.2.1客观指标7.2.2.1.1精确度输入目标检测客观测试数据集,使用目标检测系统进行处理。统计真正例数量、假正例数量,用公式(7)计算精确度Precision。Precision式中:TP——真正例数量;FP——假正例数量。7.2.2.1.2召回率输入目标检测客观测试数据集,使用目标检测系统进行处理。统计真正例数量、假负例数量,用公式(8)计算召回率Recall。Precision式中:TP——真正例数量;7.2.2.1.3平均精度输入目标检测客观测试数据集,使用目标检测系统进行处理。使系统输出每个检测到的目标的预测框和相应的置信度,根据置信度对预测框进行降序排序。对于每个预测框,计算它与真实框的IOU,即预测框和真实框重叠区域与它们联合区域的比例。设定一个IOU阈值,当预测框与真实框的IOU大于该阈值时,该预测被认为是真正例,否则被认为是假正例。按照置T/TAF254—20249信度从大到小的顺序,计算不同召回率下的精确率值,并绘制PR曲线,计算PR曲线下的面积即为平均精7.2.2.1.4平均精度均值按照6.2.2.1.1中的测试方法分别计算被测设备目标检测模型能够检测的每个类别的平均精度,并按照如下公式(9)计算平均精度均值mAP。mAP式中:C——被测设别目标检测模型能够检测的总类别数;APi——每个类别的平均精度。7.2.3.1客观指标7.2.3.1.1精确度输入图像分类客观测试数据集,使用图像分类系统进行处理。统计真正例数量、假正例数量,用公式(7)计算精确度Precision。7.2.3.1.2召回率输入图像分类客观测试数据集,使用图像分类系统进行处理。统计真正例数量、假负例数量,用公式(8)计算召回率Recall。7.2.3.1.3F1Score输入图像分类客观测试数据集,使用图像分类系统进行处理。基于6.2.3.1.1、6.2.3.1.2计算得到的精确度和召回率,用公式(10)计算F1Score。F式中:Precision——精确度;Recall——召回率。8.1通话辅助8.1.1通话摘要8.1.1.1功能检查被测设备设置中是否包含通话摘要相关设置,开启通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话,验证被测设备是否具备自动生成摘要或关键点的功能。T/TAF254—20248.1.1.2客观指标8.1.1.2.1响应时间开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。电话通话中,使用通话摘要客观数据集进行测试。记录从开始对话到首个有效摘要文字出现的时间,并计算摘要生成的平均速度。8.1.1.2.2错误率(关键内容、代办事项)开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。电话通话中,使用通话摘要客观数据集进行测试。记录关键内容和代办事项输出结果总条数、输出结果中错误条数,按照公式(11)计算错误率。通过计算关键内容、代办事项的错误率判断所生成的摘要关键内容、代办事项的准确性。错误率=输出结果中错误条数/输出结果总条数(11)8.1.1.2.3召回率(关键内容、代办事项)开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。电话通话中,使用通话摘要客观数据集进行测试。记录通话中关键内容和代办事项总条数、关键内容和代办事项输出结果总条数,按照公式(12)计算召回率。召回率=输出结果总条数/关键内容和代办事项总条数(12)8.1.1.2.4重复率开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。电话通话中,使用通话摘要客观数据集进行测试。记录通话中关键内容和代办事项总条数、关键内容和代办事项输出结果中重复内容总条数,按照公式(13)计算重复率。重复率=输出结果中重复内容总条数/关键内容和代办事项总条数(13)8.1.1.3主观指标8.1.1.3.1一致性开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。电话通话中,使用通话摘要主观数据集进行测试。通过主观MOS打分,判断生成的摘要内容是否准确。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表7所示。表7通话摘要的一致性主观评分标准54321与通话信息完与通话信息不同部分不超过与通话信息不同部分不超过与通话信息不同部分不超过与通话信息不8.1.1.3.2相关性T/TAF254—2024开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。电话通话中,使用通话摘要主观数据集进行测试。通过主观MOS打分,检查生成摘要是否出现原文未提及内容。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表8所示。表8通话摘要的相关性主观评分标准54321摘要中未出现通话信息未提摘要中出现了通话信息未提及的内容或者改变了通话信这部分内容在整个摘要中占摘要中出现了通话信息未提及的内容或者改变了通话信这部分内容在整个摘要中占摘要中出现了通话信息未提及的内容或者改变了通话信这部分内容在整个摘要中占摘要中出现了通话信息未提及的内容或者改变了通话信这部分内容在整个摘要中占8.1.1.3.3完整性开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。电话通话中,使用通话摘要主观数据集进行测试。通过主观MOS打分,检查生成摘要的完整程度。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表9通话摘要的完整性主观评分标准54321通话信息的主要核心观点或重要信息在摘通话信息的主要核心观点或重要信息在摘通话信息的主要核心观点或重要信息在摘通话信息的主要核心观点或重要信息在摘通话信息的主要核心观点或重要信息在摘8.1.1.3.4可读性开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。使用通话摘要主观数据集进行测试。通过主观MOS打分,检查生成摘要是否易于理解和接受、词语搭配是否正确。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表10所示。表10通话摘要的可读性主观评分标准54321生成摘要无语生成摘要简洁读者可以较完生成摘要真实读者可读取主生成摘要存在可读取少数文本生成摘要存在语法错误、歧读者理解难度高8.1.1.3.5连贯性T/TAF254—2024开启被测设备通话摘要功能,通过拨打电话的方式与另一终端设备进行正常通话。使用通话摘要主观数据集进行测试。通过主观MOS打分,检查生成摘要的语法是否连贯、上下文是否流畅。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表11所示。表11文章摘要的连贯性主观评分标准54321存在语法基本存在少数语法后指代不明确存在部分语法后指代不明确存在大量语法8.1.2实时翻译8.1.2.1客观指标8.1.2.1.1语种支持数打开实时翻译设置界面,记录支持的实时翻译语种类型数。8.1.2.1.2响应时间开启被测设备实时翻译功能,通过拨打电话的方式与另一终端设备进行正常通话,近端和远端使用被测设备支持的不同语种进行通话。电话通话中,使用实时翻译客观数据集进行测试。记录对端语音结束时刻为te,记录开始进行语音翻译的时刻为tr,记录通话字数n,用公式(14)计算响应时间。8.1.2.1.3BLEU开启被测设备实时翻译功能,通过拨打电话的方式与另一终端设备进行正常通话,近端和远端使用被测设备支持的不同语种进行通话。电话通话中,使用实时翻译客观数据集进行测试。依照T/TAF255-2024第7.1.4.3.2节中的方法计算BLEU。8.1.2.2主观指标8.1.2.2.1忠实度开启被测设备实时翻译功能,通过拨打电话的方式与另一终端设备进行正常通话,近端和远端使用被测设备支持的不同语种进行通话。电话通话中,使用实时翻译主观数据集进行测试。通过主观MOS打分,判断译文是否忠实地表达了原文的内容。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表12所示。表12实时翻译忠实度主观评分标准54321念及其之间的关念及其之间的关关系被正确翻译或原文中的原文有少数短语或比词大的语法原文中只有个别词被孤立地翻译或完T/TAF254—20248.1.2.2.2流畅度开启被测设备实时翻译功能,通过拨打电话的方式与另一终端设备进行正常通话,近端和远端使用被测设备支持的不同语种进行通话。电话通话中,使用实时翻译客观数据集进行测试。通过主观MOS打分,判断译文是否流畅和地道。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表13所示。表13实时翻译流畅度主观评分标准54321整体译文流畅的主谓宾部分个别词语或搭流畅(少数的短语或比词大的语法成分可以理解)译文晦涩难懂(只有个别的短语或比词大的语法成分可以可理解)8.2文本处理8.2.1文章摘要8.2.1.1客观指标8.2.1.1.1ROUGE-N输入文本处理客观测试数据集,使被测设备生成文章摘要。依照T/TAF255-2024第7.1.1.3.1节中的方法,将模型生成的结果和标准结果按n-gram拆分后,得到召回率,计算Rouge-N,评估生成文本与参考文本之间的相似度。8.2.1.2主观指标8.2.1.2.1一致性输入文本处理主观测试数据集,使被测设备生成文章摘要。通过主观MOS打分,判断生成的摘要内容是否准确。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表14所示。表14文章摘要的一致性主观评分标准54321摘要中的核心等信息与原文摘要中的核心等信息与原文不同部分不超摘要中的核心等信息与原文不同部分不超摘要中的核心等信息与原文不同部分不超摘要中的核心等信息与原文8.2.1.2.2相关性T/TAF254—2024输入文本处理主观测试数据集,使被测设备生成文章摘要。通过主观MOS打分,检查生成摘要是否出现原文未提及内容。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表15所示。表15文章摘要的相关性主观评分标准54321摘要中未出现原文未提及内容摘要中出现了原文未提及的内容或者改变了原文的核心容在整个摘要中占比不高于摘要中出现了原文未提及的内容或者改变了原文的核心容在整个摘要中占比不高于摘要中出现了原文未提及的内容或者改变了原文的核心容在整个摘要中占比不高于摘要中出现了原文未提及的内容或者改变了原文的核心容在整个摘要8.2.1.2.3完整性输入文本处理主观测试数据集,使被测设备生成文章摘要。通过主观MOS打分,检查生成摘要的完整程度。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表16所示。表16文章摘要的完整性主观评分标准54321原文的主要核心观点或段落原文的主要核心观点或段落原文的主要核心观点或段落原文的主要核心观点或段落原文的主要核心观点或段落在摘要中全部在摘要中体现在摘要中体现在摘要中体现在摘要中体现8.2.1.2.4可读性输入文本处理主观测试数据集,使被测设备生成文章摘要。通过主观MOS打分,检查生成摘要是否易于理解和接受、词语搭配是否正确、上下文是否连贯流畅。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表17所示。表17文章摘要的可读性主观评分标准54321生成摘要无语生成摘要简洁读者可以较完语义前后指代生成摘要真实读者可读取主后指代不明确生成摘要存在可读取少数文代不明确等问题生成摘要存在语法错误、歧读者理解难度T/TAF254—20248.2.1.2.5精简性输入文本处理主观测试数据集,使被测设备生成文章摘要。通过主观MOS打分,检查生成摘要表达是否简洁明了,避免使用复杂或冗长的句子。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表18所示。表18文章摘要的精简性主观评分标准54321没有任何冗余或不必要的信没有复杂或冗尔出现少量冗一些复杂或冗影响摘要的精较多复杂或冗8.2.2文本意图识别8.2.2.1客观指标8.2.2.1.1准确率输入文本意图识别客观测试数据集,经被测设备识别文本中的信息,记录在每条文本的意图识别的结果。分别针对地址信息识别、快递单号识别、航班信息识别、列车车次识别、时间信息识别,统计被测设备正确识别的用户意图的次数、总文本条数,照式公式(15)计算准确率。式中:ture——正确答案的次数;8.2.2.1.2召回率输入文本意图识别客观测试数据集,经被测设备识别文本中的信息,记录在每条文本意图识别的结果。分别针对地址信息识别、快递单号识别、航班信息识别、列车车次识别、时间信息识别,统计被测设备正确识别的用户意图的次数、各种信息的文本条数,照式公式(16)计算召回率。Recall式中:TP——正确预测的该类意图的条数;FN——没有识别出该类意图或错误识别该类意图的条数。8.2.2.1.3F1ScoreT/TAF254—2024输入文本意图识别客观测试数据集,经被测设备识别文本中的信息,记录在每条文本意图识别的结果。分别针对地址信息识别、快递单号识别、航班信息识别、列车车次识别、时间信息识别,统计被测 设备正确识别的用户意图的次数、各种信息的文本条数,照式公式(16)~(18)计算F1Score。PrecisionFx100%式中:TP——正确预测的该类意图的条数;FP——将不相关样本识别为该类意图的条数。8.2.3文本生成8.2.3.1客观指标8.2.3.1.1意图理解准确率输入文本生成客观测试数据集,使被测设备生成文本。判断生成的文本是否能够正确理解用户的意图和文本生成需求,并生成对应的结果。根据公式(19)计算意图理解准确率。Wx100%+0.8xx100%式中:1——精准理解的生成文本数量;2——模糊理解的生成文本数量。8.2.3.2主观指标8.2.3.2.1正确性输入文本生成主观测试数据集,使被测设备生成文本。通过主观MOS打分,检查生成文本是否符合已有的社会普遍认知、公序良俗、价值判断。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表19所示。表19文本生成的正确性主观评分标准54321生成文本完全符合社会普遍认知、公序良生成文本极少存在社会普遍认知、公序良生成文本存在较少社会普遍认知、公序良生成文本准确定数量社会普生成文本存在较多社会普遍认知、公序良T/TAF254—20248.2.3.2.2相关性输入文本生成主观测试数据集,使被测设备生成文本。通过主观MOS打分,检查生成文本与文本生成需求所表达的意图是否相关。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表20所示。表20文本生成的相关性主观评分标准54321可准确理解复杂语境的文本与需求完全匹可准确理解复杂语境的文本与需求匹配度可准确理解复杂语境的文本与需求基本匹可准确理解简单语境的文本与需求较为匹仅能理解简单语境的文本输生成需求所表8.2.3.2.3可读性输入文本生成主观测试数据集,使被测设备生成文本。通过主观MOS打分,检查生成文本是否易于理解和接受、词语搭配是否正确。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表21文本生成的可读性主观评分标准54321生成文本无语法错误、歧义、文字或标点错误,通俗易全读取,语义前后生成文本无语法错误、歧义、文字或可以较完全的读懂文本,语义前后指生成文本无语法错误、歧义、文字或可读取主要文本,存在少数语义前后法错误、歧义、文字生成文本存在语法错误、歧义、文字或标点错误等问度高,存在大量语8.2.3.2.4逻辑性输入文本生成主观测试数据集,使被测设备生成文本。通过主观MOS打分,检查生成文本上下文逻辑是否合理,与现有事实比较逻辑是否合理。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表22所示。表22文本生成的逻辑性主观评分标准54321文本中的信息上下文联系紧文本与现有事文本中的信息符合逻但需要进一步的优化。文本与现有事实高度相符,逻辑上大体一致,仅存在极小文本中的信息大体上符合逻辑,但存在一些逻辑上的瑕疵。文本与现有事实基本相符,但逻辑上仍存在少许不文本中的信息存在明显的逻辑错误,上下文联系薄弱。文本与现有事实存在较大偏差,逻辑上存文本中的信息完全不符合逻辑,上下文之间没有合理的联系。文本与现有事实完全不符,逻辑上T/TAF254—20248.2.4文本问答8.2.4.1客观指标8.2.4.1.1准确率输入文本问答客观测试数据集,经被测设备进行文本问答。记录被测设备返回正确答案的次数、总问题数,按照公式(20)计算准确率。式中:ture——正确答案的次数;8.2.4.1.2召回率输入文本问答客观测试数据集,经被测设备进行文本问答。记录被测设备返回正确答案的次数、错误回答和未有效回答次数,按照公式(21)计算召回率。Recall式中:TP——正确答案的次数;FN——错误回答和未有效回答次数。8.2.4.1.3响应时间输入文本问答客观测试数据集,经被测设备进行文本问答。记录系统接收到问题的完整输入的时间点T输出答案、系统输出答案结束的时间点T输入问题,按照公式(22)计算响应时间T响应时间。T响应时间=T输出答案-T输入问题(22)式中:T输出答案——被测设备接收到问题的完整输入的时间点;T输入问题——被测设备输出答案结束的时间点。8.2.4.2主观指标8.2.4.2.1正确性输入文本问答主观测试数据集,经被测设备进行文本问答。通过主观MOS打分,检查生成回答是否符合已有的社会普遍认知、公序良俗、价值判断。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表23所示。T/TAF254—2024表23文本问答的正确性主观评分标准54321生成回答完全符合社会普遍认知、公序良生成回答极少存在社会普遍认知、公序良生成回答存在较少社会普遍认知、公序良生成回答准确定数量社会普生成回答存在较多社会普遍认知、公序良8.2.4.2.2相关性输入文本问答主观测试数据集,经被测设备进行文本问答。通过主观MOS打分,检查生成回答与问题需求所表达的意图是否相关。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表24所示。表24文本问答的相关性主观评分标准54321生成的回答涵盖问题所有关生成的回答涵盖问题大多数问题大部分切生成的回答涵盖问题主要关在一些的不相生成的回答涵盖问题关键点题存在较多不生成的回答几乎不涵盖问题问题基本不相关或完全没有8.2.4.2.3可读性输入文本问答主观测试数据集,经被测设备进行文本问答。对返回的答案的可读性进行主观评分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表25所示。表25文本问答的可读性主观评分标准54321文本中的信息上下文联系紧文本与现有事文本中的信息需要进一步的有事实高度相文本中的信息大体上符合逻文本与现有事逻辑上仍存在少许不一致之文本中的信息存在明显的逻与现有事实存辑上存在明显文本中的信息完全不符合逻没有合理的联逻辑上存在严T/TAF254—20248.3图像处理与生成8.3.1智能消除8.3.1.1主观指标8.3.1.1.1视觉质量输入图像消除主观测试数据集,使被测设备生成智能消除后的图片。通过主观MOS打分,检查经过智能消除,补全后的图像整体在颜色、清晰度、噪点等方面对图片整体质量的影响。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表26所示。表26智能消除的视觉质量主观评分标准54321图像整体颜色觉效果极为出与原图相比几图像整体颜色体视觉效果非点存在但不影图像整体颜色体视觉效果一图像整体颜色8.3.1.1.2结构完整性输入图像消除主观测试数据集,使被测设备生成智能消除后的图片。通过主观MOS打分,检查经过智能消除,补全后区域元素的完整性以及结构、纹理等方面对图片整体质量的影响。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表27所示。表27智能消除的结构完整性主观评分标准54321补全区域的元素与周围环境理和细节自然何可见的不协图像质量如同补全区域的元素与周围环境理和细节大部微小的不协调响整体图像的补全区域的元素与周围环境理和细节有部分不自然或不可见的编辑痕整体图像质量补全区域的元素与周围环境纹理和细节出现明显的不自图像的整体质量补全区域的元素与周围环境构完整性严重节严重不自然重影响图像的整体质量和观感8.3.1.1.3语义连贯性T/TAF254—2024输入图像消除主观测试数据集,使被测设备生成智能消除后的图片。通过主观MOS打分,检查经过智能消除,补全后区域的内容,对图片整体意境的影响。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表28所示。表28智能消除的语义连贯性主观评分标准54321经过智能消除和补全的区域与原图的意境和语义高度一强了图片的表达力和视觉吸突兀或不协调补全后的区域与原图在意境和语义上大体自然地融入图体表达有积极有轻微的不协补全区域在一定程度上保持了原图的意境但可能存在一些内容上的不对整体图像的表达力有一定观察才能发现补全后的区域与原图的意境和语义连贯性容融入不够自体表达力有明显的不协调或补全区域严重破坏了原图的意境和语义连体图像格格不体表达力造成极多的不协调严重影响视觉8.3.1.1.4边缘细节输入图像消除主观测试数据集,使被测设备生成智能消除后的图片。通过主观MOS打分,检查经过智能消除,补全后区域的边缘,对图片整体质量的影响。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表29所示。表29智能消除的边缘细节主观评分标准54321补全区域边缘与周围图像完可见的边缘痕迹或不自然过到了极高的标补全区域边缘细节处理得非且与周围图像极细微的边缘像质量的影响补全区域边缘细节处理得相周围图像基本在一些轻微的边缘痕迹或过整体图像质量补全区域边缘细节处理存在缘痕迹较为明的整体协调性补全区域边缘细节处理效果或出现明显的了图像的整体8.3.2文生图8.3.2.1主观指标8.3.2.1.1主题契合度T/TAF254—2024输入文生图主观测试数据集,使被测设备生成对应图像。通过主观MOS打分,检查生成的图像与给定文字描述在主题上的匹配程度。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表30所示。表30文生图的主题契合度主观评分标准54321图像完美地捕捉了文字描述何偏离主题的了文字描述的户可以立即识别出主题并产图像很好地体现了文字描述少数细节可能与主题不完全感和氛围上与文字描述保持较容易地识别图像基本符合文字描述的主元素与描述不太相关或不完传达情感和氛需要用户稍作思考才能完全图像与文字描述的主题有明键元素与描述感和氛围上与文字描述存在难以从图像中图像与文字描述的主题完全多与描述无关图像无法传达文字描述的情无法从图像中识别出任何与主题相关的信息8.3.2.1.2构图合理性输入文生图主观测试数据集,使被测设备生成对应图像。通过主观MOS打分,检查生成的图像与给定文字描述在主题上的匹配程度。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表31所示。表31文生图的构图合理性主观评分标准54321图像构图在空间透视上完全的空间关系和深度感都得到图像构图在空间透视上基本素的空间关系和深度感得到极个别细节需图像构图在空间透视上大体在一些元素的空间关系处理图像构图在空间透视上存在部分元素的空间关系和深度影响了视觉的图像构图在空间透视上存在元素的空间关系和深度感表响图像的整体8.3.3智能抠图8.3.3.1客观指标8.3.3.1.1无主体图抠图率输入智能抠图客观测试数据集,经过被测设备进行智能抠图处理。记录测试样本总数、被抠图数量,计算无主体图中被抠图数量占测试样本总数的比例,即无主体图抠图率。T/TAF254—20248.3.3.1.2有主体图识别率输入智能抠图客观测试数据集,经过被测设备进行智能抠图处理。记录测试样本总数、被抠图数量,计算被抠图数量占测试样本总数的比例,即有主体识别率。8.3.3.2主观指标8.3.3.2.1边缘处理输入智能抠图主观测试数据集,经过被测设备进行智能抠图处理。针对抠图边缘检测的准确性、清晰度、边缘过度效果进行主观MOS打分。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表32所示。表32智能抠图的边缘处理主观评分标准54321边缘检测与实际边缘完全一清晰,没有模边缘检测几乎与实际边缘一误差;边缘清影响整体锐利边缘检测大部有一些模糊或不影响主要视图像构图在边缘检测有明显际边缘有较大景融合效果较线边缘检测严重重影响视觉体8.3.3.2.2图像一致性输入智能抠图主观测试数据集,经过被测设备进行智能抠图处理。针对图像经过抠图、填充后的色平均值。单人评分标准如表33所示。表33智能抠图的图像一致性主观评分标准54321明度与原图完何可感知的差原图的视觉效明度与原图高区域与原图的视觉效果非常明度与原图大一些轻微的不与原图的视觉细观察可以发明度与原图存影响整体视觉与原图的视觉效果有明显差异明度与原图严影响整体视觉与原图的视觉效果存在巨大T/TAF254—20248.3.4图像风格化8.3.4.1主观指标8.3.4.1.1效果自然度输入图像风格化主观测试数据集,使被测设备生成图像风格化后的图片。通过主观MOS打分,检查经过图像风格化后,风格化效果是否自然、合理、和谐。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表34所示。表34图像风格化的效果自然度主观评分标准54321风格化效果自风格化效果比存在微小不自影响整体美观性风格化效果存风格化效果存风格化效果存重影响整体美观8.3.4.1.2效果相似度输入图像风格化主观测试数据集,使被测设备生成图像风格化后的图片。通过主观MOS打分,检查经过图像风格化后,风格效果是否与目标风格相似,是否与原图的关键特征(如:主体、轮廓、形状、位置、结构等)相似。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表35所示。表35图像风格化的效果相似度主观评分标准54321风格化效果与原图信息具有高度相似度/相风格化效果与原图信息具有较高相似度/相风格化效果与原图信息存在部分不相似/不风格化效果与原图信息存在明显不相似现风格化效果与原图信息严重户用户感知非受8.3.4.1.3图像质量输入图像风格化主观测试数据集,使被测设备生成图像风格化后的图片。通过主观MOS打分,检查经过图像风格化后,图像细节丰富程度和画质清晰程度。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表36所示。表36图像风格化的图像质量主观评分标准54321图像细节较丰图像细节有明图像细节严重T/TAF254—20248.3.5AI扩图8.3.5.1主观指标8.3.5.1.1图像质量输入AI扩图主观测试数据集,使被测设备生成图像扩展化后的图片。通过主观MOS打分,检查经过AI扩图,扩展后的图像整体像质一致性和衔接质量情况。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表37所示。表37AI扩图的图像质量主观评分标准54321晰度与原图高展区域与原图晰度与原图较展区域与原图存在微小瑕疵晰度与原图相比存在局部劣域与原图衔接晰度与原图相域与原图衔接晰度与原图相域与原图衔接8.3.5.1.2语义连贯性输入AI扩图主观测试数据集,使被测设备生成图像扩展化后的图片。通过主观MOS打分,检查经过AI扩图,整体视觉效果是否连贯,是否突兀或不协调的区域。采用多人评分,全部测试完成后平均值。单人评分标准如表38所示。表38AI扩图的语义连贯性主观评分标准54321没有丢失或错误解释原始图各部分之间无出现逻辑上的图像中物体的空间关系和比例没有产生视大部分区域的语义内容保持分之间只有极个别细节可能有所丢失或解轻微的逻辑矛尔有轻微的视部分区域的语义内容可能有所丢失或解释图像各部分之间的语义关系在某些地方出一定程度的逻辑矛盾或不连的空间关系和但有一些视觉多个区域的语义内容明显丢严重影响对原图像各部分之间的语义关系在多处出现不的逻辑矛盾或物体的空间关系和比例在放大后出现明显的视觉上的错误大部分或全部区域的语义内容丢失或错误了原始图像的分之间的语义关系完全不一不连贯现象严的空间关系和比例在放大后严重的视觉误导T/TAF254—20248.3.6图片问答8.3.6.1主观指标8.3.6.1.1相关性输入图片问答主观测试数据集,使被测设备给出文字答案。通过主观MOS打分,检查回答与图片的主题或问题是否有关联。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表39所示。表39图片问答的相关性主观评分标准54321生成的回答涵盖问题所有关容与图片内容/提出问题完全生成的回答涵盖问题大多数内容与图片内容/提出问题大少量不相关内容生成的回答涵盖问题主要关容与图片内容/提出问题一般生成的回答涵盖问题关键点容与图片内容/提出问题存在户意图含混不清生成的回答几乎不涵盖问题内容与图片内容/提出问题基本不相关或完8.3.6.1.2准确性输入图片问答主观测试数据集,使被测设备给出文字答案。通过主观MOS打分,检查是否符合问题的要求,是否有错误或遗漏或无用的信息。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表40所示。表40图片问答的准确性主观评分标准54321息量无用信息或错误信息或遗一些无用信息或错误信息或存在明显不准确,包含较多无用信息或错误信含大量无用信息或错误信息8.3.6.1.3语义连贯性输入图片问答主观测试数据集,使被测设备给出文字答案。通过主观MOS打分,检查生成的回复前后文的关联性、逻辑性。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表41所示。表41图片问答的语义连贯性主观评分标准54321前后文语义一上下文衔接自然前后文语义大前后文语义基在一些不清晰回答比较不连存在明显不一致,逻辑不清回答非常不连答内容缺乏逻辑性和上下文T/TAF254—20248.3.6.1.4可读性输入图片问答主观测试数据集,使被测设备给出文字答案。通过主观MOS打分,检查生成回复是否易于理解和接受、词语搭配是否正确,语义是否连贯。采用多人评分,全部测试完成后,计算MOS平均值。单人评分标准如表42所示。表42图片问答的可读性主观评分标准54321回答无语法错语义前后指代回答无语法错读者可以较完语义前后指代回答无语法错读者可读取主数语义前后指代不明确等问题回答存在少数语法错误、歧存在部分语义前后指代不明回答存在语法字或标点错误在大量语义不8.4信息管理8.4.1图片/视频语义搜索8.4.1.1功能检查被测设备是否具备语义检索本地图片/视频功能。即是否能够通过语音、文字等自然语言形式,查找本地特定图像/视频,无需在相册浏览大量照片,即可找到对应的照片内容。8.4.1.2客观指标8.4.1.2.1准确率开启被测设备语义检索功能。输入图片/视频语义搜索客观测试数据集,使用用户自然语言描述在设备上搜索图片/视频,统计检索内容中符合用户自然语言描述的图片/视频数量,按照公式(23)计算准确率。Accuracy=Nture/Ntotal(23)式中:Nture——正确检索的图片/视频数量;Ntotal——图片/视频样本总数。8.4.1.2.2召回率开启被测设备语义检索功能。输入图片/视频语义搜索客观测试数据集,使用用户自然语言描述在设备上搜索图片/视频,统计检索内容中符合用户自然语言描述的图片/视频数量,按照公式(24)计算召回率。Recall=Nture/Npredict…………(24)式中:Nture——正确检索的图片/视频数量;Npredict——预期能正确检索的总合数。T/TAF254—20248.4.1.2.3响应时间开启被测设备语义检索功能。在保证图像/视频样本内容、数量等一致的前提下进行测试,记录语义检索开始时刻为ts,记录语义检索结束的时刻为te,按照公式(25)计算响应时间T。T=te-ts(25)式中:te——语义检索结束的时刻;ts——语义检索开始时刻。8.4.2文本语义搜索8.4.2.1客观指标8.4.2.1.1准确率开启被测设备语义检索功能。输入文本语义搜索客观测试数据集,使用用户自然语言描述在设备上搜索本机文本内容,统计检索内容中符合用户自然语言描述的数量,按照公式(26)计算准确率。Accuracy=Nture/Ntotal(26)式中:Nture——正确检索的文本内容的数量;Ntotal——文本内容样本总数。8.4.2.1.2召回率开启被测设备语义检索功能。输入文本语义搜索客观测试数据集,使用用户自然语言描述在设备上搜索本机文本内容,统计检索内容中符合用户自然语言描述的数量,按照公式(27)计算召回。Recall=Nture/Npredict………

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论