T-ZSA 264-2024 教学类多层级引导大模型技术要求

ICS35.240CCSL70团体标准Technicalrequirementformulti-levelguidanceoflargemodels中关村标准化协会发布T/ZSA264-2024 2规范性引用文件 3术语和定义 4缩略语 5教学类多层级引导大模型技术要求 5.1准确性 5.2语言理解能力 5.3基础算力 5.4生成能力 5.5响应速度 5.6安全性 5.7资源公平性 6教学类多层级引导大模型教学业务要求 6.1教育资源覆盖性及有效性 6.2教育适应性 6.3互动教学能力 6.4引导教学能力 6.5直接教学能力 6.6知识点抽取 6.7检索增强生成 参考文献 T/ZSA264-2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中关村标准化协会技术委员会提出并归口。本文件起草单位：北京一平方科技有限公司、清华大学、北京理工大学、北京石油化工学院、湖南大学、苏州大学、中国电子学会、北京昇腾创新人工智能科技中心有限公司、飞诺门阵(北京)科技有限公司、北京建筑大学、中关村标准化协会。本文件主要起草人：刘春江、陈樟权、滕达、段浩斌、陈耀琪、陈龙、汤时欣、严子辉、刘钊、万鑫、刘艳雯、张少晨。T/ZSA264-2024本文件的发布机构提请注意，声明符合本文件时，5.1、5.2、5.3、5.4章节内容中涉及与基于大语言模型的知识引导问答方法和装置相关的专利的使用。本文件的发布机构对于该专利的真实性、有效性和范围无任何立场。该专利持有人已向本文件的发布机构承诺，他愿意同任何申请人在合理无歧视的条款和条件下，就专利授权许可进行谈判。该专利持有人的声明已在本文件的发布机构备案。专利权人或专利申请人同意在公平、合理、无歧视基础上，有偿许可任何组织或者个人在实施该中关村标准时实施专利。相关信息可以通过以下联系方式获得：专利持有人姓名：北京一平方科技有限公司地址：北京市海淀区海淀西大街48号五层431号邮箱：contact@请注意除上述专利外，本文件的某些内容仍可能涉及专利。本文件的发布机构不承担识别专利的责任。1T/ZSA264-2024教学类多层级引导大模型技术要求本文件规定了教学类多层级引导大模型的性能要求以及相应的业务能力要求。本文件适用于基于人工智能与大数据技术构建的多层级引导教学大模型的开发与应用。本文件不适用于非知识实训领域多层级引导大模型以及非多层级引导机制的大模型开发与应用。2规范性引用文件GB/T43782-2024人工智能机器学习系统技术要求3术语和定义下列术语和定义适用于本文件。3.1大语言模型largelanguagemodel（LLM）一种基于深度学习技术的生成式人工智能算法模型，通过在大规模、多领域文本语料上进行无监督预训练的方式得到。大语言模型一般具备超大规模参数量（通常数十亿至数万亿参数能够学习并模拟人类语言的复杂结构、语义和上下文关联，等语言理解和语言生成的能力。大语言模型不仅能够完成基础的自然语言处理任务，如文本分类、命名实体识别、情感分析等，还能在经过有微调训练后，精准执行如对话系统、文本生成、机器翻译及多模态理解等高阶语言应用，是推动人工智能领域迈向高阶智能化水平的关键技术之一。3.2教学类多层级引导大模型educationalmulti-Levelguidedlargemodel教学类多层级引导大模型是一种专为教育领域设计的大语言模型，它利用大规模参数的机器学习模型来逐层的拆解知识点和提供多层次的教学支持与个性化指导，避免出现仅提供问题答案的情景。教学类多层级引导大模型能够根据不同学习者的阶段和需求调整其交互策略，通过逐步提示、反馈和建议等方式促进学习过程，从而有效地提升教学质量和学习体验。 3.3检索增强生成retrieval-augmentedgeneration(RAG)允许模型在生成文本响应时动态地从大规模文本资源库中检索相关信息，以增强其生成能力和准确性。3.4余弦相似度cosineSimilarity是一种在人工智能领域广泛应用的衡量两个非零向量之间角度的度量方法。在机器学习、信息检索、自然语言处理等领域，它被用来量化两个向量（例如，文档、词向量、特征向量等）的相似度。3.5敏感词过滤sensitivewordfiltering又称为敏感信息筛选或敏感内容审查，是指在文本数据处理过程中，通过技术手段自动2T/ZSA264-2024识别并屏蔽、替换或者删除预先定义好的一系列敏感词汇或表达方式的过程。这一技术应用于用户输入和模型输出内容中，旨在保护用户免受非法信息的侵扰。3.6内容合规检测contentcompliancecheckingorcontentcompliancescreening是指利用技术和人工审核相结合的方式，对大模型生成的内容进行审查，以确保这些内容符合国家法律法规、社会道德规范以及平台自身的使用政策。其目的是防止和管理违法有害信息的传播，包括但不限于色情、暴力、恐怖主义、谣言、侵权、假冒伪劣商品宣传等，保障网络空间的安全、健康和有序发展。3.7网络令牌token自然语言处理中，常指经过模型处理的基本语言单位，如单词、标点符号或特殊标记。4缩略语下列缩略语适用于本文件。AI：人工智能(ArtificialIntelligence)ASIC：应用特定集成电路(Application-SpecificIntegratedCircuit)DPU：数据处理器（DataProcessingUnit）FPGA：现场可编程门阵列（Field-ProgrammableGateArray）GPU：图形处理器（GraphicsProcessingUnit）HDD：硬盘驱动器（HardDiskDrive）LLM：大语言模型（LargeLanguageModel）RAM：随机存取存储器（RandomAccessMemory）TPU：张量处理单元(TensorProcessingUnit)CMMLU:综合中文基准评估测试集(ChineseMulti-modalLearningforUnderstanding)5教学类多层级引导大模型技术要求5.1准确性教学类多层级引导大模型在CMMLU、C-Eval、MMLU、GSM8K、MATH、HumanEval、MBPP、BBH等公开模型能力测试集中，其准确性应满足如下要求：a)句子分类准确性，评估模型在给出的句子集合中正确分类句子的比例，应≥90%；b)命名实体识别准确性，评估模型在识别文本中专有名词（如物理知识、化学知识、数学知识等）的准确率，应≥85%；c)情感分析准确性，评估模型在分析文本情感倾向（如积极、消极、中立）时的准确性，应≥80%；d)模型幻觉问题和鲁棒性，同一问题的三次重复请求，模型回答的内容或含义应保持一致。3T/ZSA264-20245.2语言理解能力教学类多层级引导大模型准语言理解能力应满足如下要求：a)文本相似性评估，使用余弦相似度等指标衡量模型对两个文本内容相似性的判断能力，余弦相似度≥0.85；b)问答系统准确率，评估模型在回答用户提问时的准确率，应≥80%，其中准确率是指回答内容符合客户要求的数量与客户提问总数量的比值。5.3基础算力教学类多层级引导大模型的基础推理运行算力单元见表1。表1基础算力单元182345理器86789存盘5.4生成能力教学类多层级引导大模型生成能力应满足如下要求：a)文本流畅性评估，通过人类评价的方式，评估模型生成文本的流畅性和可读性，评分应达到4分或以上，评分规则参见表2；b)内容相关性，评估模型生成文本与给定主题或上下文的关联程度，应≥70%。表2文本流畅性评分规则1严重语法错结构混乱、逻词汇选择不当，频繁出现不符语境用词--2存在较多语法错误或句续，部分内容虽然基本能理解其意，但阅读体验不 4T/ZSA264-2024表2（续）3--4--55.5响应速度教学类多层级引导大模型响应速度应满足如下要求：a)平均响应时间，模型在接收到用户请求后，应在500毫秒内给出响应；b)模型响应速度应不小于20tokens/s。5.6安全性大语言模型应采用来源合法的公开数据集进行训练以保证数据源合规，具体要求如下：a）数据清洗，训练数据应实施严格的数据脱敏和匿名化处理，避免间接泄露用户信息；b）大语言模型安全性能指标如模型的稳定性、可靠性等应符合GB/T43782-2024中关于稳定性和可靠性的要求；c）数据安全管理，设计并实施数据生命周期管理策略，包括数据采集、存储、使用及销毁过程中的安全管理；d）后处理，大语言模型应具备对生成内容的敏感词过滤、内容合规检测等措施，保证生成内容的正确合规。5.7资源公平性教学类多层级引导大模型应保证教育资源公平性，具体要求如下：a）教学机会均等，教学类多层级引导大模型应对所有用户提供相同质量的教学服务，不受地域、经济条件、性别、种族、语言或身体条件的限制；b）教学资源分配均等，所有用户都能够使用相同质量的教育资源和辅助工具，教学资源不受地域、经济条件、性别、种族、语言或身体条件的限制。6教学类多层级引导大模型教学业务要求5T/ZSA264-20246.1教育资源覆盖性及有效性教学类多层级引导大模型教育资源覆盖性及有效性应满足如下要求：a)学科领域覆盖，支持的一级学科领域数量应≥20个，包括但不限于数学、物理、化学、生物、历史、地理、文学等；b)教学训练数据集数据量，用于模型训练的教学数据集的数据量应≥3TB；c）教学数据更新频率，教材、试题等教学数据应跟随各学科发展进行更新，更新频率不小于1次/年。6.2教育适应性教学类多层级引导大模型教育适应性应满足如下要求：a)语言风格适应性，模型应能够适应不同阶段用户的语言风格和知识水平，确保教学内容与用户实际需求相匹配；b)知识水平适应性，模型应能够根据用户的知识水平和学习进度，提供个性化的教学内容和教学难度；c）教育阶段覆盖，应包含小学、中学在内的基础教育以及大学专业教育，成人职业教育等在内的各教育阶段。6.3互动教学能力教学类多层级引导大模型互动教学问答能力应满足如下要求：a)互动模式多样性，应支持多种互动教学模式，如问答、讨论、案例分析等，以满足不同教学场景的需求；b)实时反馈机制，应提供实时的学习反馈和评价机制，帮助用户及时了解自己的学习情况和进步情况。6.4引导教学能力教学类多层级引导大模型引导教学能力应满足如下要求：a）引导性教学场景设计，包括：1）理解深度，模型应具备对不同复杂度（回忆、理解、应用、分析、评估、创造）的问题进行分类，保证回答不超出理解能力边界；2）教学引导性，模型在提供具体指导时应根据问题的复杂程度以及用户的理解力水平，综合运用‘直接答案’、‘启发式探索提示’和‘引导自主发现’等多元化回复策略。其中，各类引导方式的平衡参数设定为：直接答案输出占比30%，启发式提示给予比例为50%，引导用户自我发现策略的应用占20%；3）跨学科关联性，各学科知识点通过知识图谱建模后，平均关联路径长度应在3-8之4）趣味性，教学回答应具备趣味性设计，激发用户的学习兴趣和好奇心。b)引导性交互设计，包括：1)提示与引导有效性，在实际教学场景中，模型应具备对具体问题进行多轮提示和引导的能力，帮助用户逐步解决问题和完成任务，提示和引导次数不做具体要求；2）个性化建议，模型应能根据用户的学习阶段、科目、问答得分情况，提供个性化的方案，帮助用户针对性地提升知识水平和学习能力。6T/ZSA264-20246.5直接教学能力教学类多层级引导大模型直接教学能力应满足如下要求：a）定义与解释，教学类多层级引导大模型应能提供清晰、准确的定义和解释，确保用户对基本概念有准确理解，避免产生歧义或误解；b）案例说明，教学类多层级引导大模型应能使用具体案例来说明和阐释知识点，帮助用户建立直观认识和深入理解；c）鼓励提问与讨论，教学类多层级引导大模型应在具体对话场景中鼓励用户提出问题和参与讨论，激发用户的学习兴趣和主动性；d）反馈与建议及时性，教学类多层级引导大模型应提供及时、具体的反馈和建议，帮助用户纠正错误、巩固知识。6.6知识点抽取教学类多层级引导大模型应对抽取的知识点进行标签分类和图谱化，并进行向量化存储，标签分类方式无具体要求。问答知识点关联度，教学类多层级引导大模型知识点抽取总结能力要求算法能够正确提取问