《智慧教育智能导学评价指南》

ICS03.080.99

CCSA20

团体标准

T/GZBCXX—2024

智慧教育智能导学评价指南

Guidetoevaluationofintelligenttutoringofsmarteducation

（征求意见稿）

2024-XX-XX发布2024-XX-XX实施

广州市标准化促进会发布

T/GZBCXX—2024

智慧教育智能导学评价指南

1范围

本文件规定了智慧教育智能导学相关的术语与定义、评价原则、评价方法、评价相关方、评价流程、

评价指标体系、评价等级水平等。

本文件适用于智能教育机构或企业利用智能教育设备或平台开展智能导学评价。

2规范性引用文件

本文件没有规范性引用文件。

3术语和定义

下列术语和定义适用于本文件。

3.1

智能导学intelligenttutoring

用人工智能技术模拟人类的一对一教学（包括：老师辅导学生学习，了解学情，学习兴趣，习惯等），

包括教学的专业知识，技能和有效的方法，学生所学科目的知识体系，表征学习者的状态（学习行为，

情绪状态等），提升学生的学习效果。

3.2

深度知识追踪deepknowledgetracking

根据学生的历史做题序列获取学生的当前表现，对学生的知识点掌握情况进行建模,通过个性化习

题推荐等功能来提高学生的学习表现来预测学生的学习表现.。

3.3

知识关联knowledgecorrelation

知识与知识之间以某一中介为纽带，所建立起来的具备参考价值的关联关系。

3.4

先决关系prerequsiterelationship

又称概念先决条件关系。在处理复杂的问题时，某些事实、条件或程序的解决是其他问题得以解决

的前提。例如在维基百科的文档中包含的超链接暗示两个文档间的先决关系。

3.5

课程图谱coursegraph

1

T/GZBCXX—2024

由课程目标、知识点（片段）集、知识点（片段）分级组织体系、知识点（片段）间关联关系和知

识点（片段）内容，以及能够衡量所有知识点（片段）掌握和相应能力形成程度的量化评价体系。

4评价依据与原则

4.1评价依据

4.1.1新时代教育评价观

坚持立德树人，坚持科学有效，改进结果性评价、强化过程性评价、探索增值性评价、健全综合性

评价，充分利用信息技术，提高教育评价的科学性、专业性和客观性。评价观是指向发展的、全面系统

的、循证导向的和多元协同的。指标内容应包括影响智能导学评价的主要因素，指标体系能够指导教育

教学和社会实践，培养学生知识建构的能力，并考察学生运用知识联系到实际生活中。

4.1.2多元智能理论

评价观上提倡评价方式多元化，评价指标多样化，注重培养学生的不同智能，达到以评价促发展，

以满足人的思维和认识方式的多元，这些多元智能包括言语语言智能、数理逻辑智能、视觉空间智能、

音乐韵律智能、身体运动智能、人际沟通智能、自我认识智能以及自然观察智能。将智力确立为不是一

种能力而是一组能力，智力不是以整合的方式存在而是以相互独立的方式存在的。在人才观上，承认并

尊重学生的差异性，将学生的差异性视作重要的教育资源，应发现学生身上的优点和优势。在教学方

法上，根据学生特点因材施教，根据教学内容和学生特点灵活采用多种教学方法。

4.1.3第四代评价理论

应构建全面、多元化的评价指标体系。评价活动应该是一个包含了多元价值诉求的活动。在构建评

价指标体系时，要收集整理专家教师和学生的意见，针对不同意见上的分歧，不断进行协商并逐步改变，

最终达成共识，确定智能导学评价的指标体系。

4.2评价原则

4.2.1科学性原则

应确保指标体系的信度和效度，提高评价的质量。在指标选取时要做到科学合理，实事求是，通过

大量的文献资料结合相关专家和一线教师的意见，明确各级各类指标的具体内容。发挥评价对学生学习

的促进功能，进而提高学生学习的效率，促进学生的健康发展。

4.2.2可操作性原则

评价指标应具备操作性的、能被具体实施，各指标项可在学习过程中能够被观察得到、被记录，尽

量使用可精确量化指标。

4.2.3全面性原则

对学生的评价应表现学生是全面发展的人这一理念，在构建评价指标体系时，不应以分数、等级来

评价学生，应评价学生学习的各个方面，反映学生各方面的进步，帮助教师、家长以及学生个人充分了

解自己，认识到自己的长处与不足，科学规划学生的发展路径，促进学生的全面发展。

4.2.4过程性原则

学习风格、学习习惯、学习方式、学习结果因人而异。在构建智能导学评价指标时，除了要对学习

结果进行分析，更应关注整个学习的过程。从“重结果”向“重过程”转变，充分了解学生的进步和

优点优势。

2

T/GZBCXX—2024

5评价方法

5.1总体评价方法

总体评价方法可使用层次分析法，可通过学习态度、学习过程、学习效果等各方面情况确认智能导

学的效果，这些情况还可细分为学习的进度与课程进度的匹配情况、批判性思维提高情况、学习主动性

提高情况、学习自信提升情况、学习时间变化程度、学习成绩提升情况等

5.2深度知识追踪评价方法

5.2.1深度知识追踪主要包含以下四个步骤：

（a）数据预处理：将原始的学习数据转化为适合深度学习模型处理的形式。涉及到数据的清洗、

归一化以及特征工程等步骤。

（b）模型构建：选择一个合适的深度神经网络结构，如循环神经网络（RNN）或长短期记忆网络

（LSTM）。这些网络结构能够捕获时间序列数据中的长期依赖关系，建模学生的学习过程。

（c）模型训练：使用学生的历史学习数据来训练深度神经网络。训练过程中，通过反向传播算法

和梯度下降优化方法来调整模型的参数，拟合学生的学习数据。

（d）预测与评估：利用训练好的模型来预测学生未来的学习表现。使用一些评估指标（如准确率、

召回率等）来评估模型的预测性能。

图1深度知识追踪模型框架

5.2.2性能评估主要从分类和回归两个方面评估，主要分为以下几种：

（a）均方误差评估（RMSE，rootmeansquareerror）,代表真实值与预测值之间的差值，均方根

越低，则模型准确度越高，预测能力越好，评估公式见公式（1）；

3

T/GZBCXX—2024

（b）平均绝对误差（MAE，meanabsoluteerror）,其值越高准确率越好，评估公式见公式（2）；

（c）预测准确度（ACC）,其值越高准确率越好，评估公式见公式（3）；

（d）ROC曲线下的面积（AUC，arerunderroccurve）,其值越高模型的性能越好。

1n

2公式（）

metrics()RMSEii=−yh1

ni=1

1n

(ii)()2公式（2）

metricsXhxyMAE(,h)=(()−

ni=1

right

metrics=公式（3）

ACCN

5.3知识关联评价方法

5.3.1知识与学习资源的关联设计主要包含以下步骤：

（a）知识概念提取。提取学习资源中包含的所考察的知识概念，通常与知识概念以多对一或多对

多进行关联，如图2所示。遍历学习资源数据表并锁定其包含的知识概念字段，遍历其中知识概念序列，

针对每个知识概念查询是否存在于数据表中，若不存在则需要创建新的数据项，若存在则将学习资源与

知识概念的关联写入关联数据表；

（b）关键词匹配。遍历学习资源数据表项（学习资源的名称或主题中相关的知识概念信息），提

取名称字段并进行关键词提取，将关键词与知识概念表项进行模糊匹配，若匹配成功则将该学习资源与

知识概念的关联关系写入对应的关联数据表中。

（c）教材和大纲参考。对于如课程、章节与知识概念之间关联关系的建立，需要基于领域知识结

构和遵循科学合理的学习进度安排，并参考课程教材的知识划分与教学大纲来建立其中的关联关系。

4

T/GZBCXX—2024

图2学习资源与知识关联示意图

（d）个性化学习资源推送。又可分为以下内容：

--历史实践情况统计。针对与系统进行过实践交互并成功提交实践结果的用户，模块获取其历史实

践交互记录，并统计包含实践数目、实践时长、正误比例等在内的能反映历史实践情况的数据。

--历史错题回顾。针对用户的历史实践交互记录，模块提供历史错题及详情记录以供用户查漏补缺。

--引导路径生成。知识追踪模块对用户所学习的知识概念的掌握程度进行量化评估，引导路径模块

则根据个体差异为用户选择不同的学习资源，跳过或弱化几乎完全掌握的知识概念并着重巩固和学习未

掌握的知识概念。将知识的关联关系表达为具备一定顺序的路径形式，并根据知识追踪结果筛选出需要

学习的知识概念。

--学习资源映射与推荐。以引导路径为基础，为用户提供直面学习资源的导航。针对引导路径中的

每一个知识概念，根据学习资料与知识之间的关联关系将知识概念所映射的资源作为引导材料推荐给用

户，从而使用户再次回到学习状态，形成实践学习-评估-引导机制的闭环。

5.3.2知识关联评价指标主要有：

（a）客观评价指标:支持度s、可信度c和相关强度corrR,支持度和可信度取0到1之间的值;

相关强度的值大于1;

（b）主观的评价指标:新颖度Wi、用户感兴趣度USI和简洁度CN;新颖度、用户感兴趣度和简洁

度的取值视具体的应用领域和用户的习惯而定。

（c）综合评价指标:上述几个评价指标的几何加权平均，见公式（4）

16

12354公式（）

RI=cscoorRWiUSI4

CN

5.4先决关系评价方法

5.4.1先决关系构建流程主要包括：

5

T/GZBCXX—2024

（a）通过有监督学习方法对课程概念之间的关系进行推理。资源库中提取出丰富的异构特征，并

搭建一个基于注意力机制的双向长短期记忆神经网络（BidirectionalLongShort-termMemory，

BiLSTM）自动学习课程概念描述文本中的语义特征，

（b）将两种特征融合并输入到全连接神经网络中进行分类，得到概念之间的先决关系。

（c）通过概念先决网络嵌入模型的向量表示，计算每个概念在具体的某个学习资源中所占的比重，

把概念向量加权求和的结果作为学习资源的表示，将其作为特征输入到分类器中并使用随机森林对给定

的资源对进行分类，得到最终的学习资源的先决关系。

5.4.2先决关系评价主要使用正确率和准确率进行评价。

5.5课程图谱评价方法

5.5.1课程图谱构建流程主要包括以下内容，流程图见表3。

（a）提取课程数据中半结构化和非结构化数据的信息；

（b）将提取的信息融合结构化数据及第三方数据得到课程概念和学习资源的特征表示

（c）利用先决关系自动识别方法对课程概念和学习资源进行先决关系推理；

（d）最后根据课程学习资源的先决关系得到课程图谱，以对推理结果进行直观的表达；

（e）在生成课程图谱的基础上，将数据网络中的课程根据先决和后续角色进行串联，为学习者提

供学习时间表规划路径。

图3课程图谱构建流程图

5.5.2先决关系推理结果的准确性决定构建的课程图谱的性能。

6评价相关方

6.1评价机构要求

6

T/GZBCXX—2024

承担智能导学评价的机构，应对评价结果的真实性、科学性负责，严格保守所获取的保密信息。

6.2评价机构人员要求

评价人员应遵守职业道德，具备相应的专业知识与服务技能，对智能导学现状有一定认识；能客观、

公正、独立、合法地开展智能导学评价工作。

7评价流程

7.1建立评价组织机制

成立评价小组并做好分工；确定评价目标，制定评价方案、评价计划。评价方案内容可包括评价目

的、依据、时间、评价对象及范围、方式、资源保障等；工作计划应明确各工作阶段的工作内容、责任

人、完成期限等。

7.2确定指标评价体系

根据评价目的、评价对象特点按本文件第4章的要求构建完善的指标评价指标体系，验证其科学合

理及有效性。指标权重根据不同的科目、测评对象年龄和年级、专业来确定，权重系数可通过经验法、

多因素统计法确定。

7.3研发评价工具

根据本文件第7.2条的要求，研发设计、测试指标评价工具，并对评价工具进行修正和定型。

7.4组织评价准备

评价机构和学校应建立评价实施工作组，做好线上环境和线下环境的部署，包括软件配置和硬件配

置等。

7.5抽样设计

根据评价目的、评价对象的情况，遵循代表性、经济性和可操作性的原则，确定抽样方法及抽样量。

样本量的选取应恰当。信度分析可采用重测信度法、复本信度法、折半信度法和克朗巴哈α信度法。效

度检验可采用KMO和Bartlett检验。

7.6数据收集

评价小组应根据指标评价指标体系采集评价所需的信息和数据，对收集到的信息和数据进行汇总处

理、分析，并核实信息和数据的真实性与有效性。

7.8分析、编写评估报告

根据指标评价结果，对学生测试的情况进行分析。根据分析结果编写评估报告，报告的内容包括：

题目、报告摘要、正文、改进建议。其中正文的内容包括：评价的背景、评价对象及其范围、评价时限、

评价指标体系的确立、数据整理分析、评价结果及分析。

7.9报告反馈与培训

7

T/GZBCXX—2024

针对评价的主题，根据其报告的内容，应反馈教育主管部门或智能导学评价系统平台维护方，提出

政策性或程序修改建议，并解读报告内容向智能导学相关方进行培训。

8评价指标体系

8.1评价指标体系构成

智能导学评价体系按照工作的流程包括5个一级维度和若干二级维度，见附录A。一级维度包括：总

体评价、深度知识追踪、知识关联、先决关系和知识图谱。每个一级维度由若干二级维度组成。

8.2评价指标

具体评价指标体系可参照附录A的要求。指标选取时，可根据被评对象所掌握资源情况，在符合本

文件第4章的前提下，合理设置、调整或细化指标项。

9评价等级

9.1根据学生测评分数结果，划分智能导学水平等级，可根据不同课程、专业、学生年龄与年级确定。

9.2智能导学水平应呈现智能教育平台智能导学水平。

9.3智能教育平台可课程目标、科学课程内容、学业质量、课程实施、学生状态和学生表现进行相应的

更新，实现水平逐年优化。

8

T/GZBCXX—2024

附录A

（资料性）

智慧教育智能导学评价指标体系

表A.1智慧教育智能导学评价指标体系

一级指标二级指标