作为自适应学习平台Knewton的系统是怎么运作的

作为自适应学习平台Knewton的系统是怎么运作的芥末活动

·10天前发布

昨天的《HYPERLINK从教学生应试到适应性学习平台，Knewton的转型之路》分享了Knewton从做内容教应试转型到平台的发展历程，本篇来分享Knewton的系统是如何运作的。Knewton所做的是基于规则的自适应学习自适应在很多学习环境中都已经用到，最早的几十年前就已经说了自适应。到底自适应是什么意思，现在我们讲的是基于共识的自适应概念。最简单的一种就是学生自己定步调，决定学习的节奏。但他们的学习材料和顺序还是一样的。现在市场上得MOOC就是这一类。好处就是如果学生学会了，可以很快的往前进。问题是很多时候学生已经知道了，但学生不能跳，也不让学生选择不同的学习路径。另外一种叫做单点自适应产品。这种自适应就是预先已经有设定好的路径，学生上课之前就会测评，看他应该选择哪个路径，有时候学生可以更提前一些。第三种就是基于规则的自适应学习。这基本就是在系统里加入这些规则，来决定学生下一步应该学什么。比如说学生80%题目做对的话就可以学习下一个概念。目前市场上绝大部分号称自适应学习产品的都属于这一类。有些系统规则比较简单，有些就比较复杂，有各种各样的规则。这就是knewton目前所用的，最复杂的，基于规则和机器学习的系统。knewton的系统是怎样运作的？首先系统里有成千上万个模块的学习内容包括视频、问答、题目等，knewton要提供下一步推荐的话，实际上是要解决这个问题：系统里有这么多内容，此时最应该呈现给学生的知识是哪一个？里面用到一些统计分析的模型，来判断哪些适合学生来学习。系统会给每一个内容打分，然后根据分数排序，来决定学生下一个该学习的内容是什么。每个模块里的内容可大可小，有可能是一个小问题，也可能是一个学习活动，这和很多互联网公司为用户做的推荐是一样的原理。而给内容打分的一个很重要的基础就是知识图谱，以及他们之间的相互关系，这个图让系统更好地决定哪个内容是最适合学生学习的。什么样的内容更适合自适应学习系统，这其实与目前各种各样的自适应学习技术相关。总体目标还是让学习更有效，效果和效率。首先是你设计的系统要能够记录下学生学习认知的有效数据，给学生推荐下一步学习内容应该是比较灵活的，满足不同学校的不同要求，保证学生能够投入进去，专注于学习。学生应该学习什么样的概念和内容，这叫做学习目标，表现形式是学生应该要做这个。还有这些概念、想法之间要有什么关系，这里面其实有各种各样的内容，最核心的是找到哪些是有从属关系的。还要看学生必须要按一定的顺序学，还是是否有灵活度可供选择。最后，如果内容变了，系统能不能把这个考虑进去。传统印刷出版行业的内容更新是不频繁的，数字环境要改动环境会容易很多，所以设计的时候要搞清楚你更新的频率有多快，更新什么样的内容，对你的系统有怎样的影响。比如知识点颗粒度的大小，对系统推荐下一步的影响。听起来像尝试，但对设计内容非常有影响，就是你的颗粒度要细分到什么程度。首先我们可以想象一个小测试，它包含的知识点有三个xyz。想象学生在小测试中的分数是前65%，从这个数据来说，学生对这三个概念只是部分掌握了。然后我们就得问这个问题，学生下一步该学什么，可能性是很多的。我们的系统可以确定哪一个学生某个知识点掌握的怎么样。当然这是一个简单化的例子，两三个问题不可能系统地确定学生掌握的怎么样。像这个例子我们可以说，X掌握的已经很好了，学生可以直接学Y和Z。这样系统推荐的学习范围就可以缩小。这样就可以把你的知识点颗粒度降得很低，也让学生觉着学习的整个过程是看得懂的。而有些学习产品的问题在于太灵活了，好多学生不了解这个过程。在理论上可以看到是最有效的学习范畴，但事实上学生需要知道学习的整个背景、路径是什么。怎么测量学生的水平？首先掌握学生的学习数据，同时把学生的学习进程和老师进行沟通。以前我们如何测量学生的水平呢？最传统的就是考试，没有考虑题目的难度、质量和区分度，需要多次测试。你很难知道题目到底有多难，以前可能一个课程设计师会自己去猜，看这个题目到底多难。但是如果有大量数据的话，就可以精确地分析这个题目难度到底有多大，把难度考虑进去之后，做对一个难题，学生对一个知识点的掌握就会高一些。传统的每一个题目可以写出步骤。这样去测试，有多个步骤的题目，猜对答案的可能性就小很多。如果只是对或错得题目，学生不会也有50%的几率猜对。学生与这些交互，系统有大量这些数据就会越来越清晰，学生对这个的掌握到底怎么样。比如Gmat机考就已经把这些考虑进去了。gmat这个测试是非常高效的，学生在很短的时间内就可以完成这个测试。现在就可以测量学生的水平，不光是在一次测量，而是跨越时间段，你的水平如何。我们以后甚至不需要特殊测试，就可以知道学生对某一个知识点处于什么样的水平。这对未来有什么意义呢？这听起来有点像科幻电影，但有很多都是会实现的。我们现在可以在考试之前就可以知道学生的水平。以后我们可能不需要很多测试，测试可以去测更多更高的东西，比如批判性思维，或者更高级的东西。自适应学习已经实现了个性化教学，知道学生会哪些，不会哪些。在里面会做很多模拟，看他们哪些能做对，哪些不能做对。最后其实就是测量有效性，这么多自适应产品，到底对学习有没有效果。这是非常重要的问题，同时也是难以回答的。现在很多出版商大部分的经费都花在了市场营销上，当我们有更多学习的数据的话，就可以知道哪些产品真的对学生的学习是有效的。做这些对公司来说越来越重要。现在这有一个样本，培生以前花了很多钱在市场营销上面。现在他们开始重视结果了，做了一个测量结果的框架（HYPERLINK参考芥末堆对培生学习效能研究负责人AdamBlack的采访）。Q：学习过程中系统需要学习哪些数据？A：题目答得对错，在题目上停留的时间，这个是比较难精确地测，有可能他去干了别的。最核心的就是做对还是做错。Q：推送的内容是否也要打相应地标签？A：刚开始是可以打标签的，慢慢地标签数据会越来越精确。Q：核心标签都有什么？除了难度区分度？A：最重要的标签除了难度，就是要让系统知道不同内容的相互关系是什么。内容上有标签的话可以过滤一些内容，让学生去学相关的。这样你可以把内容打上粘接的标签，告诉系统在这个时候你只看了1到5章的内容。这只是一个例子，根据我们的经验来说，没有真正的公式能够把所有标签都结局。Q：如何把问题输入系统中去？A：首先做个excel表，通过知识图谱来定义问题对应的知识点，定义到系统中去。有些公司可能专门做一个页面火花网站，可以建立内容之间的关系，输入到系统中去。这是个很耗时的过程，有些机构想尝试如何把输入做的更自动化一些，现在整个技术还只有几年的功夫，接下来我预见会有更自动化的技术，把输入的成本降低。Q：那对于主观题如何处理？A：全部都是客观题，一个系统能够跨越很多个阶段，现在Knewton已经能从幼儿园到高中毕业。一个可以实现的场景是，一个学生在十年级的时候做错了一个题目，系统会判定他是否需要巩固二年级的东西。要做到这一点就要做一个很大的知识图谱，这个知识图谱要涵盖所有这些年级，并且显示知识点之间的关系。我们第一期产品是初中数学，到第二期就已经扩大到小学和高中了。之后又推出一个直接面向家长的产品，把其他数学产品整合起来。刚才没有提到的是，培生还需要提供数据给教师和学校管理人员，这样教师就可以查看学生在学习过程中哪些概念掌握得怎样，还可以预估分数，看学生按现在的水平参加考试的话会得多少分。培生的模式是其中一个，还有很多类似的模式的客户。现在Knewton在做一个系统，你有适合做自适应的内容，就可以去做出自适应的系统出来，现在老师和学校可以免费使用。Q：一个问题里面有多个概念的话怎么处理？A：这个问题很好，但是最好还是能清理到一个问题只与一个概念相关。还有一种方法就是出题目，每一个选项代表不同的学习概念，学生选不同的选项，就可以代表学生哪里没有掌握。Q：如何确定颗粒度的点？A：其实就是掌握平衡，每个知识点可以按照要掌握的技能来不断地去分，但有个悖论就是其实没那么多内容，像一个大学课本的话，整个课本有十个主要的概念。Q：知识点如何分组？A：这是一个试错的过程，要让学生看到在学什么，自己处于什么位置。就像小孩坐车，比较长的话就会问还有多久到，要到哪儿，类似于人的本能一样。Q：对学生进行建模，并对知识点进行排序，这个模型有没有评价机制？如何评价你的排序算法？A：Knewton有专门的数据团队，要做实验的。去看目前的推荐机制，学生的成绩能够提高多少，来看你的算法是否有效。Q：