学习分析技术综述.docx

学习分析技术综述一、学习分析技术的起源与发展 学习分析是一个新兴的、正在发展的学科，是技术促进学习研究中增长最快的领域之一，也是当前的研究热点。美国新媒体联盟与美国高校教育信息化协会主动学习组织合作“新媒体联盟地平线项目(The New Media Consortiums Horizon Project)”的 2010 年度和2011年度报告中，预测基于数据的学习分析技术将在未来的四到五年内成为主流，并对学习分析技术在教学、学习、研究和知识生成等方面所具有的作用进行了分析,勾勒了其广泛的应用前景。近年来,在教育技术领域，学习分析逐渐成为了迅速发展的新热点之一。我们可以看出，各种学习技术系统中己经获取并储存了大量的学习者学习行为数据，而且这些学习行为的数据还在迅速增加，这就急迫需要一种新的技术对这些数据进行分析, 为改进学习实践、增强学习效果提供依据。尽管在传统教学过程中也能够评估学生的成绩、分析教学过程,从而提高教学的质量，但是所采集的数据 往往不够充分,信息化程度较低，而且分析结果用于干预教学的周期过长，效果不明显。因此，学习分析技术逐渐浮现出来，并受到越来越多的关注。1二、学习分析技术背景 在学习分析概念形成之前，相关方法、技术和工具都已经发展起来了。学习分析从一系列研究领域汲取技术，如数据统计、商业智能 (Business Intelligence)、网页分析(Web Analytics)、运筹学(Operational Research)、人工智能(AI)、教育数据挖掘(EDM )、社会网络分析、信息可视化等。数据统计历来作为一个行之有效的手段用来解决假设检验问题。商业智能以数据仓库、联机分析处理、数据挖掘等技术为基础，从不同的数据源中提取数据，将之转换成有用的信息，它与学习分析有相似之处，但它历来被定位于通过可能的数据访问和绩效指标总结使生产更高效。网页分析工具，如Google analytics通过网页访问量 ,与互联网网站、品牌等的关联做出报告，这些技术可以用来分析学生的学习资源(课程,材料等)以追踪学生的学习轨迹。运筹学通过设计优化数学模型和统计方法使目标最优化。人工智能和数据挖掘中的机器学习技术建立在数据挖掘和人工智能方法上，它能够检测数据中的模式。在学习分析中的类似技术可用于智能教学系统，以更加动态的方式对学生进行分类而不是简单地进行人口统计分类，可以通过协同过滤技术对特定的资源建立模型。社会网络分析可以分析出隐含的人与人(如在论坛上的互动)和外显的人与人(如朋友或者关注对象)之间的关系，在学习分析中可用于探索网络集群、影响力网络、参与及不参与状况。信息可视化是很多分析的重要一步(包括上面列出的 那些分析方法)，它可以用来对所提供的数据进行意义建构，John Tukey1977年在他的探索性数据分析 一书中给我们介绍了如何更好地利用信息可视化，Turkey强调使用可视化的价值在于帮助在形成正式的假设之前做检验。以上这些学习分析技术都可以对大量数据进行分析和处理,形成分析报告为教育提供帮助。2三、国内外研究现状 2011年2月底，首届“学习分析技术与知识国际会议”在加拿大的阿尔伯达省班芙市举行，主题之一就是学习分析技术。美国新媒体联盟发布的2010年度和2011年度地平线报告均预测学习分析技术将在未来的四到五年内成为主流。可见，学习分析技术已逐渐成为教育中的一项新兴技术。事实上，在“学习分析技术”概念出现之前,与之相关的技术、工具及其应用研究已经开展起来。2004年在高等教育中出现的“智能导师系统”和“人工智能系统”掀起了“教育数据挖掘”研究的热潮,也促使学术分析技术这一关注学习者行为的分析技术的诞生。Romero & Ventura(2007)以及 Baker & Yacef(2009)对10余年的教育数据挖掘研究进行分析,归纳出5类教育数据挖掘方法,它们是统计分析与可视化;聚类(聚类、离群点分析);预测(决策树、回归分析、时序分析);关系挖掘(关联规则挖掘、序列模式挖掘、相关 挖掘);文本挖掘。另外,随着网络学习及相关学习管理系统的不断普及,数据挖掘方法在学习管理系统中得到应用, 并开启了利用网络分析技术对学习者行为加以分析的研究, Romero等人(2005)对Moodle学习平台的日志分析是这方面研究的典范。记录在学习管理系统中的学习者行为数据,经过聚集、分类、可视化以及关联规则分析等操作,生成实时的数据报告,或者利用从行为数据中反映出的常模来生成预测模型。随着学习分析研究与实践的不断深入,除了数据挖掘方法外,一些原本属于社会科学领域的方法如社会网络分析法、话语分析法、内容分析法等也得到成功应用并成为学习分析的关键技术,这些方法的典型应用之一是师生交互行为分析。3四、 学习分析技术的内涵 学习分析技术是一个新兴的研究领域，学习分析技术是对学生生成的海量数据的解释，以评估学生的学术进展，预测未来的表现，并发现潜在的问题。简单地说，学习分析技术旨在应用数据分析为教育系统的各级决策提供参考,关键内容就是应用于教育领域的大数据分析。这一研究方法原先来自于商业领域，商家通过对消费者的活动进行数据发掘分析来把握消费趋势。比如淘宝网会根据用户购买和浏览过的产品，来推断用户对某类产品的偏好。又如在社交网站中，新浪微博会根据个人的关注对象推荐该用户可能感兴趣的其他对象。这类技术的实质，就是通过对数据的提取、归类、分析与总结，进行统计性的预测和判断。基于学生相关数据的分析则是以学生群体为主体，以设计出更完善的教学方法为目标，致力于为学生提供高质量、个性化的学习体验，并评估制定的学习计划是否能有效帮助学生加强学习, 这些分析结果对于教学双方来说都具有重要的意义。对教育工作者和研究人员而言，学习分析在剖析学生与在线文本、课件之间的互动中发挥着至关重要的作用。对学生而言,通过开发用于分析学生具体数据的移动软件和在线平台, 能够为学生提供符合他们学习需求的支持服务系统，使他们受益于学习分析，提高学习成绩和学习效率。4五、组成学习分析的成分 由定义可知,学习分析的核心是收集相关的分析数据。目的是评估、预测学习群体的学习状态和学习效果;最终目标是提供个性化的学习支持。学习分析由五个部分组成: 1.数据收集：这些数据可以来自学生的基本信息，也可以是学生在学习生活中的行为信息，如学生的兴趣爱好、经常使用的学习工具等数据信息。 2.分析：使用学习分析工具将手机的数据进行需要分析。结果以表格、图表等可视化的形式呈现在各种媒体上。 3.学生学习：学习分析核心的分析对象就是学生的学习。学习分析告知教师:学生在做什么,他们将时间花在 什么地方,他们获取了哪些内容,学生 学习的进展如何等方面的问题。 4.反馈：学习分析的结果可以提供给教师、学生以及管理者。学生可以将分析结果作为自身学习的一个监督量表。而教师和管理者则是依据分析结果重新规划教学活动,提高教学质量。 5.干预：学习分析不仅仅是判定学生处在什么样的一个学习状态中。更是通过学生课程学习产生的数据,掌握学生在课程学习中的特定阶段和特定活动,为学生个性化学习和指导提供了依据。5六、学习分析技术的分析方法 学习分析技术除了传统的数据分析方法外, 充分吸收了大数据时代下各个领域的新技术, 包括社会网络分析法、话语分析法和内容分析法。这些新技术的引入,使得学习分析逐渐科学化、现代化和智能化。 1.社会网络分析法(Social Network Analysis)原先是一种社会学研究方法, 它是对社会网络的关系结构及 其属性加以分析的一套规范和方法, 现已广泛运用于教育领域。如果将学习者个体作为研究对象,通过社会网络分析法, 我们不难判断学习者个体向哪些同伴寻求了学习帮助,在哪些方面产生了学习认知上的困难, 又有哪些具体的情境因素影响了学习者个体的学习过程等。 如果将整个网络作为研究对象,社会网络分析法 主要关注的是网络学习过程中信息的分布和个体学习的进展情况。 2.话语分析法(Discourse Analysis)原先是一种语言学研究方法, 是在课堂对话基础上建立的口语分析方法,经过不断发展引入到教育领域,在课堂教学实践中得到了广泛应用。 在大数据时代下,话语分析的对象不仅仅只是教学过程中面对面的对话内容, 还涉及网络课程与会议中产生的文本内容, 以及网络背景下的异步交流内容等。通过话语分析技术,我们可以对网上学习交流过程中话语的文本性含义有更深入的了解,从而探究知识建构的本质,对整个学习发生的过程获得更加清晰的认识。 3.内容分析法(Content Analysis)是一种对传播内容进行客观、系统和定量描述的研究方法。 内容分析的过程是一个层层推理的过程, 其实质是对传播内容所含信息量及其变化的分析, 即由表征的有意义的词句推 断出准确意义的过程。在教育领域中运用内容分析法,不仅可以对学习者的学习过程数据进行定量分析, 探寻学习者的行为模式;还可对其进行定性分析,运用积累的大量经验来预测当前的学习者行为, 为学习者 提供个性化的学习资源服务。6七、学习分析技术的模型 1.数据的收集 学习分析技术需要大量数据作为支撑,仅仅依靠结构化数据是远远不够的,必须同时收集不同系统中的非结构化数据,保障分析结果的正确性、一致性和完整性。 目前,教育系统中已经积累了大量的学生信息。 信息系统中的学生信息、课程信息和教师信息这些档案类信息都可以作为学习分析的数据来源之一;课程管理系统(CMS)和学习管理系统(LMS)中也蕴藏着大量可以挖掘的信息,包括课程中的交互信息(与老师或学生的交流等)、学习表现信息(作业完成情况等)以及行为信息等;同时,基于教师经验、教师观察以及教师直觉的课程指导方针也是形成决策树分析的必不可少的部分。 2.数据的处理 结构化数据的考量很难反映一个学生在一堂课中吸收了多少知识,但是通过其在系统中的行为反应可以转化为可量化的数据来对其学习过程进行分析。比如在在线课程中,可通过多个方面检测学生的表现:比如与同班同学相比,在网站上花费的时间;登录网站的频率; 犯了同样错误后重复犯错的概率;在某一科目停留的时间等等。 通过综合分析这些数据,可以对学生的学习行为有更深入的了解,从而更加微观地了解学生。 3.软件分析 学习分析软件按照专业程度来分,可分为专用工具和通用工具两种。“专用工具”一般是学习分析项目中的核心分析工具,它专门针对某一项目的具体要求进行设计和开发,在项目实施过程中运用该工具搜集和分析学习者数据, 从而指导教学。 典型的专用工具有Socrato、 SNAPP 和 LOCO-Analyst 等。 而“通用工具”则是原来应用于互联网、可用性设计等其他领域的工具,后来被转用于教育情境下, 用来分析学习者如何使用教学系统, 主要有 Mix panel Analytics、User fly、Gephi等几种。 4.行为干预学习分析结果可用来评估学生表现,并及时提供反馈意见,同时还可根据学生的学习效果,有针对性地调整学习内容和方法,为学生提供指导和帮助,提高学生的学习能力。7八、学习分析技术所带来的教学变革 1.个性化教学的变革 学习分析技术的运用可以为每个学生提供一个个性化的学习环境。 例如,如果一个学生解决一个问题所花费的时间远少于其他同学,系统分析结果就会自动给予提示与线索,试图促进该学生加强学习。 这种即时性的提示在过去是不可能完成的任务,学生至少要等待多天直到他们的作业被批改完。同时,在使用学习分析技术一段时间后,教师能够通过信息追踪和分析,判断自己的教学方法是否有效,从而进行相应的调整。 因此,每个学生都能各自拥有一套为他们量身定制的个性化学习课程。国内外大学中,较早应用学习分析的案例之一是美国普渡大学的“信号项目”。该项目于 2007 年启动,将数据从学生信息系统、课程管理系统和课程成绩单中提取出来,按照学习表现分类,从而对那些极有可能不及格 或辍学的学生有针对性地提供服务。 美国奥兰治县的马鞍峰社区学院通过它的“高等教育个性化服务助理”或叫SHERPA (Service-Oriented Higher Education Recommendation Personalization Assistant)系统,运用学生数据成功实施了个性化教育。该软件为每个学生建立详细档案,记录了其完整的在校期间的日程信息、跟随导师学习的经历以及其它个人信息; 接着对这些信息进行分析,提出对时间管理、课程选择的建议,以及分析其它有助于学生在学业上获得成功的要素。 2.教师角色的变革学习分析技术的运用将使教师不再仅仅是一个“教师”,同时承担了分析师的角色。传统意义上的教学主要是经验式的,教师凭借自己的主观判断来选择教授课程的内容和方式, 然后通过一次次的反复实践来进行验证。 而大数据时代下的学习分析技术有助于教师从这种传统的教学模式中解放出来,教师所做的决策将不再是纯粹的经验式判断,而是建立在数据分析的基础上。美国教育发展中心(Education Development Center) 和学生与技术中心(Center for Children and Technology) 对如何利用数据帮助美国纽约市公立学校的教师进行教学决策开展了研究实践。他们与一家公司合作,对学生在数学学习过程中的数据进行了记录与分析,最后生成了可供教师分析的书面报告和网络报告。书面报告为教师提供了标准的全班学生学习情况的报告,为教师根 据学生的需求分组、 关注学生的个体特点等提供了依据。网络报告则为学校不同层次的员工提供不同层次的信息和重点。8九、学习分析技术的应用目前,学习分析技术已经在教学与科研领域开展了应用性探索,主要体现在以下几个方面:1. 教师角度 教师利用学习分析技术可获得有关学生学习成绩、学习过程与学习状态等方面的信息,为改进教学提供帮助。例如,利用学习技术系统,教师可以获得学习者的各种学习数据,包括系统登陆时间、观看课程视频的次数、课程学习消耗的时长和课程作业的完成效果等,通过分析这些数据,教师可以对学生的学习兴趣、学习态度、学习进度有深入了解,从而为制定满足学生学习需求的教学方案提供依据。 2. 学生角度 学生利用学习分析技术得到的学习分析报告可以帮助其开展自我评价,使学生成为利用数据发展自我的主动学习者,从而实现认识自我、发展自我、规划自我的目标。同时,学习分析技术也是学生开展自我导向学习的有效引导工具。通过此方法学生可以分析自己产生的学习过程数据,利用可视化方法对先前的学习时间、时长、内容和进度进行回顾,并在与同伴的比较中了解自己所处的位置。学习分析技术还可以对高危学习者提出危机预警提醒,降低学生的辍学率。 3.教育研究者角度 利用学习分析技术对学习者学习过程的数据进行深入分析, 发现每个学习者学习数据背后隐藏的学习偏好与学习模式,通过对单个学习者的学习模式及学习路径的了解,进而获得群体学习特征及规律,为差异化的学习服务提供可供参考资料。同时学习分析技术也是研究网络学习过程和效用的工具。长期以来,教育研究者一直无法准确判断多年来投入到学习过程中的技术是否实现了应有的目的,而学习分析技术恰好弥补了这一研究的缺失,通过分析教育数据来判断技术应用真实效果。9十、学习分析技术的典型应用案例 目前, 国外多所大学已经开始开展学习分析的实践,包括开发学习分析系统和工具,收集学习者数据,分析学习行为模式,对学习进行干预和预测等。下面我们还将以北亚利桑那大学的GPS项目和澳大利亚Wollongong大学的SNAPP项目为案例进一步介绍学习分析技术的应用情况。 1.北亚利桑那大学的评价绩效状态系统 GPS(Grade Performance Status)是北亚利桑那大学研发的线上学生绩效评价系统, 主要用于评估该校全日制学生的课堂学习绩效。系统能够收集学习者在课堂中的表现评级,并给予相应建议,然后通过邮件发送给学习者。GPS系统邮件主要包括出勤情况、学习成绩和课业问题三，学生收到邮件后应对相关问题给予反馈。 GPS系统的工作流程如下:教师登录到GPS系统后可查询出勤率、学生评级等信息,也可以对学生的学习情况提供个性化的评价。邮件中除了教师评价外,还可包括重大活动、校历、事件的提醒以及校园网上资源的链接等。 邮件发送后,系统会在学生个人门户网站上提醒查收,而邮件也会在责任教师的GPS页面中归档,使之能及时审查、更新和修改意见。 教师可自主设定邮件发送频率,通常为一周一封, 以避免频繁发送邮件导致学生疲于反馈。邮件可以针对单个学生发送,也可以对班级所有学生发送。 学生通过邮件获得建议和资源,及时与指导教师沟通交流。GPS系统通过这种形式帮助学习者提高他们的学习质量。 2.Wollongong 大学的学习网络可视化与评估项目 “学习网络可视化与评估项目”是由澳大利亚Wollongong大学领导，多个学校共同参 与。项目基于学习分析的理念研发了学习网络可视化评估工具(SNAPP)。该软件可以从学习 管理系统中收集学生的学习行为信息如在线时间、下载次数等;从论坛中提取学习过程中 的交流互动数据,如发表帖子数、讨论内容、互动频次等。 该项目面向在线学习的学习者,利用 SNAPP 记录和分析其学习活动情况, 使教师在学习的任何阶段都能确定学习者的行为模式,评估对学生的学习网络,并分析其对学习的影响。 这些分析结果可以用于调整教学, 为学习者提供指导,提高其学习能力。SNAPP 可以搜集的论坛中的帖子总数目、单个用户的帖子数和回复数,绘制用户的社交网络图等。通过对这些数据的加工处理,系统可以分析出以下的信息:(1)识别出远离网络的学习者,提示教师给予关注;(2)识别出班级中的主要的 信息传播者,他们是信息交换的节点;(3)区分绩效良好和不佳的学习者, 于学习评估前进行干预;(4) 预测学习社区在班级中的发展程度;(5)通过“快照” 提供学习“前”与“后”情况对比,观察各种活动对学习产生影响,从而优化学习活动设计;(6)为学习者观察自己的表现提供依据。103.学习分析视角下的远程教学交互分析案例研究 研究目的:本研究的目的是应用学习分析的思路, 在开源平台和工具的支持下, 通过行为数据分析远程教学交互过程。本案例试图展示一个进行学习分析的开源案例, 在案例分析中所涉及的平台和工具均为免费或开源软件。 这些软件的获取和使用门槛均较低,可以供远程教育的研究者和实践者采用。同时,本案例更多偏重行为数据的分析。 如前所述,内容分析是远程交互分析的重要研究方法。但本文着重探讨的是内容分析之外的行为分析的可行性。因此,在此案例中没有涉及内容分析的部分。 研究方法:本案例来自中央民族大学2011级的计算机基础课程,时间为2011年10月至2012年1月。 课程内容包含计算机基础的基本内容,包括操作系统、Internet应用、Office、多媒体基础等内容。 授课采用混合学习模式,以网络学习为主,面授仅有6学时,网络学习持续12周。 教学过程主要依托自行搭建的Moodle 教学平台进行。 来自全校各个院系的106名学生参与了该课程的学习。基于行为数据的学习分析是案例研究的主要方法。 其中,着重分析了学生与资源的交互,以及学生与学生的交互。行为数据是分析的主要依据。对于整个课程而言,交互过程是较为复杂的。本文的出发点是尝试对教学交互进行分析, 试图发现特定学习阶段中的交互规律, 从而证明学习分析对于交互分析的可行性。为此, 交互分析中的数据选取方面做了如下设 计: 学生与资源的交互数据选择了整个教学过程中 学生对资源的访问时间和频次; 学生与学生的交互 数据选择了学期开始时学生之间相互认识, 建立社 会性联系阶段的交互数据。 Moodle平台记录下来的学生行为数据构成了本研究的数据来源。根据两类交互分析的需要, 笔者选择了不同的分析工具。其中, 学生与资源的交互选择了Gismo (图形化学生交互监测系统,Graphical Interactive Student Monitoring System)。 Gismo系免费软件,以Moodle 组块(Block)的形式使用。 Gismo通过读取Moodle数据库对学生在线学习情况进行了可视化表征。其中,关于学生资源访问情况的相关数据和可视化表征可以成为学生与资源交互的重要解释,成为教学干预的依据。学生与学生交互的分析选择了NodeXL这一工具。 NodeXL是微软研究院团队开发的开源社会网 络分析工具,其参与者还包括来自斯坦福、康奈尔、 牛津、马里兰等大学的研究者。与既有社会网络分析工具不同,NodeXL以Excel 模板的形式使用, 在功能强大的同时,保证了分析过程的简便快捷,可以通过Excel中的数据直接生成社会网络图示。 研究过程:Moodle自身记录了大量在线学习数据,教师用户可以在“课程管理”中的“报表”功能中找到这些日志。在本案例中,Moodle记录下了 62000 多条行为 记录,包含了学习者登录课程、阅读课程资料、参与在线活动等多方面的活动情况。 这些记录可以按不同的时间和不同的学习者进行显示, 并可以导出成为文本文件和Excel文档进行进一步分析。 Moodle 记录下的交互数据较为完整, 为深入分析提供了方便。 但由于数据量大, 难以直观发现其中包含的规律,且手工分析有较大难度。为了实施分析,相关工具的引入是必不可少的。 (1)学生与学习资源的交互。分析学生与资源的交互情况可以由多个视角展 开,Gismo 提供了由整体到个体的不同层级的交互情况分析。从宏观角度,图2显示了本课程中学生访 问资源的整体情况,其中横坐标为访问日期,纵坐标 为访问频次。 从中观角度,图3显示了不同模块的资源被访问的情况,横坐标为资源名称,纵坐标为访问频次。 从微观角度,图4显示了每个学生的资源访问情况, 其中横坐标为资源名称, 纵坐标为学生的学号,坐标点颜色的深浅则代表访问量的多少。 颜色越深访问量越多。 (2)学生与学生的交互对于生生交互的分析。本案例研究了学期初学生彼此认识阶段中的社会性交互情况。在此阶段中, 教师要求学生完善自己的个人信息, 包括兴趣爱好等。之后,学生通过 Moodle中的师生名录功能访问其他人的个人信息以实现相互了解。访问信息相关的行为数据在Moodle中被记录了下来。下页图5是通过NodeXL对本次学习活动中的交互分析的结果。NodeXL 功能以独立选项卡的形式显示。 交互数据被填写在 Excel 的数据栏中,右侧 是根据这些交互数据计算出的社会网络图。图6是对本次学习任务中的交互行为进行聚类的结果,发现其中一组交互覆盖了 95%的学生(方框框出部分)。图7是对这一组交互进行进一步分析的结果。讨论：通过对在线行为的分析,本研究发现了一些有意义的交互现象,这些现象成为了教学干预的重要依据。(1)学生与学习资源的交互。如图2模块1所指的位置所示, 课程学习开始时,学生访问教学资源较为集中,之后渐渐减少。直到模块1作业提交时, 学生开始非常频繁地访问学习资源,以便及时完成作业。 这种现象说明了学生不能很好管理学习时间,控制在线学习的过程。 针对这一情况,教师与学生一同进行了对学习过程的反思, 其中强调了在线学习中时间管理与传统课堂学习的不同。学生对在线学习的进度管理有所进步。整个学习过程中, 资源访问的最高峰发生在学期大作业提 交的最后期限。(2)学生与学生的交互。图6呈现了学习活动中生生交互的整体图景。其中, 可以较为清晰地发现积极参与活动的学生和游离于活动之外的学生。图7则体现了生生之间社会性交互的一个重要细节。这一组中存在两个核心参与者(B和C)。 他们分别属于不同的院系,与其他学生的交互次数最多。同时,存在一个学生(A)起到了桥(Bridge)的作用。A学生虽然没有与其他学生有频繁交互, 但与两个核心参与者都有交互。基于这一发现,进一步对A学生进行访谈了解到, 他与两个核心参与者因不同的原因相熟。于是,教师请A学生介绍B和C认识。在后期的学习中,B和C在多项活动中有积极交互,并对整个班级的在线学习起到了积极影响。 通过以上分析可以看出, 在开源工具和平台的支持下, 可以应用学习分析的思想对远程教学交互 进行基于行为数据的分析。 这些分析并非完备,但能够解释一些教学现象, 帮助教学者了解远程教学的发展过程,并为教学干预提供了可能。十一、学习分析技术的未来发展前景 1.向教师、学生及课程管理人员及时反馈相关系统在搜集大量的数据后利用学习分析