基于网络学习环境的学习绩效评价指标体系研究.doc

硕士学位论文基于网络学习环境的学习绩效评价指标体系研究论文作者：张肖指导教师：彭文辉教授学科专业：教育技术学研究方向：教育信息资源设计与开发 作者签名：多坎闰日期：为竹年岁月加日学位论文作者完全了解华中师范大学有关保留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属华中师范大学。学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许学位论文被查阅和借阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编学位论文。艿难宦畚脑诮饷芎笞袷卮斯娑日期：卯竹年岁月刀日 当今社会，网络已经走入我们生活、学习、工作的各个领域。这对教育领域的变革起到了极大地推动作用，尤其是近几年国内外大学公开课、远程培训班的出现，以及各大高校推出大量的网络课程，网络教育和网络课程兴起。目前，我国建立了很多网络学习平台，网络学习的发展日新月异。但是目前对于网络学习的学习绩效的研究还不完善，尚未建立完善的、实用的网络学习绩效评价指标体系。本文采用文献研究、问卷调查、访谈，加以实证研究等方法开展研究。本研究制定了一个基于网络学习环境的学习绩效评价指标体系，并在华中师范大学免费师范生教育硕士的远程学习平台，选取一门网络学习课程进行一定的实证研究，验证这一体系的科学性和有效性，并对促进学习者的学习，改进学习绩效提出建议。本文共分为六个章节。第二章是本文的研究基础，主要包括学习绩效评价的内涵进行分析，确定从网络学习行为的变化、学习者满意度、学习结果的三个维度制定评价指标体系，并对各一级指标的内涵进行分析，并对各指标进行评判，以确定一级指标。第三章是学习绩效评价指标的构建部分，是本文的重点章节。本章首先介绍了评价指标体系的构成、构建原则，并对网络学习行为的变化、学习者满意度、学习结果三个一级指标，并进行细化，构建二级、三级评价指标，并通过问卷调查、访谈对其进行判定修改，从而确定了基于网络学习环境的学习绩效评价的三级指标。第四章主要是对各指标评价标准、权重确立。本章首先制定了各指标项的评价标准，根据评价标准通过问卷调查确定各指标的权重。第六章是本研究的结论和展望部分，总结了本文的创新点和不足，以期在后续关键词：学习绩效：评价指标体系；网络学习行为；学习者满意度；学习结果 ，瓸”枷 詂 ，、 ”，；猠； 呗邸芯炕 网络学习行为的变化 研究过程 研究背景及意义亿，互联网普及率为渲醒贤耸颊逋竦，如图所万人，一；一网民数互联网普及搴 国内外学习绩效研究现状 方面：的技能行为。如王冬则从能力维度、行为维度和时间维度等三个维度来定义学习绩效，认为学习绩效是学生在一个既定时间内通过学习活动所产生的学习行为和能力发展的一系列的变化【】。高凤芬、雷体南认为学习绩效是指学习者在一定时间和条件下完成某一任务时所取得的学习业绩和学习效益，主要体现在学习效率、学习成果的质量、数量和学习效益等三个方面】。 理得到下表。表学习者绩效评价指标协作能学习风学习行杨奕农姜振风王淑娟戴锡莹等杨碧云 系；的工作予以展望。 研究流程分析国内外网络学习绩效评价的现状。分析其各指标的选取上上对评价指标以及课程学习平台的应用进上 学习绩效是成就、业绩，指学习者在一定时间和条件下完成某一任务时所取得量，能力的提升。则他的学习绩效越高。通过前文对学习绩效评价体系研究总结，发现国内学者对于学习绩效的评估体 系的研究主要包含三部分：第一部分是学习行为，第二部分是学习满意度，第三部分是学习结果。学习者的绩效评价是学习过程与学习结果的综合体现；其中学习结果表现为学习结束时获得成绩，包括章节练习的成绩、课程测试成绩、上交作品的成绩、平台积分等客观成绩；而学习过程表现在学习行为的变化和学习者满意度两个方面，它们是学习者在学习过程中的各种行为表现以及主观情感。其中，学习行为的改变是指学习者在资源使用、交流协作、作业测试等方面的行为在学习过程中的前后对比：学习者满意度是学生期望、感知质量、感知价值等方面的满意程度。通过对学习者满意度的测量，可以调整与完善课程、平台，以便更好地为学习者服务，促进学习者的学习，提高学习者绩效。彭文辉提出了网络学习行为有广义和狭义之分。广义的网络学习行为包含任何从网络中获取信息的行为，不管行为主体是有意还是无意；狭义的网络学习行为，指的是学习者具有特定的学习目标和学习内容蜃试，遵循一定学习程序，达到一定的学习强度要求的学习行为。因为本研究是针对网络课程学习的，所以本研究中所涉及的网络学习行为都是有目的的学习行为，是狭义上的网络学习行为【】。彭文辉在之前研究的基础上，总结出了关于网络学习行为的八要素：行为主体：网络学习者；行为客体：网络学习资源；行为环境：网络学习环境，以及网络学习者所在的物理及社会环境；行为手段：表现为某种网络操作；行为目的：学习者的学习动机和目标；行为结果：操作所得到的相应或结果；行为时 间：操作所发生的时刻及持续时间；行为强度：部分体现为操作的频度或者内容容量。这也是网络学习平台中用来评价网络学习行为的主要指标。国内外学者对学习者满意度研究，主要集中在两个方面，一是学习者满意度的影响因素的研究，二是对学习者满意度评价指标的研究。对学习者满意度影响因素的研究，差别很大。笔者通过对文献中有关学习者网络学习满意度的研究，整理出影响学习者的满意度的关键因素，得出表，如下表所示。表影响学习者网络学习满意度的关键因素兄S杏眯院透兄R子眯裕缪捌教墓埽牧榛領 学习动机，学习者对电脑焦虑感，教师的教学风格，平台技术质量，课程的质量，平台功能可靠性和可用性，网络的带宽平台登录的灵活性，感知有用性和感知易用性，多种媒体，学习者既有的网络学习经验，平台交互的实时性学习者的性别、年龄、学历、学习风格，和初始的计算机技能，老师与学生问的互动的实时性，学生与学生问的互动的实时性计算机技能，与网络学习相关的技术最初的知识，课程的评估方式，与其他学习者的合作 图学习者满意度测评模型图所示。 实施评价的关键是评价指标体系的建立，评价指标体系是反映评价目标的各个评价指标体系一个完整的评价指标体系由指标项、权重、等级标准构成。其中指标项表明评价的内容；权重表明各项指标项的重要程度；等级标准表明实施评价的依据和方法。标准是衡量事物的准则，评价标准是对各评价指标的判定准则，用以描述说明各指标所表现的程度或者相对次数。常用的评价标准有三种描述式标准、期望评语量表述标准、客观可数等级式标准。本文采用的是客观可数等级式标准，李克特五选取评价指标时要坚持全面性原则，不能遗漏任何指标，要保证体系所包含的 所有指标都在体系中，并且体系中的所有指标都是体系的组成部分。只有这样才能够使得最终确立的评价指标体系能够全面地、充分地再现和反映评价主体。网络学习行为的变化彭文辉提出了网络学习行为的甌分类模型，这三个维度分别是：行为的结度决；从功能上将网络学习中的信息行为分为信息查询行为、信息组织与加工行为、 学习者在网络学习平台中的资源上传与下载的变化包含分享经验与知识、发表讨论主题、参与主题讨论、电子版学习笔记、论坛发帖回帖五个维度的指标在学习开始时与学习结束后的变化。课程点评的频数、评价详尽程度、评价质量等方面的变化。 完成学习任务的变化 量的预期越低。 通过以上分析得出学习者满意度这一一级指标可以细化的二级指标包括学习表初拟学习者满意度维度二级、三级指标 表初拟学习结果维度二级、三级指标 整个绩效评价体系指标也就初步完成了，如下表所示。行为的变化测试成绩评价指标体系的指标项的确定 进行调查统计。本文的指标筛选采用的主要方法为频度分析法和专家咨询法和理论分析法，基于科学性、全面性独立性等构建原则的，根据对大量文献资料研究制定的各级评价指标，并根据各指标的具体含义及所指，进行各指标的等级划定，对于可能存在包含、覆盖关系的指标进行初步归纳排除。并在此基础上，确定基于网络学习环境的学习绩效评价指标体系。本阶段的任务的研究对象笔者选取的是华中师范大学、华南师范大学、陕西师范大学、西南大学、河北师范大学等五所高校的教育技术学专业的本科生、研究生。选取教育技术学专业的学生是因为作为本专业的学生，大都对网络学习有一定的了解，并且或多或少的参与过网络课程的搭建或者有采用网络学习、远程学习等形式进行学习的经历。评价指标的三级体系。 表一级指标信度系数表二级指标信度系数表三级指标信度系数项数项数项数值。如下表、表所示。表二级指标的效度分析检验 表三级指标的效度分析取样足够度的度量。的球形度检验 近似卡方 行为的变化完成学习任务的变化测试成绩 对于指标项评价标准的制定通常会使用定量评价和定性评价两种方法进行。定性评价是指评价者根据其价值观对研究成果进行评价【】。定量评价是指评价者根据数据对研究成果进行具体精细的评价。一般来说，定量评价比定性评价更加具体、准确，但有些指标项难以量化，只能使用定性评价。由于前面几章的研究，将网络学习行为的变化、学习者满意度两个抽象维度的指标进行了量化，而学习结果维度本身就是数量化的，所以本章对各评价指标项的评价标准的制定采用定量方法进行判定。 最终编制成基于网络学习环境的学习绩效评价指标体系的评价标准，如表学习资源浏览的数量、质量、检索的深度、浏览资源与学习内容相关度等方面的改变资源上传频度、质量等方面的变化资源下载频度、质量等方面的变化点评他人上传资源频度、质量等方面的变化经验与知识分享方面的频度、质量等方面的变化讨论主题发表频度、质量等方面的变化主题讨论参与频度、质量等方厦的变化的改善电子版学习笔记撰写数量、详细程度、质量方面的改善在论坛发帖、回帖频度、质量等方面的变化完成课程测试的数量、质量等方面的变化完成课程点评的频数、评价详尽程度、评价质量等方面的变化的变化在使用平台进行学习前，学习者对网络课程的开展的灵活性、教学目标清晰度、知识体系完整性、作业和练习的有效性、评价方式的合理性等方面的期待在使用平台进行学习前，学习者对平台的教学支持、学习资源提供、学习中遇到问题解答等方面的预期使用平台学习后，学习者对网络学习平台界面图文搭配、网络导航清晰性、界面友好性、易用性等方面的 学习者在学习中付出的努力与取得成绩的评价在学习结束后，对网络学习平台界面图文搭配、网络导航清晰性、界面友好性、易用性等方面的感知对网络课程的开展的灵活性、教学目标清晰度、知识体系完整性、作业和练习的有效性、评价方式的合理性等方面的感知对平台的教学支持、学习资源提供、学习中遇到问题解答等方面的感知对学习者的学习表现、学习活动通过积分的形式进行的反应章节练习是针对学习目标对本章或本节学习内容的考核 进行表示。紫龋云兰壑副晏逑档囊患吨副杲腥范诘谝患吨副曛杏个指标需要确定权重，用表示第鲆蛩氐娜兀颉疲海其中躨琲 资源使用的改变交流协作的改善作业测试的变化学习者学习期望学习者感知价值学习者感知质量积分二交作品的成绩 一级指学习行的预期 通过平台记录的学生操作行为方面的数据来评价学习者的网络学习行为的变化，对平台所提供的单元练习、章节测试、课程测试、课程要求进行学习结果的点评。而学习者满意度这一维度是对无法通过平台记录或者测试功能完成。学习者满意度这一维度的三个指标的评价，通过问卷形式进行。通过问卷数据的整理分析，对学习者满意度这一维度进行评价。 访问；第七章，其他技术。 平台的学习流程研究过程 对参与课程学习的名学生的本课程的学习满意度进行实名问卷调查，调查学习者对本课程平台以及计算机软件技术基础课程的学习者学习期望、学习者感知质量、学习者感知价值、学习者满意和学习者忠诚五个维度的学习满意度，每个问题都分为非常符合、比较符合、一般符合、不符合、很不符合五个维度，并标记为、收呓罢呗舛鹊鞑槭萁姓恚铰。评价体系实证研究的相关性分析关系如下表所示。两变量关系存在完全负相关存在负相关 表网络学习行为的变化与学习结果的相关性相关性敖峁鸓相关性表学习者满意度与学习结果的相关性学习结果 以下建议。由学习者满意度与学习结果的相关性研究得出，学习者满意度与学习结果存在着紧密的联系，这表明学习者在网络学习过程中的满意度对学习结果有重要影响。在网络学习的开展中我们可以通过改善平台在界面设计、导航清晰度、界面友好性提高学习者对学习平台技术质量，提高网络课程教学目标的清晰度、知识体系的完整性、作业练习的有效性、评价方式的合理性等，在学习中提供高质量的教学支出、学习资源提供、对学习者在学习中遇到的问题及时给予解答等方式提高学习者的满意度，进而提高学习者的学习绩效。 平台的交流互动频率不高、程度不深是妨碍学习者提高学习绩效的一个重要问题。网络学习中教师与学生间地域上的分隔使得教师无法及时了解学习者学习情况、无法对学习者遇到的问题进行解答。所以笔者建议在网络学习中增加一个答疑解惑、主题讨论两个模块，两个模块都要有教师或者技术人员在线，提供支持服务。学生可以将学习中遇到的问题随时上传到平台、也可以在答疑解惑时间集体讨论；每周定期对学习相关的某一个主题进行讨论，所有学习者都要参与到课程的学习中来，对这一主题进行深入讨论。 有限，加上所能直接操作后台数据库的平台的限制，本文的研究仍存在以下几点不足：力物力。研究展望 知疧：甿甤痯痬：【郝建春生活压力、负向情绪调整、学习满意度与学习绩效关系研究】天津大逃际，：智能理论的学生学习绩效评价闭中国电化教育，：看魑镌径钛遥贙评估模式的网络学习绩效评价模式设计叨 【育， 【挥兹纾羁硕逃际跹芯糠椒綧】高等教育出版社一【】庞彦军，刘开第，张博文综合评价系统客观性指标权重的确定方法叨系统工程【钐危甋臣平坛獭!4友芯可杓频绞莘治鯷北京：机械工业出版社 口文科口理工口其他口不熟练口基本不会使用在使用平台进行学