（教育技术学专业论文）网络学习绩效评价系统的设计与实现.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中 不包含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大 学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对 本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：李专日觏：驯o 6 1 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布 该论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：蓓专新虢彩悯日期洲形j 伽 y 1 8 2 0 。2 。8 。7 1 。 西南科技大学硕士研究生学位论文第1 页 摘要 绩效技术的目的在于以最为经济的成本效益影响人类的行为和 成就。将绩效技术运用到网络学习中能够有效地改善学习者的学习 绩效。论文从环境构成、学习方式等方面分析了网络学习的特点， 提出运用绩效技术，以学习目标为导向、关注学习过程，对学习者 的学习实施过程管理和绩效干预是保证网络学习质量的有效举措。 学习目标描述、学习者建模和评价指标体系建构是开展网络学 习绩效评价的核心环节。论文改进了基于行为主义理论的学习目标 描述法；参考相关学习风格理论和c e l t s 一1 1 学习者模型规范构建了 网络学习者学习风格模型和信息模型；运用层次分析法构建了网络 学习绩效二级评价指标体系。 论文给出了网络学习绩效评价系统的总体设计方案，对学习行 为采集、学习绩效评价和个性化学习引导等关键功能模块给予了原 型实现。 本研究对于开发高质量的学习资源、开展积极有效的学习管理、 建设更加人性化的网络学习平台具有重要的参考价值。 关键词：学习绩效评价网络学习学习目标描述 学习者建模评价指标体系 a bstrac t p e r f o r m a n c et e c h n o l o g y i st h ep r o c e s so fs e l e c t i o n ，a n a l y s i s ， d e s i g n ，d e v e l o p m e n t ，i m p l e m e n t a t i o n a n de v a l u a t i o no fp r o g r a m st o m o s tc o s t e f f e c t i v e l yi n f l u e n c eh u m a nb e h a v i o ra n da c c o m p l i s h m e n t t h ep a p e rg i v e ss u g g e s t i o n s t h a t a p p l yp e r f o r m a n c e t e c h n o l o g y ， l e a r n i n gg o a l s o r i e n t e d a n df o c u so nl e a r n i n gp r o c e s s ，i m p l e m e n t p r o c e s sc o n t r 0 1 a n dp e r f o r m a n c ei n t e r v e n t i o n t ol e a r n e r s l e a r n i n g b e h a v i o r t h ek e yp r o b l e m so fw e b b a s e dl e a r n i n gp e r f o r m a n c ea p p r a i s a l e x i s ti nd e s c r i b i n gl e a r n i n gg o a l s ，c r e a t i n gl e a r n e rm o d e l ，a n db u i l d i n g e v a l u a t i o ni n d e xs y s t e m 。a ni m p r o v e dm e t h o db a s e d o nb e h a v i o r i s t t h e o r yi s i n t r o d u c e da ss o l u t i o nt od e s c r i b i n gl e a r n i n gg o a l s l e a r n e r l e a r n i n gs t y l em o d e la n di n f o r m a t i o nm o d e la r ec r e a t e dt ok e e pu pw i t h s o m el e a r n i n gs t y l et h e o r i e sa n dc e l t s 一11 l e a r n e rm o d e ls p e c i f i c a t i o n t w ol a y e r se v a l u a t i o ni n d e xs y s t e mo fw e b b a s e dl e a r n i n gp e r f o r m a n c e i sb u i l tb ya n a l y t i c a lh i e r a r c h yp r o c e s s o v e r a l ls t r u c t u r eo fw e b b a s e dl e a r n i n gp e r f o r m a n c ea p p r a i s a l s y s t e mi sd e s i g n e d s o m ec r i t i c a l f u n c t i o n a lm o d u l e sp r o t o t y p e ss u c h a sl e a r n i n gb e h a v i o ra c q u i s i t i o n ，l e a r n i n gp e r f o r m a n c ea p p r a i s a la n d p e r s o n a l i z e dl e a r n i n gg u i d eh a v eb e e ni m p l e m e n t e d 。 t h er e s e a r c hi si m p o r t a n t i nd e v e l o p i n gh i g h q u a l i t yl e a r n i n g r e s o u r c e s c a r r y i n g o u ta c t i v ea n d e f f e c t i v el e a r n i n gm a n a g e m e n t ， b u i l d i n gp e r s o n a l i z e dw e b b a s e dl e a r n i n gp l a t f o r m 。 k e yw ords ：l e a r n i n gp e r f o r m a n c ea s s e s s m e n t ；w e b _ b a s e dl e a r n i n g ； l e a r n i n gg o a l sd e s c r i b i n g ；l e a r n e rm o d e l i n g ； e v a l u a t i o ni n d e xs y s t e m 西南科技大学硕士研究生学位论文 第1 i l 页 目录 1 绪论1 1 1选题背景及意义1 1 2国内外研究现状2 1 2 1绩效技术理论研究2 1 2 2绩效评价应用研究2 1 2 3电子绩效支持系统开发3 1 3本文主要研究内容3 2 网络学习绩效评价概述5 2 1网络学习内涵5 2 1 1网络学习是什么5 2 1 2网络学习环境构成5 2 2学习评价基本理论7 2 2 1学习评价的内涵与要素7 2 2 2学习评价的类型7 2 3当代学习评价理念的嬗变8 2 3 1为了发展而评价8 2 3 2在过程中评价8 2 3 3多元化评价9 2 4基于绩效技术的网络学习评价9 2 4 1 绩效技术与绩效评价一9 2 4 2学习绩效与学习绩效评价11 2 4 3网络学习绩效评价13 2 5 本章小结13 3 网络学习绩效评价中的关键技术15 3 1学习目标描述15 3 2 1基于行为主义理论的目标描述法15 3 2 2 对基于行为主义理论的目标描述法的改进17 3 2学习者建模19 3 2 1网络学习者学习风格模型19 3 2 2网络学习者信息模型2 3 3 3绩效评价指标体系建构2 5 西南科技大学硕士研究生学位论文第1 页 3 3 1确定评价指标2 6 3 3 2确定指标权重2 6 3 4 本章小结2 9 4 系统总体设计方案3 1 4 1 系统流程3l 4 2系统体系结构3l 4 2 1 用户层3 2 4 2 2 业务层3 2 4 2 3 数据层3 3 4 3数据库设计3 3 4 4 本章小结3 4 5 关键模块的设计与实现3 5 5 1学习行为采集3 5 5 2学习绩效评价3 6 5 2 1习惯性行为评价3 6 5 2 2资源利用评价3 8 5 2 3交互性行为评价：3 9 5 3个性化学习引导4 0 5 4 本章小结4 3 结论。4 4 致谢4 6 参考文献4 7 附录51 攻读硕士学位期间发表的学术论文及研究成果5 5 西南科技大学硕士研究生学位论文第1 页 1 绪论 1 1选题背景及意义 随着信息时代与知识经济的到来，以网络为代表的信息技术得 到了迅猛发展和广泛应用，推动了各行各业的技术进步。在教育领 域，网络已成为人们开展教育教学的重要途径，网络学习正在被越 来越多的教育工作者和学习者所认识和接受。 与传统的学习方式相比，网络学习突破了时空限制，具有开放 性、数字化、虚拟化、多媒体化、信息量大等特点，为更多的学习 者提供了接受教育的机会。但是，由于时空分离，师生双方缺少面 对面的交流，对教师而言，不能及时了解学习者的学习行为，从而 无法知晓影响学习效果的具体因素，难以对学习者做出客观公正的 评价，以及向学习者提供及时有效的指导和帮助；对学习者而言， 不能得到及时有效的反馈和学习帮助就难以激发学习潜能、改善学 习绩效。因此，要保证网络学习质量必须建立一套与之相适应的学 习评价机制和评价系统。 纵观传统的学习评价模式，其关注的焦点是学习者的学习结果， 而不是学习者的学习过程。这样的评价模式若是运用在网络学习中， 教师仍将无从知晓学习者的学习行为，以及影响学习效果的具体因 素，从而难以给予学习者有效的指导和帮助。近些年发展起来的绩 效评价理论为我们提供了解决问题的思路。 绩效评价是企业人力资源管理领域经常应用的一套理念和方 法，主要用于对企业员工的能力、工作状态、业绩等进行评价h 1 ，后 来逐渐被推广应用到诸如政府管理、工程项目管理等领域。绩效评 价强调以目标为导向，对过程、环境施行管理和干预心1 。网络学习中， 我们可以运用绩效技术，以学习目标为导向、关注学习过程和学习 环境，对学习者的学习实行过程管理和绩效干预，根据学习者的实 际学习情况和个人特征，提供及时有效的指导和帮助，从而确保学 习者的行为始终指向学习目标而不是偏离目标，并尽可能地使学习 者沿着教师设计的最佳学习路径行进。 本文的研究意义在于将绩效技术运用到网络学习评价中，为保 证网络学习质量、改善学习者的学习绩效，探索一套切实可行、行 西南科技大学硕士研究生学位论文第2 页 之有效的方法，为实践现代教育理念提供参考。 1 2 国内外研究现状 1 2 1绩效技术理论研究 早在绩效技术兴起之初，美国教育技术学界就给予了关注和研 究，创建了绩效改进国际协会( i n te r n a tio n a ls o cie tyf o r p e r f o r m a n c ei m p r o v e m e n t ，is p 工) 专门从事绩效技术的理论研究和 应用研究1 。大多数美国学者认为教育技术是绩效技术的基础，绩 效技术同教育技术一样由教学系统设计发展而来。绩效技术进一步 拓展了教育技术的实践范围，把教学系统设计从教育领域推广到了 企业、商业等领域。目前绩效技术还只是一个研究领域而不是一个 学科。 国内最早开始关注和研究绩效技术的是上海外国语大学的张祖 忻教授。张祖忻教授认为心1 绩效技术是教学系统设计成熟发展的产 物，是运用分析、设计、开发、实施和评价的系统方法来提高个人 和组织机构的工作业绩的研究领域，绩效技术的引入将会使教育技 术研究和实践的成效更加显著。 目前，国内已有部分高校将绩效技术纳入教育技术学课程体系， 作为教育技术学专业的一门课程单独开设阳1 。目的在于帮助学生理解 绩效技术的基本原理与方法，并能运用绩效技术解决实际问题。 1 2 2 绩效评价应用研究 绩效评价是绩效技术的重要组成部分，贯穿绩效技术应用的整 个过程。当前，在网络学习中应用绩效评价技术的关键问题在于如 何构建绩效评价指标体系，采集绩效评价信息，实施绩效评价操作。 从查阅的文献看，人们提出的解决方法主要有模糊综合评判7 1 、贝 叶斯网络阳1 、基于支持向量机分类旧叫。 台湾学者陈志铭阳的做法是：首先运用统计关联分析法和模糊 聚类法确定影响学习者学习效果的主要因素；然后对电子学档进行 模糊关联挖掘，并使用k 均值聚类算法建立模糊归属函数；最后运 用模糊评判法确定学习者的学习绩效。 黄振荣则提出了阳3 运用参数改善机制诊断学习者学习绩效的方 西南科技大学硕士研究生学位论文第3 页 法。其做法是：首先由系统统计学习者有效的在线学习时间、提取 讨论中与学习主题密切相关的内容、鉴定学习者作业的抄袭情况等 三类参数，然后将这些参数传送到支持向量机分类器，从而预测学 习者的学习绩效。该研究在台湾的国文教学中开展了网络教学实验， 实验结果显示对三类学习参数的正确反映程度分别达到6 2 、5 4 9 6 和 6 8 5 6 。 1 2 3电子绩效支持系统开发 电子绩效支持系统( e le c tricp e r f o r m a n c es u p p o r ts ys te m ， e p s s ) 是一个智能化的软件系统，在网络学习中用于代替教师记录 与学习相关的各类信息，对学习者的学习做出绩效评价，向学习者 提供指导和帮助。当前e p s s 的设计与开发是绩效技术研究中的热点。 从查阅的文献看2 。1 63 ，网络学习中电子绩效支持系统的设计基本上基 于这样一条思路：利用信息库跟踪记录网络学习系统的环境参数、 学习者的学习行为以及学习者的个人信息，e p s s 通过挖掘信息库中 的相关数据，对学习者的学习给予绩效评价，并向学习者提供智能 化的学习帮助和个性化的学习引导。 理论上说，电子绩效支持系统既可以作为独立的系统与网络学 习平台分离，也可以嵌入到网络学习平台中作为网络学习平台的组 成部分。遗憾的是，我们访问了几个比较著名的网络学习平台( 如 w e b c t 、b 1a c k b o a r d 、m o o d le 、s a k a i ) ，无论开源的还是商业的均未 强调对绩效评价的应用，网上也未检索到商业化的专门用于网络学 习绩效评价的电子绩效支持系统。这一方面说明了网络学习绩效评 价系统正处于早期研发阶段，另一方面说明了网络学习绩效评价的 复杂性。 1 3 本文主要研究内容 我们知道，学习结果取决于学习目标、学习内容、学习环境， 以及学习者的初始能力和个人特征，要对学习者进行客观全面的绩 效评价，就必须综合考虑这些因素。从网络学习发展现状可以看出， 网络学习比较注重平台和资源的建设，网络学习评价还只是对传统 学习评价模式的简单迁移，评价的方式以在线测试、网络学习行为 西南科技大学硕士研究生学位论文第4 页 的采集与分析，以及对学习行为的简单干预为主，将学习目标、学 习风格、学习行为、学习效果结合起来进行系统分析的研究尚不多 见。 本文针对目前网络学习评价中存在的主要问题，结合已有的研究 成果，将绩效技术运用到网络学习评价中，探索以学习目标为导向， 通过对学习者学习风格、学习行为的分析，确定影响学习者学习效 果的主要因素，从而给予学习者个性化的学习引导。 论文的主要研究内容如下： ( 1 ) 网络学习绩效评价基本理论。包括有关网络学习、学习评 价、绩效评价的原理与技术，网络学习绩效评价的内涵。 ( 2 ) 学习目标描述。针对通常情况下学习目标描述模糊，不易 于鉴定和测量且难以被计算机解析的问题，改进基于行为主义理论 的学习目标描述法，探索基于行为主义理论对学习目标进行结构化、 细粒度、可量化地描述的方法，使得描述的学习目标能够使用x m l 语言表示，从而被计算机解析。 ( 3 ) 学习者建模。参考相关学习风格理论和c e l t s - 1 1 学习者 模型规范7 1 ，构建网络学习者学习风格模型和信息模型。学习者模 型用于反映与学习有关的个人信息、行为信息，既包括诸如年龄、 性别、学业、行为习惯等静态信息，也包括诸如交互行为、资源利 用等动态信息。学习者模型是构建绩效评价指标体系的理论依据。 ( 4 ) 网络学习绩效评价指标体系建构。探索基于模糊数学中的 多级综合评判模型构建网络学习绩效评价多级指标体系。 ( 5 ) 学习行为采集。探索利用w e b 服务器访问日志采集学习者 的行为信息，为开展学习绩效评价提供真实有效的数据。 ( 6 ) 学习绩效评价。根据采集到的数据( 分为静态信息和动态 信息) ，评价学习者的学习风格、交互行为和资源利用情况，并对学 习者给予个性化的学习引导。 西南科技大学硕士研究生学位论文第5 页 2 网络学习绩效评价概述 2 1网络学习内涵 2 1 1 网络学习是什么 网络学习作为一种获取知识的手段，似乎司空见惯。那么，网 络学习到底是什么? 人们很难给出确切的描述。一种被人们普遍接 受的观点认为，网络学习就是通过计算机网络，系统地学习相关知 识的一种学习方式。其主要表现在：( 1 ) 学习者从网上获取知识；( 2 ) 学习是自主式的，学习的内容和进度取决于学习者而不是教师；( 3 ) 教学手段和学习场景虚拟化。 必须进一步说明的是引：( 1 ) 从交互方式来看，网络学习摆脱 了现实生活中人与人之间面对面交往的直接性，取而代之的是符号 化、数字化的交互手段；( 2 ) 从学习条件来看，网络学习者在初始 能力、认知技能、学习策略等方面必须达到一定的要求，网络学习 平台能够提供丰富的学习资源、友好的学习环境；( 3 ) 从学习过程 来看，学习活动离不开网络平台，学习者必须积极主动地对学习资 源进行信息加工；( 4 ) 从学习结果来看，网络学习同样要引起个体 在知识、技能和情感等方面的持久变化，未能产生这种变化的网络 行为不能称之为学习，例如通过网络进行的许多消遣活动就不能算 作学习。 综上所述，我们将网络学习描述为：学习者利用网络有计划、 有目的地获取资源并进行信息加工，从而促进知识的掌握、技能的 提高和情感的变化的过程。 2 1 2 网络学习环境构成 通常，我们所说的学习环境就是学习者周围存在的对学习活动产 生影响的各类因素和条件，包括硬件设施、学习资源、人员支持等。 基于这种共识，我们认为网络学习环境就是在网络平台上构建的学 习环境，其核心部分就是网络学习平台或网络学习系统。这些系统 或平台是对传统学习环境的虚拟化和数字化，具备课程学习、资源 管理和教务管理、水平测试、交流协作等功能引。 从系统的角度来看，网络学习环境由物理环境、资源环境和人文 西南科技大学硕士研究生学位论文第6 页 环境三部分组成，如图2 1 所示。 图2 1网络学习环境构成 fjg ur e2 1t h ee n vir o n m e n tc o m p o sitjo no fw e b b a s e d 物理环境是开展网络学习的基本条件，包括信息基础设施和物 质空间载体两方面。信息基础设施包括计算机硬件、网络通讯设备 等。物质空间载体包括人的活动场所以及容纳信息设施的空间场所。 物理环境的基本功能是实现数据通信、资源共享和分布式处理。 资源环境对网络学习起直接的支持作用，包括具有传递、管理、 协作等功能的网络学习支撑平台和开展网络学习必不可少的各类资 源。其中网络学习支撑平台又由一系列功能模块组成，主要包括学 习管理、资源管理、智能答疑、学习评价、在线测试以及帮助等。 人文环境是开展网络学习的氛围，从心理、人际关系、学习策 略等方面对学习者的学习活动产生着影响。 近些年，发端于哲学和心理学领域的建构主义思想在教育领域 产生了广泛而深刻的影响。建构主义者认为心阳引，知识并非对现实 世界的客观表征，而是人们在与情境的交互作用中所建构的一种对 于现实世界的解释。情境、协作、会话和意义建构是知识形成过程 中的四大要素。学习者在丰富的学习情境中，通过主动探索和协商 合作，将新获得的经验与先前的经验系统进行同化和顺应，完成经 西南科技大学硕士研究生学位论文第7 页 验系统的意义建构，从而掌握知识。因此，建构主义者非常注重学 习环境建设，网络技术的发展为实践建构主义学习观创造了有利的 条件。人们在实践和理论研究的基础上提出了构建满足建构主义学 习环境观的网络学习环境的原则和标准阳3 。25 1 ：( 1 ) 系统易于使用、交 互性强、界面友好，具有帮助、导航等辅助功能；( 2 ) 能够提供真 实或接近真实的任务情境，任务情境具有启发性；( 3 ) 实现资源的 整合，媒体表现形式多样化，呈现的信息应该包括文本、图像、视 频、音频、动画等；( 4 ) 提供评价和反馈功能，能够实现多元化评 价和及时有效的学习反馈；( 5 ) 能够针对不同的学习者实现学习过 程的个性化引导，并且系统便于学习者协作交流。 综上所述，与传统的学习方式相比，网络学习具有如下特征：( 1 ) 依托计算机及其通信技术作支撑，系统具有强大的智能性、交互性 和仿真性；( 2 ) 学习内容更多地表现为多样化和非结构化；( 3 ) 丰 富的资源、虚拟的情境、独立的场所，可以满足学习者个性化学习 以及和他人协作交流的需要。 2 2学习评价基本理论 2 2 1学习评价的内涵与要素 一般而言，评价是依据一定的标准，通过系统地收集信息，在 对信息与标准进行比较的基础上做出价值判断的过程。评价的本质 是一种价值判断，评价具有诊断、导向和激励的功能。学习评价就 是参照学习目标，对学习者的学习进行价值判断的过程。 学习评价的要素包括学习目标、学习结果、评价主体、评价对 象和评价手段。学习目标即学习者在学习结束后应该达到的标准或 要求，是开展学习评价的参照和依据。学习结果即学习结束后学习 者在知识、技能、情感等领域所发生的变化，是学习评价的核心要 素。评价主体和评价对象是评价活动中处于对立的双方，即评价执 行者和被评价者，通常情况，学习评价的对象就是学习者。评价手 段则是评价时所采用的方式方法，包括测试、访谈、调查等。 2 。2 2学习评价的类型 根据评价的目的和功能，可以将学习评价分为以下三种类型： 西南科技大学硕士研究生学位论文第8 页 ( 1 ) 诊断性评价：主要是在开展特定的教学活动之前，了解学 习者对学习活动的准备情况，以及学习者所具备的初始能力，为开 展教学活动提供参考意见。 ( 2 ) 形成性评价：主要是在教学过程中，检查学习者的学习情 况，为师生双方提供及时有效的反馈信息、确保学习者的学习活动 沿着既定的学习目标行进。 ( 3 ) 总结性评价：主要是在教学活动结束之后，判断学习者是 否达到了学习目标，为选拔人才提供依据。 2 3当代学习评价理念的嬗变 传统的学习评价以教学目标为依据，运用观察、访谈、测验等 方法收集学生学习状况的客观资料，并进行量化处理，从而对学生 的学习结果做出价值判断。随着人们对个体终身发展的关注，以及 信息技术对人类社会带来的巨大影响，一种新的评价理论一一发展 性评价理论正在被越来越多的人所认识、关注和倡导。这种评价理 论认为，评价的目的是为了促进学习者的发展而不是为了单纯地鉴 定成绩，评价应该关注学习者的个体差异和学习过程，评价应该做 到多渠道、多主体，而不是仅仅由教师主要通过考试衡量心6 1 。与传 统的学习评价理论相比，发展性评价理论已经在很多方面发生了深 刻变化。 2 3 1 为了发展而评价 当今社会越来越关注个体的发展，诸如“建构主义”、“多元智 能理论”都从个体本身出发，强调个体之间既存在共性，更存在差 异性，教育应该满足个体需要，积极发挥学习者的能动性和优势智 能。因此，发展性评价在评价取向上强调为了发展而评价，评价的 目的是帮助学习者找到当前学习与目标之间的距离，提出改进学习 的措施。评价的结果应该更有利于学习者的发展，这种发展不仅仅 表现在学业上，还表现在身体上、心理上和生存能力上。 2 3 2在过程中评价 传统的学习评价主要关注的是学生的学习结果，而忽视学生的 西南科技大学硕士研究生学位论文第9 页 学习过程，因而难以发现影响学习效果的具体因素。发展性评价强 调了对学习者学习过程的关注，其目的在于从学习过程中寻找到改 善学习的具体措施。从过程论的角度来看，发展性评价具有这样一 些特征汜7 28 1 ：( 1 ) 关注学习者的个体差异；( 2 ) 关注学习者的多元 智能发展；( 3 ) 关注学习环境建设和学习者非智力因素的培养。 2 3 3多元化评价 传统的学习评价主要由教师通过考试对学生的学习给予评价。 这样做未免失之偏颇，不够全面。发展性评价强调评价主体和评价 途径的多元化。评价主体包括教师、学习者本人、学习伙伴和其他 参与到教学活动过程中的人员阻引。评价手段除了通常采用的考试， 还包括平时的学习行为记录、师生之间以及同伴之间的交流、作业 和作品等阳引。 2 4基于绩效技术的网络学习评价 2 4 1 绩效技术与绩效评价 “绩效”是英文“p e r f o r m a n c e ”的汉译。从管理学的角度来看， 绩效就是行为的结果，绩效的概念包含行为和价值两个方面他1 ，绩效 反映了行为所产生的价值。 绩效技术又称为人类绩效技术( h u m a np e r f o r m a n c e t e c h n o lo g y ，h p t ) ，近些年在欧美等国得到了高度关注和深入研究。 目前，绩效技术中的很多理念都产生于2 0 世纪6 0 年代末至7 0 年代 初，主要来自罗森伯格、吉尔伯特、哈雷斯、尼科尔斯等人的研究。 罗森伯格指出阳2 1 “人类绩效技术是一套用来解决问题或抓住机 会的方法和程序，这些问题或机会都与人们的绩效相联系。人类绩 效技术可应用于个人、小的团队或大的组织。 哈雷斯则认为3 人类绩效技术是一种操作方式，它通过确定 绩效差距，设计有效的绩效改进措施，获得所期望的人员绩效。 尽管人们对绩效技术的定义没有形成完全统一的认识，但这并 不妨碍绩效技术的应用。例如，在企业人力资源管理领域，人们常 常运用绩效技术分析影响员工工作业绩的因素、寻找改善工作业绩 的措施。 西南科技大学硕士研究生学位论文 第1 0 页 从历史的角度看，绩效技术与教育技术中的教学系统设计都起 源于二十世纪六十年代的程序教学运动，并于二十世纪七十年代逐 渐发展成为研究如何改进组织和个体绩效的专门领域。 绩效技术同教学系统设计一样，强调以系统的观点看待问题、 分析问题、解决问题。所不同的是，绩效技术强调绩效干预，在企 业管理领域应用比较多；教学系统设计则强调课程组织，在教育领 域应用比较多。现在，两种技术已经逐渐相互渗透、相互融合，教 育技术界对绩效技术的研究日益增多。 总的说来，绩效技术的发展得益于从系统论、学习心理学、认 知科学和经济学，以及组织开发与改革、信息技术等领域的研究中 汲取理论营养和操作方法。 绩效技术的目的是取得组织目标所期望的成效心1 ，绩效支持系统 开发是实施绩效技术的关键。 从本质上说，绩效技术运用系统思想考察组织中的绩效差距， 把组织中的个体看作一个系统，综合分析影响组织和个体绩效的各 种因素，寻找改进组织和个体绩效的途径和方法。绩效技术的操作 过程可以概括为分析( a n a lysis ) 、设计( d esig n ) 、开发 ( d e v e1o p m e n t ) 、实施( i m p le m e n t ) 和评价( e v a lu a tio n ) 五个阶 段【23 ，该系统方法模型又称a d d ie 模型，如图2 2 所示。 图2 - 2绩效技术过程模型 fig ur e2 2 p er f or mancet e c h n oio g yprocessm o d e 分析阶段的工作常称为绩效分析或绩效问题分析，其目的是明 西南科技大学硕士研究生学位论文第1 1 页 确目标、了解现状、揭示差距、剖析原因、提出对策。设计阶段的 工作是拟定出解决问题的方案，即选择干预措施。开发阶段的任务 是将设计阶段形成的方案转化成可具体操作、使用的产品。实施阶 段的工作即是实施干预措施，改进组织和个体的绩效。评价阶段的 工作即通常所说的绩效评价，主要任务是依据事先制定的量化指标 和评价标准对组织和个体的行为和结果进行测量评定。 需要指出的是，评价不是一项终结性工作，而是贯穿于整个绩 效技术过程的活动。在分析阶段，评价绩效差距和原因是否客观、 干预措施是否合适；在开发阶段，对干预措施的原型进行形成性评 价，并做出必要的修改；在实施阶段，开展总结性评价，了解干预 措施的实际效果，以决定是否继续采用和推广。 就企业管理领域而言，绩效评价的方法有：( 1 ) 关键事件法， 即保存最有利和最不利的工作行为的书面记录；( 2 ) 叙述法，要求 评价者用简短的语言描述员工的工作业绩；( 3 ) 硬性分布法，要求 评价者将工作小组中的成员分配到一种类似于一个正态频率分布的 有限数量的类中，例如把业绩最好的1o 的员工放在最高等级的小组 中，次一等的3 0 的员工放在次一级的小组中，表现一般的5 0 的员 工放在中间等级的小组中，余下10 的员工放在最低等级的小组中； ( 4 ) 强制选择业绩报告，要求评价者从一系列的个人陈述中选择受 到最多或最少描述的员工；( 5 ) 加权业绩考核报告，评价者完成一 份类似于强制选择业绩报告的表格，但对不同的问题会赋予不同的 权重；( 6 ) 作业标准法，用预先确定的标准或期望的产出水平来评 比每位员工的业绩；( 7 ) 排列法，评价者按照业绩对员工进行排序； ( 8 ) 平行比较法，将每位员工的业绩与小组中的其他员工相比较。 2 4 2 学习绩效与学习绩效评价 绩效技术作为一个领域，存在的历史短于教育技术，但教育技 术领域专业人员对绩效技术的研究与关注一直没有停止过。在美国， 有许多教育技术领域的专业人员从事的主要工作就是绩效技术的研 究与实践，同时又有相当一部分绩效技术专业人员早期都接受过教 育技术领域的专业训练1 。美国教育传播与技术协会( a ss o c ia tio r l f o re d u c a t i o n a lc o m m u n i c a t i o n sa n dt e c h n o l o g y ，a e c t ) 2 0 0 5 年 给教育技术下的新定义中就明确提出了对学习者学习绩效的关注和 西南科技大学硕士研究生学位论文第1 2 页 研究。该定义认为引，教育技术是通过创造、使用、管理适当的技 术性的过程和资源，以促进学习和提高绩效的研究与符合伦理道德 的实践。 学习绩效最初出现在企业的组织学习中，例如员工培训、企业 e le a r n in g 等，后来应用到了教育领域，用于反映学习者的学习活 动与学习结果之间的关系。学习绩效包含三个维度：素质维度、行 为维度和时间维度5 1 ，如图2 3 所示。 图2 - 3学习绩效三维模型 fig ur e2 3ie ar nin g p er f o r m a t i c e3 dm o d e 在素质维度上包含一系列易于观察的表象素质和潜在素质，这 些素质包括知识经验、专业核心技能、能力倾向、动机期望、品质 态度、自我形象、社会角色等。在行为维度上包含有效行为和无效 行为( 不是所有的行为都可以进行绩效分析或评价，只有那些与目 标或价值相关的行为才适合做绩效分析或评价) 。在时间维度上包含 即期绩效( 当前可表现出来的绩效) 和未来绩效。 学习绩效评价就是以学习目标为导向，测量学习者的学习结果， 分析影响学习绩效的因素，提出改进学习绩效的措施。评价内容包 括学习目标、学习材料、学习结果、学习者特征、学习行为、组织 环境等。 与传统的学习评价相比，学习绩效评价具有如下特征：( 1 ) 关 注学习者的学习过程，强调对学习者的学习实施过程管理和绩效干 预；( 2 ) 评价以学习目标为导向，主要目的是分析对学习绩效产生 影响的因素，帮助学习者改进学习策略，提高学习效率；( 3 ) 评价 西南科技大学硕士研究生学位论文第1 3 页 比较全面，既包括学习者的内在因素也包括诸如环境、学习材料等 外在因素；( 4 ) 注重运用技术手段收集学习者的学习行为记录、作 品以及他人的相关评价。更为详细的比较见表2 一l 。 表2 1学习评价与学习绩效评价的比较 t a bje2 1 c o m p a reb e t w e e nie ar nin ge v aiu a ti0 1 3a n d ie arnjn g p er f ormancea p pr ais a 学习评价 学习绩效评价 评价对象 学生学习者( 比“学生”的外延广) 评价主体教师教师、学习者本人、学习伙伴 学习结果和学习过程，重点是 关注点学习结果 学习过程 对学习者的学习给予价值判 评价目的对学生的学习给予价值判断 断，分析影响学习绩效的因素， 提出改进学习绩效的干预措施 在线测试、个人档案、行为记 评价手段考试为主，辅以观察和调查 录、电子绩效支持系统等 2 4 3 网络学习绩效评价 前面，我们已经对本文涉及到的相关重要概念一一网络学习、 学习评价、绩效技术、绩效评价等从内涵、特征、构成等方面作了 详细分析和比较。本文所指的网络学习绩效评价就是以上概念的交 叉和集成。本文关于网络学习绩效评价的定义是：在网络学习中， 以学习目标为导向、利用技术手段对学习者的学习进行绩效分析并 提出改进学习绩效的措施，对学习者的学习过程实施绩效干预，促 进学习者学习的套策略和方法。网络学习绩效评价系统则是实践 这套策略和方法的电子绩效支持系统，既可以把它作为一个模块嵌 入到网络学习平台中，也可以把它作为一个中间件通过接口与网络 学习平台相互通信。 2 5本章小结 西南科技大学硕士研究生学位论文第1 4 页 本章介绍了网络学习和绩效技术方面的基本知识，提出了以学 习目标为导向、关注学习过程，运用技术手段对学习者的学习实施 过程管理和绩效干预的思想。 本章内容是开展网络学习绩效评价的基础理论。 西南科技大学硕士研究生学位论文第1 5 页 3 网络学习绩效评价中的关键技术 3 1 学习目标描述 学习目标是从学习者的角度而言，是学习者经过一段时间的学 习之后在知识、技能、情感等领域所要达到的状态。从教学者的角 度而言，可称之为教学目标。也就是说，学习目标和教学目标本质 上是相同的，是学习者在知识、技能、情感等领域达到的一种状态。 因此，本文不拘泥于学习目标和教学目标的概念辨析，重点在于解 决学习目标( 教学目标) 描述的问题。 3 2 1基于行为主义理论的目标描述法 学习目标描述的关键是克服其模糊性，描述的学习目标要易于 观察和测量。这里介绍三种被人们普遍认可的学习目标描述方法。 ( 1 ) 马杰的行为目标描述法 马杰根据行为主义心理学的刺激一反应模式提出了行为目标描 述法的理论与技术。行为目标描述法刚要求在学习目标中描述提供 的条件( 刺激) 和学生做出的反应( 行为) 。马杰认为，只要刺激和 反应规定得具体、明确，则陈述的目标也就具体了，写得好的行为 目标应具有三个要素：说明通过教学后学生能做什么；规定学 生行为产生的条件；规定符合要求的绩效标准。 例如，教师在教学目标中说：“通过教学培养学生面向对象分析 能力。”这是一个模糊的目标陈述，不可能给教学及其评价提供具体 指导。参照马杰的行为目标陈述标准，我们可以将其描述为： 提供一个项目实例，学生能从中抽象出不同的对象并用自己的 话进行描述，正确率达到8 5 以上。 由此可知，行为目标描述强调学习之后学习者行为变化和变化 的条件。在一个好的行为目标描述中实际上蕴含了学习结果的检测 方式和评价标准。 ( 2 ) 内部心理与外显行为相结合的目标描述法 从认知科学的角度来看，学习的实质是内在心理的变化。教学 的真正目标不是具体的行为变化，而是内在的能力或情感的变化。 因此，教学目标描述中应该包含诸如记忆、知觉、理解、创造、欣 西南科技大学硕士研究生学位论文第1 6 页 赏等反映学习者内在心理变化的语词。基于可观察的行为描述教学 目标的方法虽然避免了教学目标的模糊性，但它只强调了行为结果 而未注意学习者内在的心理过程，忽视了学习者内在能力和情感的 变化。为弥补这方面的不足，格伦兰提出了一种折中的描述教学目 标的方法7 1 ，即采用内部心理与外显行为相结合的方法。 例如，关于j a v a 语言中继承的一个教学目标，可作这样描述： 理解j a v a 中的继承： a 用自己的话解释运用继承的好处； b 在一个给定的项目中，找出具有继承关系的类。 这里，首先强调了教学的总目标是“理解 ，反映的是学习者的 内在能力的变化，然后列举了几个可以测量的具体行为，很好地将 认知与行为结合在了一起。 ( 3 ) 加涅的五成分式目标描述法 加涅认为学习的结果可归为五种类型：智慧技能、认知策略、 言语信息、态度和动作技能引，其中智慧技能又分为辨别、具体概 念、定义性概念和问题解决四个亚类。这些结果是通过能力的习得 而产生的，要在学习者运用这些习得性能办的具体任务中观察符合 要求的行为，学习目标的描述必须基于一些可测量的行为动词。为 此，加涅提出了五成分式目标描述法，这五种成分分别是：情境、 习得能力动词、行为表现的内容或对象、可观察的行为动词以及与 之相关的限制条件或工具。 例如，关于j a v a 语言中理解类的教学目标： 给出一个p a n el 系统( 情境) ，学习者通过画( 行为动词) 类框 图，识别( 能力动词) 类、对象和属性( 对象) ，正确率在9 0 以上 ( 限制性条件) 。 这里描述的教学目标就包含了五种成分。 五成分式目标描述法通过运用行为动词和能力动词来描述不同 学习结果的学习目标，避免了学习者表现的行为与能力不符的情况， 为学习评价提供了量化的评价标准。 综合以上介绍，可以看出，上述三种学习目标描述法之间存在 继承与发展的关系。行为目标描述法开创了基于具体学习行为描述 学习目标的方法，内部心理与外显行为相结合的目标描述法则进一 步从认知科学的角度突出了学习者内在心理变化与外显行为的关 西南科技大学硕士研究生学位论文第1 7 页 系，而五成分式目标描述法又进一步从情境、行为、结果、条件等 具体因素方面对学习目标描述方法进行了完善，其编写方法也最为 复杂。 3 2 2对基于行为主义理论的目标描述法的改进 前面介绍的三种基于行为主义理论的学习目标描述方法克服了 目标描述的模糊性，为开展学习评价提供了可测量的标准和依据。 但是，这些方法来源于传统教学领域，描述的学习目标由人来理解， 具有高度的灵活性。目前计算机尚不能达到人的理解能力。因此， 必须对基于行为主义理论的学习目标描述法进行改进，使得描述的 学习目标能够使用计算机语言表示从而被计算机解析。参考x m l 技 术规范设定的结构化文档标准阳引，本文提出对基于行为主义理论的 学习目标描述法的改进原则：( 1 ) 区分内在心理变化和外显