（教育技术学专业论文）基于绩效的在线培训的评价研究.pdf

摘要 不论采取何种方式 培训的目的都是为了用最短的时间 最少的资源改进员工 的绩效 作为网络培训项目 其最终目标也是为了提升受训人员的绩效表现 因此 对绩效的评价是培训评价中一个重要的考核项目 本文首先界定基于绩效的远程培训评价的定义 并研究分析培训的绩效评估方 法 并以k i r k p a t r i c k 培训评估方法中的前三个层次为基础 对基于绩效的网络培i j i i 评价模式以及评价流程做出设计 然后以全国中小学教师教育技术能力网络培训为 研究对象 设计基于绩效的网络培训评价方案和评价平台 以跟踪分析受训教师的 绩效改变并对评价方案进行了实践操作 证明其可行性 在实践的基础上 总结出 基于绩效的评估经验和建议 关键词 网络培训 绩效 评价 反应层 学习层 行为层 a b s t r a c t w h a t e v e rm e t h o di tt a k e s t h ep u r p o s eo ft r a i n i n gi st op r o m o t et h ep e r f o r m a n c eo f t r a i n e e sw h i l eu t i l i z i n gt h em o s tl i m i tt i m ea n dr e c o u r s e sa sao n l i n et r a i n i n g t h er o l e o b j e c t i v ei st oi m p r o v et h ep e r f o r m a n c ef o rt a r g e ta u d i e n c e t h e r e f o r e h o wt oe v a l u a t e t h er e s u l to ft h eo n l i n e t r a i n i n gb a s eo nt h ep e r f o r m a n c ei st h ek e yi t e mf o ro n l i n e t r a i n i n g t h i st h e s i sd e f i n e dt h ec i r c u m s c r i p t i o no fp e r f o r m a n c eb a s e de v a l u a t i o nf o ro n l i n e t r a i n i n ga n da n a l y z e dt h em e t h o d so fp e r f o r m a n c ea s s e s s m e n t t h e ni td e s i g n e dt h e p r o c e s so fp e r f o r m a n c ea p p r a i s a lf o ro n l i n et r a i n i n ga sp e rt h ek i r k p a t r i c k s4l e v e l m o d e l t h ee x p e r i m e n t a ls t u d yi sc o n d u c ta tt h ed e v e l o p m e n to fe d u c a t i o n a l t e c h n o l o g yl i t e r a c yf o rn a t i o n a lt e a c h e r s 但习o n l i n et r a i n i n g t h et h e s i sd e s i g n e d t h ee v a l u a t i o np l a t f o r mf o re to n l i n et r a i n i n ga n dt r a c k e dt h ec h a n g e so ft h et r a i n e e s d u r i n go n l i n et r a i n i n g a t l a s tt h et h e s i ss u m m a r i z e da n da s s e s s e dt h ee f f e c to f p e r f o r m a n c eb a s e de v a l u a t i o nf o ro n l i n et r a i n i n g k e yw o r d o n l i n et r a i n i n g p e r f o r m a n c e e v a l u a t i o n r e a c t i o nl e v e l i e a m i n g l e v e l b e h a v i o rl e v e l 摘要 不论采取何种方式 培训的目的都是为了用最短的时间 最少的资源改进员工 的绩效 作为网络培训项目 其最终目标也是为了提升受训人员的绩效表现 因此 对绩效的评价是培训评价中一个重要的考核项目 本文首先界定基于绩效的远程培训评价的定义 并研究分析培训的绩效评估方 法 并以k i r k p a t r i c k 培训评估方法中的前三个层次为基础 对基于绩效的网络培i j i i 评价模式以及评价流程做出设计 然后以全国中小学教师教育技术能力网络培训为 研究对象 设计基于绩效的网络培训评价方案和评价平台 以跟踪分析受训教师的 绩效改变并对评价方案进行了实践操作 证明其可行性 在实践的基础上 总结出 基于绩效的评估经验和建议 关键词 网络培训 绩效 评价 反应层 学习层 行为层 a b s t r a c t w h a t e v e rm e t h o di tt a k e s t h ep u r p o s eo ft r a i n i n gi st op r o m o t et h ep e r f o r m a n c eo f t r a i n e e sw h i l eu t i l i z i n gt h em o s tl i m i tt i m ea n dr e c o u r s e sa sao n l i n et r a i n i n g t h er o l e o b j e c t i v ei s t oi m p r o v et h ep e r f o r m a n c ef o rt a r g e ta u d i e n c e t h e r e f o r e h o wt oe v a l u a t e t h er e s u l to ft h eo n l i n et r a i n i n gb a s eo nt h ep e r f o r m a n c ei st h ek e yi t e mf o ro n l i n e t r a i n i n g t h i st h e s i sd e f i n e dt h ec i r c u m s c r i p t i o no fp e r f o r m a n c eb a s e de v a l u a t i o nf o ro n l i n e t r a i n i n ga n da n a l y z e dt h em e t h o d so fp e r f o r m a n c ea s s e s s m e n t t h e ni td e s i g n e d t h e p r o c e s so fp e r f o r m a n c ea p p r a i s a lf o ro n l i n et r a i n i n ga sp e rt h ek i r k p a t r i c k s4l e v e l m o d e l t h e e x p e r i m e n t a ls t u d yi s c o n d u c ta tt h ed e v e l o p m e n to fe d u c a t i o n a l t e c h n o l o g yl i t e r a c yf o rn a t i o n a lt e a c h e r s 但习o n l i n et r a i n i n g t h et h e s i sd e s i g n e d t h ee v a l u a t i o np l a t f o r mf o re to n l i n et r a i n i n ga n dt r a c k e dt h ec h a n g e so ft h et r a i n e e s d u r i n g o n l i n et r a i n i n g a tl a s tt h et h e s i ss u m m a r i z e da n da s s e s s e dt h ee f f e c to f p e r f o r m a n c eb a s e de v a l u a t i o nf o ro n l i n et r a i n i n g k e yw o r d o n l i n et r a i n i n g p e r f o r m a n c e e v a l u a t i o n r e a c t i o nl e v e l i e a m i n g l e v e l b e h a v i o rl e v e l 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取 得的研究成果 据我所知 除文中已经注明引用的内容外 本论文不包 含其他个人已经发表或撰写过的研究成果 对本文的研究做出重要贡献 的个人和集体 均已在文中作了明确说明并表示谢意 作者签名 垄薹幺日期 趁 生 学位论文授权使用声明 本人完全了解华东师范大学有关保留 使用学位论文的规定 学校 有权保留学位论文并向国家主管部门或其指定机构送交论文的电子版 和纸质版 有权将学位论文用于非赢利目的的少量复制并允许论文进入 学校图书馆被查阅 有权将学位论文的内容编入有关数据库进行检索 有权将学位论文的标题和摘要汇编出版 保密的学位论文在解密后适用 本规定 学位论文作者签名 袭致 导师始伊纺弘 日期 塑阻日期 丑掣 1 1 研究背景 第1 章绪论 2 0 0 4 年1 2 月1 5 日 教育部师范司颁布了 中小学教师教育技术能力标准 试 行1 并相继启动了中小学教师教育技术能力建设项目 随着项目的启动 短短一 年的时间理 项目相关的各项工作相继就绪 完成了二套初级版培训教材的编写任 务 实旌了试点培训 开展了国家级骨干教师培训 与项目密切相关的考试认证体 系建设项目也已经启动 2 0 0 6 年 首批进入项目的9 个试点省区 将全面展开教师的 教育技术培训 并逐步拓展到其他省区 然而 以面对面为主要模式的培训 在全面展开的时候会受到师资 地域 经 费等多方面的限制 无论在时间进程与人财物投入上均无法满足项目推进的迫切需 求 鉴于远程教育所提供的时空不限 资源共享 交流互动 系统开放等多方面优 势 在全国中小学教师教育技术能力建设项目中 引入了网络技术 将远程培训作 为项目推进当中的重要组成部分 2 0 0 6 年3 月 远程培训项目开始以 全国中小学教师教育技术能力标准 为依据 设计基于网络的远程培训方案 方案中拟包括三类学习模式 1 虚拟校本研修模式 用网络实时互动 异步学习与巡回辅导团相结合的方 式开展有组织的校本研修 2 在线自主学习模式 教师作为个体自主学习者上网完成学习任务 经历理 论学习 创建作业 交流分享 评价反思等活动 3 半离线自学模式 对网络带宽不充分的地区 教师可以利用光盘资源进行 学习和本地作业 兼或利用有限的在线交流进行经验分享 为了整合三种模式的远程培训 需要针对上述三种学习模式对网络课程以及远 程学习平台进行设计 而评价作为远程培训的一个重要元素 是需要考虑的问题 如何根据三类学习模式 以及远程培训的特点 设计嵌入式评估子系统是该项 目需要考虑的一个子项目 1 2 问题描述 不论采取何种方式 培训的目的都是为了用最短的时间 最少的资源改进员工 的绩效 进而提高企业的绩效水平 而美国训练与发展协会 a s t d a m e r i c a ns o c i e t y f o r t r a i n i n ga n dd e v e l o p m e n t 在1 9 9 6 年的一项研究报告中也指出 如何衡量提升培 训 t r a i n i n g 对绩效提升的影响是二十一世纪培训与发展领域中重要的一项课题1 作为网络培训项目 其最终目标也是为了提升受训人员的绩效表现 因此 对 绩效的评价是培训评价中一个重要的考核项目 这对我们提出了一个问题 如何深入培训 衡量在网络培训中受训者的绩效改 变 具体表现为 1 如何设计基于绩效的网络培训评价方案 以跟踪分析受训者在受训过程中 的行为改变以及绩效改变 2 如何从系统的角度出发 将评价方案嵌入到培训过程以及远程培训平台 中 1 3 国内外研究现状 1 网络培训方面 随着网络的普及 网络培训以其成本低 跨地区性等优势 在培训的舞台发挥 了越来越重要的作用 如o r a c l e 大学e 1 上a m i n g 副总裁c h r i sp i r i e 曾在演讲中提到的 那样 利用e l e a r n i n g 可以有效降低企业成本 提升企业的核心竞争力 从2 0 0 0 年到2 0 0 3 年两年多的时间里 全球5 0 0 强中已有超过半数采用网络培训 有些企业比 如英国电讯 明9 0 的企业培训已经通过网络进行 i b m 公司建立了一个寰宇大学 g l o b a l c a m p u s 为遍布全球的i b m 员工提供网络培训 据i d c 调查研究显示 1 9 9 9 年全球网络教育培训市场份额只占培训市场的3 8 而到2 0 0 4 年 全球网络教 育培训的市场容量将增长到6 3 2 2 网络教育评价方面 1 国外 在评价工具方面 国外的评价工具评价工具大多数分为两类 第一类在线数据 收集工具 特别是学习者特征分析软件 如学习者认知调查 第二是记录和分析 学习者在线时间 登录频率 连接页数等的工具 他们大部分设计都很精巧 但是 缺乏对结果的分析和解释 而在平台建设方面 国外早已有一些开发较成熟的网络教育平台 如哥伦比亚 大学开发的w e bc o u r s et o o l s v i r t u a l u c i s c o 培训评价体系以及b l a c k b o r d 等 其 中有一些平台提供了评价的功能 比如 v i r t u a l u 在评价教学效果方面 提供了作 业 考试的定性定量评价等 c i s c o 培训评价体系则为学员 讲师和工作人员提供在 1 狄家威 训练成效评估之研究 以台湾跨国企业为例 d 1 台湾人学商1 9 9 9 年硕士学位论文 2 罗乔欣 刚络培训花钱少办事 e b o l j h t t p w w w c h i n a o n l i n e e d u c o m p e i x u n y y 0 1 a s p i d 4 9 1 c o d e t r a i n i n g c e n t e ri n f o re l t t 2 线学习过程中取得进步的数据 以进一步的提高 另9 l b e n c h m a r k i n gs e r v i c e 则是 致力于对培训领域投入和实践的企业进行在线评估的专业网站 2 国内 国内在网络教育的评价方面 关注的相对要少一些 国内的网络培训大多还集 中在培训加考核得到某认证证书 而网络教育的平台建设方面 有一些平台也已经 注意加入了评价功能 如北京师范大学的开发的v c l a s s 平台包含有对教师 学生以及 课程的评价 并且重视对网络上互动交流的评价 微软的携手助学学习平台 采用 过程性评价与综合性评价相结合的方式 评价学员的学习情况 但总体来看 对网络教育的评价 存在评价游于网络教学以外的问题 缺乏从 系统的观点 开发设计网络教育评价平台的观点 并且缺乏对学员学习过程的跟踪 分析和比较 3 绩效评价方面 1 绩效评估的现状 培训是为了提升绩效 所以对培训效果的绩效评价无疑是培训过程中一个极其 重要的环节 但是由于评估操作的困难性 使得培训的绩效评估很难开展 台湾学 者郑耀木曾经对日木企业推行教育培训的障碍进行了调研 结果 培训效果掌握较 困难 占4 1 4 3 居困难程度的第二位 而美国培训与发展协会 a s t d 曾进行 一项调查发现 只有1 3 的公司会评估培训对提升工作绩效的效益4 另一方面 在实行培训评估企业中 绩效评价的层次较浅 a s t d 的调查显示 9 1 的培训评价 停留在对课程的反应层次上5 2 培训评估的研究 e l e a r n i n g q b 的 绩效评价 的概念 首先是由美国的s c r i v e n s 于2 0 0 0 年提出的 目f i 对于培训评价的研究分为两类 第一是对传统培训模式的绩效评价研究 如根 据某场面授式培训课程的特点 设计绩效评价方案 第二类是利用某种绩效评价模 式 对现有培训的效果做分析比较 而对采取网络模式的进行培训的绩效评价研究 则很少 另外从系统的角度 结合绩效评价模式 设计培训和评价体系还是一个空 白 4 研究现状总结 1 网络培训评价体系应该是建立在网络培训平台之上的一个子系统 在设 计网络培训评价平台的同时 需要以系统的观念 同时规划培训的评价体系 同时 需要对教育理论 培训理念 以及绩效评价的理念有通透的理解 目前国内的培训 3 郑耀本 日本的人事事务管理 m 台北 传泉出版社 1 9 9 5 4 绩效导向的培训规划 e b o e l h t t p w w w c n m a n a g e c o m a r t i c l e v i e w 2 0 0 5 1 2 l l a r t i c l e v i e w 2 7 3 5 6 h t m 5 t r a i n i n gf o rn e x te c o n o m y r a s t d 2 0 0 2 1 2 3 平台中 以系统的观点设计评价支持平台还很少 2 目前很多的远程教育平台中 集中在在线测试的层面 在对培训过程进 行跟踪 以分析评价出受训者的行为变化以及绩效改变方面 仍是非常少 1 4 研究目的 本文首先晃定基于绩效的远程培训评价的定义 并研究分析培训的绩效评估方 法 并以k i r k p a t r i c k 培训评估方法中的前三个层次为基础 对基于绩效的网络培训评 价模式以及评价流程做出设计 然后以全国中小学教师教育技术能力网络培训为研 究对象 设计基于绩效的网络培训评价方案和评价平台 以跟踪分析受训教师的绩 效改变并对评价方案进行了实践操作 证明其可行性 在实践的基础上 总结出基 于绩效的评估经验和建议 本文所要解决的关键问题是 根据绩效评估模式 设计网络培训评价流程 根据各个评价层次 设计评价指标 并利用显著性分析等分析方式 进行 数据的收集与分析 以跟踪受训者的绩效行为的改变 将评价方案嵌入到远程培训平台之中 第2 章基于绩效的网络培训评价模式设计 2 1 基于绩效的网络评估模式设计 2 1 1 现有的培训绩效评价模式 在对培训效果的评价中 所评估的内容 从哪些方面进行评估 以达到对培i zj i 绩效的跟踪是非常重要的方面 在国外 已经有相关的专家做了该方面的研究 并 且提出了绩效评价模式 常见的是以下几种 n 泰勒模式 泰勒模式诞生于2 0 世纪3 0 年代 泰勒评价模式的评价步骤包括 确定教育方案目标 根据行为和内容对每个目标加以定义 确定应用目标的情景 确定应用情景的途径 设计取得纪录的途径 决定评定方式 决定获取代表性样本的方法 2 c i p p 模式 c 1 p p 模式诞生于2 0 世纪6 0 年代 1 9 6 6 年斯塔弗比姆首创了c i p p 评价模式 这是 由背景 c o n t e x t 评价 输入 i n p u t 评价 过程 p r o c e s s 评价和成果 p r o d u c t 评价这四种评价组成的一种综合评价模式 发明者称 它具有实用 有效 全面与 平衡的特点 背景评估 它旨在确定环境 鉴别需求和机会 并且对特殊的问题进行诊 断 最常见的是需求分析 此类评估有助于确定培训目标 投入评估 它所提供的信息资料 可以被用来确定如何最有效使用现在的 资源达到培训项目的目标 并且有助于确定项目规划和设计的总体策略是 否需要外部的协助 通过投入评估 以帮助对培训项目进行规划 为培训 评估做准备 过程评估 通过一些方式 为负责实施培训项目的人们提供信息反馈 以 指导实施过程 成果评估 针对培训的预定目标和非预定目标进行衡量和解释 目标结果 进行衡鞋和解释 这个级别的评估既可以发生在培训之中 又可以发生在 培训之后 该层次的评估有助于审查决策 3 c i r o 评估模型 该模型由沃尔 伯德和雷克汉姆发明 这种方法描述了四个基本的评估级别 分别是情境 c o n t e x t u a l 层次 投入 i n p u t 层次 反应 r e a c t i o n 层次和结果 f o u t c o m e 层次 该模型和c i p p 模型有一定的类似 不同的是c i r r 模型认为反应评 估是要获取和使用参与者的反应来提高培训过程 这个评估过程的典型特征是依赖 于学员的主观信息 4 柯克帕特里克 k i r k p a t r i c k 评估模型 该模型是由威斯康新大学柯克帕特里克 k i r k p a t r i c k 教授于1 9 9 5 年提出的 他 是目前最著名也是培训评估采用最多的一种模型 该模型认为评估从四个层次分别 进行评估 即从学员的反应 学习 行为和结果进行评估 反应层次 它是培训效果的最低层次 用来评估受训者对整个培训项目的 感受感受和看法 它包括对培训教师 培训教材 培训内容 培训实施 培训环境的感受与看法 他认为评估反应就像评估顾客满意度一样 要使 培训有效 首先要重视的是学员对培训有积极的反应 如果评估结果显示 大多数学员喜欢该培训项目 则说明该项目能够为大家所接受 否则 学 员将没有积极的动机与主动的学习态度来参加培训项目 即使培训项目再 有用也难成为学员的知识和技能 更难以转化为学员的实际行动和工作绩 效 6 学习层次 用于衡量受训者对培训的知识 态度和技术的掌握程度 学习 评估虽然是低层次的评估 但是却是必不可少的 因为没有如果没有知识 技能和态度的获得与改变 受训者就不可能得到行为和绩效结果的改变 行为层次 行为改变是测量在培训项目中所学习的知识和技能的转化程度 学员的工作行为有没有得到改善 结果层次 是在组织层面上评估绩效改进情况 如节省成本 工作结果改 变和质量改变等 4 考夫曼 k a u f m a n 模型 考夫曼 k a u f m a n 在柯克帕特罩克 k i r k p a t r i c k 的四层次模型基础上进行了 补充与修改 他认为培训能否成功 培训前的各种资源的获得是至关重要的 并且 认为培训所产生的效果不应该仅仅对本组织有益 它最终会作用于组织所处的社会 环境 因而他提出了5 层级模式 反应和可行性评估 掌握评估 t f l 金涛主编 培训与发展 m 此京 中国人民大学山版社p 1 4 0 应用评估 组织效益评估 社会效益评估 5 菲力普斯 p h i l l i p s 的五级投资回报率 r o i 模型 该模型主要是针对培训发展的投入进行评估的一种评估模型 r o t 过程在柯克帕 特里克 k i r k p a t r i c k 的四层次模型上加入了第五个层次 投资回报率 它是从反应 和己经计划的行动 学习 工作应用 组织结果和投资回报率五个层次进行评估的 评估反应和既定的活动 评估学习 评估在工作中的应用 评估业务结果 投资回报率 2 1 2 培训绩效评价模式分析与设计 面对众多的培训评估模型 我们需要根据培训项目的特点及培训目标选择和设 计适合的培训评估模型 2 1 1 中所介绍的5 种模型 可以分为以下三种类型 1 以受训者培训结果为中心的评价模型 笔者认为柯克帕特里克 k i r k p a t r i c k 平估模型 考夫曼 k a u f m a n 模型 菲力 普斯r o i 模型的评估对象集中于培训者本身 适合评价受训者在培训过程中和培训结 束后所产生的行为变化 我们将这种类型称为以受训者培训结果为中心的评价模型 2 以培训工作本身为中心的评价模型 c i r o 模型和c i p p 模型则更加侧重于对培训工作本身的评估 它包括对培训工作 每个步骤地评估 笔者将这种类型的模型叫做以培训工作本身为中心的评价模型 3 以指导培训开展为导向的评价模式 泰勒模式的特点则是以培训目标为中心 通过评价指导教学培训的实施 泰勒 的评估模式概括出一个评价流程 通过评价流程的实施 指导培训项目的开展 笔 者将这种模式归纳为以指导培训歼展为导向的评价模式 4 培训绩效评价模式的再设计 本文关注的是培训项目对受训者本人的绩效评估 是以评价对培训者产生的培 训结果为导向的 因此应选择以受训者培训结果为中心的评价模型进行评估 由于本文的研究对象是受训者 研究内容是受训者的培训结果 因此对于培训 所产生的组织效益和社会效益的评价并不在本文的研究范围之内 培训项目能够对学员产生很好的效果 培训前对培训和学员的准确分析和定位 非常重要 在培训评估中 需要对培训是否可行层次傲深入地分析和评估 因此评 价模型中需具备对培训的可行性分析 根据以上分析 笔者选择k i r k p a t r i c k 的前三个评价层次为主要参考模型 设计 培训绩效评价模型 表1 基于绩效的网络培训评价模型 培训可行层参训人员所在的组织支持吗 培训人员有什么特点和需求 人员需求是否适合本次培训内容 本次培训的绩效目标是什么 参训人员通过培训需要达到何种能力是什么 反应层学员对培训项目满意吗 倩感层次 学员参与到培训中积极主动吗 学习层 学县学习到了些什么 要求掌握的知识能力都掌握了吗 行为层学员在返回 作岗位后 对 作产生了哪些影响 工作行为发生了哪些变化 有没有达到能力模犁中的描述 2 2 理论基础 2 2 1 系统化 系统被定义为 一组概念或部件 它们必须共同工作才能完成一项特殊的功能 一个组织是一个系统或是一个系统集合 组织系统使用组织中的每项工作来生产产 品和服务 而这些产品或服务又是组织维持自我生存的手段 一家大公司中可能有 多个系统 它们一般被分为几个部门或团队 而一家小公司中可能只有一个系统 但所有这些系统都具有三个基本功能部分 输入 一些必须加入系统的事物 一个培训系统基本的输入是 人员 培训材 料 知识技能和时间 而培训主要涉及人员与知识技能的结合点 即人员和知识技 能的结合是通过培训来实现的 过程 一些必须在系统内完成的工作 这类工作就是把原材料转化成系统输出 的技术 所以培训就是要寻找方法束帮助员工掌握和使用这些独特的知识技能来帮 助到他们的日常工作任务 输出 一个有需求的产品首先要能被生产出来 如果没有输出 系统就像黑洞 只有事物的进入没有事物的产出 培训的目标就是允许受训人员使用那些过程中可 获得的技术 有效果且高效率地工作 而一个过程是有计划的一系列活动 在系统 内 它们可以推进一个事物或程序从一个已完成的阶段到下一个阶段 总之对于一个培训项目 可看作为一个是系统 即 输入 需要获得技能的人员 过程 在系统内发生的学习 输出 经过培训的人员 以及受训后人员的工作表现 网络培训是一个系统化的过程 对网络培训的评价也是一个系统化的过程 将 评价过程看作一个分解为系统和过程 通过确定系统内的一个过程 能够将精力集 中在系统之中 这样不仅能有助于培训评价过程的设计 也有助于整个培训项目的 开展 系统化教学设计理论将是网络培训评价的一个贯穿始终的理论基础 2 2 2 成人心理学 通过分析成人的学习心理 能够更好的设计适合受训者学习心理的培训评价方 案 把握受训者的行为变化 成人心理学是本论文的一个重要理论基础7 根据成人心理学 成入学习的行为和心理具有以下几个方面的特点 1 成人的行为根据来自内部和外部的压力而改变 因此 成人不断地可以从 生活经历中学习 2 成人的认知结构或者对事物的看法对本身的学习有着很大的影响 这种认 知结构主要来自于他们过去的经验以及自己对所获经验的总结 3 成人需要自己过去所获得的经验得到承认并在学习过程中得以充分利用 4 成人适于在安全的 可接受的 具有挑战性的和具有支持力的环境中学习 5 成人学习的目的往往是为了解决个人当前的问题 满足自己的需求 6 成人的学习效果来自成人本身对问题的理解和分析 而这种理解和分析离 不开本身的生活经历 工作经验和已获得的知识水平 7 成人喜欢看到自己的工作成果 所以不断对成人学习进步进行监测和反馈 是必要的 而且对于以后的学习具有显著的促进作用的 8 成人学习具有异质性 人与人的习惯和学习方式各有不同的特点 2 2 3 绩效评价目标管理理论 绩效评价目标管理理论的创始人当推美国管理学家德鲁克 p e t e r d r u k e r 7 揭忠应 企业网络培训的设计与实施研究 d 北京入学2 0 0 4 年硕十学位论文 9 1 9 5 4 年他提出该理论的雏形 经过4 0 多年的不断发展 已成为当今世界上流行的 管理方法 西方国家将该理论广泛应用于医院 学校及政府机构等非赢利组织 该 理论的核心是 以目标指导行动 在目标明确的条件下 围绕确定的目标和实现 目标而开展一系列的活动 并对自己的行动负责 结果用绩效评价来考核 以求 不断改进工作和学习 目标的制定要考虑上级的任务 人员素质 资源条件 经济 技术等因素 其绩效评价指标是目标的分解 并尽可能选用数学模型进行定性分析 和定量分析 2 3 概念界定 2 3 1 网络培训 网络培训就是利用网络 将系统化设计的培训材料和内容 传递给学生 从而 达到培训知识 达到培训目标的培训过程 根据定义我们可以看出网络培训的几个 特点 1 目标性强 网络培训作为培训的一种形式 继承了其目标性强 方向明确 的显著特点 网络培训都是围绕某一特定的需求目标展开的 它强调有针对性 实 用性强 能够解决实际问题 2 个性化 不受时间空问限制 受训人员可以随时随地根据自己的需要 接 受网络培训 3 评价需求强 由于网络培训是针对某一特地目标展开的 且网络培训不受 时空限制 网络培训需要通过及时准确地评价 以分析控制受训者的培训情况和培 训结果 2 3 2 绩效 根据现代汉语词典的解释 绩效是成效 成绩 根据牛津字典的解释 p e r f o r m a n c e 是行为 执行 因此根据字典解释 可以分为两种 一种是成效 成 绩 可以归类为结果 一种是行为 执行 可以归结为过程 而在企业绩效管理中 对绩效也有三种看法 一种认为绩效就是结果 一种认为绩效就是行为 一种认为 绩效是行为和结果的结合 笔者认为 绩效是多维建构 衡量的因素不同 其结果也会不同 在本文中 绩效的主体是参加全国中小学教育技术网络培训的参训教师 培训绩效是指敦师在 培训中的行为结果 在这里绩效是一种结果也是一种行为 是参训教师通过行为所 表现出来的结果 因此此处的绩效可以定义为参训教师在网络培训中和培训后的行为所表现出的 结果 他既包含受训教师在培训过程中的行为 也包含受训教师在培训后获得的结 果 2 3 3 绩效评价 评价 是 评定价值 的简称 评价本质上就是一种把握世界价值的判断 活动 评价是人类的一种特殊的认识活动 即揭示 个人 社会 自然 的价 值 建构价值世界的认识活动 绩效评价 p e r f o r m a n c ea s s e s s m e n t 就是对干预结果进行价值评估 以确定 其是否消除了绩效差距 达到了实施干预的目标 在这里干预结果是指网络培训中 教师所反应的行为和培训后获得的结果 绩效评估的作用在于对培训实施后的培训 绩效进行评估 由此来评估干预实 根据绩效评估模式 对于网络培训的绩效可以 从 可行性层 反应层 学习层 行为层来评估参训教师的培训绩效 2 3 4 基于绩效的网络培训评价 根据网络培训项目的特点以及绩效评估的定义 我们将基于绩效的网络培训评 价定义为根据系统化的思想 对参训教师在网络培训过程中和过程后所产生的行为 和结果的评价 其主要要素分解为 1 评价主体 参加全国中小学教育技术网络培训的参训教师 2 评价内容 教师参加网络培训所产生的绩效表现 3 绩效表现 参训教师在参加培训过程中和培训过程后通过培训行为所反应 出的培训结果 4 绩效评价层次 结合绩效评价模型 从培训可行层 反应层 学习层 行 为层开展 5 评价的特点 采用系统化的思想 将评价贯穿于培训项目的整个过程 2 4 基于绩效的网络培训评价流程设计 2 4 1 按评估层次规划 根据网络培训绩效评价模式的各个评价层次 对网络评价各个层次的评价流程 进行设计 1 可行性层 培训能否可行 是保证培训顺利开展 确保培训质量的先决条 件 做好培训前的可行性评价需要从组织层面 人员层面对组织和人员展开可行性 分析和需求分析 了解组织和参训人员的需求 从而设计出适合需要的绩效评价目 标 再根据目标 描述具体可现的行为能力模型 呈现在受训者的面前 在网络评价系统中 可行性层的分析结果显示于能力模型呈现平台 图1 可行性层的评价 2 反应层 学员对项目反应来自于学员对培训项目的直观反馈 通常人们对反应层的评价 采用训后满意度调查的方式 笔者认为学员的反应不但可以通过对学员主观反馈的 调查来评价 还可以通过学员对培训项目的参与度来体现 学员对项目的反应强烈 则对培训项目的参与程度和参与热情则比较高 反之则参训度较低 所以对反应层的评价 笔者通过培训项目后测和参与度跟踪的形式 评价方法 采用问卷调查 过程性评价调查学员参与度 表2 反应层的评价 评价方法实施时间 培训后测培训结束后 过程性参与度调查 培训过程中 3 学习层 学习层是反映受训者掌握培训内容的程度 学习层次的评价 定程度的反应了 培训的质量 由于本次培训是网络培训 需要结合网络培训的特色以及网络课程设 计特点 设计对学习层次的评价 首先根据每个模块的绩效模块和能力模型 设计符合能力模型的模块前测 学 员在每个培训模块开始前 完成模块前测 根据前测结果 网络学习平台给出不同 的学习建议 并且帮助学员选择不同学习路径 开展网上学习 其次设计过程性评价 在学习过程中 插入过程性评价平台 跟踪评价学员的 学习行为和学习成果 评价学员培训过程中行为过程以及学员培训成果 在每个模块结束后 设计与模块f i 测相对应的模块后测 分析学员通过一个模 块的学习所产生的认知变化 通过前后测呈现平台 将前后测结果呈现在学员面前 图2 学习层评价 4 行为层 行为层水平反映受训者将培训所学运用到工作中并改变工作行为的程度 行为 水平反映受训者培训绩效的实际表现 并在很大程度上决定培训的最终绩效 分析学员参训后的行为改变 需要对参训学员的训后的教学工作做跟踪调查 本文首先设计基于b l 0 6 的3 6 0 度反馈 通过学生 同事和领导对参训教师的教学b o l g 的反馈 调查评价参训教师的培训绩效 图3 行为层评价 5 按照评价层次的网络培训绩效评价流程 2 4 2 按时间规划 图4 网络培训绩效评价模块流程 根据上述分析 可以按照时间对基于绩效的网络培训评价流程进行设计 1 准备阶段 准备阶段发生在培训课程设计之前 准备阶段的工作 主要是 使用系统的手段和方法 对整个培训项目的可行性和培训的需求展歼分析 以帮助 设计培训课程 保证培训课程能够围绕绩效目标高质量的展开 为制定评价指标设 好铺挚 准备阶段需要做的工作包括 组织分析 人员分析 编写绩效目标 建立 能力模型 设计阶段 设计阶段与培训课程的设计同步 因为评价的设计工作与网络 课程的设计工作密不可分 评价设计需要考虑到网络课程的培训活动和培训目标 并且结合到网络课程中 所以评价活动是典型的系统化设计过程 评价阶段需要根 据所设计的网络课程 设计评价过程 设计完整的评价方案 首先需要制定评价标准 也就是根据不同评价层次 设 计评价指标体系 接着设计设计前后测问卷 设计过程性评价 设计评价时间 在设计完培训项目绩效评价以后 需要设计相应的评价呈现平台 放置到网络 课程中去 3 实施阶段 评价实施阶段的主要工作是根据评价设计进行操作 包括数据 收集和数据整理分析 评价实施阶段同步于培训实施阶段 并贯穿于培训实施工作 的始终 4 呈现阶段 将分析所得的培训评价数据整理出来 撰写出培训评价报告呈 现给受训学员 并评定参训学员是否已达到培训绩效目标 评价报告包括培训背景 资料 培训实施过程 培训成效 存在的问题和建议 该阶段是评价实施阶段的一 个总结 5 后续跟踪阶段 该阶段发生在参训学员受训结束 返回工作岗位以后 为 了跟踪培训对于参训教师返回工作岗位以后所产生的行为影响 需要对参训教师训 后的教学工作做跟踪调查 包括收集绩效表现数据 检测绩效表现等 组织分析 人员分析 需求分析 编写绩效目标 建立能力模型 制定个层次指 标体系 设计前后测 设计过程性评 价 准备阶段 设计阶段 数据收集呈现评价报告 返 回 收集绩效表现 数据分析 检测绩效目标足数据 一 否达到捡测绩效表现 作 岗 实施阶段呈现阶段 位后续跟踪阶段 图5 基于绩效的网络培训评价时间阶段流程 第3 章基于绩效的网络培训评价体系的分析 3 1 需求分析 3 1 1 组织分析 中小学教师教育技术能力建设项目是教育部师范司继2 0 0 4 年颁布了 中小学教 师教育技术能力标准 试行 后所启动的重点项目 目的在于推动广大教师达到该 能力标准的要求 促进信息化背景下的教师专业发展 使他们切实掌握各种技术与 教学能力相整合的设计实践能力 该培训是全国中小学教师作为教学技能考核所必 需参加的项目 2 0 0 6 年开始 中小学教师教育技术能力培训已经在全国范围内全面 展开 全国各个中小学对于该项目予以了高度的重视 积极组织教师开展培训 有 学校组织专门的培训资源队伍进行培训支持 以确保全国中小学教育技术能力培i j i 的有效进行 国家对中小学教师教育技术能力的期望和各地中小学对教育技术网络 培训的重视和支持 为本次网络培训的顺利提供了很好的组织支持背景 3 1 1 人员分析 首先本次是教育技术能力初级培训 针对的是没有教育技术基础的中小学教师 他们计算机能力相对比较弱 对计算机的熟悉程度不是很高 对于这类学员 需要 以更多的耐心 更细致地讲解帮助学员尽快理解培i 1 l 内容 其次 由于参培i l l i j i i 的教师均是来自于全国中小学的一线教师 他们一般工作 比较繁忙 教学任务比较繁重 并且由于教师是一个需要不断进修的行业 中小学 教师经常需要参加各种培训包括信息技术培i j i f 根据对本次网络培训三个试点地区 常州 河南和厦门三地教师的调查 9 0 6 的教师曾参加过不同形式的信息技术培训 但只有3 4 3 的教师认为培训对于他们的认知和工作起到的帮助和变化 因此 在网 络培训评价设计中 如何通过不同层次的评价让教师了解到培训对自己带来的帮助 和改变 是需要考虑的问题 3 1 2 学习模式分析 学习模式是影响受训者培训效果的一个重要因素 本次是教育技术能力初级培 训 针对的是没有教育技术基础的中小学教师 他们的信息技术技能相对比较弱 对于远程学习的学习模式会比较陌生 根据对常州 河南和厦门三地参训教师的调 查 仅有1 7 的教师曾有过网络学习的经验 因此在远程培训设计中 需要分析教 师现有的学习模式 设计出符合教师现有学习模式的网络学习方式 如通过视频技 术增加培训教师面授的机会 通过b b s 等手段增加师生互动的机会 并且将教师参与 互动的次数加入为过程性评价指标中 以鼓励教师积极参与网络学习 适应网络学 习方式 在评价设计中 将学员对远程培训方式的适应程度作为评价指标之一 衡 量评价项目的结果和绩效 是非常需要的 根据训前对受训教师的调查 他们认为开展远程培训可能会遇到的最大困难依 次为 网络学习时间不能保证 无法与培训教师对面沟通 网络学习质量无法保证 不习惯网上学习方式 因此在网络培训中 需要尽量集中网络培训的时间 多增加 师生之间以及生生之间的沟通互动 以保证培训质量 在评价方面 以网络学习时 间为评价指标之一 以保证受训教师的培训时间 3 2 编写绩效目标 绩效目标是指每个模块要求教师达到的能力和行为目标 绩效目标的撰写需要 具有可操作性和可测量性 需要将知识点清晰化为参训人员需要完成的行为 在编写绩效目标时 需要注意以下几点原则 1 优秀绩效目标需要能够明确地表明学生学习的预期成果 2 优秀的教学目标表述 清晰 明确 具体 易于观察和测评 本次培训共分有8 个模块 其中2 7 模块是主要知识点模块 根据各模块的内容 对各个模块的目标进行细化 得到各模块绩效目标 表3 是以模块三为例的绩效目标 列表 表3 模块三绩效目标 模块 绩效目标 模块3 教学媒体与资源利用认识教学媒体 列出教学媒体的名称与类型 能够总结教学媒体的支持作用 掌握文本 图形 幽像 音频 视频和动画媒体素材制 作 加i 处理方法 掌握教育信息资源的搜索和获取技术和方法 了解教育资源评价相戈概念 掌握教育网站评价方法 理解合理使用资源的含义 掌握网络资源引用规范 总 结合理使朋网络资源的方法 3 3 建立能力模型 虽然绩效目标力求具体化 行为化 但依然是针对各个模块知识点的描述 难 以避免原则性和笼统性 为了使评价得以实施 需要将抽象的教学目标具体化 经 分解网络教学目标 组成分层 分级 分系列的网络课程绩效能力模型 它在网络 课程评价活动中起到统揽全局的作用 是搞好网络课程评价的关键 培训的目的是为了让受训者通过培训得到某一项特定能力 所谓能力 根据 1 9 8 2 年美国管理学家波业兹 b o y a t z i s 在 有效管理 c o m p e t e n c em a n a g e m e n t 一书中对能力定义 是指 能够将某一工作 或组织 文化 中有卓越成就者和表 现平平者区分开来的个人的深层次的特征 它可以是动机 特质 态度和价值观 某领域的知识和认知以及行为技能等 以及任何可以被可靠测量或技术的并且能够 显著区分优秀与一般绩效的个体特征 并不是所有的能力都可以通过评价 培训 等方式显现出来 根据人的能力冰山模型理论人的多部分能力是隐藏在冰山水面之 下 无法直接衡量的 对于人力