（教育技术学专业论文）基于学习者特征的适应性同伴评价系统的研究与实现.pdf

价与基于随机分配的同伴评价相比，在提高学习者的学习成绩上差异不显著，提 高学习者的评价能力上差异显著。 第六章：“研究结论与研究局限”总结全文，提出本研究的三大特色：、本 文中的学习者特征包括了学习者的学习风格和学习者的评价能力，拓展了目前适 应性同伴评价中学习者特征的内涵。二、本研究结合学习者特征，提出相应的适 应性同伴评价算法，并在此基础上实现了基于学习者特征的适应性同伴评价系 统。三、本研究提出同伴评价系统功能框架。最后，指出目前研究的三点不足， 在后续研究中应加以改进。 关键字：同伴评价；学习者特征；同伴评价系统；适应性同伴评价；适应性同 伴评价系统 t h er e s e a r c ha n dim p l e m e n t a t 10 no fa d a p tiv ep e e r a s s e s s m e n ts y s t e mb a s e do nl e a r n e rp r o fll e s a b s t r a c t m a j o r ： e d u c a t i o n a lt e c h n o l o g y n a m e ：l ij i a o h u a s u p e r v i s o r ：x uj u np r o f e s s o r p e e ra s s e s s m e n ti sn o to n l yaw a yt oa s s e s s ，b u ta l s oaw a yt ol e a l t li tc a n i m p r o v el e a r n e r sa b i l i t yo fa s s e s s m e n t ，r e f l e c t i o n , j u d g e m e n ta n de v e nh i g h - l e v e l t h i n k i n gs k i l l e s ，a n df o s t e rl e a r n e r e s c r i t i c a lt h i n k i n g b a s e do np r e v i o u sr e s e a r c h , t h i ss t u d yd e s i g n saf u n c t i o nf r a m e w o r ko fp e e ra s s e s s m e n ts y s t e ma n da na d a p t i v e p e e ra s s e s s m e n ts y s t e mb a s e do nl e a r n e rp r o f i l e s ，e n r i c h e st h ec o n t e n to fl e a r n e r s p r o f i l e s ，p u t sf o r w a r da l la l g o r i t h mo fa d a p t i v ep e e ra s s e s s m e n ta n dr e a l i z e s a l l a d a p t i v ep e e ra s s e s s m e n ts y s t e mb a s e do nl e a r n e rp r o f i l e s f i n a l l y , i tc a r r i e so u ta q u a s i - e x p e r i m e n t a l , a n dt h er e s u l t ss h o wt h a tc o m p a r e dw i t ht h ep e e ra s s e s s m e n t b a s e do nr a n d o m l ya s s i g n m e n t ，t h ep e e ra s s e s s m e n tb a s e do nl e a r n e rp r o f i l e sc a n t a b v i o u s l yi m p r o v e l e a r n e r sp r o f o m a n c e b u tc a ns i g n i f i c a n t l ya d v a n c el e a r n e r s a s s e s s m e n ta b i l i t y t 1 l i ss t u d yi sd i v i d e di n t os i xc h a p t e r s ：”i n t r o d u c t i o n ”，”r e s e a r c ho v e r v i e w ”， ”t h cd e s i g no f af u n c t i o nf r a m e w o r ko f p e e ra s s e s s m e n ts y s t e m ”，”t h er e s e a r c ho f a n a d a p t i v ep e e ra s s e s s m e n ts y s t e mb a s e do nl e a r n e rp r o f i l e s ”，”e x p e r i m e n tr e s e a r c h ”a n d ”t h cr e s e a r c hf i n d i n g sa n dl i m i t a t i o n s ” c h a p t e ri ：”i n t r o d u c t i o n ”，f r o mt h ea s p e c t s o ft h eo b j e c to fe d u c a t i o n a l e v a l u a t i o n , t h et r e n df r o mt h ee x a m i n a t i o nc u l t u r et o w a r dt h ea s s e s s m e n tc u l t u r e ，t h e c h a r a c t e r i t i co ft h em u l t i p l ea s s e s s m e n t sa n dt h eh i s t o r yo fp e e rr e v i e wr e s e a r c h e s ，i t d e s c r i b e st h eu r g e n c yt or e s e a r c ht h ea d a p t i v ep e e ra s s e s s m e n ts y s t e mb a s e do n l e a r n e rp r o f i l e s ，a n dt h ei t p i c t u r e st h ep u r p o s ea n ds e n s eo ft h i ss t u d y , b r i e f l y i n t r o d u c i n gt h ep r o c e s sa n dm e t h o d so f t h es t u d y c h a p t e ri i ：”r e s e a r c ho v e r v i e w ”，i td e l i m i t e st h ec o r ec o n c e p t so ft h es t u d y , a n d t h e ns h o r t l yd e s c r i b e st h em a i nf i e l do fp e e ra s s e s s m e n tr e s e a r c ha n dp e e ra s s e s s m e n t s y s t e m sw h i c ha r ew i d e l yu s e di nt h ew o r l d i tm e n t i o n st h a ti ti sn e c e s s a r y t od e s i g n a n dr e a l i z ea na d a p t i v ep e e ra s s e s s m e n ts y s t e m c h a p t e rh i ：t kd e s i g no faf u n c t i o nf r a m e w o r ko fp e e ra s s e s s m e n ts y s t e m ”i t s t u d i e st h ef u n c t i o no fs e v e r a lp e e ra s s e s s m e n ts y s t e m sa n dt h e ng e t saf u n c t i o n i l l f r a m e w o r k o f p e e ra s s e s s m e n ts y s t e m c h a p t e ri v ：”t h e r e s e a r c ho fa l la d a p t i v ep e e ra s s e s s m e n ts y s t e mb a s e do n l e a r n e rp r o f i l e s ”，i t 硒c u s e so nt h ed e s i g no fa l la d a p t i v ep e e ra s s e s s m e n tb a s e do n l e a r n e rp r o f i l e sa n dt h er e a l i z a t i o no fi t ，m a i n l yf r o mt h ep o i n t so fl e a r n e rp r o f i l e s ， m a t c h i n gr u l e sa n da l g o r i t h m s c h a p t e rv ”r e s e a r c he x p e r i m e n t ”，b yc o m p a r i n gt h eq u a s i - e x p e r i m e n t a lr e s u l t ， i tf i n d st h a ta na d a p t i v ep e e ra s s e s s m e n tb a s e do nl e a r n e rp r o f i l e sc a n ts i g n i f i c a n t l y i m p r o v el e a r n e r sp r o f o r m a n c e ，w h i l es i g n i f i c a n t l yi m p r o v i n gh i sa s s e s s m e n ta b i l i t y , c o m p a r e dw i t ht h ep e e ra s s e s s m e n tb a s e do nr a n d o ma s s i g n m e n t c h a p t e rv i ：”t h er e s e a r c hf m d i n g sa n dl i m i t a t i o n s ”i tg e tac o n c l u s i o no f t h e s t u d y , p o i n t i n go u tt h r e ef e a t u r e s f i r s t l y , l e a r n e rp r o f i l e s i nt h i ss t u d yi n c l u d e l e a r n e r sl e a r n i n gs t y l ea n da s s e s s m e n ta b i l i t y , e x p a n d i n gt h ec h a r a c t e r i s t i c so ft h e l e a r n e ri nc u r r e n ta d a p t i v ep e e ra s s e s s m e n t s e c o n d l y , c o m b i n i n gt h ep r o f i l e so f l e a r n e r si nt h i ss t u d y , i tp r o p o s e sa na d a p t i v ea l g o r i t h mt oi m p l e m e n tp e e ra s s e s s m e n t ， a n dr e a l i z e sa i la d a p t i v ep e e ra s s e s s m e n ts y s t e mb a s e do nl e a r n e rp r o f i l e s ；t h i r d l y ，t h e s t u d yg e t saf u n c t i o nf r a m e w o r ko fp e e ra s s e s s m e n ts y s t e m a tl a s t ，i tp o i n t e so u t t h r e el i m i t a t i o n so ft h ec u r r e n ts t u d y , w h i c hs h o u l db ei m p r o v e di nt h ef o l l o w - u p s t u d i e s k e y w o r d s ：p e e ra s s e s s m e n t ；l e a r n e rp r o f i l e ；p e e ra s s e s s m e n ts y s t e m ；a d a p t i v ep e e r a s s e s s m e n t ；a d a p t i v ep e e ra s s e s s m e n ts y s t e m i v 目录 摘要i a b s t r a c t i i i 1 引言1 1 1 研究背景l 1 2 研究目标与意义2 1 3 研究过程与方法2 2 研究概述4 2 1 相关概念界定4 2 2 同伴评价系统研究综述4 2 2 1 同伴评价研究概述4 2 2 2 同伴评价系统研究概述9 2 2 3 适应性同伴评价研究综述1 3 3 同伴评价系统功能框架设计1 6 3 1 设计原则1 6 3 2 功能框架设计1 7 3 2 1 同伴评价系统功能1 7 3 2 2 同伴评价系统功能框架设计2 3 4 基于学习者特征的适应性同伴评价系统研究2 4 4 1 基于学习者特征的适应性同伴评价系统设计2 4 4 1 1 功能设计2 4 4 1 2 适应性同伴评价系统流程设计2 7 4 2 基于学习者特征的适应性同伴评价系统的实现2 8 4 2 1 学习者特征2 8 4 2 2 配对规则2 9 4 2 3 配对算法2 9 5 实验研究3 7 5 1 研究假设3 7 5 2 实验方案3 7 5 2 1 实验目的3 7 5 2 2 实验对象3 7 5 2 3 实验内容3 7 v 5 2 4 实验变量3 8 5 2 5 实验步骤3 8 5 3 实验数据及分析3 9 5 3 1 学习者前测数据3 9 5 3 2 第一轮评价数据4 1 5 3 3 第二轮评价数据4 3 5 3 4 总体分析4 4 5 4 实验结论4 5 5 4 1 作业成绩4 5 5 4 2 评价能力4 6 6 研究结论与研究局限4 8 6 1 研究结论4 8 6 2 研究局限4 8 参考文献5 0 附录5 2 附录l 同伴评价系统界面设计5 2 1 1 学习者参与同伴评价5 2 1 2 评价者参与同伴评价5 3 1 3 教师参与同伴评价5 4 附录2 所罗门学习风格量表5 6 附录3 所罗门学习风格量表( 答案表) 5 9 附录4 英语作文评价标准6 0 附录5 英语作文反馈标准6 2 附录6 英语作文评价样文6 3 致 射6 4 作者攻读学位期间发表的学术论文目录6 5 基于学习者特征的适应性同伴评价系统的研究与实现 1 1 研究背景 1 引言 2 0 世纪9 0 年代以来，随着我国基础教育课程改革发展的不断深入，教育评 价作为推动课程改革发展的重要组成部分，是当前基础教育研究的重要内容之 一。教育部基础教育课程改革纲要( 试行) 中提到课程改革的目标之一是： “改变课程评价过分强调评价甄别、选拔功能，发展评价促进学习者发展、教师 提高和改进教学实践的功能。”突出评价的发展性功能是基础教育评价改革的核 心，集中体现“一切为了学习者发展的教育理念。 评价对促进学生学习与发展的作用日益受到教育工作者的重视，学习评价理 念正经历从考试文化向评价文化的迁移。考试文化过分强调考试的甄别作用，不 利于学生的全面发展，评价文化认为仅仅关注知识再现的评价是不够的，应该促 进学生的学习与发展，评价文化强调评价与教学的整合【1 】。d o c h y 也指出评价不 再是孤立的，与学习活动关系不大的学习活动总结，它应该整合在学习过程当中， 是加强学习者学习过程的工具1 2 j 。j o n a s s e n 提出学习评价的内容：不仅测量学习 者最终的知识水平，而且考察学习者的参与程度，对知识的建构能力，以及把知 识应用于真实环境的能力1 3 j 。为了体现评价文化的这一新理念，应在原有的评价 方式上进行创新。传统的总结性评价方式的直接目的是做出教育效果的判断，从 而区别优劣、分出等级或鉴定合格，忽略了对学习过程的评价，形成性评价指向 过程，为正在进行的教育活动提供反馈信息，为后续活动指明方向，在一定程度 上能促进学习者发展，但仍把学习者与评价孤立起来，把学习活动与评价活动分 离开来，评价仍是教师的特权，学习者没有权力对自己或同伴的作业做出评价。 而多元评价方式以其在促进学生学习与发展方面的独特优势，日益受到研究者的 关注【l 】。同伴评价是指有相同学习背景的学习者之间互评的方式【4 】，尤其凸显出 多元评价方式评价主体多元化和评价方式多样化的特点；同伴评价中学习者参与 评价标准制定，对同伴绩效进行评价，并对同伴的评价给出反馈1 2 】，因此能加强 学习者对知识的理解与掌握，提高其评价能力，反思能力以及批判性思维能力， 因此同伴评价能较好的体现目前评价文化的理念，体现多元评价方式的优势，因 此日益成为多元评价方式的研究重点。 早期同伴评价研究停留在同伴评价的信度、效度以及应用效果方面，通过在 不同学习环境、不同学科、不同年龄等开展案例研究以及实验研究，人们普遍认 为同伴评价具有一定的信度与效度，开展同伴评价利大于弊，尤其随着计算机技 术以及i n t e r n e t 的发展，人们越来越倾向于研究开发同伴评价系统，以避免传统的 基于学习者特征的适应性同伴评价系统的研究与实现 面对面( f a c et of a c e ) 评价方式的诸多不足。目前已有不少成熟的同伴评价系统， 他们适用于不同的文化背景、不同的国家以及地区、不同的学科，因此在功能上 存在差异，在设计与开发新的同伴评价系统时，缺乏可以参考的框架，因此本研 究试图对功能进行深入研究，在此基础上设计同伴评价系统功能框架。此外，目 前大多数同伴评价系统采用基于随机分配的方式匹配同伴评价者，没有考虑学习 者作为同伴评价时，其评价能力、态度以及参与同伴评价的动机等个体因素对评 价应用效果产生的影响，本研究检索国内外相关文献发现，有学者已经提出为不 同的学习者选择同伴评价者时应具有一定的针对性，即体现适应性，并提出相应 的实现方法与策略。本研究试图对此开展深入研究，在借鉴前人研究成果基础之 上，提出适应性同伴评价算法，结合同伴评价系统功能框架，实现适应性同伴评 价系统，并对此开展实验研究，通过实验探索适应性同伴相对于传统基于随机分 配的同伴评价方式的优劣。 1 2 研究目标与意义 本研究在对同伴评价、同伴评价系统以及基于学习者特征的适应性同伴评价 进行深入研究的基础上，实现了基于学习者特征的适应性同伴评价系统，具体目 标如下： 1 、设计同伴评价系统功能框架 在对比分析目前国内外成熟的同伴评价系统功能基础上，设计同伴评价系统 功能框架，指导基于学习者特征的适应性同伴评价系统的设计，以期为同类研究 提供一点借鉴。 2 、实现基于学习者特征的适应性同伴评价系统 对适应性同伴评价系统进行功能设计、流程设计，研究适应性同伴评价算法。 抛弃传统的基于随机分配的同伴评价方式，实现基于学习者特征的适应性同伴评 价算法，丰富目前学习者特征内涵，即包括学习者的学习风格和学习者的评价能 力，依据此学习者特征，借鉴前人研究成果，提出相应的适应性同伴评价算法， 实现了适应性同伴评价系统。通过实验研究，论证适应性同伴评价跟基于传统的 随机分配的同伴评价方式相比，在提高学习者的学习效果和提高学习者的评价能 力方面的优势。 1 3 研究过程与方法 本研究分为四个研究阶段：研究准备阶段、系统设计阶段、实验验证阶段和 总结反思阶段。 2 基于学习者特征的适应性同伴评价系统的研究与实现 研究准备阶段：本研究通过e 耐c 、i e e e 、s c i e n c e 上利用英文关键字”p e e r a s s e s s m e n t ”、 p e e rr e v i e w 、 p e e re v a l u a t i o f f j 、? p e e rg r a d i n g ”、p e e rf e e d b a c k 以及中文关键字“同伴评价”、“伙伴评价”、“同伴反馈”等进行检索近百余篇文章， 按照同伴评价研究、同伴评价系统研究进行分类汇总，其中同伴评价研究包括同 伴评价基础研究、应用研究。在综述国内外研究基础之上，本研究发现目前同伴 评价系统缺乏可供参考的功能框架，指导实际的同伴评价系统设计。其次，目前 同伴评价对评价者本身重视不够，过多的关注技术以及系统设计，没有考虑到学 习者的个体差异。在此基础上，本研究试图对上述两点不足进行深入研究。 研究设计阶段：在分析目前成熟的同伴评价系统功能基础上，设计同伴评价 系统功能框架，功能以及应用流程，提出基于学习者特征的适应性同伴评价的关 键算法，在此基础上实现适应性同伴评价系统。 实验验证阶段：为验证基于学习者特征的适应性同伴评价系统应用效果，本 研究选取多个年级的学习者参与英语作文的同伴评价，比较基于学习者特征的适 应性同伴评价系统与传统的基于随机分配的同伴评价系统应用效果差异，通过实 验数据分析基于学习者特征的适应性同伴评价在提高学习者的学习效果和评价 能力方面的作用。 总结反思阶段：总结全文，提出本研究的研究特色，反思本研究的不足，指 明后续研究方向。 3 基于学习者特征的适应性同伴评价系统的研究与实现 2 1 相关概念界定 2 研究概述 l 、同伴评价 因同伴评价较易鉴定，业界较少对同伴评价进行严格的定义，f a l c h i k o v ( 1 9 9 5 ) 认为同伴评价是小组成员评价他们同伴的过程( f a l c h i l 【o vd e f i n e sp e e ra s s e s s m e n t a st h ep r o c e s sw h e r e b yg r o u p so f i n d i v i d u a l sr a t et h e i rp e e r s ) ，t o p p i n 9 1 9 9 8 年对同 伴评价进行定义：同伴评价是学习者或工人考虑并评价跟他们同一水平的同伴的 产品或表现( p e e ra s s e s s m e n ti sa na r r a n g e m e n tf o rl e a r n e r sa n d o rw o r k e r st o c o n s i d e ra n ds p e c i f yt h el e v e l ，v a l u eo rq u a l i t yo fap r o d u c to rp e r f o r m a n c eo fo t h e r e q u a l - s t a t u sl e a r n e r sa n d o rw o r k e r s ) 。两种定义各有优劣，第一种定义较为简洁 但没有强调学习者与同伴评价者须处于相同环境，第二种描述较为详细但偏繁 琐。本研究认为：同伴评价是具有相同背景的学习者之间相互评价的过程。 2 、适应性同伴评价 目前，业界普遍认为适应性同伴评价( a d a p t i v ep e e ra s s e s s m e n t ) 是一种特殊 的同伴评价方式，专指为不同的学习者选择较适合他她的同伴评价者，是相对 于为学习者随机分配同伴评价者的方式来定义的。适应性同伴评价考虑同伴评价 者在评价时体现的个体差异，包括其学习风格、评价能力、熟练程度以及对同伴 评价所持的态度等。 3 、基于学习者特征的适应性同伴评价系统 基于学习者特征的适应性同伴评价( a d a p t i v ep e e ra s s e s s m e n tb a s e do nl e a r n e r p r o f i l e s ) 主要考虑学习者特征对同伴评价者分配的影响，在不同的适应性同伴评 价系统中有不同的内涵，一般包括学习者学习风格和学习者对评价内容的熟练程 度，本研究中的学习者特征包括学习者的学习风格和评价能力。 本研究认为在同伴评价配对时，采用基于随机分配的同伴评价系统为传统的 同伴评价系统，而采用基于学习者特征的同伴评价系统为基于学习者特征的适应 性同伴评价系统， 2 2 同伴评价系统研究综述 2 2 1 同伴评价研究概述 同伴评价研究起步较早，b o u d ，d j 1 9 8 1 年研究大学课堂中综合采用自我评 分与同伴评分( p e e rg r a d i n g ) 的三大优势：为学习者提供更好的反馈，加强学习 4 基于学习者特征的适应性同伴评价系统的研究与实现 者对知识的了解以及自我评价的实践，并描述开展同伴评价的注意事项【5 1 。 s u l l i v a n , s l 1 9 9 4 年在工程实施小组中开展同伴同伴交流1 6 。a p p r o a c h , a f p a l 9 9 6 年认为团队合作和交流技巧对于即将走入工作岗位的新人来说非常重 要，应用同伴评价可以有效实现员工团队合作和交流技巧的培训f 刀。w e n e r a s c 1 9 9 7 年发现在医学硕士中应用同伴评价时存在偏见和性别歧视【8 】。t o p p i n 9 1 9 9 8 年综述了前人对同伴评价的研究，指出同伴评价在各种应用环境下均具有一定的 信度与效度，可达到或超过教师的评价，对学习者的发展具有积极的作用，并且 学习者对同伴评价持积极态度。在该文中，t o p p i n g 回顾总结很多同伴评价案例， 提出计算机支持的同伴评价将是未来同伴评价发展的趋势1 9 。综述前人研究，同 伴评价研究主要侧重于同伴评价的信度与效度、学习者对同伴评价的态度以及同 伴评价在各种学习环境下的应用效果。 2 2 1 1 同伴评价信度与效度 同伴评价的信度和效度具有特定的含义，指同等条件下同伴的评价与教师或 专家的评价之间的相似性，如果同伴的评价与教师或专家的评价相似性大，则同 伴评价的信度与效度高，反之亦反。早期同伴评价研究各种应用环境下同伴评价 的信度和效度，得出同伴评价信度与效度不高，优劣参半，业界对是否开展同伴 评价颇有争议。随着计算机技术的进步，借助技术手段开展同伴评价提高了它的 信度和效度。目前，业界一致认为同伴评价具有一定的信度与效度，利大于弊。 c h o 等人指出单个评价者信度比教师要低，但是4 6 个评价者信度较高【l o 】。沈度 珩通过研究综述得出同伴评价具有较高的信度和效度，是学习者喜爱的评价方式 0 1 。t o p p i n g 在2 0 0 3 年综述了前人对同伴评价的信度、效度研究，得出如下结 论：以往信度与效度的研究主要集中于高等教育各学科和各年级，有7 0 的研究 认为同伴评价具有一定的信度和效度，而其余的研究认为同伴评价信度和效度是 变化的，因所开展的学科，所采用的方法等不同而不同【1 2 】。 2 2 1 2 同伴评价态度研究 目前，业界越来越关注在线学习者的态度与情感，如何让学习者在网络学习 中拥有轻松、愉快的心境以及积极的态度是目前不少研究关注的重点。w e n 和 t s a i 对2 8 0 名台湾大学习者开展同伴评价问卷调查，问卷共2 0 题，挖掘学习者 对同伴评价以及在线同伴评价的态度。共有四个子范畴：积极态度、在线学习态 度、理解与行为、消极态度。研究结论表明：多数学习者对同伴评价存积极态度， 但是将在线同伴评价作为评价辅助工具而不是对学习的帮助。其中，男同学跟女 同学相比，男同学同伴评价态度更加积极，有同伴评价经验的学习者态度更加积 极。大多数学习者认为同伴评价成绩是否作为整体成绩一部分，直接影响他们对 这四个子范畴的态度1 1 3 1 。p a p i n c z a k , t 通过质性研究数据补充说明量化数据，他 通过在医学硕士中首次开展同伴评价的质性研究发现，那些在调查问卷中对同伴 评价持中立态度的学习者在质性反馈中对同伴评价持积极态度1 1 4 】。h a m e r , j 通过 5 基丁学习者特征的适应性同伴评价系统的研究与实现 研究发现，大多数学习者认为同伴评价对他们的学习很有帮助，这种评价方式很 好，能够让他们避免出现同伴作业中同样的错误，能够学习到同伴独特的思维方 法【1 5 】。由此可见，学习者对同伴评价大多持积极态度，很乐意对其它学习者的作 业做出评价。 2 213 同伴评价的策略与算法 国内外关于同伴评价策略研究不多，一般将适应性同伴评价策略分为静态策 略和动态策略：静态策略较简单，略述；动态策略较复杂，需在学习者提交作业 后再形成具体的学习者同伴评价者配对。w a n g ，y 掣1 6 】在随机为学习者选择同 伴评价者的基础上提出了基于小组的动态配对策略，并分析相应的实现算法，即 一个学习者评价相同数目小组的算法和每个小组由同样多的评价者评价的算法。 基于小组的同伴评价动态配对算法较复杂，需先定义配对规则： 规则一、如果评价者评价他所在的小组，那么该配对是无效的。 规则二、如果配对策略没有为后参与配对的评价者留下足够的配对空间，或 者它导致评价者评价他自己所在的小组，那么该配对策略就是无效的。 只有之前的配对都有效，才能进行下一个评价者的配对，直到所有的评价者 都有足够的小组来评价【l 训。 学习者评价相同数目小组的算法如下： 先将每个小组同伴评价者人数的最大值设为i i l a x ，最小值设为m i n ，同伴评 价者人数均取最大值的小组数量为n t l mm i n 。设置矩阵中元素的值，t e a m r e v i e w f i 】m = l ，行表示同伴评价者，列表示小组。该算法的基本逻辑是避免出现以下情 况，行中“1 的数量比r ( 学习者评价小组个数) 大，一列中“l 的数量比 m a x 大。需做两种检查，首先检查一行中是否有足够多的1 ，如果有，就把剩下 的1 转换为0 ，相对应的列要检查是否有足够多的0 ，如果有，就把这一列剩下 的1 都要转换为l ；其次，检查列有足够多的1 ，如果有，则把这一列剩下的一l 都转换为0 ，转换为0 的相对应的行，检查是否有足够多的0 。在检查时要存储 相应的值，因为每改变一个元素要考虑其对应的行与列，如果设置为l 的操作失 败，则将其修改为0 ，并且需返回到最近一次的操作，再考虑这一行当中的另外 元素。 该算法解决以下问题：首先，实现动态配对，如果学习者没有选课或者没有 提交作业就不能评价作业；其次，解决评价者在评价小组时存在的数量上不均衡 的问题；再次，评价者评价任务数目不同或每个小组拥有的评价者数目不同时， 如何将小组评价任务合理分配，为后续动态分配评价者提供借鉴【l6 1 。其优势主要 体现：应用矩阵实现动态配对算法，技术上较易实现。但是，因每更改一次元素 的值，需对元素所在的行列进行访问，比较繁琐。 g e h r i n g e r , e f 【1 7 】提出同伴评价配对的六个策略： 1 、随机策略r ：完全随机配对，每轮分配结果都不同； 6 基于学习者特征的适应性同伴评价系统的研究与实现 2 、随机策略p ：随机配对，如果数据不变，每一轮配对结果都相同； 3 、策略g ：在小组内部，组员随机分配组内的其他同学。h e n d e r s o n 和b u i s i n g 应用这种配对策略，在教师给学习者提供一些可选的项目主题时，评价者最好选 择主题相同的其它学习者； 4 、策略g + ：在策略g 上考虑不同主题的学习者相互评价。即包括小组内 外部评价； 5 、策略s ：评价者自己选择评价对象。在期刊或论文的同伴评价中，评价 者列出他们所属的研究领域，只评价他们所领域的文章或论文； 6 、策略s + ：学习者可以自己选择希望评价的文章或论文。 本研究认为应根据具体的适应性同伴评价应用环境和目标选择同伴评价配 对策略。 2 2 1 4 同伴评价应用研究 同伴评价具有一定的应用效果，d z i e d z i e 认为可将同伴评价作为促进学习的 一种工具，丽不只是评价手段i l 引。首先，应用同伴评价可以加强学习者对作业的 理解，能帮助学习者更好的了解课程目的和目标【1 9 】。评价是一个较为复杂的思维 过程，让学习者作为评价者，在评价之前需对作业进行充分的了解，在理解与之 相关的概念、原理基础之上再遵循一定的评价标准才能对作业做出较为准确的评 价。其次，应用同伴评价能够促进学习者对作业的修改。学习者在评价他人作业 的同时，会对自己的作业进行反思，从而发现其中的不足并加以改进。n a n c y 设 计两个研究过程：第一个研究把学习者随机分为三个组：完全参与同伴评价、部 分参与同伴评价、不参与同伴评价。研究结果表明任何一个参与同伴评价的学习 者都比没有参与同伴评价的学习者对初稿做了更多的修改。第二个研究中，所有 学习者参与同伴评价，用线性回归分析评价同伴的作业和接受同伴的评价两种方 式对学习者学习效果的影响，研究结果表明学习者获得同伴评价比书写同伴评价 的效果更好【2 0 】。第三，应用同伴评价能够促进学习者反思能力的提高，e l l e n 等 人2 0 0 9 年对台湾高校学习者开展实验研究，发现同伴评价在促进学习者反思能 力提高方面具有积极作用1 2 l 】。第四，同伴评价还能提高学习者判断能力、评价能 力等高层次思维能力的发展，能够导致深层学 - - j ( d e e pl e a r n i n g ) 的产生。此外，参 与同伴评价的学习者通过对其它同学的作品进行批判分析从而提高自己的自控 能力与组织能力【l 训，同伴评价更是锻炼学习者批判性思维能力( c r i t i c a lt h i n k i n g s k i l l s ) 的一种重要手段【2 2 1 。以下综述同伴评价在不同学习环境中的应用情况： 1 、协作学习 同伴评价是促进协作学习的一种重要手段。t r a h a s c h , s 2 0 0 4 年指出同伴评 价能把学习与评价进行有机整合，是协作学习的重要组成部分【2 3 l 。学习者参与整 个同伴评价过程：制作同伴评价标准，参与同伴评价过程以及计算同伴评价得分， 在参与活动的过程中增强对学习内容的了解。同伴评价是促进协作学习的有效途 7 基于学习者特征的适应性同伴评价系统的研究与实现 径1 2 4 二2 5 ，小组成员在网上发布他们的作品，其他小组评价他们的作品，公布他们 的评价结果，最后，两个小组在课堂上就评价展开辩论。小组之间健康的辩论和 竞争让学习者学习在协作环境中，应如何获得或给予恰当的评价，提高学习者的 小组协作能力 2 6 】。此外，同伴评价促进了小组成员之间的交互【2 7 1 ，促进师生之 间的交流与协作。 协作学习中如何评价小组中各成员的成绩是一个难题，因为教师没有参与小 组成员的内部活动，很难对小组成员进行合理的评价。而通过同伴评价可以解决 小组成员分数致的问题，小组内部成员开展相互评价，让学习刻苦的学习者获 得高分，让学习不积极的学习者获得较低的分数。模糊的同伴评价系统( f p a s ) 能够用一致模糊偏好运算为每位学习者给予不同的分数1 2 引。 2 、基于小组的学习 基于小组的学习能促进学习者各方面能力的发展，如个人责任心，问题解决 能力，人际交流能力，小组协作以及组织能力。在t b l ( t e a m - b a s e dl e a r n i n g ) 中，同伴评价显得尤其重要，因为小组成员是唯一有足够的信息对相互之间的贡 献进行评价的评价者【1 9 】。基于小组、项目的学习方式常用于学习人工智能，但其 缺点是学习者在某知识块研究较为深入，而忽视了其他方面可能更为重要的知 识块的学习，而采用同伴评价可以弥补这一不足。评价不相关的项目可以让学习 者对整个课程有一个全局的认识。g a r c i a 通过实验证明了同伴评价是提高小组学 习的有效工具( 2 8 1 。 3 、p b l 学习环境 p b l ( l p r o b l e m - b a s e dl e a r n i n g ) 的目的是培养学习者解决新的、真实的、复 杂的问题能力，但是目前基于教师的评价与p b l 学习的目的不吻合，教师的评 价更多的指向内容，缺乏基于真实情景的问题的设计，同伴评价正符合p b l 学 习评价的需求。此外，同伴评价要求学习者对他人的作品进行反思，而这种能力 是学习者在解决复杂问题时所必须具备的，因此在p b l 中开展同伴评价具有十 分重要的作用【2 9 】。 此外，同伴评价可应用于不同的学科教学，同伴评价在写作评价方面有其独 特优势，陈守珍发现同伴反馈对学习者英语写作具有积极作用，可以加强同伴之 间的交流与反馈，减轻老师评阅大量作文的负担，促进学习者对作文的反复修改 【3 0 1 。张力研究非英语专业课堂上的同伴反馈效果：培养学习者的自主学习意识， 提高学习者翻译能力，自我修改技巧和交际能力以及运用英语的综合能力【3 。在 论文评审方面，同伴评价系统是目前学术交流的基础，它基于三个主要角色的交 互：研究者作为论文发表的创造者角色；编辑者作为主要的仲裁者( 中介) ；而 评价者作为质量保证的提供者【3 2 1 。同伴评价在计算机课程中的应用效果，经调查 发现，同伴评价在发现代码的缺陷与错误方面非常有用，在软件质量方面也很有 效【3 3 1 ，同伴评价应用于项目研发3 4 1 ，人机交互界面设计【3 5 1 等。同伴评价还可应 8 基于学习者特征的适应性同伴评价系统的研究与实现 用于医学1 3 6 j 等领域。此外，同伴评价可与电子档案袋结合，更好的对学习者