教学系统设计结果的形成性评价和总结性评价.PPT.ppt

1、,607寝室制作,6.4,教学系统设计成果的评价一般包括形成性评价和总结性评价两种形式，但它不同于其他评价的主要特点在于教学系统设计成果的评价主要以形成性评价为主，也就是说，教学系统设计成果要在其形成的同时对其加以评价。,所谓教学设计成果，可以是一种新的教学方案，也可以是一套新的教学材料，如教科书、教学录像、计算机课件等，这些设计成果在推广使用之前，最好先在小范围内试用，测定它的可行性、适用性和有效性，以及其他情况。,现在，让我们来认识一下形成性评价和总结性评价,简单点说，一位厨师在端出他煲的汤之前先行品尝，淡了，加点盐，咸了，加点水，直至他认为满意时才端出去给顾客。那么，这位厨师“偷嘴”的这

2、个过程便是我们所要学习的形成性评价。,香！,好喝！,鲜！,形成性评价的要点：搜集数据，分析数据，然后改进教学设计 形成性评价的过程是漫长的，频繁的，从分析阶段，持续到选择和设计阶段，如果有试用期，那么这段时期的评价也称之为形成性评价 作用：确定学习效果 目的：改进学习过程，调整教学方案,总结性评价又称事后评价，一般是教学活动告一段落时，为把握最终效果而进行的评价。比如说期末考，结业考等。 总结性评价的目的是验明学生的学业是否达到了各科教学目标的要求，它注重的是对被评价者所取得的较好的成绩做出全面鉴定、区分等级，并对整个教学方案的有效性作出评定。,返回,6.4 教学系统设计的形成性和总结性评价,

3、1、形成性评价的方法,2、形成性评价的一般过程,3、影响形成性评价的一些因素,4、教学系统设计结果的总结性评价,教学系统的形成性评价方法有自评、专家评议、一对一评价、小组评价实地试验和进行中的评价等，这些方法从不同的阶段为教学系统设计的优化提供了可参考的信息。形成性评价的执行一般会经过制定评价计划，、实施评价计划和产生评价报告三个环节，在这个过程中，环境、学习者、评估人员和评价的组织实施等都会对形成性评价的执行和结果产生一定的影响。,第一个问题：,形成性评价的方法,自评,专家评议,一对一评价,小组评价,实地试验,进行中的评价,（1）自评 (Design Review),设计者、开发者或设计团队

4、中的一些成员在将方案呈现给专家或使用者评价之前对其进行评价。这一过程通常被称做“内部评议”，一般是在外部评价之前进行的。 为使自评更有效，设计开发者应完成以下任务： 制定一套评价标准 将所有设计成果搁置几天，以便于形成结果与意图的距离 成为准执行者并试行这套方案 记录各种积极和消极的反馈,返回,（2）专家评议(Expert Review),主要指邀请一些内容专家、教学系统设计专家或者相关领域的专家，针对教学设计各要素的选择或设计提供建设信息，并（或者）在方案实施之前对其中的各个草拟要素进行评议： 方案中所涉及的教学内容是否是正确的、反映最新发 展动态的？ 方案中的所有观点是否是一致的？ 提供的

5、案例、实践练习、反馈是否是真实而准确的？ 教学方法是否符合并反映现代教育观念和教育理论？ 教学的内容、方法以及所用的教学资源和工具是否适 用于教学对象？,返回,一对一评价有时也被称为对教学系统设计成果的诊断性评价阶段。在这个阶段中，设计人员往往需要和3名或者3名以上具有代表性的学习者一起工作，从单个的学习者身上采集数据并修正教学材料，其目的是确定并改正教学中存在的明显错误，并从学习者那里获得对教学内容最初的使用数据和反馈。这是设计者首次从学习者的角度出发，对设计和开发过程中所做的决策进行审视，来验证设计师和开发者的预感是否正确，是否存在对目标人群的误解。,（3）一对一评价(One-to-One

6、 Review),这个阶段的评价可以从以下几个方面进行： 明晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？ 影响力：教学对于学习者个体的态度和教学目标的实现有没有影响？在态度方面，需要确定学习者是否意识到学习和自身是密切相关的，自己能够通过适当的努力就可以达到目标，对学习经历感到有趣并满意；在学习成就感方面，可以通过后测了解学习者是否能回忆起学习的信息、是否能完成任务，具体的方法可以是书面练习、口头回答问题或者是完成一件事、一个作品。 可行性：如果得到所需的资源（如时间、教学情境）那么教学的可行性有多大？可行性主要考虑学习者的能力水平、教学媒体和教学环境。,一对一评价的

7、关键在于它是一个交互的过程。设计人员要参与学习者的学习过程，观察学习者的参与情况，并在预先设定好的时机与学习者讨论材料中呈现的内容。因此，在每次进行一对一试验之前，设计人员都应该制定一个策略，决定交互该如何进行、如何向学习者进行说明、如何让学习者知道什么时候可以和评估人员讨论、如何鼓励学习者放松地谈论设计方案和学习材料等。这就要求设计人员有比较强的交流能力，能够在自己和学习者之间建立友好信任的关系，并进行有效的交流。 在一对一评价中收集数据的途径有观察记录、学习者讨论的记录、教学完成后的问卷和测验。在交流和记录的过程中，设计人员不仅要知道问题所在，而且还要了解问题的具体内容、学习者为什么会出现

8、这种反应以及评估人员对此做出的解释，因为后者往往更能提供改进教学清晰度的有用信息。,很明显，每次一对一试验都只有一个学习者参加。这时无需从大量学习者中随机抽取样本，只要挑选几个能够代表目标人群的学习者即可。在实际评价中，可以从高于平均水平、处于平均水平和低于平均水平的学习者中各选一个，如果有必要，也可以在完成了与这3个学习者的初步评价后再多挑选几个学习者进行一对一评价。在选择学习者时，既要考虑其知识和能力的水平，也要关心其他与学习者成绩密切相关的特征，如学习者的态度、先前的经验、学习的风格等。 通过一对一评价，教学中的严重错误都会暴露出来，有些可以马上进行修改。但于由选择的学习者是有差异的，从

9、每个人身上得来的数据可能是不一样的，因此有些问题可能不会立即修改，需要等到其他学习者重新试验后或者小组评价后才会做出改动。,怎样选择学习者呢？一对一评价这种方法有什么特点？,返回,（4）小组评价（Small-Group Evaluation）,目的： 确定在一对一评价后所作的改动是否有效，找出学习者在学习中仍然存在的问题 确定学习者在不和教师交互的情况下使用教学材料的情况 选择学习者：尽量代表目标人群各种类型，820人 类型维度： 学业水平（高，一般，低）； 习惯的学习方式； 学习者成熟度 小组评价后应达到的效果：能在最终教学环境中适合大部分目标人群,小组评价往往需要收集两方面的数据： 教学有

10、效性：教学有效性主要包括学习者前测和后测的成绩以及对教学的态度。前测一般包括入门技术和教学目标，后测测定学习者在教学目标上的表现，可以通过测试或练习获得；对教学的态度信息则往往通过态度问卷和后续访谈来获取。 教学可行性：一般包括学习者完成教学和所要求的绩效评测所需的时间以及在特定条件下实施教学的成本及可行性；实施或管理教学者的态度,比一比：小组评价VS一对一评价 （1）小组评价的基本过程和一对一评价中所采用的截然不同。 在一对一评价中，评价人员始终和学习者处于互动的状态；而在小组评价中，评价人员（或者教师）在向学习者做出必要的说明和解释后（如果有前测就先进行前测），就按照方案中规定的实际教学方

11、法、过程组织教学过程，在各个过程中，评估人员要尽可能少地干预。只有当教学环境出现问题以至于使教学过程无法按照方案继续下去时，评估人员才进行一定的干预，并且将出现的问题和解决方法如实记录。正是因为如此，在教学实施后的态度问卷中要尽可能详尽地包含教学方案的各个部分，包括教学设计的各个要素、教学实施中的问题以及他们对教学的改进建议，如：,你清楚应该学什么吗？ 学习材料直接和教学目标相关吗？ 在学习过程中，你感到压力很大吗？哪些地方令你学习很困难? 教学有趣吗？你比较喜欢参加哪些活动？ 有足够的练习吗？这些练习和教学目标相关吗？ 测验能真正地考察你对教学目标的知识吗？ 在学习的过程中，你得到 了足够的

12、支持吗？反馈信息令你满意吗？ 当考试时，你感到自信吗？为什么？ 你对教学过程和学习材料还有哪些好的建议？,如果有可能，在学习者完成问卷后，要就学习者的看法进行更深入讨论，并从中分析教学设计方案和学习材料中的问题，然后再进行修改。 从上述小组评价过程和方法可以看出，学习者的挑战和信息的分析对小组评价来说至关重要。 在无法随机挑选小组评价的学习者时，仍要尽可能确保从目标人群的每种类型中至少选取一个代表，并提供了几种划分目标人群类别的方法： 学业水平分别为高、中、低的学习者； 不同母语的学习者； 熟悉某种学习方式的学习者和不熟悉这种学习方式的学习者； 年轻、没有什么经验的学习者，相对更成熟的学习者。

13、,除了上述几类之外，选择学习者时还要考虑到他们的动机水平，因为动机水平较高的学习者往往会获得较高的学业成绩。如果无法实现这一点，则需要在结果解释时说明这一点，并提供相应的实施建议。,（2）一对一评价比较强调评估人员的交流能力，而小组评价则比较强调数据信息的分析水平，一方面要判断问卷调查时哪些问题还需要进一步深入访谈，另一方面要将问卷、测试中所得的数据信息和描述性信息加以汇总，并分析这些信息所代表的含义，以便形成更有效的修改报告。小组评价后的修改既包含一对一评价后的进一步完善，也可能包含对教学策略所做的较大调整。,返回,(5)实地试验（Field Trial）,过程：类似于小组评价，不同在于：

14、设计者角色只能是观察者，教学必须由教师组织，因此设计者要对教师进行适当指导使其了解如何组织进行。 测试的减少。经过小规模评价后，前测和后测都已经得到了修正，主要集中在重要的入门能力及评价学习环境的可行性上。 实地试验环境更接近实际教学环境 实地评价效果： 确定在小组评价之后所作的改动是否有效 在预设的学习环境中教学方案能否实施 实验的主要目的是要找出并消除教学中尚存的问题 要收集的信息： 学习者成就，态度，教师教学过程，态度，资源，时间，花费，空间，设备,实地试验是教学系统设计结果实施前形成性评价的最后一个阶段，执行人员（通常指教师）要在一个与教学材料最终使用环境尽可能相像的学习环境中进行评价

15、。,实地试验的关键是创设一个与“真实世界”尽可能接近的教学情境，因此，实地试验不仅要求教学环境、条件都要与最终的使用环境、条件尽可能相像，而且执行教学的人员也要尽可能是教师，而不是教学系统设计人员，在教学实施的过程中，设计人员可能不在场，即使在场，也往往只需要在旁观察并做记录，并不对教学过程进行干预，哪怕是教学过程中出现意外的事件。实地试验对学习者的要求也比较高，因为要确保这些学习者能够代表教学方案的目标人群。而这一点在现实情境中很难做到，变通的做法是选择不同的小组来进行实地试验，而且尽可能收集所有目标环境下的数据，如传统教室、多媒体教室、多媒体网络教室等。,实地试验怎样实施？,实地试验VS小

16、组实验,实地试验和小组实验有许多相似之处，两类评价的过程中都要决定学习者的表现是否适当，教学的传递方式是否可行；二者都需采集学习者的成绩和态度信息、教师的教学过程和态度以及诸如时间、费用、空间和设备等资源信息。 二者最主要的差别在于教学材料、学习者、过程、教师和环境的真实程度不同。实地试验更强调与实际教学的接近程度,因此在实地试验之前，教学方案往往已尽可能得到修改和完成。,返回,(6)进行中的评价（Ongoing Evaluation）,进行中的评价是指在教学实施之后，就教学对学习者的学习、工作和应用知识解决问题的效果所进行的评价。前面5个阶段主要都是解决教学方案的实施问题，包括如何完成教学目

17、标、更有效的实施教学等，没有涉及到知识的和技能在其他应用环境甚至生活中应用问题，而这是教学的根本目的。无论是知识、技能，还是方法，教学的最终目的并不只是为了学生能够掌握或者在学习过程中的应用，而是在最终需要运用这些知识、技能和方法的环境中进行创造性地运用。因此，教学设计人员不能忽视这一点，应该在合适而可行的时候，对学生的应用情况进行评价，以确定学生的知识、技能和方法是否能够保持，是否能够在其他应用环境中使用。,进行中的评价可以帮设计人员明确以下几点： 学习者是否意识到可以在实际生活或在工作中应用所学的新知识和技能？并且是不是已经做了？ 学习应用的效果如何？会对后续的学习、生活、工作产生哪些影响

18、？如果是系统层次的教学系统设计成果，还要考虑对组织产生了什么影响？ 学习者对改进教学、教学系统设计成果有什么建议？对于产品层次的教学系统设计成果，要跟踪产品在教学实施后持续使用的情况，以获取修改产品的信息。 要获取这些信息，可以采用现场观察、记录和反思报告、访谈、问卷调查等方法，既可以直接从学习者处获得，还可以通过教师、同学。家长等间接得到，而对于在职人员则可以通过公司记录、同事、客户等间接获得。,在课堂教学中这种评价越来越受到重视，课堂教学系统设计不仅要对学生的学习过程、学习结果进行评价，在选择教学策略时也应注重知识、技能的迁移运用，重视对学生问题解决能力以及学生在生活中的应用能力的培养。

19、如果条件许可，可以要求所有的学习者参加进行中的评价，但如果在教学之前有比较充分的小组评价或实地试验，则也可以挑选部分样本学习者进行评价。 进行中评价的结果往往是由设计人员完成一份评价报告，其中包括教学的优缺点、教学能过更好的支持新技能迁移和运用的地方、有关消除影响新技能迁移运用的教学障碍的改进教学建议。,返回,第二个问题 形成性评价的一般过程,（1）制定评价计划,（2）实施评价计划,（3）处理评价结果、进行评价成果报告,这是教学系统设计结果评价的准备阶段。该阶段主要是要确定评价活动的目的、评价对象、评价的指标体系，在何种情况下从事评价，实施评价后所必须做出的决策程度以及在什么时候、什么地方实施

20、测量、获取信息以及如何组织等工作。一份完整的评价计划主要包括： 1、确定评价对象和评价目标。 2、设计评价指标体系，例如评价的是教学材料，一般可以从教育性、科学性、技术性、艺术性和经济性等角度建立具体的指标体系。 3、确定收集信息的类型和方法以及处理统计数据的技术手段。形成性评价要收集的信息主要包括教学目标的达成情况（学生成绩）、学习者和教师的态度以及教学过程的实施情况，收集这些信息的方法有测验、问卷调查、访谈观察、师生的反思报告等。 4、选择被试并阐明成果的背景条件。说明选择被试的条件人数等，并解释教学系统设计成果的试用是在什么背景下进行的、需要什么条件支持等。,1、收集评价信息：这是一项基

21、础性工作，也是评价中工作量最大的工作。评价者要根据评价指标体系，逐项收集信息，全面、客观、真实地掌握评价对象的情况。在一对一评价、小组评价和实地试验等评价中，还要组织实施教学过程。 2、整理评价信息 整理评价信息也就是对收集的信息进行汇总整理。通过采用观察、测验、访谈和问卷等方法，评价者收集到一系列所需的资料。为了便于分析，可以根据需要，将测量的数据资料进行统计处理，制成图表。制成图表后，评价者应对资料做进一步初次分析，拿各类数据与评价标准做比较，考察各种现象的相互关系。经过分析，可能会发现一些重要问题，随即应对它们加以解释，并通过恰当的途径证实自己的解释。,由于修改设计成果的工作不一定马上就

22、进行，也不一定由原设计者来做，因此需要把设计和评价的有关情况和结论形成书面报告。在这里，评价者需根据评价报告的性质和报告的读者对象来确定报告的内容、形式。报告可以是正式的，也可以是非正式的；可以是描述性的，也可以是数据分析的。在向有关部门通报评价结果时，评价者所要做的不仅仅只是提出报告、表明结果，还应该展示他们是如何对资料做出解释，是如何从分析中得出结论以及他们对解决问题的建议。评价报告的内容一般包括：设计成果的名称和宗旨、使用的范围和对象、试用的要求和过程、评价的项目和结果及结果的分析、修改的建议和措施、参评者的名单和职务，以及评价的时间等等。评价报告以简明扼要为宜，具体资料如：各种数据、访

23、谈记录、分析说明等可以作为附件。,例如，当几种评价工具提供的数据对设计成果的某些方面显示出共同的趋势，而这种趋势与预期的教学目标相悖时，将予以特别关注。设计者可就这些问题咨询、访问教育学家、心理学家、学科专家和有经验的教师，或与被试（师生）进行个别面谈或集体座谈。这些访谈的目的是让各方人士对初步分析结果和改进意见加以证实。为此，设计者应持有虚心、诚恳、坦率和求实的态度，而当该成果遭到激烈批评时，还应保持冷静，以使所有被访者都能毫无保留的谈出意见。最后可将访谈结果与初步分析结果综合起来，对评价资料做进一步的深入分析，并在此基础上酝酿修改设计成果的方案,上面提出的一些评价的要素和步骤，但这只是对教

24、学过程的一种静态分析。在实际教学活动过程，各要素之间并不是独立的、互不联系的。以往人们对教学过程的研究，习惯于采取以分析思维为主导的研究方法，只重视对教学的各部分分别进行细致的研究，而忽视对各个部分相互关系的研究。因此，对各部分相互关系的研究即教学结构的研究和设计可以帮助我们从整体上去综合的认识和探讨教学设计模式中各种因素之间的关系及其多样化的表现形态，有利于我们从动态的角度去把握教学设计过程的本质和规律，无论是在指导实践还是在理论研究上都具有十分重要的意义。,三.影响形成性评价的一些因素,教学设计过程的形成性评价部分会因为教学理论方法和哲学观的不同而不同。但不管怎样，都不能靠推测来说明你的教

25、学材料具有有效性，而必须要用学习者来测试这些材料。因此，你要尽可能搜集最真实、反应材料有效性的数据。在计划和实施数据搜集的过程时，设计师还要对形成性评价的环境和参与评价的学习者做如下几方面的考虑。,在环境方面，不仅要考虑物理环境因素，还要考虑心理环境因素。在进行评价时，评价人员要确保所有技术设备都要能有效地运行。很多教师就是在使用新材料时因为新材料要用到的设备不能正常运作而受挫，结果是从学习者处得来的数据无效，教师也只得到了为了试验材料必须要保证设备良好运作的教训。此外，在一对一评价、小组评价阶段，尤其是一对一评价时，能否促使学习者畅所欲言，真诚地表达自己的意见，除了有良好的物理环境外，如安静

26、并且便于集中学习者注意力的环境，还必须要有良好的心理环境，能够使学生感到轻松，愿意产生一种信任感。,（1）环境方面的因素,（2）学习者方面的因素 在形成性评价的任何阶段选择参与评价的学习者时，都要避免完全依赖教师对学习者入门知识的判断。只要可能，都要进行入门知识测试，以确定被试是否为该教学材料目标人群的一份子。经验表明，由于各种原因，教师有时候对被推荐参加形成性评价研究的学习者的教学准备情况估计不准，所以要尽可能地去确定学习者的入门知识，同时还要考虑如何去对待入门技能水平不同的学习者。,（3）实施人员方面的因素 在进行小组评价、实地试验等的过程中，尤其是实地试验中，方案实施者往往是教师，教师的

27、教学能力、对方案的理解力以及所具备的技能等都不尽相同，可能会使评价的结果产生一定的偏差。另一方面，评价的结果也许并不如预想的那么有效，这可能会导致设计人员对自己工作的不满意，会产生失望感，这也会在一定程度上影响评价的结果，尤其是一对一评价的结果。此时，需要设计人员清醒地认识到正、负反馈的各自的价值。,这些因素包括时间、经费、人员安排等的问题，如当一对一评价没有办法实施时，设计人员可能会采用找人通读材料并用问卷进行调查的替代性方法，这也会影响评价的结果。 对于设计师来说，基本原则就是形成性评价是一定要进行的，问题是何时、何地、以何种方式进行。有时候有充足的时间和资源进行形成性评价，但是在不可能这么做的时候，设计师也有