教学设计结果的形成性评价.doc

教学设计结果的形成性评价无论是教学设计方案还是学习材料，这些设计成果一般在推广使用之前，要在小范围内使用，测定它的可行性、适用性和有效性以及其他情况，来检验方案并不断修改、完善方案，使教学设计过程及其成果更趋有效。教学设计成果的评价一般也包括形成性评价和总结性评价两种形式，但它不同于其他评价的主要特点在于教学设计成果的评价主要以形成性评价为主，也就是说，教学设计成果要在其形成的同时对其加以评价。一、教学设计结果的形成性评价形成性评价是教学设计人员用来获取数据，并通过这些数据修正他们的教学，提高教学效率效果的过程。形成性评价的重点是搜集数据，分析数据，改进教学设计。形成性评价开始于分析阶段，持续于选择和设计阶段，如果计划中还有试用阶段，那么还将持续到实施过程的前期。1教学设计形成性评价的方法形成性评价通常包括六个阶段：自我评价、专家评议、一对一评价、小组评价、实地试验、进行中的评价。需要说明的是，在这里用“阶段”这个词是为了帮助设计人员明确：在实施上述形成性评价的时候，要注意前后的关系。通常情况下，这些方法是依次实施的，当然，在设计实践中，可能不会实施所有的形成性评价方法，如一般的课堂教学设计的形成性评价很少进行一对一评价、小组评价，专家评议、实地试验等方法经常被用于一些公开课、研讨活动；而在企业环境中，形成性的实施相对完整一些。（1）自评（Design Review，初始排错）设计者、开发者或设计团队中的一些成员在将方案呈现给专家或使用者评价之前对其进行评价。这一过程通常被称作“内部评议”，一般是在外部评价之前进行。为使自评更有效，设计开发者应完成以下任务：l 制定一套评价标准。这套标准可以和针对专家、使用者评议的一样，也可存在差别，但应尽可能涵盖所有教学过程中教师和学生会关注的所有项目，以及设计团队需要解决的所有设计和开发问题。l 将所有设计成果先搁置几天以便于形成结果与意图的距离。l 成为准执行者并试行这套方案。l 记录各种积极和消极的反馈。（2）专家评议（Expert Review）主要指邀请一些内容专家、教学设计专家或者相关领域的专家，针对教学设计各要素的选择或设计提供信息，并（或者）在方案实施之前对其中的各个草拟要素进行评议：l 方案中所涉及的教学内容是否是正确的、最新的？l 方案中的所有观点是否是一致的？l 提供的案例、实践练习、反馈是否是真实而准确的？l 教学方法是否符合并反映现代教育观念和教育理论？l 教学的内容、方法以及所用的教学资源是否适用于教学对象？对于课堂教学这一层次的设计成果专家评议，往往采用说课的方式；对产品或系统这两个层次的专家评议，通常采用专家评议会的方式。教学设计人员要认真记录每个专家的详细意见，并对这些评议结论进行“再检查”，从中找出仍然存在的问题，对方案和学习材料进行修改。（3）一对一评价（One-to-One Review）一对一评价有时也被称为对教学设计成果的诊断性评价阶段。在这个阶段中，设计人员往往需要和三名或者三名以上具有代表性的学习者一起工作，从单个的学习者身上采集数据并修正教学材料，其目的是确定并改正教学中存在的明显错误，并从学习者那里获得对教学内容的最初使用数据和反馈。这是设计者首次从学习者的角度出发，对他们在设计和开发过程中所做的决策进行审视，来验证设计师和开发者的预感是否正确，是否存在对目标人群的误解。这个阶段的评价可以从以下几个方面进行（Walter O Dick, Lou Carey, James O. Carey，2000）：l 明晰度：对于学习者个体而言，信息或者呈现给他们的教学内容是否明了、清楚？l 影响力：教学对于学习者个体的态度和达到教学目标有没有影响？在态度方面，需要确定学习者是否意识到学习和自身是密切相关的、自己能够通过适当的努力就可以达到目标、对学习经历感到有趣并满意；在学习成就感方面，可以通过后测了解学习者是否能回忆起学习的信息、是否能完成任务，具体的方法可以是书面练习、口头回答教师的提问或者是完成一件事、一个作品。l 可行性：如果得到所需的资源（如时间、教学情境），教学的可行性有多大？可行性主要考虑学习者的能力水平、教学媒体和教学环境，如学习者的成熟度、独立性和动机水平如何影响完成教学所需的时间，学习者能否或者轻易地学会所要求的专业设备操作或技能，学习环境是否令学习者感到舒服，在规定时间内传递教学的成本是否合理等等。一对一评价的过程关键在于它是一个交互的过程。设计人员要参与学习者的学习过程，观察学习者的参与情况，并在预先设定好的时机，和学习者讨论材料中呈现的内容。因此，在每次进行一对一试验之前，设计师都应该制定一个策略，决定交互该如何进行，如何向学习者进行说明，如何让学习者知道什么时候可以和评估人员讨论，如何鼓励学习者放松地谈论设计方案和学习材料。这就要求设计师有比较强的交流能力，能够在自己和学习者之间建立友好信任的关系，并进行有效的交流。一对一评价收集数据的途径有观察记录、和学习者讨论中的记录、教学完成后的问卷和测验。在交流和记录的过程中，设计人员不仅要知道问题所在，而且还要了解问题的具体内容、学习者为什么会出现这种反应以及评估人员对此作出的解释，因为后者往往更能提供改进教学清晰度的有用信息。很明显，每次一对一试验都只有一个学习者参加。学习者无需从大量学习者中随机抽取样本，只要挑选几个能够代表目标人群的学习者。在实际评价中，可以从高于平均水平、处于平均水平和低于平均水平各一个，如果有必要，也可以在完成了对这三个学习者的初步评价后再多挑选几个学习者进行一对一评价。在选择学习者的时候，既要考虑其知识和能力的水平，也要关心其他与学习者的成绩密切相关的特征，如学习者的态度、先前的经验、学习的风格等。通过一对一评价，教学中的严重错误都会暴露出来，有些可以马上进行修改。但由于选择的学习者是有差异的，从每个人身上得来的数据都可能是不一样的，因此有些问题可能不会立即修改，需要等到其他学习者重新试验后或者小组评价后才会作出改动。（4）小组评价（Small-Group Evaluation）小组评价阶段往往是由820个目标人群的典型代表组成学习小组，利用教学材料自行学习，然后通过对他们的测试来采集所需要的数据。小组评价有两个主要目的，一个是确定在一对一评价后所做的改动是否有效；另一个是确定教学中还存在哪些问题，是否能适用真实的目标群。小组评价往往需要收集两个方面的数据（Walter O Dick, Lou Carey, James O. Carey，2000）：l 教学有效性：教学有效性主要包括学习者在前测和后测的成绩以及对教学的态度。前测一般包括入门技术和教学目标，后测测定学习者在教学目标上的表现，可以通过测试或练习获得；对教学的态度信息主要是通过态度问卷和后续访谈来获取。l 教学可行性：一般包括学习者完成教学和所要求的绩效评测所需的时间以及在特定条件下实施教学的成本及可行性；实施或管理教学者的态度。小组评价的基本过程和一对一评价中所采用的截然不同。在一对一评价中，评价人员始终和学习者处于互动的状态；而在小组评价中，评价人员（或者教师）在向学习者作出必要的说明和解释后（如果有前测就先进行前测），就按照方案中规定的实际教学方法、过程组织教学过程，在各个过程中，评估人员要尽可能少地干预。只有当教学环境出现问题以至于使教学过程无法按照方案继续下去的时候，评估人员才进行一定的干预，并且将出现的问题和解决方法如实记录。正是因为如此，在教学实施后的态度问卷中要尽可能详尽地包含教学方案的各个部分，包括教学设计的各个要素、教学实施中的问题以及他们对教学的改进建议，如：l 你清楚应该学什么吗？l 学习材料直接和教学目标相关吗？l 在学习过程中，你感到压力很大吗？哪些地方令你学习很困难？l 教学有趣吗？你比较喜欢参加哪些活动？l 有足够的练习吗？这些练习和教学目标相关吗？l 测验能真正地考察你对教学目标的知识吗？l 在学习的过程中，你得到了足够的支持吗？反馈信息令你满意吗？l 当考试答题时，你感到自信吗？为什么？l 你对教学过程和学习材料还有哪些好的建议？如果有可能，在学习者完成问卷后，就学习者的看法进行更深入的讨论，并从中分析教学设计方案和学习材料中的问题，然后再进行修改。从上述小组评价的过程和方法可以看出，学习者的挑选和信息的分析对小组评价来说至关重要。迪克、凯里等认为（Walter O Dick, Lou Carey, James O. Carey，2000），小组评价以820个学习者为合适，如果学习者人数少于8，所得到的数据可能不具备代表性；如果从多于20个学习者处获得数据，所获得的信息又可能超过了需要，而且增加的学习者并不能带来额外的有价值的信息。小组评价的学习者不能像一对一评价那样有一定的随意性，应该尽可能地代表目标人群，在理想的研究环境下应该随机挑选学习者，因为这样才能把经验推广到整个目标人群。但是在典型的学校、业界和成人教育环境下，纯粹的随机经常是不可能的，甚至也可能是不希望的。因此他们建议，在无法随机挑选小组评价的学习者时，仍要尽可能确保从目标人群的每种类型中至少选取一个代表，并提供了几种划分目标人群类别的方法：l 学业水平分别为高、中、低的学习者l 不同母语的学习者l 熟悉和不熟悉某种学习方式（如网络教学）的学习者l 年轻、没有什么经验的学习者，相对更成熟的学习者我们认为，除了上述几类之外，选择学习者时还要考虑到他们的动机水平，因为动机水平较高的学习者往往会获得较高的学业成绩。如果无法实现这一点，则需要在结果解释的时候说明这一点，并提供相应的实施建议。一对一评价比较强调评估人员的交流能力，而小组评价则比较强调对数据信息的分析，一方面要判断问卷调查时哪些问题还需要进一步深入访谈，另一方面要将问卷、测试中所得的数据信息和描述性信息加以汇总，并分析这些信息所代表的含义，以便形成更有效的修改报告。小组评价后的修改既包含一对一评价后的进一步完善，也可能会教学策略作较大的调整。（5）实地试验（Field Trial）实地试验是教学设计结果实施前形成性评价的最后一个阶段，执行人员（通常是指教师）要在一个与教学材料最终使用环境尽可能相像的学习环境中进行评价。实地试验的目的是确定在小组评价之后所做出的改动是不是有效，并要确认教学方案在预设的使用环境下是否能够使用。实地试验的主要目的是要找出并消除教学中尚存的问题。实地试验和小组试验有许多相似之处，两类评价的过程中都要决定学习者的表现是否适当，教学的传递方式是否可行；另一个相似之处是，二者都是采集学习者的成绩和态度信息、教师的教学过程和态度，以及诸如时间、费用、空间和设备等资源信息。二者的最主要差别在于教学材料、学习者、过程、教师和环境的真实程度不同。实地试验更强调与实际教学的接近程度，因此在实地试验前，往往教学方案已尽可能得到修改和完成。实地试验的关键是创设一个与“真实世界”尽可能接近的教学情境（Walter O Dick, Lou Carey, James O. Carey，2000），因此，实地试验不仅要求教学环境、条件都要与最终的使用环境、条件尽可能相像，而且执行教学的人员也要尽可能是教师，而不是教学设计人员，在教学实施过程中，设计人员可能不在场，即使在场，设计人员往往只需在旁观察并做记录，并不对教学过程进行干预，哪怕是教学过程中出现意外的事件。当然，在一般的课堂教学中，教学设计人员往往就是任课教师。实地试验对学习者的要求也比较高，因为要确保这些学习者能够代表教学方案的目标人群。而这一点在现实情境中是很难做到的，变通的做法就是选择不同的小组来进行实地试验，而且尽可能收集所有目标环境下的数据，如传统教室、多媒体教室、多媒体网络教室等。在实地试验阶段，数据收集、分析的过程和方法都和小组评价类似，只是问题会依据小组评价的经验，更加集中于教学在预期学习环境下的可行性，重点了解可能影响教学成功的各种因素。而且在收集数据的时候，除了收集学习者的意见外，还要与教师访谈，了解他们的态度和感受。（6）进行中的评价（Ongoing Evaluation）所谓进行中的评价是指在教学实施之后，就教学对学习者的学习、工作和应用知识解决问题的效果所进行的评价。在前面的五个阶段，主要都是解决教学方案的实施问题，包括如何完成教学目标、更有效地实施教学等，没有涉及到知识和技能在其他应用环境甚至生活中的实际问题中的问题，而这是教学的根本目的。无论是知识、技能，还是方法，教学的最终目的并不只是为了学生能够掌握或者在学习过程中的应用，而是在最终需要运用这些知识、技能和方法的环境中进行创造性地运用。因此，教学设计人员不能忽视这一点，应该在合适而可行的时候，对学生的应用情况进行评价，以确定学生的知识、技能和方法是否能够保持，是否在其他应用环境中使用所学的。“进行中的评价”可以帮助设计人员明确以下几点：l 学习者是否意识到可以在实际生活或工作中应用他们所学到的新知识、技能？并且是不是已经做了？l 学生应用的效果如何？对后续的学习、生活、工作产生哪些影响？如果是系统层次的教学设计成果，还要考虑对组织产生了什么影响。l 学习者对改进教学、教学设计成果有什么建议？对于产品层次的教学设计成果，要跟踪产品在教学实施后持续使用的情况，以获取修改产品的信息。要获取这些信息，可以采用现场观察、记录和反思报告、访谈、问卷调查等方式，既可以直接从学习者处获得，对于一般在校生还可以通过教师、同学、家长等间接得到，而对于在职人员则可以通过公司记录、同事、客户等间接获得，表6-4-1则汇集了一些基本的问题、可能的数据来源以及数据采集的方法（Walter O Dick, Lou Carey, James O. Carey，2000），教学设计人员可以根据实际情况形成你自己的问题。表6-4-1 应用环境形成性评价要问的问题、数据来源和数据采集方法问题数据来源数据采集方法技能是否得到了迁移？如何使用技能的（频度、环境）？有哪些物理环境、社会环境和管理方面的因素促进了技能的迁移和使用？有哪些物理环境、社会环境和管理方面的因素阻碍了技能的迁移和使用？应用所学技能是否有助于解决最初问题？怎样解决？有何证据？培训还可以怎样改善提高？学习者同事/伙伴学习者的下属上司客户公司记录访谈问卷观察记录分析通常情况下，这种“进行中的评价”往往被认为只适用于培训、产品等教学设计成果，其实并非如此，虽然在这些环境中这种评价强调的比较多，然而在课堂教学中这种评价也越来越受到重视，课堂教学设计不仅要对学生的学习过程、学习结果进行评价，在选择教学策略时更注重知识、技能的迁移运用，重视学生问题解决能力的培养以及学生在生活中的应用能力。实际上，这类评价在课堂教学是很常见的，很多教师都会在教学中自觉地运用，只是并不是以一种很明显的评价行为表现出来，如数学学科的计算能力、语文学科的朗读能力和写作能力等，尽管没有进行专门的评价，教师会在其后的相关内容教学中观察学生应用已学知识的情况，如果学生掌握得不够好，教师就会采取一些补救措施，甚至重新实施教学。如果条件许可，可以要求所有的学习者参加进行中的评价，但如果在教学之前有比较充分的小组评价或实地试验，也可以只从所有学习中挑选部分样本学习者进行评价。在选择学习者样本的时候，可以根据他们的后测成绩和态度问卷，挑选一部分水平高的、一部分水平低的，以及一些设计人员比较感兴趣的特殊环境的学习者。而且还要用同样的问题征询，从而获得间接的评价信息。在理想的状况下，为获得丰富的评价信息，设计人员需要深入到应用的实际环境，但实际上这类评价的最大障碍是时间，以及可能无法再对所有学习者一一进行面对面的访谈，电话、网络则为此提供了一定的便利条件。进行中评价的结果往往是由设计人员完成一份评价报告，其中包括教学的优缺点、教学能够更好地支持新技能迁移和运用的地方、有关消除影响新技能迁移运用的教学障碍的改进教学建议。2教学设计形成性评价的一般过程无论是上述哪一种形成性评价方法，通常都包括制定计划、选择评价方法、试用设计成果和收集资料、归纳和分析资料、报告结果等几项工作。（1）制定评价计划这是教学设计结果评价的准备阶段。在该阶段主要是确定评价活动的目的、评价对象、评价的指标体系在何种情况下从事评价和实施评价后所必须做出的决策程度，以及在什么时候、什么地方实施测量，获取信息以及如何组织等工作。一份完整的评价计划主要包括：l 确定评价对象和评价目标l 设计要评价内容的评价指标体系，如评价的是教学材料，一般可以从教育性、科学性、技术性、艺术性和经济性等角度建立具体的指标体系。l 确定收集信息的类型和方法，以及处理统计数据的技术手段。形成性评价需要收集的信息主要包括教学目标的达成情况（一般采用学生的学习成绩）、学习者和教师的态度以及教学过程的实施情况，收集这些信息的方法有测验、问卷调查、访谈、观察、师生的反思报告等。l 选择被试并阐明成果的背景条件。说明选择被试的条件、人数等，并解释教学设计成果的试用是在什么背景下进行的，需要什么条件支持等。（2）实施评价计划教学设计结果评价的实施阶段，主要包括以下工作：l 收集评价信息：这是一项基础工作，也是评价中工作量最大的工作。评价者要根据评价指标体系，逐项收集信息，全面、客观、真实地掌握评价对象的情况。在一对一评价、小组评价和实地试验等评价中，还要组织教学过程。l 整理评价信息整理评价信息也就是对收集的信息进行汇总整理。通过采用观察、测验、访谈和问卷等方法，评价者收集到一系列所需的资料。为了便于分析，可以根据需要，将测量的数据资料进行统计处理，制成图表。制成图表后，评价者应对资料做进一步初次分析，拿各类数据与评价标准做比较，考察各种现象的相互关系。经过分析，可能会发现一些重要问题，随即应对它们加以解释，并通过恰当的途径证实自己的解释。例如，当几种评价工具提供的数据对设计成果的某些方面显示出共同的趋势，而这种趋势与预期的教学目标相悖时，将予以特别关注。设计者可就这些问题咨询、访问教育学家、心理学家、学科专家和有经验的教师，或与被试（师生）进行个别面谈或集体座谈。这些访谈的目的是让各方人士对初步分析结果和改进意见加以证实。为此，设计者应持有虚心、诚恳、坦率和求实的态度，而当该成果遭到激烈批评时，还应保持冷静，以使所有被访者都能毫无保留的谈出意见。最后可将访谈结果与初步分析结果综合起来，对评价资料做进一步的深入分析，并在此基础上酝酿修改设计成果的方案。l 处理评价结果进行评价成果报告由于修改设计成果的工作不一定马上就进行，也不一定由原设计者来做，因此需要把设计和评价的有关情况和结论形成书面报告。在这里，评价者需根据评价报告的性质和报告的读者对象来确定报告的内容、形式。报告可以是正式的，也可以是非正式的；可以是描述性的，也可以是数据分析的。在向有关部门通报评价结果时，评价者所要做的不仅仅只是提出报告、表明结果，还应该展示他们是如何对资料做出解释，是如何从分析中得出结论以及他们对解决问题的建议。评价报告的内容一般包括：设计成果的名称和宗旨、使用的范围和对象、试用的要求和过程、评价的项目和结果及结果的分析、修改的建议和措施、参评者的名单和职务，以及评价的时间等等。评价报告以简明扼要为宜，具体资料如：各种数据、访谈记录、分析说明等可以作为附件。上面提出的一些评价的要素和步骤，但这只是对教学过程的一种静态分析。在实际教学活动过程，各要素之间并不是独立的、互不联系的。以往人们对教学过程的研究，习惯于采取以分析思维为主导的研究方法，只重视对教学的各部分分别进行细致的研究，而忽视对各个部分相互关系的研究。因此，对各部分相互关系的研究即教学结构的研究和设计可以帮助我们从整体上去综合的认识和探讨教学设计模式中各种因素之间的关系及其多样化的表现形态，有利于我们从动态的角度去把握教学设计过程的本质和规律，无论是在指导实践还是在理论研究上都具有十分重要的意义。 3影响形成性评价的一些因素教学设计过程的形成性评价部分会因为教学理论方法和哲学观的不同而不同。但不管怎样，你都不能靠推测来说明你的教学材料具有有效性，而必须要用学习者来测试这些材料。因此，你要尽可能搜集最真