《语言测试作业》PPT课件.ppt

8.1.2 完形填空试题的效度,8.1.2.1完形填空试题的理论效度 回顾2.2语言测试的实质。 语言测试的基本定义： 通过测量目标能力的表征行为，去推论目标能力。 语言测试的七个命题。,B,A,F,信度,效度,完形填空试题的效度的确立，完全依赖于三条假说的确立： 第一，A是单一性的，它的任何抽样都同样可以代表它的整体(命题2）。 第二、B也是单一性的，只要是客观随机抽样，它的任何抽样也都同样可以代表它的整体（命题4） 第三、B是A的表征，而且，因为A是单一的，B也是单一的，这意味着B是A这个单一能力的单一表征行为（命题1）。,Baker (1989) 从理论上指出了UCH的缺陷： 语用期望语法概念把词汇、句法、语义和语用知识以及在实际语言活动中使用这些知识的能力全部归结为一个单一的本能。除了这个纯粹的语言能力之外，语用期望语法必定也包括使用者关于现实世界的知识和把这些知识用于完成语言作业的能力。无论我们是决定分析或是描写它们，任何有意义的语言作业都会涉及这些技能。现在我们可以选择不去分析这个大的能力，但这并不意味着它不能分析，也不意味着它不会在不同人身上有不同程度的发展，从而导致测验表现的不同。 如果我们把人的整个认知语言装置看成是一个单一的、不可分析的整体，我们当然可以宣称语言应用的根本原因在于单一的语言本能的存在。但这样做的代价是我们不能解释它的结构和发展。总而言之，UCH并不能完全让人信服，那些松松垮垮的观点和术语也并不能掩饰其结论的不可信。,可是正是那三条假说，却还不能确立。 A不是单一性的，B也不是单一性的。A可以抽样出多种多样的a, B也可以抽样出多种多样的b. b是否能推论A，并不是必然的。 取样有一个量一个质的问题，一个深度一个广度的问题。问题能不能代表全体，没有什么可以想当然的，而是需要不断探索，不断检验证明的。 完形填空所测试的能力并不是单一的。人运用语言的能力，根本就不是什么单一的能力。,正是基于这样的发现，这样的理论，我们可以认为，合理删词优于标准删词（即随机定距删词）。 在进行完形填空试题命题时，有必要考虑每个删除项目的考点，对这些考点有所选择，有所决定。 完形填空具体删除的项目，在很大的程度上决定了完形填空试题的质量。 因此，我们提出完形填空考点效度的概念。,8.1.2.2 完形填空试题的考点效度 对空缺上的词的决定起到制约作用的语境的四个由小到大的不同的层次： W：单词层次。这是最低的层次。 P: 词组层次。 S：句子层次。 D：语篇层次。,D,S,P,W,考点层次,C,C,M,closed,open,焦点因素,考点层次的高低，对题目的效度很有关系。D层次考点的题目，显然比W层次考点的题目更能测试出受试者运用语言的真正能力。层次越高，意味着考点的效度越高。 高层次能包含低层次，低层次却不能反过来包含高层次。这种对低层次的包容能力，更进一步显示了高层次考点的效度。,考点层次和考点因素的侧重有关系。 考点因素：语法因素、惯用搭配因素和意义因素。 层次不同，对因素的侧重有很大的不同。 每个考点，都有刻意考的因素，也就是焦点因素，还可能另有附带考到的因素。,低层次的题目，往往侧重考语法。 高层次的题目，则往往侧重考意义。 焦点为考意义的题目，同时能考语法。 焦点为考语法的题目，则不能同时考意义。 这是完形填空题目高低层次之间一点很重要的区别。,上面所说的上层包下层、意义包语法的这些道理，就开放式完形填空而言是完全对的，对于选择式完形填空试题，就不一定了。 选择式完形填空失去或者减弱了这种包容性，这和完形填空的开放程度直接关系。 越是高层次的完形填空题目，它的受制约范围越广，开放程度也就越高。 反过来说，越是开放的题目，它的受制约的范围就越宽，层次也就越高。,一般来说，完形填空试题中词汇的题目开放程度比较高，考语法的题目开放程度比较低。 词汇题目填什么词，受制于聚合关系。而语法题目填什么词，却受牵制于组合关系。 所以，语法题目的开放程度低于词汇题目，选择式完形填空的开放程度也低于开放式完形填空。换言之，选择式完形填空减弱了完形填空试题的综合性，也减弱了它的开放性。一句话：减弱了试题效度。,在完形填空试题命题的时候，即使是选择式完形填空试题（尤其是选择式完形填空试题），我们应该着力使题目考点的制约范围尽可能地宽，层次尽可能地高，也就是努力提高试题的效度。 每类试题有每类试题的效度要求。或者说，不同的题型，能够具体达到的最高效度是不同的。取得这最高效度的方法也是不同的。,完形填空题型的优点正是在于它有语篇语境，可以考语篇制约范围语篇层次的考点。 选择式完形填空试题和开放性完形填空试题比较，其考点的层次明显地下降了。也就是说效度减低了。但由于考试的信度要求我们尽可能地采用客观题型，这对于我国大面积考试尤其必要，选择式完形填空题型还将是我们要大量使用的题型。正因为如此，