外语教学调查问卷的评价.ppt

1、外语教学调查问卷的评价,本章结构,问卷的项目分析 问卷的信度分析 问卷的效度分析,极端分组法,内部一致性分析法,外在信度检验,内在信度检验,再测信度,复本信度,折半信度,Cronbach alpha 系数,内容效度,结构效度：因子分析方法,项目分析,1. 定义 广义的项目分析是指对问卷项目进行定性和定量分析。定性分析涉及项目是否具有代表性，测量是否客观、准确等。定量分析则是通过一定的统计程序检验项目的区分度。 狭义的项目分析仅限于定量分析。 2. 作用 了解每个项目是否有效的区分了所测量的不同特性的受访者，从而有效地改进问卷的信度和效度；了解每个项目的答案分布情况，以确保问卷项目具有良好的区分

2、度。 3. 区分度 区分度是指问卷项目对所要测量内容的区分灵敏度或鉴别能力。区分度的高低反映了问卷项目能否有效地区分受访者，也称为项目本身的效度。,极端分组法,1. 定义 极端分组法就是根据受访者在各项目上的测评结果，先计算出全部问卷项目的总分，将问卷项目的总分从高到低排列，以27%的标准分别抽取出高分组和低分组，最后进行独立样本T检验。 查看统计结果，看高分组和低分组在每个项目上的差异是否达到显著性水平（p0.05），如果达到显著性水平就说明该项目具有较好的鉴别度。 2. 独立样本T检验 独立样本T检验是检验两个样本是否来自两个平均数相同的总体，即比较两组的平均值。它必须具备两个假设条件：1

3、）两个总体都呈正态分布；2）两个总体具有相同的方差。 独立样本的t值等于两组平均值差除以两组平均值差的标准差。t值越大，表明两组间的平均值的差异越大，就越有可能达到显著性水平。,3. 步骤 1）对问卷所有项目（即变量）的得分（即变量值）求和； 2）根据总分的高低对受访者进行排序分组，取总分最高的27%的受访者作为高分组，取总分最低的27%的受访者作为低分组。若样本较小，也可将前50%和后50%的受访者分别作为高分组和低分组。 3）比较高分组和低分组在每个项目上的差异，如果差异小而达不到显著水平，就意味着这个项目不能很好的区分不同的受访者，因此，在随后的数据分析中可以考虑将其排除。,内部一致性分

4、析法,1. 概念 内部一致性分析法也称相关分析方法，是指根据受访者在各项目上的测评结果，计算全部项目的总分，对每个项目与量表总分进行相关分析。 2. 步骤 1）对问卷所有项目（即变量）的得分（即变量值）求和； 2）对每个项目与总分进行相关分析。如果相关系数等于或大于0.30，且达到了显著性水平（p0.05）,则表明项目内部的一致性程度高，达不到该要求的项目需要删除。 注： 问卷项目区分度的大小受到受访者群体异质程度的影响，受访者群体越同质，问卷项目的区分度越小。 项目区分度还受到样本量大小的影响，样本越大，项目的区分度也就越大。,信度分析,1. 定义 信度也称可靠性，是指测量结果的稳定程度或一

5、致性程度。它是关于使用问卷在不同时间不同地点调查相同的受访者结果是否相同，或使用另外一份性质相同的问卷调查结果是否一致的问题。（信度就是可信度或者可靠性，信度越高越可信，判断一个人可信不可信，言行是否一致，说的话前后是否一致，要是一天一个样说明不可信，关键在于一致性） 2. 分类（外在就是整个问卷是否可信，内在就是问卷中的各个项是否可信） 1）外在信度检验：通过对累计检验结果进行比较来验证问卷的信度。若结果差异较大，说明问卷的信度不高；若无明显差异，即测量结果具有一致性，说明问卷的信度高。(一套难易水平相同的卷子，测验两次，第一次20分，第二次100分说明试卷信度低) 2）内在信度检验：是指测

6、量同一概念的不同项目之间的一致性，即检验量表的内在一致性，目的是要测量相同现象的不同项目是否产生类似的结果。（还是这套卷子，第一题和第六题都是定语从句的，就换了换词，但是第一题对了，第六题没对，说明试卷对定语从句这个项目考查的内在信度低）,外在信度检验,常用的是再测信度和复本信度。 1. 再测信度（再测就是再测一次） 1）概念：是指用相同的问卷在不同的时间、相同或类似的条件下，对相同受访者进行先后两次测量，根据两次测量的结果进行相关分析，得出相关系数，即为再测信度系数。相关系数高就说明该测量工具稳定性好、信度高。（设计一个问卷今天给你答了，一个月以后再给你做，结果一致，再测信度系数就高，信度就

7、高） 2）优点：可以为预测受访者的未来行为提供依据；能进行自身比较，从而避免了使用其他工具作为效标可能带来的问题。 3）缺点：与间隔时间的关系非常密切，初试测量可能影响被测特征。例如受访者可能凭着对第一次测量的回忆来回答问题，导致无法客观地反映测量工具的信度。（如果今天测了隔天就再测，会想起昨天我答得A，今天还答A，凭借回忆来作答，不用思考甚至都不用看题，那和没有再测是一样的）,2. 复本信度 1）概念：是指设计两套形式不同但内容相同的问卷项目，同时或连续对受访者进行调查，然后检验不同问卷项目测量结果之间的一致性。两个测量结果之间的相关系数越高，测量工具的信度越好。 2）使用条件：确保两个测量

8、工具是平行或等值的，即无论是内容还是数量都必须相同或类似。（孩子你喜欢爸爸还是妈妈，说爸爸，过会问孩子，爸爸好还是妈妈好，他说爸爸好，就比较可信。但是你不能问，孩子，吃了吗，没意义，不论回答吃没吃都不能推测出到底是不是真的喜欢爸爸） 3）优点：可以很好地避免再测信度中受访者可能凭记忆回答的问题，而且也不要求两次测量必须有时间间隔。（既然再测信度要求有比较长的时间间隔，那么怎么避免呢。） 4）缺点：需要耗费大量的时间，设计难度大。（那有一个问题，就是怎么设计出两份内容相同而只是形式不同的问卷，而受访者又不会发现问的其实是同样的问题？刚才那是小孩，一般承认一听就知道问的一样，所以这是很难的，这也是

9、复本信度的缺点。）,内在信度检验,常用的有折半信度和Cronbach alpha系数计算法。 1. 折半信度（与复本信度类似） 1）概念：是指在问卷量表中增加一倍的测量项目，重复前半部分项目的测量内容，但在措辞上不同，分析时将测量结果根据问卷项目编号的单双号分为两组，计算两组之间的相关系数即为信度指标。 2）优点：可对两部分项目同时施测，间隔时间为0，省时、简便。 3）缺点：如问卷项目的排列没有规律或者问卷项目的数量太少，均不宜使用折半信度方法，该方法只能对问卷内在一致性做出粗略估计。 （本来20题我们增加到40题，要是这两部分项目排列没规律，则可能：第20题和第21题是内容相同的但被放在一起

10、；数量太少比如本来就俩题你增加到四个就算怎么排列都是挨着的）,2. Cronbach alpha系数计算法 1）概念：克隆巴赫系数（Cronbach alpha）是检视信度的一种方法，由李克隆巴赫在1951年提出。它克服了折半法的缺点，是目前社会科学研究最常使用的信度分析方法。 2）原理：基于项目间的平均相关，如果测出的内在一致性很差，其系数最低时会为0；如果内在一致性很好没有误差时，系数会为1。系数越高，说明量表的内在一致性越强，测量结果越可靠。 3）评价标准：在基础研究中，（自然科学等基础领域，要求过程严谨，结果准确）信度至少应达到 0.80 才可接受，在探索性研究中，（可能给不出比较严谨

11、准确的结果，只是先探索探索）信度只要达到 0.70 就可接受，介于 0.700.98 均属高信度,而低于 0.35 则为低信度，必须予以拒绝。 影响因素： 量表项目数：某个量表的项目数越多， 系数越高。（一俩题说明不了问题） 测量内容：不同的测量内容，信度系数有高有低。例如，智力的测量，系数在0.8左右；能力的测量，系数不应低于0.7；情感因素（今天心情好，明天心情不好，变量和影响因素太多）的测量，系数往往更低。,效度分析,1. 定义 效度是指测量工具对所要测量的东西的测量能力，也就是说，测量工具可以在多大程度上准确的测量所要测量的东西。信度是基础，效度是关键。 2. 分类 1）内在效度：是指

12、存在于测量工具本身的效度。包括内容效度和结构效度。 2）外在效度：是指利用测量工具以外的标准，即通过外在标准验证而得以证实的效度。包括预示效度和共时效度。 注：一般情况下，外语教学问卷调查研究只需要做内容效度和结构效度检验。,内容效度,1. 概念 内容效度涉及问卷项目或问题的关联性以及问卷的覆盖范围，问卷是否包括了应该包括的测量指标，是否遗漏了重要的测量指标，是否准确完整的测量了这些结构等。 2. 评价步骤 1）研究者自评。研究者根据自己对所测结构的定义和理解，检查自己设计的测量指标与现有文献的测量指标是否一致。 2）专家评价。邀请本领域专家对问卷项目与应测结构的内容范围进行对比。 3）受访者评价。通过试测和访谈了解问卷项目与应测量内容之间的关系。,结构效度,1. 定义 结构效度中的结构不是指测量工具的结构，而是指它以之为基础的理论结构（如学习成绩、学习策略、兴趣等）。结构效度是指问卷项目对所要测量结构的实际测量程度，或者说问卷能够在多大程度上被理解为对某些特征进行了有意义的测量。 2. 检验方法 建立结构效度的方法包括相关分析、因子分析、多维量表等。最常用的为因子分析。,3. 因子分析简介 1）概念：因子分析的基本目的就是用少数几个因子去描述许多指标或因素之间的联系，即将相关比较密切的几个变量归在同一类中，每一类变量就成为一个因子，以较少的几个因子反映原资料的大部分信息