调查问卷的设计与评估(完整版).ppt

调查问卷的设计与评估,根据福勒调查问卷的设计与评估整理,什么是好问题？,引出了答案，答案提供了设法描述内容的有效信息 它引出的答案是对我们想要描述东西的可靠的、有效的测量 所描述的状态一致时，答案也是一致的；答案与设法描述和测量的假想的“真值”尽可能一致。,好问题的标准,之一：受访者能够读懂问题（问卷） 之二：受访者对问题的理解是一致的 之三：受访者对回答问题的方式有一致理解 之四：受访者拥有回答问题的信息 之五：受访者愿意提供问题所需的答案 过程标准：信度OR效度 问题本身、问题形式、问题措辞、问题设计,问题的类型,客观问题：收集事实资料 答案有对错之分 主观问题：收集潜在信息 答案没有对错之分,客观问题,撰写好问题的五个挑战 界定目标 受访者与研究者理解一致 受访者理解一致 知道答案 愿意回答,界定目标,收入 你现在的工作，每月能赚多少钱？ 在过去12个月里，你一共赚了多少钱？ 在过去12个月里，你的家庭总收入是多少？ 更明确的目标：社会地位、获取资源、就业质量 造成问题质量差的一个主要原因是：研究者没有将问题目标转换成问题，仅仅以问题形式简单地表述问题目标。寄希望受访者来完成研究者的工作并提供符合问题目标的信息。,糟糕调查问题的一个特征,糟糕调查问题的一个主要来源是，研究者没有将问题目标转换成问题，仅仅以问题形式简单地表述问题目标。寄希望受访者来完成研究者的工作并提供符合问题目标的信息，这很少能行得通。,调查内容与问题目标大纲示例,调查目的：研究使用医疗保健的相关因素。 落实步骤 分析医疗保健的影响因素 每个影响因素的测量目标 可能的影响因素 支付能力 需要 医疗保健获得 价值看法,调查内容与问题目标大纲示例（2）,支付能力 去年家庭年收入（所有来源） 流动资产（存款） 健康保险,需要 慢性病 急性病 受伤 年龄/性别,医疗保健获得 有无固定保键服务者 所感觉的距离服务者远近 所感觉的获得难易程度 所感觉的支付压力,价值看法 无病时（体检、拍片） 慢性病 急性病,医疗保健的使用 看病、其他医疗服务、急诊室就诊、住院,概念和术语的界定,例：在过去一周里，你运动了几个小时？ “一周”什么含义？ “运动”是否包括散步？ 在过去7天里，包括散步在内你运动了几小时？ 在过去7天里，你运动了几个小时？你以上回答包括散步吗？如果不包括你散步几小时 ？ 在过去7天里，你散步几小时 ？在过去7天里，你跑步几小时？在过去7天里，你其他运动几小时？,确保受访者对语义有一致理解,提供完整的定义，消除语义上的含糊不清 让受访者提供全部所需信息，研究者自己进行进一步归类分析 例： 在过去12个月里，你遭受过入室盗窃吗？ 在过去12个月里，你遭受过入室抢劫吗？ 你的家人看到盗窃者了吗？盗窃者看到你的家人了吗？,知道答案与记得答案,缺乏回答问题所需信息 知道信息，但很难回忆起来 刺激受访者回忆答案：长问题、多重问题 记得事件，但不记得确切时间 设定时间节点：大事回忆、多次访谈,答案的形式,在过去30天里，你爬楼梯：A毫不费力，B有点费劲，C完全爬不动 在你饮酒的哪些日子里，你通常喝多少？ 离你家最近的医院有多少里？ 向受访者提出一个他们能够完成并符合问题真实答案的回答任务,回答准确性问题,减少社会期望对答案的影响 受访者倾向于把自己打扮得“更漂亮” 如实回答可能会受到威胁 缺陷：不是敏感的问题，而是敏感的答案,缓解社会期望影响资料收集过程,私密性 强调准确的必要性 减少访员的影响,缓解社会期望影响问题设计的选择,问题的适当性 处理答案的含义 例1 在去年十一月的总统选举中，你投票了吗？ 由于工作较忙、迫于家庭压力、不感兴趣或者许多其他原因，人们有时不去投票。请回想去年十一月总统选举中，你有没有投票？ 例2 你有借书证吗？ 许多人从图书馆借书，其他人则自己买书、订阅杂志，或用其他方式来获得阅读资料。请问你现在有没有一张借书证？,缓解社会期望影响问题设计的选择,例3 你昨天一共喝了几杯酒？ 当你喝酒时，通常喝几杯？ 你昨天喝酒：比平时多，比平时少，不相上下？ 请问昨天你一共喝了几杯？ 例4：问题顺序很重要 在过去两周里你是否看过病或与医生谈论过你的健康状况？ 在过去一个月里你是否看过病或与医生谈论过你的健康状况？,缓解社会期望影响问题设计的选择,例5 与你的朋友相比你的酒量：更大、更小、不相上下 你最能喝酒的朋友，通常喝几杯？ 当你喝酒是，通常能喝几杯？ 例6：选项的暗示性 喝酒时，你通常喝几杯？ 选项：A一杯B两杯C三杯以上 选项：A一二杯 B三四杯 C五六杯 D七杯以上,缓解社会期望影响减少详细的答案,例 请问您的年薪为几万元？ 请问您的年薪为：A3万以下 B3-6万 C6万以上 例 请将你上周吸大麻的天数与你家现有可用电视机台数相加，总数是多少？ 你家现有可用电视机台数是多少？ 例 你上个月吸过大麻吗？ 你母亲的生日是在6月吗？,主观问题,医生对你友好程度如何？ 与其他小区相比，你觉得本小区的治安状况如何？ 你觉得奥巴马开明，保守，还是介于两者之间 你时常快乐吗？ 你对政治事件的兴趣有多大？ 你参与投票的可能性有多大？,界定所要评价的东西,你们学校的老师对学生友善吗？非常友善、比较友善、一般友善、不友善、非常不友善 你认为犯罪是严重问题吗？严重，一般严重，不严重,设计答案的形式,你如何评价自己总体的健康状况？ 很好，好，一般，不好，很不好 0-10打分 好，不好 比较以下两个问题 在一个从0分到10分的量表中，10分代表最正面，0分代表最负面，你如何评价你昨晚看到的电影？ 在一个从-5分到+5分的量表中， +5分代表最正面，-5分代表最负面，你如何评价你昨晚看到的电影？ 量值估计：如果农民工的社会地位是100分，你如何评价小学教师的社会地位,以下问题设计得怎么样?,你对宿舍条件满意吗？ 很满意 有些满意 满意 不满意 下述形容哪个能更好地描述你的医生？ 很能干且有条理，很能干且友善，较能干且友善，较能干但不友善 同意不同意形式 例：我有时抑郁 有些人有顺从倾向,测量对观点的看法,你是否赞成自主招生？ 自主招生制度包含很多内容 学校类型 学校范围 具体政策 招生范围 你是否赞成提高自主招生比例？ 你是否赞成加大自主招生学校范围？,不能简单询问对复杂问题的看法,测量对观点的看法,你是否赞成枪支管制法？ “枪支管制法”对不同的人可能具有不同含义 什么人才能购买枪支 购买枪支的程序 可以买什么样的枪支 你是赞成还是反对关于禁止有暴力犯罪前科的人购买手枪的法律？,思考下面的问题,它们的含义相同吗？ 是否赞成 是否反对 是赞成还是反对 在一个问题中用不同的形式是否能达到相似的结果？ 强烈同意、同意、不同意、强烈不同意,多项目测量,哥特曼量表体能的维度 你能从小房间的一边走到另一边吗？ 你能爬楼梯吗？ 你能走过城市的一个街区吗？ 你能走半里路吗？ 你能连续不停的跑半里路吗？ 理想的情况是：每个问题都界定了连续量表上的某个点。通过询问一组“是或否”的问题，然后再查看一组答案，人们就可以推断这个人落在连续量表的哪个位置上。,多项目测量,李克特量表 测量共同的潜在变量,有关主观状态答案的相对性,主观状态问题的答案总是相对的，从来不是绝对的。 恰当的表述 甲组所报告的感受比乙组更积极 学生报告的感受比一年前更积极 不恰当的表述 人们给总统一个肯定的评价 学生对自己的学校感到满意 学生大体上认为自己的健康状况良好,有关主观状态答案的相对性,问题的措辞：堕胎VS以外科手术的方式终止妊娠 答案选项的措辞：禁止VS不许 答案的次序：12345 VS 54321 信息收集的模式：访员 VS 自填 语境效应：你喝酒 VS 你的朋友喝酒 你喝酒 大多数受访者选择了某个选项，而不是“多数人赞成枪支管制”“多数人支持总统”“多数人反对堕胎”,选项的设置,你的健康状况如何? A非常好 B比较好 C一般 D比较差 E非常差 A非常好 B很好 C好 D尚好 E差 你的家庭藏书情况 010本 1025本 2550本 50100本 100200本 200500本 500本以上 010本 1125本 2650本 51100本 101200本 201500本 500本以上,选项间距的设置,2013年您的工资收入为 1万以下 12万 23万 3 4万 45万 56万 6万以上 1万以下 15万 510万 10 15万 1520万 2030万 30万以上,选项的顺序,我乐于助人为乐 A.非常符合 B.比较符合 C.一般符合 D.比较不符合 E.完全不符合 我不原意帮助别人 A.非常符合 B.比较符合 C.一般符合 D.比较不符合 E.完全不符合 社会期许度低的选项放前面,处理不知道的回答者,询问对非亲身经历的意见或看法 询问亲身经历或感受 筛选被访者,多项选择题的设置,你家里是否有以下物品?(多项选择) 1.用于学习的书桌 2.属于自己的一个房间 3.安静的学习环境 4.冰箱 5.DVD播放机 6.你学习使用的计算机 7.计算机网络 8.辅助学习的软件 9.古典名著(如西游记、红楼梦) 10.学习辅导材料 11.诗词文集（如唐诗、宋词、元曲集） 12.书画作品 13.客厅,排序问题,以下是当前人们比较关心的问题，请你为其重要性排序 A治理空气污染 B减少失业 C加强社会保障 D降低个人所得税 设想一个0分到10分的量表 ，8，9，10代表最重要，0，1，2，代表最不重要，而37分介于两者中间，就每一项的重要性，你会给出哪个数字？,以下列举的品质中，哪三项是你最希望孩子具有的？（在A列中只能画3个圈） 这三项中哪一项是你最希望有的？ （在B列中只能画1个圈） 这三项中哪一项是你第二希望有的？ （在C列中只能画1个圈）,问题的顺序,过去7天里，老师给你布置的作业多不多？ 通常情况下 ，老师给你布置的作业多不多？ 通常情况下 ，你每周为饮食支出多少元？ 过去7天里，你为饮食支出多少元 ？ 你赞成美国的士兵加入德国的军队吗？ 你赞成美国的士兵加入英国的军队吗？,问题安排顺序的一般原则,重要问题放在前面 非敏感问题放在前面 社会期许度低的问题放在前面 客观问题放在前面,反向问题的设置,为什么要设置反向问题 缓解不认真的惯性回答 反向问题的位置 靠前一点就应该出现,借鉴问卷可能存在的问题,背景差异 问题顺序 翻译困难，如节点在不同语言之间的差异,问卷的评估,小组访谈 小组规模 人员组成 认知实验：深入的个人访谈 田野预调研,认知实验,让受访者自己解释对问题的理解 让受访者来界定术语 询问受访者是否有任何困惑 询问受访者有多大意愿提供真实的答案 询问受访者答案是如何做出的,练习：选择一个问题进行认知实验,参考问题 过去7天里，你为饮食支出多少元 ？ 过去7天里，你的饮食支出是比平时多，还是比平时少 ？,田野预调研（1）,观察者为访谈过程进行行为编码,田野预调研（2）,访员问题评估表 A没有明显缺陷 B可能有缺陷 C肯定有缺陷,好的问题设计原则摘要（1）,原则1：向人们询问他们的第一手经验：做过什么、现状、感受和看法 原则1a：询问二手获得的信息要谨慎 原则1b：对假设性问题要谨慎 原则1c：询问因果关系要谨慎 原则1d：询问有关复杂问题的解决办法要谨慎,好的问题设计原则摘要（2）,原则2：一次只问一个问题 原则2a：避免一次问多个问题 原则2b：避免强加不合理假设的问题 原则2c：对含有隐含情景条件的问题要谨慎,好的问题设计原则摘要（3）,原则3：推敲措辞，让每一个受访者都回答同样的问题 原则3a：所有受访者理解含义，且有相同的理解 原则3b：必须使用某些不易理解的术语时，提供概念定义 原则3c：时间期限明确，有关情感或者行为的问题，必须有时间期限 原则3d：不能概括为一个问题的复杂问题，就询问几个问题,好的问题设计原则摘要（4-6）,原则4：对答案的类型进行清楚的说明 原则4a：对于可能有多个答案的问题，清楚说明答案的数量 原则5：让访员和受访者尽可能轻松地完成阅读问题、遵循指示、记录答案等任务 原则6：如果人们在回答问题时，用一致的方式来熟悉问题任务，就会有更好地测量,好的问题设计原则摘要（7）,原则7：选项是完备的，是互斥的，答案是有区分度的,以下问题好不好？（1）,你们社区的犯罪率是多少？ 你们社区里学校的平均质量怎么样？ 医生是如何治疗你的疾病的？ 不同的种族是否在就业中受到了公平对待？ 你预测孕妇生产时麻醉剂会被普遍使用吗？ 如果有一种新型的空间交通工具，你乐于使用吗？ 你的日常活动是否因背疼而受限制？ 你如果不去投票的主要原因是什么？ 你是因为房价高而无家可归吗？ 你认为中国教育的根本问题在哪里？ 你想致富和出名吗？,以下问题好不好？（2）,体能上你能毫不费力的跑步和游泳吗？ 就目前的经济状况而言，你认为买股票是好投资方式吗？ 你是否同意就目前的犯罪率而言，晚上不单独出行有