第二章 统计数据的收集

1、统计学统计学STATISTICS第 2 章 统计数据的收集统计学统计学统计学STATISTICS第 2 章 统计数据的收集2.1 统计数据的来源统计数据的来源2.2 统计调查设计统计调查设计2.3 统计调查方式统计调查方式2.4 调查数据的审核与调查数据的审核与插补插补统计学统计学STATISTICS学习目标1.了解数据来源的方式2.掌握数据的调查方法3.掌握调查方案的结构和设计4.掌握调查问卷设计5.了解数据的审核与插补统计学统计学STATISTICS有组织、有组织、有计划地有计划地搜集资料。搜集资料。要求：准确、要求：准确、完整、及时完整、及时对调查资料对调查资料去伪存真、去伪存真、去粗取

2、精、去粗取精、科学分类、科学分类、浓缩简化浓缩简化描述性分析描述性分析推断分析、推断分析、决策分析。决策分析。要求：定性要求：定性定量结合定量结合统计学统计学STATISTICS2.1 统计数据的来源统计数据的间接来源统计数据的直接来源统计调查的组织方式数据搜集方法统计学统计学STATISTICS数据的间接来源统计学统计学STATISTICS统计数据的来源统计数据的来源直接的调查和科学的实验（原始直接的调查和科学的实验（原始数据）数据），别人的调查和实验的数据（二手数据）。别人的调查和实验的数据（二手数据）。 统计调查所搜集的数字资料主要是统计调查所搜集的数字资料主要是原始资料原始资料，同时也

3、包括对同时也包括对次级资料次级资料的搜集的搜集 原始资料原始资料是指说明总体单位特征的资料；是指说明总体单位特征的资料；次次级资料级资料是指已是指已经经过加工整理，由个体过渡到经经过加工整理，由个体过渡到总体，能够在一定程度上说明所研究总体的统总体，能够在一定程度上说明所研究总体的统计资料。计资料。 一、统计数据间接来源一、统计数据间接来源2.1 统计数据的来源统计学统计学STATISTICS（初级资料）（初级资料）原始数据源原始数据源加工数据源加工数据源（次级资料）（次级资料）政府统计、企政府统计、企业统计、民间业统计、民间统计等机构，统计等机构，数据库、出版数据库、出版物、账册等形式物、账

4、册等形式普普通通的的数数据据使使用用者者数数据据查查询询实验数据源实验数据源对过程加对过程加以控制以控制已存在数据源已存在数据源统计学统计学STATISTICS二手数据的来源中国统计出版社1.统计部门和政府部门公布的有关资料，如各类统计年鉴2.各类经济信息中心、信息咨询机构、专业调查机构等提供的数据3.各类专业期刊、报纸、书籍所提供的资料4.各种会议，如博览会、展销会、交易会及专业性、学术性研讨会上交流的有关资料5.从互联网或图书馆查阅到的相关资料 统计学统计学STATISTICS二手数据的特点1.收集容易，采集成本低2.作用广泛n分析所要研究的问题n提供研究问题的背景n帮助研究者更好地定义问

5、题n检验和回答某些疑问和假设n寻找研究问题的思路和途径3.收集二手资料在研究中应优先考虑统计学统计学STATISTICS二手数据的评估1.数据是谁收集的？n可信度评估2.为什么目的而收集的？3.数据是怎样收集的？ 4.什么时候收集的？ 统计学统计学STATISTICS数据的直接来源统计学统计学STATISTICS数据的直接来源(原始数据)1.调查数据n通过调查方法获得的数据n通常是对社会现象而言n通常取自有限总体 2.实验数据n通过实验方法得到的数据n通常是对自然现象而言 n也被广泛运用到社会科学中n如心理学、教育学、社会学、经济学、管理学等 统计学统计学STATISTICS数据的收集方法统计

6、学统计学STATISTICS数据的收集方法n数据的收集方数据的收集方法法n询问调询问调查查n观察实观察实验验统计学统计学STATISTICS访问调查 (personal interview)n1.调查者与被调查者通过面对面地交谈而获得资料n2.有标准式访问和非标准式访问n标准式访问通常按事先设计好的问卷进行n非标准式访问事先一般不制作问卷统计学统计学STATISTICS邮寄调查 (mail survey)1.也称邮寄问卷调查2.是一种标准化调查3.调查者与被调查者没有直接的语言交流，信息的传递依赖于问卷4.通过某种方式将调查表或问卷送至某调查者手中，由被调查者填写，然后将问卷寄回指定收集点5.

7、问卷或表格的发放方式有邮寄、宣传媒介传送、专门场所分发三种统计学统计学STATISTICS电话调查 (telephone survey)1.调查者利用电话与被调查者进行语言交流以获得信息2.时效快、成本低3.问题的数量不宜过多 统计学统计学STATISTICS电脑辅助调查 (computerassisted telephone interviewing)1.又称电脑辅助电话调查2.电脑与电话相结合完成调查的全过程3.一般需借助专门的软件进行4.硬件设备要求较高统计学统计学STATISTICS座谈会 (colloquia)n1. 也称集体访谈n2. 将一组被调查者集中在调查现场，让他们对调查的主

8、题发表意见以获得资料n3. 参加座谈会的人数不宜过多，一般为610人n4. 侧重于定性研究统计学统计学STATISTICS个别深度访问 (personal Interviewing)1.一次只有一名受访者参加、针对特殊问题的调查2.适合于较隐秘的问题，如个人隐私问题；或较敏感的问题，如政治方面的问题3.侧重于定性研究统计学统计学STATISTICS观察法 (observational method)n1. 就调查对象的行动和意识，调查人员边观察边记录以收集所需信息n2. 调查人员不是强行介入n3. 能够在被调查者不察觉的情况下获得资料统计学统计学STATISTICS实验法 (experimen

9、tal method)n1. 在设定的特殊实验场所、特殊状态下，对调查对象进行实验以获得所需资料n2. 有室内实验法和市场实验法统计学统计学STATISTICS2.2 调查方案设计调查目的是什么向谁调查调查什么什么时间调查调查的组织实施办法统计学统计学STATISTICS调查方案的结构 (survey plan)n调查方案的内调查方案的内容容统计学统计学STATISTICS调查目的 (objective of survey)n1.调查要达到的具体目标2.回答“为什么调查？”3.调查之前必须明确统计学统计学STATISTICS调查对象和调查单位 (Respondent and Survey un

10、it)1.调查对象：调查研究的总体或调查范围2.调查单位：需要对之进行调查的单位。可以是调查对象的全部单位(全面调查)，也可以是调查对象中的一部分单位(非全面调查)3.回答“向谁调查？”统计学统计学STATISTICS调查项目 (Survey items)1.调查的具体内容2.通常表现为表格或问卷3.回答“调查什么？”统计学统计学STATISTICS确定调查项目的一般原则n（1）兼顾需要与可能n（2）统一性n（3）调查项目之间要保持衔接n（4）发展和稳定相结合 统计学统计学STATISTICS调查时间1.调查资料所属时间。如果所调查的是时期现象，就要明确规定调查资料起止时间；如果是时点现象，就

11、要明确调查资料的标准时点2.调查资料的登记时间。登记时间是指对调查单位进行调查并取得调查资料时间3.调查工作期限 统计学统计学STATISTICS调查的组织实施计划n 为了保证整个统计调查工作顺利进行，在调查方案中还应该有一个周密的组织实施方案。主要内容包括调查机构成立、调查人员配备和培训、调查资料报送办法、调查前的宣传发动、调查文件的准备、调查经费预算安排以及试点工作等 统计学统计学STATISTICS2.3 调查问卷设计问卷及问卷设计标准问卷的开发程序问题措辞应注意的问题回答项目的设计问卷格式统计学统计学STATISTICS问卷及问卷设计标准统计学统计学STATISTICS什么是问卷？ (

12、questionnaires)1.用来搜集调查数据的一种工具2.问卷（或调查表、统计表）是专门为从被调查者那里获得有关某个主题的信息而设计的一组或一系列问题 3.一份优良的问卷应是：能有效地用来收集数据，尽可能减少误差和矛盾对被调查者有友好的界面应尽量减少由无回答所引起的追踪回访的数量，且便于数据编码和录入 统计学统计学STATISTICS问卷的开发程序统计学统计学STATISTICS 问卷的开发程序1.向数据用户和对象进行咨询2.参考以前相同主题的问卷3.起草问题4.对问卷进行审议与修改5.对问卷进行测试与修改6.定稿 统计学统计学STATISTICS 问卷测试的方法n认知法n焦点座谈n非正

13、式测试n向访员了解情况n分裂样本测试n试点调查统计学统计学STATISTICS问题措辞应注意的问题统计学统计学STATISTICS 措词的一般原则1.措辞要简单2.定义缩略图或专业术语3.确保问题使用4.措辞要具体5.避免意义双关的问题6.避免诱导性问题7.避免使用双重否定8.减少敏感问题或因私问题的影响9.确保问题读来顺口 统计学统计学STATISTICS 措词要简单1.与被调查者清楚地进行沟通的最佳途径是使用简单的日常用词，要确保所使用的术语适合于被调查的总体2.在设计问题时要始终考虑被调查者的语言能力3.调查者应该昼量避免使用回答调查问题的人所不熟悉的技术性很强的专业术语或仅在本专业内使

14、用的“行话”。如果需要使用这样的术语，应该向被调查者澄清或解释这些术语的定义。必须对新的或复杂的概念进行定义统计学统计学STATISTICS措辞要具体统计学统计学STATISTICS用词要确切、通俗统计学统计学STATISTICS避免诱导性提问统计学统计学STATISTICS避免否定形式的提问统计学统计学STATISTICS减少敏感问题或因私问题的影响提问敏感问题的技巧：“每个人”法为回答辩护技巧“即使一次”技术系列问题或热身法设立档次 统计学统计学STATISTICS一项提问只包含一项内容统计学统计学STATISTICS回答项目(答案)的设计统计学统计学STATISTICS回答的类型与方法开

15、放性问题开放性问题( (自由回答型自由回答型) )封闭性问题封闭性问题( (选择回答型选择回答型) )两项选择法两项选择法多项选择法多项选择法顺序选择法顺序选择法等级评定法等级评定法双向列联法双向列联法限制选择型限制选择型多项选择型多项选择型单项选择型单项选择型统计学统计学STATISTICS开放性问题1.对问题的回答未提供任何具体的答案，由被调查者根据自己的想法自由作出回答2.属于自由回答型3.优点：比较灵活，适合于搜集更深层次的信息，特别适合于那些尚未弄清各种可能答案或潜在答案类型较多的问题。而且可以使被调查者充分表达自己的意见和想法，有利于被调查者发挥自己的创造4.缺点：由于会出现各种各

16、样的答案，给调查后的资料整理带来一定困难 统计学统计学STATISTICS开放性问题 统计学统计学STATISTICS封闭性问题1.对问题事先设计出了各种可能的答案，由被调查者从中选择2.问题的答案是标准化的，有利于被调查者对问题的理解和回答，也有利于调查后的资料整理3.对答案的要求较高，对一些比较复杂的问题，有时很难把答案设计周全4.问题的答案是选择回答型，所以设计出的答案一定要穷尽和互斥5.回答方法有：两项选择法、多项选择法、顺序选择法、等级评定法、双向列联法五种 统计学统计学STATISTICS封闭性问题(两项选择法)1.答案只有两项，要求被调查者选择其中之一来回答2.优点：被调查者只需

17、在二者之中选择一项，回答比较容易；调查后的数据处理也很方便3.缺点：得到的信息量较少；当被调查者对两项答案均不满意时，很难作出回答 统计学统计学STATISTICS封闭性问题(多项选择法)1.在设计问卷时，对一个问题给出三个或三个以上的答案，让被调查者从中选择进行回答2.根据要求选择的答案多少不同，有以下类型n单项选择型：单项选择型：要求被调查者对所给出的问题答案选择其中的一项 n多项选择型：多项选择型：要求被调查者对所给出的问题答案中，选出自己认为合适的答案，数量不受限制n限制选择型：限制选择型：要求被调查者在所给出的问题答案中，选出自己认为合适的答案，但数量要受一定限制 统计学统计学STA

18、TISTICS封闭性问题(单项选择法实例)n单项选择型单项选择型统计学统计学STATISTICS封闭性问题(多项选择法实例)n多项选择型多项选择型统计学统计学STATISTICS封闭性问题(顺序选择法)1.问题答案有多个，要求被调查者在回答时，对所选的答案按要求的顺序或重要程度加以排列。其中，对所选的的答案数量可以进行一定的限制，也可以不进行限制2.问题答案不仅可以反映所要调查的内容，而且可以反映出被调查者对问题的看法，从而增加了信息量 统计学统计学STATISTICS封闭性问题(等级评定法)n问题答案，由表示不同等级的形容词组成，n 并按照一定的程度排序，由被调查者依次n 选择 统计学统计学

19、STATISTICS封闭性问题(双向列联法)1.将两类不同问题综合到一起，通常用表格来表现2.表的横向是一类问题，纵向是另一类问题3.这种问题结构可以反映两方面因素的综合作用，提供单一类型问题无法提供的信息4.可以节省问卷的篇幅 统计学统计学STATISTICS封闭性问题(双向列联法实例)神龙富康神龙富康捷捷 达达桑塔纳桑塔纳1. 耗油量低2. 外观大方3. 乘坐舒适4. 整车价格合理5. 驾驶容易6. 制动性好7. 维修方便8. 零配件齐全9. 故障率低10. 售后服务周到请在您赞同项目的空格内划“” 统计学统计学STATISTICS问卷格式统计学统计学STATISTICS问卷的基本结构n问

20、卷的基本结问卷的基本结构构n开开头头n部部分分n甄甄别别n部部分分n主主体体n部部分分n背背景景n部部分分统计学统计学STATISTICS开头部分(问候语)统计学统计学STATISTICS开头部分(填写说明)填写要求：填写要求：1. 请您在所选择答案的题号上画圈请您在所选择答案的题号上画圈2. 对只许选择一个答案的问题只能画一个圈；对对只许选择一个答案的问题只能画一个圈；对可选多个答案的问题，请在你认为合适的答案可选多个答案的问题，请在你认为合适的答案上画圈上画圈3. 需填写数字的题目在留出的横线上填写需填写数字的题目在留出的横线上填写4. 对于表格中选择答案的题目，在所选的栏目内对于表格中选

21、择答案的题目，在所选的栏目内画勾画勾5. 对注明要求您自己填写的内容，请在规定的地对注明要求您自己填写的内容，请在规定的地方填上您的意见方填上您的意见 统计学统计学STATISTICS开头部分(问卷的编号)1.用于识别问卷、调查者、被调查者姓名和地址等2.便于校对检查、更正错误 问卷编号001统计学统计学STATISTICS甄别部分1.甄别也称为过滤，它是先对被调查者进行过滤，筛选掉不需要的部分，然后针对特定的被调查者进行调查2.通过甄别，可以筛选掉与调查事项有直接关系的人，以达到避嫌的目的3.可以确定哪些人是合格的被调查者，哪些人不是4.甄别的目的是确保被调查者合格，能够作为该市场调查项目的

22、代表，从而符合调查研究的需要 统计学统计学STATISTICS甄别部分nS1请问您或您的家庭有没有在下列行业工作的呢？请问您或您的家庭有没有在下列行业工作的呢？n 1广告、公关机构n 2市场研究、咨询、调查机构n 3电视，广播，报纸等媒介机构 终止访问n 4轿车制造n 5轿车批发、零售n 6以上皆无继续访问nS2请问您的年龄是：请问您的年龄是：n 120岁以下终止访问 n 220岁30岁n 330岁40岁n 440岁50岁n 550岁以上终止访问 统计学统计学STATISTICS主体部分1.是调查问卷的核心内容2.包括所要调查的全部问题，主要由问题和答案所组成 Q1.您在购买汽车时主要考虑哪些

23、因素？Q2.您认为这款汽车的加速性能怎么样？统计学统计学STATISTICS背景部分1.通常放在问卷的最后，主要是有关被调查者的一些背景资料2.该部分所包含的各项问题，可使研究者根据背景资料对被调查者进行分类比较分析 1.您具体做什么工作？2.您的受教育程度？统计学统计学STATISTICS背景部分n A出出 示示 卡卡 片片请请 问问 您您 的的 教教 育育 程程 度？度？ (901)n 没 受 过 正 式 教 育 1n 小 学， 初 中 2n 高 中， 职 高， 中 专， 技 校 3n 大 专， 大 学 或 以 上 4n n B出出 示示 卡卡 片片请请 问问 您您 的的 职职 业业 和和

24、 职职 位位 是是 什什 么？么？(902)n 普 通 职 员， 工 人1n 部 门 经 理 负 责 人/ 高 级 管 理 人 员 2 n 公 司 老 板， 厂 长，总 经 理 3n 专 业 人 员 4n 个 体 户，自 营 职 业 5n 失 业， 待 业 6n 学 生7n 离 退 休 人 员 8n 其 他(请注明） 9 统计学统计学STATISTICS2.3 统计调查的组织方式统计学统计学STATISTICS统计调查方式n统计调查方式统计调查方式统计学统计学STATISTICS普查(census) 1.为特定目的专门组织的非经常性全面调查n2.通常是一次性或周期性的n3.一般需要规定统一的标

25、准调查时间n4.数据的规范化程度较高n5.应用范围比较狭窄统计学统计学STATISTICS抽样调查(sampling survey) n1. 从总体中随机抽取一部分单位作为样本进行调查，并根据样本调查结果来推断总体特征的数据收集方法 统计学统计学STATISTICS统计报表(statistical report forms) n1. 统计调查方式之一n2. 过去曾经是我国主要的数据收集方式n3. 按照国家有关法规的规定、自上而下地统一布置、自下而上地逐级提供基本统计数据n4. 有各种各样的类型统计学统计学STATISTICS重点调查(key-point investigation) n1. 从

26、全部总体中选择少数重点单位进行调查n2. 这些重点单位尽管在全部总体单位中出现的频数极少，但其某一数量标志却在所要研究的数量标志值总量中占有很大的比重 n3. 如鞍钢、宝钢、首钢等进行调查，就可对全国的钢铁生产总量有个大致的认识统计学统计学STATISTICS典型调查(model survey) 1.从全部总体单位中选择一个或几个有代表性的单位进行深入细致的调查2.所选择的典型单位应能反映所研究问题的本质属性或特征n3.典型调查主要用于定性研究，调查结果一般不能推断总体统计学统计学STATISTICS2.4 调查数据的审核与插补调查数据的审核调查数据的插补离群值的检测离群值的处理统计学统计学S

27、TATISTICS调查数据的审核1.审核是应用各种检查规则来辨别缺失、无效或不一致的录入2.审核的目的是更好地了解调查的过程及调查数据，以确保调查数据的完整、准确与一致3.审核工作贯穿于整个调查过程，从访员在调查现场的简单初步的检查到数据处理阶段数据录入之后由计算机程序进行的复杂校验 统计学统计学STATISTICS审核分类1.有效性审核主要是检查被调查者回答语句的语法是否正确，检查包括是否在规定填数字的地方填上了非数字的字符以及问卷中的回答是否有缺失等各种错误2.一致性审核主要是检查不同问题之间的关系是否正确。一致性审核可以基于不同问题或同一问题的不同部分之间的结构关系、逻辑性和合法性来进行

28、3.分布审核主要是试图通过数据的分布，来辨识记录是否远远脱离分布的正常范围。又称为离群值的检测统计学统计学STATISTICS调查数据的插补1.插补就是解决在审核过程中辨别出来的数据缺失、无效与不一致等问题的过程2.插补方法分为两类即随机插补和确定性插补3.确定性插补对于特定的被调查者的数据，可能插补值只有一个4.随机插补含有随机因素统计学统计学STATISTICS插补的类型与方法随机性插补随机性插补确定性插补确定性插补推理插补推理插补均值插补均值插补比率或回归插补比率或回归插补 热平台插补热平台插补 冷平台插补冷平台插补 最近邻插补最近邻插补确定性插补法残差确定性插补法残差统计学统计学STA

29、TISTICS确定性插补法推理插补将缺失或不一致的数据通过推断来确定。如，三项之和为100，空着一项均值插补用插补类的均值代替缺失或不一致的值。如，假定在一份住房调查的问卷中，公寓月租金的值缺失，则利用同插补类中正确填报租金的问卷计算其平均值比率或回归插补是使用辅助信息及其它记录中的有效回答建立一个比率或回归模型统计学统计学STATISTICS确定性插补法(热平台插补)热平台插补是使用同一插补类中的供者记录的信息来代替一个相似的受者记录中缺失的或不一致数据的插补方法，热平台插补分为序贯热平台插补和随机热平台插补。序贯热平台插补就是用这个序列需要插补数据前面某一个有效的回答单元的数据来代替缺失的

30、数值，如果每次都使用相同的排序及选取方法，就是确定性的序贯热平台法；而随机热平台插补，供者是在插补类中随机选出的优点：因为供者与受者具有相似的特征，因此插补出的数值应相当准确 缺点：序贯热平台插补经常导致同一个供者的多次使用，从而降低抽样误差；有时很难找到一个合适的供者统计学统计学STATISTICS热平台插补(例子) 我们希望插补被调查者的吸烟状况。有三种可能的回答：吸烟、不吸烟及以前吸过但现在已戒烟。要找到一个相似的供者记录，我们基于年龄段和性别产生插补类（因为我们认为吸烟状况和一个人的年龄和性别有关）。假设要作插补处理的记录是女性，在1524这个年龄组中。要找到一组供者，我们看所有在同一

31、年龄组的女性被调查者（她们回答了各自的吸烟状况）。要从这一组中选择一供者，可以随机地选择一个（随机热平台法）或者按某种顺序的供者清单，从中选一个（序贯热平台法） 统计学统计学STATISTICS确定性插补法冷平台插补与热平台插补不同之处在于热平台插补使用当前调查的供者，而冷平台插补则使用前期的或普查中的供者资料。最近邻插补象热平台插补一样，也是基于匹配变量选择一个供者记录。但是，用这种方法，目的不是非要找出一个和受者记录在匹配变量上完全相同的供者记录，而是插补类中按匹配变量找到和受者记录最接近的供者记录即找到距离最近的值统计学统计学STATISTICS插补中的技术问题确定哪些值需要插补:我们并不主张对所有审核失效的数据都进行插补，应该通过变更尽可能少的数据项，以使每条记录都满足审核规则的要求。例如，假设某份问卷中关于一位被调查者的背景资料是：受教育程度（大学），婚姻状况（已婚），性别（女），年龄10岁。显然这条记录中，年龄与婚姻状况、年龄与受教育程度是不符合审核规则的。为了纠正审核失效，可以同时调整婚姻状况和受教育程度，也可以只对年龄作调整。我们倾向后者 统计学统计学STATISTICS插补中的技术问题怎样为受者找到供者记录:选择匹配变量时必须注意要使匹配变量与插补类中需要插补的变量密切相关。然后再用这些匹配变量去查找供者记录 一个供者记录能用来插补一个以上的受者记录吗？如果几个