《调查研究方法》第十三章资料整理、编码、录入和清理

第十三章资料整理、编码、录入和清理第一节资料的整理第二节资料的编码第三节资料的录入第四节资料的清理思考题第一节资料整理

资料整理是对调查形成的各类资料进行检验、分类、汇总等初步加工的工作，以使资料条理化和系统化，是后续资料编码、录入和清理的基础。一、资料整理的一般原则（一）真实（二）标准（三）完整（四）简明（五）新颖二、文字资料的整理文字资料主要包括文献调查的材料、观察记录、访问记录等。文字资料的整理主要包括资料审查和资料分类两项内容。（一）资料审查

审查,是指对文字资料是否准确、是否齐备进行审阅检查。准确性审查主要可以采用计算检查或逻辑检查的方法来检验资料的真实性、可靠性。齐备性审查重点检查各项调查资料是否及时取得、调查项目的各项数据是否全面完整、是否有空缺或遗漏。对不准确或不齐备的资料必须进行必要的修订或补充。

实际上,资料的收集和审查在大多数情况下是同步进行的,称作收集审查。在收集资料后集中时间进行的审查,称作系统审查。文字资料的审查包括真实性和合格性审查。真实性审查通常包括文字资料本身的真实性审查和文字资料内容的可靠性审查。1.对一手资料的审查一手资料是指通过直接调查获得的资料。例如用观察法、访谈法、问卷法等获得的资料。（1）对于用观察法获得的资料的审查,应该注意以下几方面:一是要检查观察资料是不是严格遵循调查提纲获得的二是要善于将通过观察法获取的资料,与通过其他方法获取的资料进行比较,发现问题并及时去调查核实。三是要注意集体观察与个体观察结果上的差异,组织调查人员进行讨论和验证。四是注意观察时间长短对观察结果的影响。（2）对于用访谈法和问卷法所获得的资料的审查,应该注意以下几点:一是通过非标准式访谈获取的资料,需要调查者在谈话过程中就要慎思明辨,不能有闻必录,闻而不审。因此,要求调查员必须在访谈过程中就关注资料的真实性。二是通过标准式访谈和调查问卷获取的资料,要注意审查调查资料是否全面完整,是否少填或漏填,是否有逻辑错误,被调查者的回答是否真实可靠等。2.对二手资料的审查

二手资料是指用文献法所获取的调查资料,主要的文献有档案、报刊文章、个人日记、书信等。

审查二手资料主要应审查文献编写的时间及内容是否真实,并要从文献写作的技巧、风格等内在情况来判断文献的真伪。一般来说,内容贫乏、时间重叠、语言雷同、字迹和墨水相似的记录,就很可能是观察员或调查员伪造的记录。

文字资料的合格性审查,主要是审查文字资料是否符合原设计要求。调查资料中,如果调查指标的理解错误、计算公式不正确、计量单位不统一,或者回答不完整、不符合要求,那么这些都应列为不合格的调查资料。

对于不真实或不合格的调查资料,一般应进行补充调查,使之成为真实、合格的资料。无法进行补充调查的资料,就应该弃之不用,以免影响调查资料的真实性。（二）资料分类文字资料的分类是根据文字资料的性质、内容或特征,将相同或相近的资料合为一类,从而将纷繁复杂的资料进行区分。分类是否正确,取决于分类标准是否科学。分类标准的确定,必须以科学理论为指导,以客观事实为依据。例如,研究一个国家或一个地区农业人口的比重,不应以农业人口的户口所在地(乡村或城镇)为主要根据,而应以劳动者从事的主要行业为标准。文字资料的分类应遵循两条原则,即互斥性原则和完备性原则。互斥性原则是指同一条资料只能归于一类,而不能再归于他类。完备性原则是指每一条资料都要有所归属,分类的结果必须把全部资料包括进去。按照如上分类原则,文字资料可有两种分类法:一种是调查前分类,另一种是调查后分类。前者是指收集调查之前,即按照事物或现象的类别设计调查指标,再按分类指标收集和整理资料。后者是指收集调查资料之后,再根据一定的分类标准,将资料分别归类。三、数字资料的整理

数字检验是数字资料整理的主要目的之一。数字资料的整理一般是靠有经验的调研人员对资料进行检查判断的，因为这个阶段的资料还没有录入，所以数字检验一般是针对调查问卷、统计报告等原始资料进行的整理。

数字检验主要是检查、验证各种数字资料是否完整和准确。完整性检查的主要内容是检查数字表格的填报是否齐全、表格的答案是否完整等。准确性就检验主要是检查数字资料是否符合实际情况、数字计算是否正确等。一般可以采用三种方法来检验数字资料的准确性。

一是经验判断,即根据已经存在的事实或已有的经验,来判断数字资料是否真实和正确。例如,已知某企业近几年效益较差,而调查的数字资料却明显超过经济效益较好单位的数字资料,那么,这些数字资料一定存在问题。二是逻辑检验,即根据数字资料之间的逻辑关系,来判断其是否准确和符合实际。例如,播种面积与总产量之间、收入与支出之间都有一定的逻辑性。如果发现它们之间存在明显的不符合逻辑的情况,就显然是不准确的资料。三是计算审核,即通过运算来审核各项数字是否有差错。例如,检查各分组数字之和是否等于总数、各部分占总体的百分比相加是否等于1等。第二节资料的编码一、编码的类型编码是将问卷中的题条信息以计算机可识别的符号、数字标识出来的过程。编码的目的是方便将资料信息录入计算机，也可以减少录入误差；编码使问卷信息标准化，为利用软件进行量化分析提供了条件。（一）前编码和后编码前编码是指在问卷设计的同时、调查实施之间就进行的问卷编码。只要问卷确定下来，那么编码工作就可以同步进行。后编码是在调查结束之后对问卷进行编码。前编码主要适用于问卷设计中的封闭型题条，对于开放型题条，需要等资料收集完毕，才可能根据填答情况进行编码，因此，完全开放的题条或者带有“其他（请说明）”这样选项的封闭型题条的编码适宜采用后编码。对开放型题条的编码是一项复杂而耗时的工作，因为调研人员在事前不知道会得到什么答案，所以编码是事前不能确定的，且编码依赖于研究人员的主观判断。当然，采用前编码还是后编码并不是绝对要求，研究者可以按照时间和习惯确定编码进度。开放型题条的编码一般要经历三个阶段：一是根据开放型题条的答案，用简洁的文字提炼出每一条答案，获得一份答案清单；二是依赖于主观判断，对答案清单中的答案进行合并归类；三是对合并归类后的答案类型进行编码，并将编码再重新分配给每一条原始答案，使每一个开放型题条都有一个对应的编码。开放式问题的编码案例：某购物广场打算进行升级改造，为此开展一项市场调研活动。针对来广场消费的顾客进行的调查中有这样一个开放型问题：“您觉得该购物广场可以在哪些方面进行改善？”针对如上开放型题条的回答，可采用以下编码步骤。首先，进行原始记录答案的录入。见表13.1展示的原始记录第A、B列。其次，对录入的答案按拼音进行排序，并且根据关键词对排序后的答案进行调整，然后进行答案的合并归类。见表13.2展示的排序后的结果第C、D列。经过排序的答案为研究者提供了对归类有用的关键词信息。第Ｅ列和第Ｆ列是根据关键词对排序后的答案进行调整的结果。无论是排序还是调整，每一个原始记录答案所对应的答案号都是不变的。表13.1Q：您觉得该购物广场可以在哪些方面进行改善？AB答案号原始记录的答案1网络覆盖面不够广2增加直梯数量3网速应该提高一下4收银台设置不合理5增加停车位6停车收费高7我希望有儿童照管服务8节假日停车难9问询服务处难找10信息查询设备不够11商铺可以再多样化一些12我希望室内可以多一些绿植13停车场标识不明显14可以增加儿童活动场所表13.2排序和调整后的资料CDEF答案号按拼音字母对答案进行排序答案号根据关键词对排序后的答案进行调整8节假日停车难8节假日停车难14可以增加儿童活动场所13停车场标识不明显11商铺可以再多样化一些6停车收费高4收银台设置不合理5增加停车位13停车场标识不明显2增加直梯数量6停车收费高1网络覆盖面不够广1网络覆盖面不够广3网速应该提高一下3网速应该提高一下14可以增加儿童活动场所9问询服务处难找7我希望有儿童照管服务12我希望室内可以多一些绿植11商铺可以再多样化一些7我希望有儿童照管服务12我希望室内可以多一些绿植10信息查询设备不够4收银台设置不合理5增加停车位9问询服务处难找2增加直梯数量10信息查询设备不够表13.3中的第Ｇ列给出了两种答案合并归类的方法，其中：方法１给出的第一种答案合并归类的方法采取的分类原则主要是按照顾客认为需要对商场进行改善的具体内容进行分类；方法２给出的第二种答案合并归类的方法采取的分类原则主要是按照购物广场需要改善的设施和服务类型进行分类，也是在第一种分类方法的基础上进行再次归纳分类。可见，开放答案依据主观判断可以分成不同的类型，这表明对开放型问题的分析比较灵活。EFG答案号根据关键词对排序后的答案进行调整答案的合并归类方法1方法28节假日停车难停车场硬件改善13停车场标识不明显6停车收费高5增加停车位2增加直梯数量电梯1网络覆盖面不够广网络服务软件改善3网速应该提高一下14可以增加儿童活动场所儿童服务7我希望有儿童照管服务11商铺可以再多样化一些商品服务12我希望室内可以多一些绿植室内环境4收银台设置不合理收银服务管理改善9问询服务处难找咨询服务10信息查询设备不够表13.3最后，对答案的合并归类进行编码。表13.4方法1下答案合并类别的编码答案的合并类别类别编码将编码分配给表13.1中对应的答案上停车场15,6,8,13电梯22网络服务31,3儿童服务47,14室内环境512商品服务611收银服务74咨询服务89,10表13.5方法2下答案合并类别的编码答案的合并类别类别编码将编码分配给表13.1中对应的答案上硬件改善12,5.6.8,13软件改善21,3,7,14,12,11管理改善34,9,10根据以上对调查获得的开放回答的分类编码过程，可以将开放答案转化为标准式的答案，有利于资料的统计分析和描述。（二）题条问题编码和备选项编码从编码的对象来看，编码包括对题条问题的编码和对题条备选项的编码。编码既要给问卷中的每一个问题一个独一无二的特定名称，一般称作变量名称（代码），也要给问题备选项指定符合统计分析的代码。这两部分编码对象是分不开的。有经验的问卷设计者在设计问卷时就考虑尽量将备选项按照编码要求进行设计以节省工作量。编码的最终产物是形成编码手册（编码簿、编码本）形式的文档。编码手册实际上记载了资料中所有项目转换成的变量和所有答案转换成的数字码。通过编码手册可以找到不同变量在资料中的位置以及这些编码的意思，为进一步做分析提供基础依据。因此，编码手册中的变量信息记录要比较全面，变量名称、属性、数值等信息都要标识清楚。二、编码的技术针对一份问卷，调研人员需要对每一个题条的问题和答案逐一进行编码，不能有任何遗漏。在对所有问题的编码完成之后，一般要形成一份编码手册（或者是编码簿或编码表），其作用是对问卷题条编码内容进行完整的、准确的汇总和展现，方便使用和查阅，为后来的使用者再次开发资料提供统一的参考。编码的内容包括：问卷编号代码、问题代码（题号）、变量名、变量类型、变量标签（变量的含义）、变量值标签（备选项的设置和对应含义）。表13.6是问卷题条编码表格式的一个例子。表13.6问卷题条编码表格式表13.7填空式题条的编码表格式（一）填空式题条的编码题条举例如下：Ａ１．您家有几口人？

人。Ａ２．您家住房的面积是

平方米。（二）单选式题条的编码题条举例如下：Ｂ１．您的性别：（）１．男２．女Ｂ２．您的职业属于哪一大类？（）１．国家机关、党群组织、企业、事业单位负责人２．专业技术人员３．办事人员和有关人员４．商业、服务业人员５．农、林、牧、渔、水利业生产人员６．生产、运输设备操作人员及有关人员７．军人８．其他Ｂ３．您最近一年购买过某品牌的咖啡豆吗？（）１．是２．否Ｂ４．您对该品牌咖啡豆的包装满意吗？（）１．很不满意２．不满意３．一般４．满意５．非常满意表13.8单选式题条的编码表格式（三）多项式多选题条的编码1.多项式无序多选题条的编码。题条举例如下：Ｃ１．您购买咖啡豆时会关注下列哪些方面？（可以多选，在选项前的括号内打“√”）（）价格（）产地（）品牌（）口味（）烘焙度（）品种（）其他表13.9多项式无序多选题的编码表格式2.多项式有序多选题条的编码。题条举例如下：D１．您购买咖啡豆时会关注下列哪些方面？（可以多选，并按关注程度将选择出来的答案编号为１，２，３，…）（）价格（）产地（）品牌（）口味（）烘焙度（）品种（）其他Ｄ１题条属于有序多选题条，同时对备选项可以选择的数量没有限制。表13.10多项式有序多选题条（无限选项）的编码格式表D2．您购买咖啡豆时会关注下列哪些方面？（请选3项，并按关注程度将选择出来的答案编号为１，２，３)（）价格（）产地（）品牌（）口味（）烘焙度（）品种（）其他Ｄ２题条也属于有序多选题条，但是对备选项的选择数量有限制要求。此类题条的编码方法主要有两种。方法１：编码表见表13.11。表13.11多项式有序多选题条（有限选项）的编码格式表方法２是将被访者按要求选出的三个选项设置为３个变量。问题被转化为：Ｄ２：您购买咖啡豆时会关注下列哪些方面？第一关注的是

；第二关注的是

；第三关注的是

。方法２：编码表见表13.12。表13.12多项式有序多选题条（有限选项）的编码表格式（四）

表格式题条的编码表格式题条中的每一个空格都代表一个问题，需要一个变量编码，因此，在编码时要特别注意不要遗漏表格中的每一个空格。例如，表11.14是一个关于询问过去三年企业产品销售量变化情况的表格式题条，这个表格实际上包含了９个问题，都需要进行变量编码。另外，关于“其他”选项的原因说明也需要给予变量编码。我们把变量编码直接写在表格中，你可以非常清楚地了解每个变量编码对应的问题。表13.13E1：过去三年企业产品销售量的变化情况（当年与上一年的比较）根据表13.13的变量编码形式，可以形成表13.14所示的编码表。表13.14针对E1问题设计的表格式题项的编码表格式第三节资料的录入资料录入就是将编码之后的数据输入计算机可以识别的存储介质中的过程。一般来讲，经过核查的问卷、编码表会交给录入人员，他们使用专业数据录入软件将资料录入计算机中。一般的数据可以利用Excel、Access、EpiData、SPSS、Stata等常用数据库和分析软件的数据编辑器完成录入工作，方便调研人员进行资料分析。人工键盘输入目前仍是主要的资料录入方式。人工录入容易出现看错数据、输入错误等问题，出现非抽样误差，因此，需要特别注意控制录入质量。通过电话辅助电脑访谈系统、网络调查系统等途径收集数据时，数据的录入同步进行，不需要再进行人工录入，节省了很多人力、物力。第四节资料