问卷卷面质量的量化评估

1、问卷卷面质量的量化评估摘要：本文尝试从问卷(调查产品)本身追索到更多的信息，对问卷卷面质量(数据质量的评价因素之一)进行量化评估 探索，最终实现对代理公司/访问员/审卷员问卷卷面质量的量化评估。1、本文对问卷错误类型进行了分类，在编写清洗程序时予以定义，是后期卷面质量评估的基础；2、根据数据清洗的结果，结合问卷页数，采用指标：出错点数页，采用加权的方法，从访员/审卷员/代理角度分别 进行评估，建立了单个项目卷面评估的新方法；3、引用统计学标准化思想，实现年度代理公司/访问员/审卷员卷面质量评估，实现奖优罚劣；评价结果也是评价/ 选择代理公司的指标之一。4、本文方法是在实际工作中总结出来，并已经

2、应用的一种有效的管理办法；关键词：卷面质量量化评估数据质量Quantitative Assessment of Quality of the Questionnaire RespondentAbstractThis paper attempts to retrieve more information from questionnaire (survey product) in order to explore the quantitative assessment of quality of questionnaire Respondents (one of the factors of d

3、ata quality assessment), then apply the method to make assessment on the agencies / Interviewers / paper checkers;The types of error on the questionnaire were classified. The definitions must be defined in programming of data cleaning to facilitate quantitative assessment of the quality of the quest

4、ionnaire Respondents;According to the results of data cleansing, all pages of the Questionnaire are checked out using indicator, Error Points per page, then weighted from the interviewers / paper checkers / agents perspective to create individual survey quantitative assessment of the quality of the

5、questionnaire Respondents;Based on standardization in statistics, quantitative assessment of the quality of the questionnaire Respondents would be done to agency / Interviewers / paper checker annually. The evaluation result will be one of the indicators to decide agencies to be bonus or forfeit;The

6、 method of the paper comes from the actual work, and becomes an effective management.Key words Questionnaire respondents quality, Quantitative assessment, Data quality引言问卷调查是多年来市场调查行业已经广泛运用的方法，主要通过各个部门分工协作来完成，包括研究部进行问卷设 计、访问部进行实地访问、数据部进行后期数据处理，最终可以将被访者的情况和回答以数据库和统计表格的形式再反 馈到研究部。在项目完成过程中不可避免会产生误差，从理论

7、上分为抽样误差、非抽样误差（系统性误差）；抽样误差 是可以计算和估计的，本文不做讨论；系统性误差通常与方案设计（调查方法和问卷等），资料搜集过程（访问员、被 访者）等因素有关。目前，多数市场研究公司都有自己的多种方法来控制系统性误差，常用的有：1、电话复核：对访问质量的监控，电话复核是最常见的方式，随着公众个人隐私保护意识的增强，各个大中城市 大约3080%的定点街访/街访的问卷被访者留置电话是虚假的，对这类访问项目的检查，后期电话复核已经很难完全 奏效；入户调查电话的真实性还比较高，有地址可查，便于复核，然而，由于入户难，目前入户项目越来越少；2、现场监控:各个公司目前都把重点放在现场监控上

8、，加强甄别检查、现场审卷检查、有条件访问全程录音，发现问题，当场解决；这样街访/定点街访后期不再做或少作电话复核。调查误差最终体现在实体问卷上，会产生漏答、回答偏设矛盾、和事实不符等情况。优秀的问卷卷面质量是完美数据质量的必备条件之一，本文试图从问卷卷面（调查产品）本身追索到更多的信息，进行问卷卷面质量的量化评估探索。一、单个项目卷面质量评估1、数据清洗流程：数据清洗已经成为调研公司定量项目的一个必备环节，其流程如下图所示。首先需要研究员根据问卷做出审卷要求 /数据清洗单，发至访问部/数据部，数据处理员据此进行清洗程序编写，对初次录入完成的数据库进行清洗，清洗结果 与问卷比对，区分录入/访问问

9、题，如果是录入问题，校正后再录入；如果是访问问题则返回访问部进行回访，然后将反 馈结果再返回至数据部进行数据回填；产生新数据库进行再次数据清洗，如此反复，直至得到最终的干净数据库为止。数据清洗流程图*巨访问跪反馈巨访区分录人，访一习.-日跄修正r2、问卷出错情况分类:问卷出错情况一般分为以下7种，见下面注释:字母错误类型问题描述A漏答：按逻辑关系需要回答的，但是没有回答.E多答己按谡辑关系不需要回答的，但是回答了。G题内互斥：务选题选了其他选项，但是又选了 “不清楚/不知道/以上皆无/说不清， 没有”之类的选项。D题间互斥：平前后不一致：封面信息与问卷内容不符，实际年龄与年龄段不符等.*不符合

10、实碌情况:个人收入 家庭收入；15-13岁选“家庭主妇15-18 岁选“本科以上学历等。E没五回国7品 牌提及互斥根据问卷要求醐或颇没有回圈，例如，关于品牌的认知，尢提亦第 一提及无目圈到无提示其他提及，无提示其他提及无回圈到有提示所有提及一一 一 ，. F眼选N项：如：请至少选出三项你认为最主要的原因G值和矛盾：，如：各个毒售店内香烟销售量百分大约参少？（合计为项院如果没. 有可填# ?不口J漏答3、数据清洗（1）编写数据清洗程序对错误预先分类目前常用的数据清洗软件为QUANTUM/SPSS等，它们只是编程语言不同，其目的和结果是一样的，考虑到本文的 重点，本文不对清洗程序语言做进一步阐述。

11、为便于对清洗结果进行分类整理，我们在编写清洗程序（QUANTUM，SPSS均可）时，即用在程序中采用【字母：错 误描述】进行定义，并输出：问卷编号，城市，录入员ID，访问员ID，审卷员ID，导成EXCEL格式，将错误问题描 述中分类字母分列整理后，成为如下表格式。（2）初始清洗结果一览表初始清洗结果一览表城市同卷编号录久员ID访问员ID希卷员 ID错误U 1 -问题描述A20011004：114=51322Apll_B漏答A.2002顽41H51322ia32b_3应包含在A32_3中A20031009114=51322bS5具体年数与年数段不符A200411491H5132ZA82五眷道场不

12、知道与具体选项 互A200511561H5132Z4A乾白象漏笞A2006137S1H61322&3.2漏答A2007 13781H51332-A:S11漏答A200S137S1H513220A6B=2与A69互斥A200913791H51322AS6漏答A201013791H71322d&能=2与A69互斥A2011 .13791H71322&队 答到白象与a81a_6不能笞4A：,2O1213791H71352EA4答到-伯象爹aSlb_6不能答4注：本文数据均为模拟数据，下同（3）根据清洗结果与问卷的比对，可以将形成原因主要分为三类：录入错误：因目前市调公司录入常为100%双录，录入错误

13、率达到万分之一（录入点）以下，故此类型错误占比极少；清洗程序编写错误：和清洗程序编写人员水平相关，内部可控，出现比例很低；问卷本身的问题（排除录入错误和清洗程序编写错误后）；（4）项目清洗结果一览表的再整理在项目清洗结果一览表基础上，排除录入清洗程序错误后，按照问卷编号和问卷问题，使用数据透视表进行整理如下:城市间卷 编号总题墩.询可 员n审卷 员IDA 漏答多答C题内互斥D题间E投直回国/亮 牌提卷互斥F 暧选 N吸G顺 矛度含.计A1睥1801025削5*50151A：i2g i:1801025即5手4545A1218ISO102520532323:A1238180102520512424

14、A.100518610252053顶25.A.1047 18Cr1025205324125A11监L801025053328A114618010252053蹲124B3D4318Q102520531329E3137L8010602.148252229B3.1401801060214824125B322-51801060214827128B3081ISO1060214023225B309318010602.14823B3.143ISOLOGO21482424B310618Q1060214825429E330918010602.14825r26从上表中，发现问题严重的问卷，定位于代理公司，访问员、

15、审卷员，及时反馈给访问部，发现问题，弥补错误，对于在执行期比较长的项目作用更明显，在某种程度上替代复核的一部分作用；当然如果访问员作弊手段极高的情况，在这里不易发现，但是如果这样作弊付出的劳动比真实的访问还要高，而且担风险，那么作弊也就不值得了。4、问卷卷面量化评估（1）为平衡问卷不同出错情况轻重，我们根据错误危害情况和经验值对错误类型进行加权，权重如下错误类型错误类型描述衩重A漏答1B多答:0.2C.题内互斥0. 5D题间旦斥1E没有回圈/品牌提及互斥0.2.F限选N项0. 5G值和矛盾1（2）相关指标计算公式如下加权调整总出错条数(Weighted total error points )

16、 =A*1+B*0.2+C*0.5+D*1+E*0.2+F*0.5+G*1加权出错条数/份（Weighted error points/ questionnaire）=加权问卷出错条数/（样本量*问卷页数）加权出错条数/页（Weighted error points / pages ）=加权问卷出错条数/（样本量*问卷页数）（3）代理问卷卷面质量量化评估表市场研究公司的业务范围越来越广泛，体现在行业类别上，越来越细化；体现在地域上，则是迅速向三、四线城市 延伸，研究公司往往会遴选代理公司作为自己的合作伙伴，代理公司在项目成败中起着重要的作用。对代理公司/访问员/审卷员的卷面质量进行量化评估，一

17、是作为劳务费用发放的依据之一，奖优罚劣；另方面可以 促进今后问卷卷面质量提高。博城市：调整为进问员，即为访问T卷面质量量化评估表凫 当城市，诩整为审卷员，叩为女甫卷豆卷面质最#此评估表*代瑾1司卷卷百质堂剧匕评怙成=E2* I+F2 *0.2-Ki2*0.5-H2J 1-12 *02+J2AD.5 -K2 * 1.1 #_dl A JU -4 -， i* 亍志w 打舒业刁何如.,国/-1暨 U等，垣 i械is华.孚图*/_西 =E2+14F2*0.辫白河.SfH2*lM2+-0. 2-+J2+D.小叫厂 BeeHIL旷_KK i H0r城而问卷忌由 婚筌独！ Jk*匙何互岸D斥汪有问品牌提曩F

18、 Wlffiffi.S度和矛庖尊It盛 致出粉那权出慎推3LF.34427731481ee6 STJ.用厘濒F13B3B427S1G15BE70T2.a2*5TCg57啊斗31&53事Hs*SD30327TSflSST3BE.134i6G72 Sa.4底4Q227姒7714昵箱瞬14腮aW/5F2BZZTBT24S0246012TiGCBM 3JLQ83G3?G313277TT131074697JK7：1273史十IM325187-E13EG4CG. 431/3D1151翁4275r7SE日M并AT17Btt；.；J.打配S臼J3012T沮53-2卧141G而童Jtf厘淑IflE2EB2714

19、Bi明7i*a典财JLIL3130招!340ST13?小队心J.如a 1 j4DE皿wSBE-a131304271IMT2Alie0彳郭.-a jj-#146：OoeC可卷卷27再质民昴117 云许怙表:报告113睡苴的柄即【题：fi3agIS-同一琐日之间可以比校代理公习访问员悻卷员的访何情总不同珈目的问卷卷面评估表固为项目瞻昙程度不同，不能遂行直快匕版知（4）使用EXCEL控制图，表达卷面质量控制图是画有控制界限，对产品质量进行控制的一种图，控制图有助于区分随机变异和具有特定原因的变异（系统 因素），进而判断生产过程是否处于稳定状态。作为质量控制的常用工具，它可以

20、对个体或指标的变动情况进行监测，我们引入作为问卷卷面质量的图形直观表达。EXCEL是计算机的基础软件，与SPSS软件相比，制作控制图操作简单，普通人员容易掌握；在EXCEL中，先进行公式定义后，下次使用时，只需替换相应部分表格，可自动计算并绘制质控图，大大缩短了制作控制图的时间，提高 了工作效率。v首先在EXCEL中，进行公式定义：标准差 S = STDEV(B$1:B$16)均数 X=AVERAGEA (B$1:B$16)X+S=E2+D2X+2S=E2+2*D2X+3S=E2+3*D2结果判断=IF(F2B2),受控,IF(G2B2,可能失控,失控)顼,4 0 3卫二令JiL6 -j- w

21、5 1 1 10TB Z ys匐福囤巧% T啪咨，. 一温田亍汗义12&二受控。IF g昭 何能失控二关控6ABcDEfGHI1城市拍板出惴 点数颅排名sXHFsx4-2a2A&睫51Q. 0T0 L?0, H.对o.sq受栓3_4E07420, 0T .fl.L?CH9Q, 2t.3fl受障1C0旅30. OT0.120.用0. 2Sa. 34受枪S6D务如40. DT0.52Q 190,a*受控E口 OSI5a. a?tl.120. 190. 2a. 3d受控8.3_1011L2_ L3L4Fa OB2G0. OT上！？IL 19Q. 2Gd妙74 074. L|d0. 24 34受控H己

22、QS7E0. 07V. LZE 1?Q.MKMIA O&3勺O.QT5?0 ,药0.74受控JL心1。0. 07IL M0. 19Q. 29.34Kd 099 110. OT以Q 3lie5.34-LIE0. 07fl. L20. 19a. 2Sa. 34登校Ma 21213Q. ?C.L2Q捋0. Mtt.34受控LB匹Na ii414D. 074. L2“ 19Q. 2fia. 34受瘦0Q 132L5fl. 07fl. L20, 1。a. 2a. 34垂检PA 14216.W12e牺M34嵬控Q12170.QTV. L22 19Q.巽0. 34R& HSia0. 0TCU?0. 190.

23、祯MXS& 1STis0. 070.12IL 9t3. 2Sa. 3a受摩土TA 2S520Q. OTfl. 32mga. 2e0. 3Q_U ,& 41321J, 075IL 19t). 2C9.3a23-GI= STDEV(BS1BS16)二AVERA泌诳点16)制定折线图:在EXCEL中，以上表为数据源制作普通折线图如下，本文不再详述。部项目问卷卷面原里评估 K十客x !2sz+3s失控二、年度代理公司/访问员/审卷员卷面质量的总评估不同项目之间问卷复杂程度差异极大，每个项目加权出错点数/页很难直接比较，采取先分项目进行标准化，后再进行总评估，具体如下：1、单个项目数据的标准化：数据标准

24、化定义：对数据进行标准化(normalization)，即通过将指标按照比例缩放，使之落入一个小的特定区间，如-1，+1、0，1等，以对不可比数据和不同量纲数据进行比较，我们采用Z-score标准化(z-score normalization)o这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化，将属性A的原始值v使用 z-score标准化到v的计算方法是:r A.其中一 1是属性A原始值得均值，是属性在原始值的标准差，标准差即为方差的 平方根方差的计算公式如下：=W 52m -或)=4(8，冲 1=13 10=EXCEL数据标准化实现：使用

25、EXCEL函数计算出均数和标准差，然后再计算指标比准化值，步骤如下：v第一步：用相应函数求出出指标的算术平均值xi和标准差si ；v第二步：用函数计算标准化值：这样原始数据均转换为标准化指标测评值，即各指标值都处于同一个数量级别上，用以进行综合评估分析。标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。 见下图：v标准化值的理论说明如下xij C=(xijxi)/ si其中：xijC为标准化后的变量值；xij为实际变量值。=STANDAPBIZErC2.F2.G2)n 疽 H 湿卫争 兴 格心厂/R 崟w f 斜|幽而1|廊 二也法律酝 ，B皿iE j田洛，城教f

26、 m田。I_2 F 成 三gTHWAKDI距C2.F2G2) I4B 1C0FGH Ii项目加权 出错点畿/页访何畛恤出错点数.，页械标擂差090050. 0027 1-1.140.QQL5&G 0118309005G0. 0072-C.7S630. 015SC. 01184。城F0. Q073T.龄0. QL5&6. 61135Q9QQ5A&妙4-C, 6L720.015&L011SS09005EQg5-C削6加 01560-0118709005CA也6-0.10330. 01560一0118V05005I0. 0157知 033T0. 015&C. 011809005B0 021S0,45

27、310. 015&0.01181009005D0.。茶Q1.67710. 015&C.011SLL0900EM0. 03G1QL 72420. 01 S&C. 0L181209010N& 0261-1.02400.0958代0就L3090LQ09.颂3七 94130.03&S&。浏1409010G& 0393-0.82500. 09S30* D6961505010HA 0454-C. 74犯0. 0碗0. 066L51709010r巾。或5TLI40L0. 09&8C. 069609010J0.呷&土 64310. 09&B0.069$1309QL0K& QS37-0.6的50. Q9&?2。

28、顷1909010A&翅84 60&50. 09680.0696也2109010B2脆Q9知53篇0. 0958Q 069609010C而盘-0,52060. 0958(L 0696n09010DU-CL 450. 09阅上 0聆62309010E&盛1245310. 0968C_0696242509010F& 0741332920. 095S0.069S注：此方法适合项目参与代理公司较多在此仅对参与代理在.3方以上的项目进行评估。年度代理访问员/审卷员卷面质量的总评估通过一段时间项目累计后，使用数据透视表，计算出各个代理的标准化出错点数页的平均值，因结果有正有负，为 更清楚说明和表示，采用百分

29、制变换。具体计算公式如下：zi=(xi-xmin)/(xmax-xmin) *100其中：zi为指标的变换后值xi为指标值xmax为全部指标的最大值xmin为全部指标的最小值经过上述方法，原始数据转换为百分制评分，见下图。J J JiE3100!1停寻划巧% ，需镯谆津1D2A巳C1D1_代理公司（标准化出错点数/页）平均值参与代理次数n度照百分调整结果t2A0.9428囤1100. 00 13B0.7262258S, 914510.374012m 88。 3670427U 526I0.228131散317F0.21201562. 58_8_(i0.12654258. 209I1-0.00*1

30、22851.5110T项 0137355L0211J-0.0656424& 371213K42042. 28L-0.27474237.66U7. 438B1529. 26151-0.52134225. 04160-0.59081121. 4817P-0.6516181S+ 361巳19Q-0.67972416. 93R瑚 70224215.7720s-1.0103300. 00三、影响问卷卷面质量的因素分析、解决措施：1、影响问卷卷面质量的因素分析问卷卷面问题从其产生的人员来划分主要包括内部人员、外部人员；从心理出发点可以划分为无意偶然和故意；内部人员（研究部、访问部）经常是无意或偶然、信息传

31、递不畅造成的；外部主要是由访问员，被访者和代理公司造成，无意/偶然和故意动机均存在。内部人员原因内部人员工作环节厦因惶因衅程项目经理 裕咒员顼日设计项目的问项目时间过于紧张，造成折问员压力，出现在工刊题质目难度符合条件的被访者谁以找到费用市同员若务不合理，造成访m员负面唁结,导致市问质堂降此问卷设计问卷排版排腋过于紧密，造成访何员视觉间题，谖漏掉一些题目间卷国辑嘛转出现标注错溟对一些品牌互岳或包舍的题目，卷面摄不亦清向卷开放问题所需答室既长项复杂，-方1旬号完全但录答室相当 困难。i可卷响应度：问卷设计复杂或者大重使用生醉词汇，又没有通谷易懂的解释问卷涉及到被访者的隐私问题，又没有一些询问技巧

32、加以规 睡，造成被访君拒答或给予虚假答案回卷长度间卷太长，可能会使被调查者失左兴也，致使调查不能圆两完 成内部试访项目经理麻究员在设计完成问卷后，自己木先行做试访顼目组瓦 信息共享 与交蒲正式试访项目经理没有要求没有泡腰进行正式试访，虽然调查表和调 查步骤看上去甜比较可行，但可能达不到完好款果.咂目培训旬 卷培训项目经理没有或浚有系统也对项目组成员诳行顼目培训/T可卷 培训，使他们产生错误理解，最终早政问卷问题顼目信息疫 动的共享项目组成员之间没能及时共孚项目变动中的重要信息，如问卷 修改，导致出现问题用卷要求给到觎慧/救据部的甫卷要求不全面，有错或遥漏在控督导.顼目执行访间员/1划， 星.启

33、卷员培 训管导谖有对间卷坦训理解到位，主于对访间员培训出现偏差， 出现传遂性错i吴对访问员的项目操作培训不锻不足，可能会导致他们漏棹一些 项目执行步骤执行手册执行手册不全面，不系统，没有给代理公司起到很好地指导作 用:入员选择不 .当.盟源/,间员麻港员不遣台或有选择不当现场监控人员安排不合理，或人.员不足，访问昌失控；外部人员原因外部人员原因原因解释有 故意W机利益驱使，作弊如虚假合格被访者回答间卷更容易出现题题矛 盾等卷面问题访间员工作粗糙/马虎不J解1可卷，应付访间工作经验不足提问方式京当，遭到被访者拒绝回答被访者某些间题用伺诱导受访者，被访者浸能 夏止回答自己的观点作弊为了自己省事麻峪所说 根本没有按照调查方 案的规定进行调查；随意编造甚至豪成醵资 料，.:.造成雷实和结果严重不符被访者；被访者理解有误/ 随意回答；被调查者可能没有真正理解某m题有的被调查者*寸些i可携没有止确的判断和见 解，：随意回答被调查者可能宁愿迫使自己回答可虱也