信度效度评价

信度效度评价,信度评价,问卷的信度是指问卷的稳定性和可靠性，主要有三种信度：1、重复信度(testretestreliability)，2、内部信度(internalreliability)3、观察者之间的信度(inter-raterreliability)。国外用问卷进行的研究，通常对问卷的重复信度和内部信度分析较多。我们着重说明前两者。,一、重复信度,1、理论知识：用同一问卷对相同对象进行两次测量，如果两次测量结果的一致性很好。则问卷的重复信度好。两次测量的时间间隔视具体情况而定，一般为24周，样本量通常为2030人。当评估的变量是分类变量用Kappa系数来评估重复信度一般来说，Kappa系数大于075表示重复信度很好，在04075表示较好，而低于04表示较差。如果是连续变量或等级变量，则用内部相关系数(icc)来评价，一般来说，ICC大于075表示极好，ICC在06到075表示较好。,分析：（1）本问卷数据为等级数据，故选用ICC内部相关系数来评价，在SAS中调用proccorr过程。（2）因为在进行相关分析前，需检验数据的正态性，如果数据满足正态性，用Pearson积距相关系数；否则用Spearman等级相关系数。本问卷数据为等级资料，故选用Spearman等级相关系数。,2、SAS实现（1）先对数据进行处理，保存为csv格式（2）dataa;infilee:aa.csvdsdfirstobs=2;/*从第二行开始导入数据*/inputx1-x50rx1-rx50;/*第一次测量变量与第二次测量变量*/procprint;run;%macrocorr1;/*定义一个叫corr1的宏，进行相关分析*/%doi=1%to50;/*开始循环语句*/odsoutputspearmancorr=r_spr,3、结果解释,P0.0001，我们有理由认为x1与rx1相关，相关系数0.451340.8表示内部一致性极好，在0.6到0.8表示较好,而低于0.6表示内部一致性较差。,分析：在SAS软件中，系数调用PROCCORR过程计算，只要在选择项加上参数alpha即可。步骤如下：首先计算反映某一分量表所有条目的系数，然后逐一去掉某一条目后再计算系数，如果系数值因去掉该条目而增大则考虑把该条目从分量表删除。,2、SAS实现（1）先对数据进行处理，保存为csv格式（2）datab;infilee:TCM.csvdsdfirstobs=2;inputA1-A10B1-B4C1-C2D1-D5E1-E4F1-F2G1-G3H1-H5I1J1-J32K1-K7L1-L6M1-M5N1-N3O1-O3P1-P3Q1-Q3R1-R3S1-S5T1-T5U1-U5V1-V4W1-W5X1-X4Y1-Y4;procprint;run;proccorrdata=balpha;/*对第一个分量表进行分析*/varA1-A10;run;,proccorrdata=balpha;varB1-B4;/*同上一个分量表的操作*/run;proccorrdata=balpha;varC1-C2;run;（下面的分量表同理）,生理机能条目中A1，A9，A10应该删除，即是问卷中A301，A309，A310应该删除。,生理职能的所有条目都应该保留，即问卷中A401，A402，A403，A404都保留。,躯体疼痛的所有条目都应该保留，即A701，A801应该保留。,一般健康状况的条目中D1应该删除，即问卷中A101应该删除，其余保留。,精力的条目中E1应该删除，即A901应该删除，其余保留。,社会功能的所有条目都应该保留,情感职能的所有条目应该保留,精神健康的条目中，H5应该删除，即A908应该删除。,躯体维度的条目中，J4，J5和J6应该删除，即B104，B105和B106应该删除，其余保留。,心理维度的条目中，K1应该删除，即B301应该删除，其余保留。,自然维度的条目中，L1应该删除，即B401应该删除，其余保留。,社会维度的所有条目都应该保留。,精气神的条目中，N3应该删除，即B301应该删除，其余保留。,睡眠的条目中，O3应该删除，即B105应该删除，其余保留。,饮食的条目中，P1应该删除，即B106应该删除，其余保留。,大便的条目中，Q1应该删除，即B109应该删除，其余保留。,小便的条目中，R3应该删除，即B1014应该删除，其余保留。,气虚的条目中，S1应该删除，即B102应该删除，其余保留。,阳虚的条目中，T1应该删除，即B1010应该删除，其余保留。,阴虚的条目中，U4应该删除，即B403应该删除，其余保留。,湿热的所有条目都保留,痰湿的条目中，W1和W2应该删除，即B104和B105应该删除，其余保留。,血瘀的条目中，X4应该删除，即B201应该删除，其余保留。,气郁的条目中，Y3应该删除，即B305应该删除，其余保留。,效度评价,问卷的效度是指问卷测量的正确性和有效性，主要有表面效度、内容效度、准则效度和结构效度等（1）表面效度表面效度是指条目书面表达的意思是否为真正要测定的内容，这是一个主观指标，常由专家评阅确定。有时为了避免应答者回答的“社会期望偏倚”，获得真正的信息，常需要掩饰条目的真正目的，这时就要牺牲表面效度而提高其他效度。,（2）内容效度内容效度是指组成量表的条目是否包括了想要测量的内容的各个方面，如果包括了各个方面，则内容效度较好。与表面效度一样，内容效度也是一个主观指标。（3）准则效度准则效度是指问卷测量结果与“金标准”测量结果的一致性程度。分析准则效度的通常做法是对问卷测量结果与“金标准”测量结果进行相关分析,，相关系数越大证明准则效度越好，一般认为相关系数在0.40.8比较理想。（4）结构效度是指问卷是否含有理论上期望的特征，包括以下几个方面：问卷测量结果与理论上测量结果的平行程度；问卷评价的现象与其他现象的独立性；问卷结果是否符合该问卷要评价现象的有关理论预测。评价问卷结构效度常用的方法是因子分析，因子分析的目的是想了解属于某二级量表的条目是否如预测那样集中在一个因子里。做因子分析时，预测因子的数目需事先确定，然后再与因子分析的因子数目比较，一般而言，如量表的公因子能解释50%以上的变异，而且每个条目在相应的因子上有足够强度的负荷（大于等于0.4），则认为该量表具有较好的结构效度。,结构效度构编程如下：,datab;infilee:TCM.csvdsdfirstobs=2;inputA1-A10B1-B4C1-C2D1-D5E1-E4F1-F2G1-G3H1-H5I1J1-J32K1-K7L1-L6M1-M5N1-N3O1-O3P1-P3Q1-Q3R1-R3S1-S5T1-T5U1-U5V1-V4W1-W5X1-X4Y1-Y4;procprint;run;procfactorM=PRINPRIORS=ONER=VSCORE;varA1-A10;run;,编程procfactorM=PRINPRIORS=ONER=VSCORE的解释分析：,1、提取初始公因子的主要方法：即在选择项METHOD=或M=后填1个选择项PRINCIPAL：主成分分析方法PRINIT：迭代主因子分析2、始各变量的公因子方差h2赋初值，即在PRIORS=后填1个选择项，中括号内为缩写形式，通常在用主成分分析方法时，才让PRIORS=ONE。3、规定因子轴的旋转方法：即在选择项POTATE=或R=后填1个选择项：VARIMAXV：最大方差旋转法。4、SCORE表示要求算出因子得分模型中的系数。,结果如下：,1、前两个特征值3.58819419,1.04773532都大于1，将根据这两个较大的特征值提取两个相应的初始公因子。2、由上累积贡献率可知，前5个因子已经可以解释86.91%的方差。,结论：经最大方差旋转法旋转后的前5个的因子模型为：x1=0.0295F1+0.74900F2x2=0.75428F1+0.35016F2x3=0.82331F1+0.13716F2x4=0.13099F1+0.63639F2x5=0.73143F1+0.05453F2从旋转后的因子模型来看，第一公因子支配着x2,x3,x5,第二公因子支配着x1,x4。第一公因子反映，可称为，第二公因子反映，可称为各公因子包含的因子载荷较大的条目有足够的强度的负荷（大于0.4），说明该调查表有较好的结构效度。,问卷的内容效度检验:内容效度是指问卷各条目是否测定其希望测量的内容。内容效度可以用反映同一内容范围的两个不同测验，对同一组被试施测结果的相关系数来表示。若相关高，表明内容效度高，若相关低，表明内容效度低。因此，我们从以下三个方面去评价内容效度。一、从躯体感受、心理状态、自然的适应能力、社会的适应能力等四个维度进行评价二、从精气神、睡眠、饮食、二便、气血津液功能状态的维度进行评价三、从阴阳气血津液功能状态的维度去评价。因为各维度下又有不同数量的条目，因此我们对每个维度每个观测者所有条目算出总分，并按照事先确定的评定方法划分不同的等级，用spearman秩相关来描述各个维度之间的相关关系，从而评价问卷的内容效度。,注意：a1数据文件事先已被导入SAS中的work文件夹里，命名为a1procprintdata=a1;run;odshtml;proccorrspearman;varshentixinliziranshehui;run;proccorrspearman;varjingqishenshuimianyinshidabianxiaobian;run;proccorrspearman;varqixuyangxuyinxushiretanshixueyuqiyu;run;odshtmlclose;,编程如下：,结果如下：,1)对问卷躯体、心理、自然、社会4个维度的相关系数检验显示,身体、心理、自然三者之间的相关系数均在0.40.8以内，但社会维度与其他维度的相关系数均低于0.4,说明从整体来看,社会维度与其他条目的一致性并不强,按照健康的定义,社会维度的指标是不可或缺的,这一结果提示该部分条目可能需要修改,或者需要增加样本量进一步评价。,2)反映精气神、睡眠、饮食、大便、小便5种状态条目的相关系数检验:睡眠、饮食、大便、小便4个部分之间的相关系数均