临床科研设计诊断试验

临床科研设计（8）诊断试验,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,诊断试验（diagnostic test）:是指应用实验、仪器设备等手段对疾病进行诊断的一切检测方法。 包括各种实验室检查（生物化学、免疫学、微生物学、病理学等）、影像诊断（超声波、CT、X线、核磁共振等）、仪器检查（心电图、脑电图、核素扫描、内窥镜等），还包括病史询问、体格检查等。,诊断试验的概念,诊断试验的用途,诊断疾病筛选无症状的病人判断疾病的严重程度估计疾病临床过程及预后估计对治疗的反应判断治疗效果,诊断试验的用途疾病筛检,筛检是通过快速的试验、检查或其他措施，在表面健康的人群中去发现未被识别的病人或有缺陷的人。筛检不是诊断试验，仅是一种初步检查，对筛检阳性者必须进一步确诊，以便对其采取必要的措施。,实施原则： 1、该地区当前重大的公共卫生问题； 2、有可识别的早期客观指征与测量标志； 3、对所筛检疾病的自然史了解清楚； 4、筛检方法快速、简便、安全可靠、经济， 易为群众接受； 5、对经筛检发现并确诊的病人及高危人群能进行及时有效的干预和治疗； 6、筛检效果从各方面权衡，有好的收益； 7、筛检计划为目标人群接受，并可从生理、心理和社会生活等方面获益。,诊断试验的用途疾病筛检,用金标准进行检查或检验，可将试验对象分为两组，即金标准确诊的患某病组及金标准排除的未患某病组。 用新方法进行的诊断试验所得出的患病与未患病的结果分别与金标准方法所得出患病与未患病的结果比较，根据其是否一致对试验方法进行评价。 如果新方法试验所得的结果与金标准试验所得结果符合程度越高，这个新方法的诊断价值就越高，反之亦然。,诊断试验的基本原理,金标准,目标人群,病人,非病人,待评价诊断方法,评价指标,诊断试验原理,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,诊断试验设计要点,确定金标准选择研究对象进行样本量估算盲法、独立和同步比较诊断试验和“金标准”结果计算诊断试验的相关指标及统计分析,确定金标准,当前医学界公认的诊断某疾病最可靠、准确度最高的诊断方法。常用的金标准包括病理学诊断（活检、尸检）外科手术或诊断性操作特殊的影像学诊断权威机构颁布的综合诊断标准,选择研究对象,要求：代表性好、盲法试验组经金标准确诊为某疾病的患者，具有反应该疾病的全部特征，如病情、病程、症状体征、并发症、治疗或未治疗等。对照组经金标准证实未患该疾病的患者（可患其它疾病）或正常人。,样本量估算,样本含量估计的要素：真实性指标（灵敏度、特异度）的水平；检验水准，即I类误差的概率；允许误差。,盲法、独立和同步比较诊断试验和“金标准”结果,采用盲法评价诊断试验结果十分重要，即要求判断诊断试验结果者不能预先知道研究对象是否患病，而按照“金标准”判断研究对象是否有病者不能知道诊断试验的结果。某些情况下，“金标准”建立在一系列试验和相关临床资料的基础上。此时“金标准”不能包括所研究的诊断试验，否则可能发生掺合偏倚，增加两者的一致性，扩大诊断试验的准确性。（独立）诊断试验和“金标准”检查应同步进行，这对急性、自限性疾病尤为重要，因为疾病进展的不同阶段诊断结果不相同。,计算诊断试验的相关指标及统计分析诊断试验基本结果表,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,诊断试验的评价指标,基本指标灵敏度、特异度、误诊率、漏诊率预测值阳性预测值、阴性预测值综合评价指标正确率、约登指数、优势比、似然比阳性似然比、阴性似然比,真实性(Validity)又称有效性或准确度(Accuracy ），是指诊断试验所获得的测量值与实际值（“金标准”）的符合程度。 真实性指标：灵敏度，特异度，约登指数， 一致性，似然比,真实性评价,1、灵敏度（Sensitivity） ：是试验发现有病的人的能力，即实际（金标准）诊断为“有”病的病例中，诊断性试验检测为阳性例数的比例。2、特异度（Specificity ）：是甄别出没有病的人的能力，即实际（金标准）无病的例数中，诊断试验结果为阴性的比例。3、假阴性率（False negative ）：在金标准方法已确诊患某病组中，新试验方法错判为阴性的比例，即假阴性所占的百分率。也叫漏诊率，漏诊率与灵敏度互为补数。4、假阳性率（False positive） ：在金标准方法已确诊未患某病组中，用新方法试验将其错误判定为阳性，即假阳性部分所占的百分率。也叫误诊率。,真实性评价,灵敏度（Sensitivity，Se） 计算公式：Se =a/(a+c)又称真阳性率将实际有病的人正确判断为患者的能力漏诊率（omission diagnostic，）计算公式： =c/(a+c)又称假阴性率将实际有病的人错误判断为非患者的比例,高灵敏度试验的适用范围漏诊可能造成严重后果排除某病的其他诊断筛检无症状病人而且该病发病率较低,特异度（Specificity，Sp）计算公式： Sp =d/(b+d)又称真阴性率将实际无病的人正确判断为非患者的能力误诊率（ mistake diagnostic rate， ）计算公式： =b/(b+d)又称假阳性率将实际无病的人错误判断为患者的比例,高特异度试验的适用范围假阳性会使病人受到严重危害确诊某病,灵敏度和特异度的关系,都是反映诊断试验准确性的最基本指标提高一方面水平，会降低另一方面水平一般选择敏感度和特异度都较高的试验作为诊断依据根据研究目的，调整灵敏度和特异度来确定临界值以产生漏诊和误诊之和最小时的数据确定临界值。,5约登指数 约登指数（Youdens index）又称正确诊断指数，是灵敏度与特异度之和减。 约登指数灵敏度特异度指数范围从，约登指数越接近于，诊断试验的真实性越好，反之越差。 约登指数表示诊断试验能够正确地判断病人和非病人的能力。,真实性评价,6一致性 分为粗一致性（Crude agreement）和调整一致性(Adjusted agreement)，下式计算： 粗一致性=,100,调整一致性=,粗一致性和调整一致性说明诊断检试验阳性与阴性结果均正确的百分比。它表示诊断试验的真实性。,真实性评价,7似然比(likelihood ratio） 似然比为病人中出现某种检测结果的概率与非病人中出现相应结果的概率之比。（1) 阳性似然比(Positive likelihood ratio) 是指真阳性率与假阳性率之比，说明病人中出现某种检测结果阳性的概率是非病人的多少倍。,真实性评价,（2) 阴性似然比（negative likelihood ratio）是指假阴性率与真阴性率之比，说明病人中出现某种检测结果阴性的概率是非病人的多少倍。,阳性似然比越大筛检试验的真实性越好；筛检试验才可能具有临床价值，阴性似然比越小筛检试验的真实性越好。,7似然比,真实性评价,可靠性（Reliability）又称精密性(Precision)或重复性(Reproducibility) ，是指在相同条件下重复试验获得相同结果的稳定程度。具体地讲，可靠性是指某一诊断方法重复测量同一受试者时所获结果的一致性。具体评价的方法是在相同的条件下，用待评价的诊断试验对同一组研究对象作两次相同的测量，根据两次测量结果计算相应指标，进行分析评价。,可靠性评价,影响诊断试验可靠性的因素研究对象的生物学差异同一指标对同一受试者重复测量时，测量结果不一致的现象。实验因素所致的差异实验所用的仪器、设备、试剂实验条件不稳定或等采用非同一批次试剂时，均可导致重复实验结果的差异。观察者的差异由同一观察者或不同观察者对相同受试者的同一指标测量时，其结果会不一致。,可靠性评价,联合试验是指采用多个筛检试验检测一种疾病，达到提高筛检试验灵敏度或特异度的目的，以满足提高筛检试验真实性的需要。（)串联试验（serial test） 也称系列试验，是指采用几种筛检方法检测疾病，只有全部检测均为阳性者才判为阳性，凡有一项检测结果为阴性即判为阴性。（)并联试验（parallel test）也称平行试验，是指采用几种筛检方法检测疾病，凡有一项检测为阳性者即判为阳性，所有检测均为阴性才判为阴性。,联合试验,如果两个筛检试验彼此完全独立，则可以采用下列公式计算联合试验的灵敏度和特异度。并联试验的灵敏度灵敏度（灵敏度）灵敏度并联试验的特异度特异度特异度 串联试验的灵敏度灵敏度灵敏度 串联试验的特异度特异度（特异度）特异度 在联合试验时，应先进行特异度高的试验，后用灵敏度高的试验，这样筛检的效率更高。,联合试验,预测值,在实验医学，临床试验本身特点决定了试验的灵敏度和特异度， 但灵敏度和特异度本身不能帮助临床医生。临床医生想知道如果诊断试验阳性(+PV) 或阴性，试验本身是正确的概率。阳性预测值：如果诊断试验结果是阳性“病人”真正有病的可能性。阴性预测值：如果试验结果是阴性，“病人”真正无病的概率。,预测值与灵敏度、特异度的关系,a,c,d,b,SN=a/(a+c) 100%, -PV=d(d+c) 100%,SP=d/(b+d) 100%, +PV=a(a+b) 100%,预测值与灵敏度、特异度的关系,患病率不变的情况下 随着灵敏度的升高，阴性预测值升高，阳性预测值下降 随着特异度的升高，阳性 预测值升高，阴性预测值下降。 阳性预测值与特异度同向变化 阴性预测值与灵敏度同向变化,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,诊断试验常用统计方法,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,配对设计(A),甲药,乙药,A 受试对象按某些特征配对，两对象随机接受两种处理,配对设计(B),方法甲,方法乙,B 一份样品，一分为二，随机接受两种处理,治疗前,治疗后,治疗,配对设计(C),C 受试对象处理前后比较,配对设计包括：同一批样品用两种不同的处理方法。两个评估者对研究对象进行逐一评估。观察对象根据配对条件配成对子，同一对子内两个体分别接受不同的处理。观察结果均分为k个相同的类别，资料可归纳整理成kk的表格形式，又称为方表。这样的资料又称为方表资料。,对于配对设计的分类资料，若研究目的为分析两种方法(即行变量和列变量)之间的相关关系(包括是否有关联、关联程度及一致性)，应选用 关联度分析及一致性检验( Kappa 检验)；若研究目的为分析两种方法间是否存在差异则应用优势性检验(McNemar检验)。,【例1】用两种方法检查60名乳腺癌患者，检查结果如表。请对两种检查方法进行分析。,优势性检验公式,X2=(b-c)2/(b+c) n=40X2=(|b-c|-1)2/(b+c) n40,一致性检验Kappa分析,SPSS软件操作,第1步：定义变量,第2步：输入原始数据,第3步：定义频数,选择数据加权个案频数加权个案（频数变量）,第4步：x2检验（1）,选择分析交叉表交叉表对话框：甲法和乙法分别进入行和列,第4步：x2检验（2）,选择统计量按钮在交叉表：统计量对话框：勾上卡方、相关系数、Kappa、McNemar,第4步：x2检验（3）,选择单元格按钮在交叉表：单元显示对话框：勾上观察值、期望值、百分比：行、总计,第5步：结果解读（1）,结果解读：两种方法交叉的例数关系。甲法阳性率65.0%，乙法阳性率48.3%。,第5步：结果解读（2）,结果解读：配对设计选用优势性检验结果，p=0.031。甲组的阳性率高于乙组的阳性率。,第5步：结果解读（3）,结果解读：关联性rp=0.395，p=0.001 一致性kappa=0.406，p=0.004,Kappa的意义0.02 差0.02 轻微0.20 尚可0.40中等0.60好0.80-1.00 几乎完全一致,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,ROC曲线分析,受试者工作特征曲线（Receiver Operator Characteristic curve，简称ROC曲线）表示一个特定的诊断方法对区别特定的患者组与非患者组样本的检测性能。表示不同诊断水平的真阳性率对假阳性率的函数关系。,受试者工作特征曲线receiver operating characteristic curve, ROC,1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1,完全无价值的诊断试验其ROC曲线与机会线重合，而ROC曲线越偏离机会线，ROC曲线下面积就越大，则诊断试验的真实性也就越好。,ROC曲线评价方法,以灵敏度和假阳性率为两个轴的取值作的图性；通常用于测定值为连续或等级数据；常用于确定最佳临界值，也可用于比较两种和两种以上诊断试验的诊断价值。以试验灵敏度为y轴，以假阳性率为x轴，由不同决策界值产生图中各个点，采用线段连接图中所有的点，绘制而成的线图。图中反映了随着灵敏度的增加，假阳性率也随之增加。,ROC曲线的特点,综合了灵敏度和特异度两个指标；不受患病率的影响；考虑了所有可能的诊断临界值的影响；全面客观地评价诊断试验的准确性；描述了诊断试验区分事件发生与不发生的固有能力。,ROC曲线下的面积,Area Under Curve，简称AUC以点(0，0)、(1，0)、(0、1)和(1，1)围成的面积做为1或100。ROC曲线和X轴围成的面积占总面积的百分比作为曲线面积的估计值。ROC曲线下面积的取值在01之间。,曲线越接近左上角，面积越接近1，说明试验的准确度越高；越接近对角线，越接近0.5，则说明试验的准确度越差；一般认为：面积在0.50.7之间时诊断价值较低，在0.70.9之间时诊断价值中等，在0.9以上时诊断价值较高。,ROC曲线下的面积,最佳诊断界值的确定,ROC曲线上最靠近左上角的点所对应的灵敏度和特异度都是较大的，该点为ROC曲线的正切线与曲线相交的点，常以此点所对应的诊断界值作为最佳诊断界值。灵敏度+特异度最大的点就是最佳诊断界值。通过解拟合ROC曲线的方程寻找该点。,理想的正常人群与糖尿病病人血糖水平分布现实的正常人群与糖尿病病人血糖水平分布,采用不同血糖阳性界值所致假阳性和假阴性,病人与非病人某项诊断指标数值分布示意图,ROC分析,ROC分析主要做三件事：计算ROC曲线下面积及其95%CI绘制ROC曲线图寻找截断点（cut off）,【例2】为评价红细胞平均容积（MCV）对缺铁性贫血患者的诊断价值，以100例可疑为缺铁性贫血患者作诊断，并以骨髓诊断作为金标准。将金标准确诊为缺铁性贫血的34例作为病例组，其余66例作为对照组。然后对每组的每一例测量红细胞平均容积（MCV）。,SPSS软件操作,第一步：建立变量。,第二步：输入原始数据,第三步：ROC分析（1）,第四步：结果解读（1）,结果解读：基本的例数描述,第四步：结果解读（2）,结果解读：ROC曲线图,第四步：结果解读（3）,结果解读：ROC曲线下面积大小及统计学意义,ROC曲线下面积的临床意义,小于0.7，表示诊断准确度较低；0.70.9，表示诊断准确度为中等；大于0.9，表示诊断准确度较高。,第四步：结果解读（4）,结果解读：给出不同截断点的灵敏度和1-特异度大小。,截断点（cut off）的选择,在该截断点下作的诊断：误诊率与漏诊率之和为最小；或灵敏度与特异度之和最大。,第五步：寻找截断点（1）,将SPSS结果复制到EXCEL中,第五步：寻找截断点（2）,利用EXCEL的函数功能进行计算（灵敏度+特异度）的值,第五步：寻找截断点（3）,按照（灵敏度+特异度）由大到小排序,第五步：寻找截断点（4）,按照（灵敏度+特异度）由大到小排序。（灵敏度+特异度）值最大的点所对应的MCV结果值就是截断点值。本例81.5就是所要找的截断点。,两条ROC曲线的比较,可信区间法：计算两条曲线AUC的可信区间如果两个可信区间有重合部分，则表示两种方法诊断价值的差异无统计学意义；反之则AUC值大的那种方法的价值更高。,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,【例3】研究某电子血压计与水银血压计测量血压值的一致性，同时用两种血压计测量了20位病人的收缩压和舒张压，用配对t检验比较两种测量方法的差异。,第一步：定义变量。定义序号、水银收缩压、水银舒张压、电子收缩压、电子舒张压等5个变量。,第二步：在数据视图输入原始数据,第三步：进行配对t检验。,第四步：结果解读,配对t检验的缺点,方法1 方法2 两方法的差值144 154 -10150 140 +10平均 0只能评价整体平均的差别，不能区分个案的波动。强调统计学意义，容易忽视临床意义。,诊断试验,诊断试验的基本原理诊断试验设计方法诊断试验的评价指标诊断试验常用统计方法配对设计卡方检验ROC曲线分析配对t检验Bland-Altman分析诊断试验报告规范,BlandAltman分析基本原理,BlandAltman分析用于评价测量结果为连续资料的两种测量方法一致性的方法，最初是由Bland JM和Altman DG于1986年提出的。它的基本思想是计算出两种测量结果的一致性界限，并用图形的方法直观地反映这个一致性界限。最后结合临床实际，得出两种测量方法是否具有一致性的结论。在进行两种方法的测定时，通常是对同一批受试对象同时进行测量。,这两种方法一般不会获得完全相同的结果，总是存在着有一定趋势的差异，如一种方法的测量结果经常大于（或小于）另一种方法的结果，这种差异被称为偏倚。偏倚可以用两种方法测定结果的差值来表示。如果两种测量结果的差异位于一致性界限内，在临床上是可以接受的，则可以认为这两种方法具有较好的一致性。如果两种测量方法中没有一种是“金标准”，或者不能确定哪种方法一定反映真实值，则可以用两种测量结果的平均值作为最终测量结果。,Bland-Altman图以图形的方式反映一致性界限。在二维直角坐标中，用横轴x表示两种方法测量每个对象的平均值，纵轴y表示两种方法测量每个对象的差值，即可得到BlandAltman图。图中上下两条水平实线代表临床可接受的一致性界限的上下限，中间实线代表差值的均数，虚线代表差值均数为0。两种测量方法的一致程度越高，代表差值均数的实线越接近代表差值均数为0的虚线。根据一致