诊断试验设计与性能评价

1、电话电话027-68890056 Email： 标题标题： CEA、CA125和和CA50在结核及肺癌性胸在结核及肺癌性胸 腔积液鉴别中的意义腔积液鉴别中的意义 某中文核心期刊的某中文核心期刊的投稿论文投稿论文 主要内容主要内容：收集胸腔积液：收集胸腔积液126例，其中结核性例，其中结核性70 例、癌性例、癌性56例，检测例，检测CEA、CA125和和CA50，计算单，计算单 项、两项与三项联检肺癌的敏感度、特异度。项、两项与三项联检肺癌的敏感度、特异度。 结论结论：三联检测比单项检测肺癌的敏感度、特异：三联检测比单项检测肺癌的敏感度、特异 度都高，对鉴别诊断结核性及

2、肺癌性胸腔积液有重要度都高，对鉴别诊断结核性及肺癌性胸腔积液有重要 临床指导意义临床指导意义 能否被录用？能否被录用？ 如果你是审稿专家，该论文能否被录用？原因？如果你是审稿专家，该论文能否被录用？原因？ 这便涉及到这便涉及到诊断试验诊断试验的的内容内容 诊断试验诊断试验：临床上用于确定或排除疾病的检查临床上用于确定或排除疾病的检查 诊断试验诊断试验的概念的概念 诊断诊断试验试验的作用的作用 v识别疾病识别疾病：鉴别有无疾病鉴别有无疾病 v预测疾病预测疾病：预测有无疾病预测有无疾病 诊断试验诊断试验2种结果（种结果（阳性阳性、阴性阴性）的作用：）的作用： 诊断学评价诊断学评价：项目或方法项目或

3、方法诊断诊断病人病人 方法学评价方法学评价：方法方法测定测定标本标本（项目项目） 诊断学评价与方法学评价的区别诊断学评价与方法学评价的区别 金标准与诊断试验同步盲法测量研究对象金标准与诊断试验同步盲法测量研究对象 ，据据 “有某病有某病”、“无某病无某病”时的时的“阳性阳性” 、“阴性阴性”结果，然后结果，然后计算各计算各评价指标评价指标 如何评价项目或方法的诊断性能？如何评价项目或方法的诊断性能？ 金标准金标准（gold standard）：常用的有活检、尸常用的有活检、尸 检、外科手术、影像学检查等检、外科手术、影像学检查等 金标准金标准与与参考标准参考标准 有一些疾病目前尚无金标准，由专

4、业学术委有一些疾病目前尚无金标准，由专业学术委 员会制定的诊断标准可作为员会制定的诊断标准可作为参考标准参考标准 诊断试验诊断试验 结结果果 金金标标准准诊断诊断 总总计计指指标标 有某病有某病 （病例（病例组组） 无某病无某病 （对对照照组组） 阳阳性性TP （a）FP （b）TP+FP (a+b)阳阳性性预测值预测值(PV)= 阴阴性性FN（c）TN（d）FN+TN (c+d)阴阴性性预测值预测值(PV)= 总计总计TP+FN (a+c) FP+TN (b+d) TP+FP+FN+TN (a+b+c+d) 准确度准确度（Ac） 流行率（流行率（P）= 指指标标 灵灵敏度敏度(Se) 特特异

5、异度度(Sp) 漏漏诊诊率假率假 阴阴性率性率1 灵灵敏度敏度 误诊误诊率假率假 阳阳性率性率1 特特异异度度 %100 FNTP TP %100 TNFP TN %100 P FTP TP %100 NN N FT T %100 FNTNFPTP TNTP %100 TNFPFNTP FNTP 表表1 诊断试验结果与常见评价指标诊断试验结果与常见评价指标 三种类型三种类型的评价的评价指标指标 v准确性评价指标：准确性评价指标：灵敏度、特异度、尤登指灵敏度、特异度、尤登指 数和似然比等数和似然比等 v可靠性评价指标：变异系数、可靠性评价指标：变异系数、符合率和符合率和 Kappa指数指数 v有

6、效性评价指标：预测有效性评价指标：预测值和流行率值和流行率 一、准确性评价一、准确性评价指标指标 灵敏度、特异度、尤登指数和似然比等灵敏度、特异度、尤登指数和似然比等 诊断试验诊断试验 结结果果 金金标标准准诊断诊断 总总计计指指标标 有某病有某病 （病例（病例组组） 无某病无某病 （对对照照组组） 阳阳性性TP （a）FP （b）TP+FP (a+b) 阴阴性性FN（c）TN （d）FN+TN (c+d) 总计总计TP+FN (a+c) 真阳真阳性率性率 FP+TN (b+d) 真阴真阴性率性率 TP+FP+FN+TN (a+b+c+d) 阳阳性似然比性似然比(LR)= 阴阴性似然比性似然比

7、(LR )= 指指标标 灵灵敏度敏度(Se) 特特异异度度(Sp) 尤登指尤登指数数（YI）= Se Sp11 漏漏诊诊率假率假 阴阴性率性率1 灵灵敏度敏度 误诊误诊率假率假 阳阳性率性率1 特特异异度度 %100 FNTP TP %100 TNFP TN 表表1 诊断试验结果与常见评价指标诊断试验结果与常见评价指标 特异度 灵敏度 1 特异度 灵敏度1 直接直接判断判断一个诊断试验的好坏一个诊断试验的好坏 LR 数值越大，数值越大，预测预测患病的可能性越大患病的可能性越大，超超 过过10.0 ，可认为是好的试验可认为是好的试验 LR 数值越小，数值越小，预测不预测不患病的可能性越大患病的可

8、能性越大， 小于小于0.1 ，可认为是好的试验，可认为是好的试验 似然比似然比性质稳定，性质稳定，不因流行率的改变而改变不因流行率的改变而改变 似然比似然比的作用与特点的作用与特点 可靠性，又称重复性、精密度可靠性，又称重复性、精密度 1.变异系数或标准差变异系数或标准差 2.符合率符合率比较两名操作者、或同一名操作者两次重复操作比较两名操作者、或同一名操作者两次重复操作 ，或比较诊断试验与金标准的符合程度，或比较诊断试验与金标准的符合程度。 符合率符合率 dcba da 二二、可靠性评价指标、可靠性评价指标 3Kappa指数指数 )dc)(ca()db)(ba( )bcad( 2 1. 受试

9、者的生物学变异受试者的生物学变异 2. 实验因素所致的差异实验因素所致的差异 3. 操作者的变异操作者的变异 诊断试验可靠性的影响因素诊断试验可靠性的影响因素 1、预预测测值值 ，又称，又称预告值预告值 （PV）、验后概率验后概率 包括包括+PV和和PV 2、流行率（流行率（P），又称），又称患病率患病率，也称为，也称为验前概率验前概率 预测值预测值和流行率和流行率 三三、有效性评价指标、有效性评价指标 诊断试验诊断试验 结结果果 金金标标准准诊断诊断 总总计计指指标标 有某病有某病 （病例（病例组组） 无某病无某病 （对对照照组组） 阳阳性性TP （a）FP （b）TP+FP (a+b)阳阳

10、性性预测值预测值(PV)= 阴阴性性FN（c）TN（d）FN+TN (c+d)阴阴性性预测值预测值(PV)= 总计总计TP+FN (a+c) FP+TN (b+d) TP+FP+FN+TN (a+b+c+d) 验验后后概概率率= PV 验验前前概概率率 流行率（流行率（P）=患病率患病率 指指标标 灵灵敏度敏度(Se) 特特异异度度(Sp) 漏漏诊诊率假率假 阴阴性率性率1 灵灵敏度敏度 误诊误诊率假率假 阳阳性率性率1 特特异异度度 %100 FNTP TP %100 TNFP TN %100 P FTP TP %100 NN N FT T 表表1 诊断试验结果与常见评价指标诊断试验结果与常

11、见评价指标 %100 TNFPFNTP FNTP 1.金标准应有可靠性金标准应有可靠性 2.研究对象应有代表性与可比性研究对象应有代表性与可比性 3.样本含量应足够样本含量应足够 4.诊断指标与方法应标准、具体、可靠诊断指标与方法应标准、具体、可靠 四四、诊断、诊断试验设计的试验设计的评价评价标准标准(8个个) 5.金标准与诊断试验应同步盲法测量金标准与诊断试验应同步盲法测量 6.临界值的选择应合理临界值的选择应合理 7.要控制偏倚要控制偏倚 8.诊断试验应具有临床实用性诊断试验应具有临床实用性 四四、诊断、诊断试验设计的试验设计的评价评价标准标准(8个个) 1.金标准应有可靠性金标准应有可靠

12、性 2.研究对象应有代表性与可比性研究对象应有代表性与可比性 3.样本含量应足够样本含量应足够 4.诊断指标与方法应标准、具体、可靠诊断指标与方法应标准、具体、可靠 5.金标准与诊断试验应同步盲法测量金标准与诊断试验应同步盲法测量 6.临界值的选择应合理临界值的选择应合理 7.要控制偏倚要控制偏倚 8.诊断试验应具有临床实用性诊断试验应具有临床实用性 平行试验平行试验：可提高诊断灵敏度可提高诊断灵敏度 ，但降低了特异度但降低了特异度 系列试验系列试验：可提高诊断特异度可提高诊断特异度，但降低了灵敏度但降低了灵敏度 五五、用联合试验提高诊断灵敏度或特异度、用联合试验提高诊断灵敏度或特异度 诊断试

13、验诊断试验试验试验A试验试验B平行平行试验试验系列系列试验试验 模式模式1 模式模式2 模式模式3 模式模式4 表表2平行平行试验试验与与系列系列试验试验的的区别区别 审核结果审核结果： 退稿退稿 某投稿论文的某投稿论文的审核审核 依据依据：1、对照组不完整，不含其他良性和其他对照组不完整，不含其他良性和其他 恶性的胸腔积液疾病，那么敏感度及特异度就无法准恶性的胸腔积液疾病，那么敏感度及特异度就无法准 确统计。比如良性的还应该包括：肺炎、充血性心力确统计。比如良性的还应该包括：肺炎、充血性心力 衰竭、脓胸、肝炎后肝硬化及结缔组织病等；恶性的衰竭、脓胸、肝炎后肝硬化及结缔组织病等；恶性的 还应该

14、包括：淋巴瘤、乳腺癌伴胸膜转移、食管癌和还应该包括：淋巴瘤、乳腺癌伴胸膜转移、食管癌和 慢性粒细胞性白血病等；慢性粒细胞性白血病等；2、既能提高灵敏度又能提既能提高灵敏度又能提 高特异度（或不降低特异度）的联合检测不存在高特异度（或不降低特异度）的联合检测不存在 ROC曲线曲线：以灵敏度为纵坐标、（以灵敏度为纵坐标、（1特异特异 度）为横坐标，各临界值连接起来的折线图度）为横坐标，各临界值连接起来的折线图 六六、受试者工作特征曲线、受试者工作特征曲线 图图1ROC曲曲线图线图式式样样 图图2软软件制作的件制作的ROC曲曲线线 图图 ROC曲线的优点曲线的优点 v简洁、直观简洁、直观 v与群体患

15、病率无关，但与群体患病率无关，但2组组例数相近则更好例数相近则更好 v不固定分类界不固定分类界值，有选择的空间值，有选择的空间 v越凸近越凸近左上角左上角或曲线下面积（或曲线下面积（AUC）越大）越大的的 诊断价值越大诊断价值越大 说明：说明：LR ROC曲线纵坐标曲线纵坐标值值/横坐标横坐标值值 ROC曲线的缺点曲线的缺点 v当样品数较少当样品数较少或数据不典型或数据不典型时，图形时，图形多多呈锯齿状呈锯齿状 v图上显示的往往不是真正的判断值图上显示的往往不是真正的判断值 v没有专用软件时，计算和画图均比较没有专用软件时，计算和画图均比较繁琐繁琐 用软件制作用软件制作ROC曲线曲线 目前，有

16、很多成熟的商业软件绘制目前，有很多成熟的商业软件绘制ROC曲曲 线，比如线，比如IBM SPSS 19.0软件，方便制图与选择软件，方便制图与选择 临界值临界值 标题标题：血血清清基基质质金金属属蛋白酶蛋白酶-9（ MMP-9 ）在肺）在肺 结结核核鉴别诊断鉴别诊断中的价中的价值值分析分析 一中文核心期刊的投稿论文一中文核心期刊的投稿论文 主要内容主要内容：选选取肺取肺结结核、肺炎、肺癌患者及健康核、肺炎、肺癌患者及健康 志愿者各志愿者各60例分例分别别作作为为肺肺结结核核组组、肺炎、肺炎组组、肺癌、肺癌组组和和 对对照照组组，测测血血清清MMP-9。肺。肺结结核核组组患者患者MMP-9水平水

17、平 显显著高于其著高于其它它三三组组，用，用ROC曲曲线线分析了其分析了其检验检验效能效能 高高 结论结论：血血清清MMP-9有助于肺有助于肺结结核核鉴别诊断鉴别诊断和和筛筛 查查，但，但应应注意适注意适当当提高提高诊断诊断的的灵灵敏度敏度 审核结果审核结果： 建议录用建议录用 审核审核 依据依据：该文分析了血清该文分析了血清基质金属蛋白酶基质金属蛋白酶-9在鉴别在鉴别 诊断肺结核、肺炎、肺癌患者中的升高情况，结果显诊断肺结核、肺炎、肺癌患者中的升高情况，结果显 示肺结核患者示肺结核患者MMP-9水平显著高于肺炎和肺癌患者水平显著高于肺炎和肺癌患者 ，并且运用，并且运用ROC曲线分析了其检验效

18、能，具有先进曲线分析了其检验效能，具有先进 性和研究深度，实验设计合理性和研究深度，实验设计合理、思路清晰，此工作有、思路清晰，此工作有 临床价值，建议刊用临床价值，建议刊用 建议建议：设计需进一步细化。肺结核和肺癌具有多设计需进一步细化。肺结核和肺癌具有多 种分型，通过比较不同类型的肺结核、肺癌组间差异种分型，通过比较不同类型的肺结核、肺癌组间差异 ，提高临床实用性。如果有，建议补充，提高临床实用性。如果有，建议补充 标题标题：血血清清胃泌素胃泌素释释放放肽肽前体前体（ ProGRP ）和）和 NSE、TPS对对小小细细胞肺癌早期胞肺癌早期诊断诊断中的中的实验研实验研究究 一投稿论文一投稿论

19、文 主要内容主要内容：检测检测了了129例例SCLC、133例非小例非小细细胞胞 肺癌（肺癌（NSCLC）患者和）患者和112例肺良性病及例肺良性病及125名正常名正常 对对照照组组中中ProGRP、NSE和和TPS的水平。的水平。结结果果 SCLC 患者患者ProGRP，NSE和和TPS平均水平明平均水平明显显高于其他三高于其他三 组组。在。在SCLC临临床分期中，床分期中，ProGRP在在、期高于期高于 、期，其期，其ROC曲曲线线下面下面积积分分别为别为。三。三种种指指 标标各各临临界界值值、敏感性、特、敏感性、特异异性及准确性分性及准确性分别为别为 。联联合合检测检测明明显显高于高于单

20、项单项NSE和和TPS的敏感性的敏感性 一投稿论文一投稿论文 主要内容主要内容：动态观动态观察察30例例SCLC化化疗疗前后前后 ProGRP、NSE和和TPS水平的水平的变变化，化，16例在治例在治疗疗后血后血 清清ProGRP、NSE和水平明和水平明显显下降，下降，11例治例治疗疗后无明后无明 显变显变化，化，10例例复发复发者均高正常者均高正常对对照照组组倍。在倍。在 SCLC中，中，ProGRP、NSE和和TPS三者相三者相关关系系数为数为 r=0.6893，P=0.001，呈正相，呈正相关关。试验试验比比对对相相关关性性 结论结论：NSE对对SCLC早期早期诊断诊断价价值值有限，有限

21、，ProGRP 比比NSE和和TPS是是SCLC更可信的的更可信的的肿肿瘤瘤标标志物，志物， ProGRP两项两项和三和三项联项联合合测测定可作定可作为为肺癌的分型及肺癌的分型及 SCLC诊断诊断，尤其是早期，尤其是早期诊断诊断的的较较好指好指标标 初步审核初步审核：建议修改后录用：建议修改后录用 审核审核 依据依据：该文该文以以ProGRP、NSE和和TPS单项和联合早单项和联合早 期诊断小细胞肺癌，从敏感性、特异性、准确性等方期诊断小细胞肺癌，从敏感性、特异性、准确性等方 面进行比较，效果较好，特别是面进行比较，效果较好，特别是ProGRP效果效果很好，数很好，数 据充分，有一定的指导意义

22、。据充分，有一定的指导意义。 但是文章中前后数据不一致，结论中出现一些在但是文章中前后数据不一致，结论中出现一些在 结果中没有的新数据，标点符号的使用欠准确，语言结果中没有的新数据，标点符号的使用欠准确，语言 晦涩，前后内容编排有问题等，还需要作大量修改后晦涩，前后内容编排有问题等，还需要作大量修改后 才能刊发才能刊发 最后审核结果最后审核结果：退稿（：退稿（27个具体问题没有退修到位个具体问题没有退修到位 ） 标题标题：应应用血用血清触清触珠蛋白珠蛋白评评价卵巢癌价卵巢癌疗疗效的价效的价值值 一中文核心期刊的投稿论文一中文核心期刊的投稿论文 主要内容主要内容：检测检测122例卵巢例卵巢肿肿瘤

23、病人、瘤病人、 142 例良例良 性卵巢性卵巢肿肿瘤瘤 、80例健康女性例健康女性CA125与触与触珠蛋白，明珠蛋白，明 显显高于正常高于正常对对照照组组；治；治疗疗前后比前后比较较，触触珠蛋白水平下珠蛋白水平下 降幅度大于降幅度大于CA125 结论结论：触触珠蛋白珠蛋白来监测来监测卵巢癌的治卵巢癌的治疗疗效果更有价效果更有价 值值 审核结果审核结果： 建议退稿建议退稿 审核审核 依据依据： 1、触珠蛋白对卵巢癌的价值有待商鹤。诊断和疗效观、触珠蛋白对卵巢癌的价值有待商鹤。诊断和疗效观 察卵巢癌比较公认的主要标志物是察卵巢癌比较公认的主要标志物是CA125，其次是，其次是 CA19-9、CEA

24、等。比较新的指标如等。比较新的指标如prostasin（蛋白（蛋白 或基因）。触珠蛋白（又称结合珠蛋白）只是一种急或基因）。触珠蛋白（又称结合珠蛋白）只是一种急 性时相反应蛋白，而不是公认的肿瘤标志物，除了恶性时相反应蛋白，而不是公认的肿瘤标志物，除了恶 性肿瘤时升高以外，烧伤、肾病综合征和感染等病理性肿瘤时升高以外，烧伤、肾病综合征和感染等病理 状态时都升高状态时都升高 2、文章中缺乏触珠蛋白诊断卵巢癌的临床特异度、灵、文章中缺乏触珠蛋白诊断卵巢癌的临床特异度、灵 敏度等指标，更没有与敏度等指标，更没有与CA125特异度、灵敏度等的比特异度、灵敏度等的比 较。单纯的统计学比较不能完全说明文章

25、目的较。单纯的统计学比较不能完全说明文章目的 审核审核 退稿依据：退稿依据： 3、文章中缺乏卵巢癌、文章中缺乏卵巢癌CA125阴性时触珠蛋白的诊断效阴性时触珠蛋白的诊断效 果描述。既然说触珠蛋白好，那就要写出它无我有、果描述。既然说触珠蛋白好，那就要写出它无我有、 它有我精的内容它有我精的内容 4、文章的写作有待大量提高：、文章的写作有待大量提高： 正文中有、正文中有、但中文摘要中没有不同生存期指标的但中文摘要中没有不同生存期指标的 含量变化比较说明；前言无相关文献引出；统计学方含量变化比较说明；前言无相关文献引出；统计学方 法没有交待；法没有交待；SD应写为应写为s；触珠蛋白、；触珠蛋白、C

26、A125的浓度单的浓度单 位没有；表位没有；表1与文字描述重复，可以直接在表格下加备与文字描述重复，可以直接在表格下加备 注；表注；表3没有没有P值；讨论的第值；讨论的第1段基本上与前言重复；讨段基本上与前言重复；讨 论的背景知识过多；叙述未采用第论的背景知识过多；叙述未采用第3人称人称 标题标题：结结直直肠肠癌患者血癌患者血清清 UGT1A8、 CA19-9、 CEA联联合合检测对检测对早期早期临临床床诊断诊断的指的指导导价价值值 一中文核心期刊的投稿论文一中文核心期刊的投稿论文 主要内容主要内容：分别：分别检测检测42例例结结直直肠肠癌患者、癌患者、30例健例健 康康查查体志愿者体志愿者对

27、对照照组组血血清清 CEA、CA19-9、UGT1A8 ，结结直直肠肠癌患者血癌患者血清清CEA检测值检测值明明显显升高，升高，CA19-9 有一定升高（有一定升高（P0.05），而），而结肠结肠癌患者血癌患者血清清 UGT1A8明明显显降低降低 结论结论： UGTIA8、CEA和和CA19-9联联合合检测检测可提可提 高高肿肿瘤瘤诊断诊断的准确率的准确率 审核结果审核结果： 建议退稿建议退稿 审核审核 依据依据： 1、该该文只有文只有单独检测单独检测的效果，而的效果，而没没有二有二项项或三或三项联项联合合 检测检测的效果，的效果，与题与题意不符合。意不符合。CA19-9和和CEA属属于常于常

28、规规 项项目，欠缺特目，欠缺特异异性，只有在性，只有在它们它们基基础础上再上再结结合合UGT1A8 等才有意等才有意义义，但，但结结合后的合后的联联合合检测检测效果却效果却没没有。有。 2、即便是、即便是单独检测单独检测的的项项目，也目，也没没有特有特异异度、度、灵灵敏度和敏度和 准确度等准确度等评评价指价指标标，而，而仅仅用科普指用科普指标阳标阳性率是不能性率是不能说说明明 效果的，且效果的，且阳阳性率性率还还可能包括假可能包括假阳阳性率性率 3、对照组不完整，不含其他良性和其他恶性疾病，则、对照组不完整，不含其他良性和其他恶性疾病，则 敏感度及特异度就无法准确统计。比如结肠炎、直肠敏感度及

29、特异度就无法准确统计。比如结肠炎、直肠 息肉、淋巴瘤等息肉、淋巴瘤等 审核审核 退稿依据：退稿依据： 4、英文标题和英文文摘基本上是在线翻译，极不通顺、英文标题和英文文摘基本上是在线翻译，极不通顺 5、“临界参考值临界参考值”、“检测值范围参考值检测值范围参考值”的用法欠的用法欠 妥，应为参考区间妥，应为参考区间 6、讨论中的大框框太多，欠缺对该文结果的针对性、讨论中的大框框太多，欠缺对该文结果的针对性 8、参考文献格式不规范，基本上无近期文献及国外文、参考文献格式不规范，基本上无近期文献及国外文 献支持献支持 9、文章的写作有待进一步提高，如中文摘要欠通顺，、文章的写作有待进一步提高，如中文

30、摘要欠通顺， 并与英文摘要不对应；叙述未采用第并与英文摘要不对应；叙述未采用第3人称；标点符号人称；标点符号 欠妥当，叙述欠简练等欠妥当，叙述欠简练等 小小结结 1、诊断试验可以识别疾病、预测疾病，其诊断诊断试验可以识别疾病、预测疾病，其诊断 效果可从准确性、可靠性与有效性共三个方面进效果可从准确性、可靠性与有效性共三个方面进 行评价，选择诊断试验的临界值最好采用行评价，选择诊断试验的临界值最好采用ROC曲曲 线线 2、一篇论文，大到设计、方法与数据，小到、一篇论文，大到设计、方法与数据，小到 写作、参考文献等，想发好的期刊，要用心写作、参考文献等，想发好的期刊，要用心 （二）研究对象（二）研究对象 病例组：病例组：是指用金标准确诊是指用金标准确诊“有病有病”的病例，应包含典型的、不典型病例的病例，应包含典型的、不典型病例 ，早、中、晚期病例，轻、中、重病例，有和无并发症的患者。，早、中、晚期病例，轻、中、重病例，有和无并发症的患者。 对照组：对照组：是指用金标准证实没有目标疾病的其他病例，特别是与该病容易是指用金标准证实没有目标疾病的其他病例，特别是与该病容易 混淆的病例。混淆的病例。 正常人一般不宜纳入对照组。正常人一般不宜纳入对照组。 研究对象的代表性影响评价指标的真实性研究对象的代表性影响评价指标的真实性 诊断试验诊断试验 结结果果 金金标标准准诊断诊