人工智能与医师诊断心电图的速度和准确率比较

人工智能与医师诊断心电图的速度和准确率比较比较人工智能(AI)心电图自动诊断系统与医师诊断心电图的表本研究数据集包含2015年4月至2021年7月华中科技大学同济医学院附属同济医院70份匿名化12导联心电图；14名经统一培训的医师自愿参赛，按编号参与两轮心电图诊断评估；第1轮(50份简单心电图)按正确率(70%)和答题速度(30%)计分，第2轮(20份复杂心电图)需先正确识别主要诊断方可获得主次诊断相应分值；结果在第1轮比赛中，医师平均得分为218分，平均用时378s,最终总平均分为234分；AI得分为240分，平均用时89s,最终总平均分为358分。在第2轮比赛中，医师平均得分为279分，AI的总分为126分。关于比赛的详细信息，可查阅网址(http:AI诊断系统在单标签心电图诊断中成绩与医师基本一致，且速如今，人工智能(artificialintelligence,AI等8构建了1个深度神经网络，用于分类动态心电图。Haimovich等⁹使用预训练的卷积神经网络根据病因推导出12导联心电图波形的数值表示，并通过在12导联心电图的I导联或Ⅱ导联上训练模型，开发了基于2个导联的心电图深度学中均展现优异性能，前期该系统在长QT综合征和心肌缺血中表现优[11-12]。潜在的诊断算法和方法缺乏与其他算法进行全面或刻意的临床医师和其他广泛使用的商业解释系统。Zhu等1构建了一个卷积并将模型性能与53名具有不同工作经验的医师进行了比较。但是，本次人类医师与AI心电图的竞赛旨在探索AI心电图识别的现状和前景。同时，我们也开源了比赛录像，希望以此推动AI心电图识采集2015年4月至2021年7月在华中科技大学同济医学院附属同济医院接受检查的成年患者的70份心电图。所有心电图使用心电图机(GE-Marquette3500或5500型，美国GE公司),均以标准10常、ST-T改变、肥大和右位心等，并有详细分类。本研究的设计及实验方案已通过华中科技大学伦理审查委员会的评估(审批号：TJ-IRB202412205)。由于本研究数据为回顾性数据集，且心电图样报告摘要提取了标准的10s、12导联心电图数据来构建数据集，并3.评分机制(1)第1轮比赛(简单的50个心电图):答题时间限制为7min (420s),总分500分，其中正确率占70%(350分),速度占30% (150分),每提前1s加0.357分。每题满分7分。正确诊断可得t)×0.357。例如，如果参与者正确回答了45个问题，用了400s,提前20s完成测试，则分数为：7×45+(420-400)×0.357=322.5第1轮将50张心电图分为7类：第1类为心律失常，包括房室血症、高钙血症等，编号分别为A30、A50。第4类为心房或心室肥编号为A46。(2)第2轮比赛(复杂的20个心电图):每份心电图答题时间为60s,计20分，因此20份心电图总得分为400分。每份心电图包含1个主要诊断和多个次要诊断，并根据每个诊断权重分配不同的果标签为窦性心律(2分)、三度房室传导阻滞(10分)和右束支传导阻滞(8分)。正确识别作为主要诊断的三度房室传导阻滞将获得10分，正确识别次要诊断也将获得相应的分数。未能回答或错误回第2轮按照对应问题的主要诊断分为6类：第1类为“多标签心号分别为B2、B5和B7;第3类为肺栓塞，编号为B13;第4类为心房或心室扩大/肥大，编号分别为B6和B14;第5类是电解质紊乱，编号为B18;第6类为右位心，编号为B19。由于诊断有争议，编号为B17的题目被从比赛中删除。本次比赛共招募了14名自愿报名的医师参与，按报名时间先后编号为1~14。14名医师来自12家医院的心血管内科(10名来自湖北省的9家医院，2名来自深圳的2家医院，2名来自广西壮族自治区同一家医院)。14名医师中男6名(42.9%,6/14),年龄为(35.1±1.1)岁，工作经验为(10.3±1.1)年。所有参赛医师均接受了针对性的指导和培训，学习如何按照统一的标准标注心电图。第1轮比赛中，每位医师都会收到与50个完整测试数据集相对应的50份心电写在答题纸上。第2轮比赛中，将包含患者年龄、性别和主诉信息的心电图逐一显示在屏幕上。参赛者在60s内将答案写在答题板上。60s后，参赛者点亮答题板。答题结果在幻灯片上展示后，专家将5位获得委员会认证且在职的资深心脏专科医师组成。如果专家组已AI算法已被植入，使其能够在现场解答问题。第1轮，50张心电图的原始数据一次性输入，AI一次性给出答案；第2轮，原始数 (Q,Q)表示；计数资料以率或百分比表示。绘图使用GraphPadFisher确切概率法。R0.05为差异有统计学意义。第1轮收集的50份心电图，男30例(60.0%,30/50),年龄为 (58.4±14.9)岁。第2轮收集的20份心电图，男13例(65.0%,13/20),年龄为(58.3±14.4)岁。第1轮比赛表现：医师平均准确率为62.4%,平均用时378s(比规定时间提前42s),因此14名医师的最终平均得分为234分；而AI的准确率为68.6%,平均用时89s(比规定时间提前331s),因分，用时为292~420s,有的超过了规定时间。其中1、2、5、6、7、11号选手的正确率虽然高于AI,但用时普遍较长7号选手用时292s,比规定时间提前128s,第1轮的正确率高达241分，总分287分，在14名医师中排名第1,但总分仍比AI低71分。此外，AI的准确率得分高于8、9、10、12、13、14号选手(表1)。说明在简单的心电图诊断上，AI与14位医师的准确率相当，AI和医师在单标签心律失常类别的平均得分分别为165.0分和 26.0分。对于心房或心室肥大(A4、A21)和正常心律(A14),AI7分，高于人类的3.5分。然而，起搏心律(A7、A13、A22、A34)医师平均得分25.8分，略高于AI的21.0分。在罕见心电图异常方电解质心室肥大得分(分)图1第1轮比赛人工智能和医师的诊断得分分布准确率(%)时间(s)准确率(%)1020345607809000第2轮比赛表现：医师准确率为73.4%。AI准确率为33.2%,低于所有参与医师的得分(表1)。在复杂和多标签心电图方面，人类等，医师平均得分为168.5分，而AI平均得分为59.0分。对于需要特异性和依赖临床信息进行诊断的疾病，AI的诊断性能也较差。肺 (B19)等心肌病，医师得分8.7~18.3分，AI为0分。但对于多标签心肌梗死(B2、B7、B12),AI的总分为47.0分，医师的平均得分为46.1分(图2、表1)。结合第1轮和第2轮的结果，AI的最终得分为484分，在15名(14名医师+AI)参赛选手中位列第12位，医师平均得分为513分，其中5号医师得分最高，为616分。无论是第1轮比赛还是第2轮比赛，虽然AI有很强大的诊断能力。但是仍然有些心电图类别AI诊断不如医师。图3是人工智能表现不如人类的心电图示例。图3A、B是第1轮比赛的心电图，图3C、D是第2轮比赛的心电图。肺栓塞心尖肥厚型心肌病电解质紊乱心律失常0得分(分)图2第2轮比赛人工智能和医师的诊断得分分布图3人工智能表现不如人类的心电图示例[3A(A20房性早搏，满分7分):AI得0分，医师平均7分；3B(A27心室颤动，满分7分):A1得0分，医师平均6分；3C(B14多标签：窦性心动过缓2分+左心室肥大2分+心尖肥厚型心肌病16分，满分20分):A1得0分，医师平均11.3分；3D(B19多标签：窦性心律2分+右位心18分，漓分20分):AI得0分，医师平均183分1临床基线参数(年龄、性别和主诉)和详细的心电图诊断，以及AI与14位医师在该数据库中诊断心电图的比赛详细信息。比赛于2021心电图研究提供1个开源互动平台，从而推动中国心血管疾病检测的发展。该比赛为了比较AI在简单和复杂心电图异常PTB-XL数据集包含21837份临床10s、12导联心电图，分为正常、心肌梗死、ST-T改变、传导紊乱和心房或心室肥大5大类，共19个的双通道动态心电图记录，包括15种心律失常，分为5大类，包括例患者的9831条心电图记录，分为9种类别，包括房颤、一度房室ST段压低和ST段抬高和正常心电图16,欧洲ST-T数据库包含79例患有心肌缺血并出现ST-T改变的受试者90条动态心电图记录，包含25份长时程房颤心电图记录[18]。Gavidia等[19]构建了1个包含70例房颤患者24h动态心电图数据的数据库，但这些数据库存在本研究发现，1个全面且丰富的心电图数据库应涵盖多种类型的 助于构建与患者临床状况的关联。例如，病例A23标注：女64岁，主诉为“射频消融术后1年、心悸复发6个月”,心电图诊断为“阵发性室上性心动过速”。病例B7标注为：女45岁，主诉为胸痛1d,性广泛前壁心肌梗死(以急性广泛前壁心肌梗死为主要诊断)。这些优于人类。在第1轮测试中，AI在所有单标签心律失常类别中表现性相关，这解释了AI在此类心律失常中的优异表现。然而，在复杂心电图识别中，AI的表现逊于人类。人类专家的平均得分为279,而AI仅为126,这凸显了人类在分析复杂心电图模式和识别罕见异常方面的熟练程度。对于肺栓塞和肥厚型心肌病等特定疾病，AI表现差对于不同阶段的心肌缺血，AI识别特定阶段的能力弱于医师；但在近期研究表明，AI可通过医疗数据检测多种疾病，其发展确实诊断原则存在本质差异。AI基于学习到的规则和数据进行诊断，可能仅停留在表面，对图像进行“描述性诊断”,而这只是1种疾病表疾病时，AI容易误诊。而医师需要结合病史、生命体征和相关生物这是AI目前无法替代的。不过，随着技术的