3月+Nature+《人工智能工具正在发现研究论文中的错误：在日益增长的运动中》

人工智能工具正在发现研究论文中的错误导语：2025年3月7日，Nature发布《人工智能工具正在发现研究论文中的错误：在日益增长的运动中》（AItoolsarespottingerrorsinresearchpapers:insideagrowingmovement），文章介绍了人工智能在科研文献错误检测中的应用，启元洞见编译报告主要内容，旨在为读者了解人工智能工具发现研究论文中错误的问题、方法提供参考。去年年底，全球各大媒体纷纷警告称，黑色塑料烹饪用具中含有令人担忧的致癌阻燃剂。然而事实证明，这一风险被过度夸大了——原始研究中存在一个数学错误，错误地表明某种关键化学物质超出了安全限值，而实际上其含量仅为安全限值的十分之一。一些研究人员很快指出，这样的错误人工智能模型可以在几秒钟内发现。这起事件促使两项利用人工智能查找科研文献错误的项目应运而生。其中一个名为“黑色锅铲项目”（TheBlackSpatulaProject），是一个开源人工智能工具，至今已分析了大约500篇论文中的错误。该项目由大约八名开发者和数百名志愿顾问组成，目前尚未公开所发现的错误，而是直接联系相关论文作者。来自哥伦比亚卡塔赫纳的独立人工智能研究人员华金·古洛索（JoaquinGulloso）表示：“目前已经发现了很多错误，列表非常庞大，简直令人震惊。”另一个项目名为“YesNoError”，由人工智能创业者马特·施利希特（MattSchlicht）创立，灵感正是来自“黑色锅铲项目”。据施利希特介绍，该项目由其专属加密货币提供资金支持，目标更加远大。“我当时想，为什么我们不去分析所有论文呢？”他说。他们的人工智能工具在两个月内就分析了超过3.7万篇论文。该项目的网站会标出被人工智能检测出存在缺陷的论文——尽管其中很多错误尚未由人工验证，不过施利希特表示，YesNoError未来计划将验证流程规模化开展。这两个项目都希望研究人员能在投稿前使用这些人工智能工具，也希望期刊也能在发表前应用它们，以此来避免错误甚至欺诈情况存在于科研文献中。目前，这些项目已经获得了一些科研诚信领域专家的初步支持。但也有人表达了对潜在风险的担忧。荷兰蒂尔堡大学的元科学研究者米歇尔·努伊滕（MichèleNuijten）指出：这些人工智能工具究竟有多准确，发现的错误是否已经被验证，这些问题必须明确说明。“如果贸然指责某位作者，结果发现其实并没有错误，那可能会造成名誉损害。”也有专家表示，尽管项目存在风险，但其目标方向是正确的。瑞典韦克舍林奈乌斯大学科学家詹姆斯·希瑟斯（JamesHeathers）指出：产出一篇质量低劣的论文要比撤回它容易得多。作为第一步，人工智能可以用于筛选需要进一步审查的论文。希瑟斯曾担任“黑色锅铲项目”的顾问，他表示：“现在还处于早期阶段，但我支持这些项目。”一、人工智能侦探许多研究人员毕生致力于在学术论文中发现学术诚信问题，虽然目前已有一些工具能检查论文的某些方面。但支持者希望，人工智能能一次性进行更广泛的检查，并处理更大数量的论文。“黑色锅铲项目”和“YesNoError”这两个项目都使用大语言模型（LLMs），用于识别论文中的各种错误，包括事实错误、计算错误、方法问题和引用问题等。这些系统首先会从论文中提取信息，包括表格和图像。然后它们生成一组复杂的指令，告诉一个“推理模型”——一种专门类型的大语言模型——正在分析的内容及需要查找的错误类型。该模型可能会多次分析同一篇论文，每次针对不同类型的错误，或用于结果交叉验证。分析一篇论文的成本在15美分到几美元不等，取决于论文的长度和所用的提示组合。误报率是当前面临的一个重大难题。古洛索表示，目前“黑色锅铲项目”的系统大约10%的错误判定是误报。每一个所谓的错误都必须由该领域的专家进行验证，而寻找这些专家正是该项目面临的最大瓶颈。软件工程师兼企业家史蒂夫·纽曼（SteveNewman）也表示这是系统发展的限制因素。截至目前，施利希特的YesNoError团队仅对人工智能在第一批1万篇论文中发现的约100个数学错误的误报率进行了量化。他表示，在90%有回应的作者中，除了一个之外，所有人都承认人工智能检测到的确实是错误。未来，YesNoError计划与ResearchHub合作，该平台通过加密货币支付给博士级科研人员进行同行评审。当人工智能完成一篇论文的检查后，YesNoError将启动一个验证请求流程，不过这项工作尚未正式开始。二、误报目前，YesNoError网站上存在许多误报，林奈大学的科研诚信研究员尼克·布莱恩（NickBrown）表示。在被标记为存在问题的40篇论文中，他发现有14个是误报（例如，模型声称文中提到的某张图没有出现在论文中，但其实出现了）。Brown担心这项工作会给科研界带来大量需要清理的问题，还会纠结于一些微小错误，比如拼写错误——这些本应在同行评审阶段被发现。除非这项技术有重大改进，“否则这将造成大量没有明显收益的工作量”Brown说，“这在我看来极其幼稚”。施利希特表示，YesNoError正在努力尽可能减少误报。“在科研论文中发现微小错误可能看似琐碎，但正如最近一篇论文声称黑色炊具毒性极高所引发的事件那样，即使只是一个多余的零，也可能对世界造成巨大影响。”Schlicht表示，YesNoErr