637位科学家的困扰:为什么“可验证”比“会生成”更重要
AI产出越多,人工核对越累。让过程看得见、结果跑得出、数字算得回,才是科研AI该补的课。
本月,谷歌DeepMind和MIT在对637名科学家进行调研后发布了《科学中的人工智能:早期洞察》报告。据21经济网10月19日消息,AI生成太多猜想,科学家忙不过来了。2026年人工智能赋能科学发现与创新国际会议(AI4Science 2026)于10月23日至25日在深圳举行。AI进入科研工作已是共识,但随之而来的问题是,当AI源源不断产生想法、产生代码、产生文字时,作为研究者,我们如何避免被核对工作淹死?
生成很便宜,核对很贵
生成一段看起来合理的分析对于今天的模型来说并不是什么难事,难的是判断其正确性。一个数字从哪来、一个结论的依据是什么、一段代码有没有真正执行过……这一切都需要从头检查一遍,AI省下的时间很快就被核对所吞噬,甚至得不偿失。
所以,评价一个科研AI工具,“会生成”只是入门,“可验证”才是关键。PaperOK科研助手在设计上把可验证拆成了三层。
在展开之前,先说一个误区:让AI“自己检查一遍”不等于验证。同一个模型用同样的方法看一遍,只会将同样的错误再次肯定。有效的验证要么是能够重放的过程,要么是能够重跑的代码,要么是独立于原作者的复算。下面三层,正好对应这三件事。
过程看得见,结果跑得出
第一层是过程公开。科研助手的每一次检索、每一句命令、每次文件写入都可在「工作过程」中查看。你不必相信它“说”做了什么,你可以直接看它“做”了什么。哪一步搜索用了哪些关键字,哪一步打包失败采取了何种措施,都记录下来。觉得某一步思路不对,可以从那条消息分支出去,换种做法再试;改错了文件,可以一键撤销。
第二层是真实运行。它在你的电脑上调用本机的Python / R环境,代码真实执行,图表和数字都是运行结果,脚本留在项目文件夹里,任何人都能重跑一遍。官网的富集分析案例里,它在计算过程中还主动发现,有8个基因的两项统计值完全相同,提示数值可能被人为改过,建议先核对原始文件——这种提醒,只有真正在读数据的工具才给得出来。同样,在官网的单细胞注释案例中,它最后输出的不只是报告和图表,还有一个一键复现脚本,导师或合作者拿到项目文件夹,可以自己重跑一遍,对照报告里的每一张图和每一个数字。
数字算得回:208个数值的独立复算
第三层为的独立复核。写作类任务最容易出错的就是“正文和数据对不上”,表里一个数,正文里是另一个数。在官网的方法章节写作案例中,给出了一个例子。
真实运行案例:方法与实验章节写作(演示项目)
测试时无真实项目,按要求模拟了一个代码生成项目(9个模块的源码、按日期写的实验记录、2个模型×6种方法×3个种子、每次1,363道题的逐题结果),并在文档开头注明是演示数据。再写出方法部分的19个编号公式,实验部分的7张表1张图,16篇参考文献全为真文献,用pandoc生成Word,全文165个公式均为原生公式。最后,它另派了一个代理从逐题的记录出发独立重新计算了208个数值,核对正文和表格中的数字。
“另派一个代理复算”的目的是让复核者抛开写作者的中间结论,从头开始重新算一遍。这就好比在实验室里面找另一个同学去重现结果一样。对于研究者而言,在日常中我们也可以借用这样的想法,在论文完成之前将表格中的重要数据交由新的对话,提供原始数据和计算方法,重新进行计算,并与正文一一核对。
但即便如此,我们并不觉得AI的自查能够替代人的判断。我们对照官网案例页面,对许多真实的运行案例进行了人工校验,并将发现的问题如实记录,哪些描述有误,哪些文献无法查证。可验证的意思是让研究者核对有路可循,而不是告知研究者“不用核了”。
报告中描述的“忙不过来”会因AI能力的提升而更加严重。与其要求AI少做一点,不如要求它做的每一样东西都有证据,引用的地方可以追溯,代码可以重跑,数字可以重算。结论和署名责任还是研究者,但工具可以降低成本。
关于 PaperOK科研助手
懂科研的 AI 搭档,运行在你的电脑上:文献、数据、写作与汇报,一个对话框完成。支持 macOS、Windows、Linux,免费下载,了解 PaperOK科研助手 免费下载
参考资料:
[1] 21世纪经济报道,2026年10月19日
[2] 科学网博客,AI4Science 2026 会议信息