PaperOK · 科研动态
智能体操作科研软件平均得分34.3%：科研AI为什么必须“过程可查、结果可复现”
清华团队发布科研软件智能体基准OSWorld-Science，12个模型在146项任务上平均得分34.3%。PaperOK科研助手把每一步工具调用、命令和文件修改都记录下来，代码在本机真实运行，结果有数可查。
要点速览
· 清华大学团队牵头发布的OSWorld-Science包含146项专家设计的任务，覆盖7大科学领域、14种科研软件配置，12个视觉语言模型平均任务得分为34.3%。
· 在公开的轨迹分析中，61%的失败运行没有留下可评分的产物。
· 结论很直接：科研智能体会出错，所以它做了什么必须看得见、核得了。
· PaperOK科研助手的“工作过程”记录每一步调用的工具、运行的命令和修改的文件，代码在本机真实运行，生成的脚本可以复现。
2026年10月24日讯 据机器之心报道，清华大学研究团队牵头推出科研软件智能体基准OSWorld-Science，测试AI能否像科学家一样操作核磁共振分析、病理图像处理、统计计算、物理仿真等科研软件，而不只是给出解释或代码。基准包含146项专家设计的任务，覆盖7大科学领域、14种科研软件配置，共有12个视觉语言模型参与测评。
测评结果显示，12个模型的平均任务得分为34.3%（衡量任务完成程度，不等同于成功率）；统计类任务表现相对较好，化学类任务只有少数模型得分超过20%。在已公开的运行轨迹中，61%的失败运行没有留下可评分的产物，往往是耗尽了步骤或时间预算。
科研智能体会出错，关键是错在哪里能被看见（插画）
这组数字对普通研究生意味着什么
它表明了两个方面。第一，科研智能体已经能完成相当一部分真实任务，尤其是统计这类流程清晰的工作；第二，它离“交给它就不用管”还很远。新华网在8月的报道中也指出，DeepMind所预测的220万种新晶体只有不到0.2%经过实验验证——生成得再快，也不代表结果正确。
所以选科研AI，与其问“它有多聪明”，不如问“它做错的时候我能不能发现”。
PaperOK科研助手怎么让结果可核查
· 过程透明：每一步调用了什么工具、改了哪些文件、运行了什么命令，都可以在“工作过程”里展开查看；
· 代码真实运行：智能体直接调用你电脑上的Python / R环境，数字来自真实计算，而不是模型“编”出来的；
· 脚本可复现：数据分析会留下脚本，换一台电脑也能重跑一遍；
· 可以回退：随时从任意一条消息分支，尝试另一种做法；改错了可以一键撤销文件修改。
PaperOK科研助手：在你的电脑上运行、过程透明、权限可控（官网截图）
在官网的“方法章节写作”案例中，科研助手生成了19个编号公式和7张表，并指派了一个代理单独重新计算了208个数字。复算这一步，正是为了把“看起来对”变成“核过是对的”。
常见问题
问：科研助手的分析结果可以直接写进论文吗？
建议：检查“工作过程”中的每个步骤，使用生成的脚本重新运行它们，确保数据、方法、结论是可靠的，然后写入论文。
问：不会写代码也能用吗？
可以的。用自然语言说出你的目标，智能体自己写代码，自己运行，代码和结果都保存在项目文件夹中，方便你自己或者导师检查。
关于 PaperOK
PaperOK（www.paperok.com）是长沙深识科技有限公司旗下的论文检测与科研 AI 平台：论文查重、AIGC检测免费版每天各20篇，另提供论文降重、降低AI率、AI写作辅助、AI答辩PPT、AI科研绘图，以及桌面端 AI 科研智能体 PaperOK科研助手，覆盖从选题调研到汇报答辩的科研全流程。免费论文查重 免费AIGC检测 了解 PaperOK科研助手
参考资料：
[1] 新浪科技转载机器之心，2026年10月13日：清华团队推出科研软件智能体基准OSWorld-Science
[2] 新华网，2026年8月22日：《科学与健康丨从“工具”到“搭档” AI应怎样助力科研》
论文查重、AIGC检测全部免费
科研AI工具，助你顺利毕业
扫码关注公众号
