最近我看到一项很有意思的实验。

研究者找来几个真实、并且还没有公开答案的AI研究课题，让Agent自己查资料、写代码、跑实验、分析结果。他们给了Agent几天时间和相当可观的算力预算，最后再让真正做过这些课题的研究者评价Agent的成果。

结果不太好。Agent没有产出达到论文标准的研究成果。

研究者还分析了大量运行日志，发现Agent有不少问题：一次实验结果不好，它就过早放弃整个方向；不会合理分配预算；Reviewer已经指出关键问题，它还是沿着原来的路线修修补补；遇到死路时，也不知道回退、修改假设、重新设计实验。

这些现象我都相信，而且非常值得研究。

但如果根据这项实验，直接得出“AI Agent现在还不会做开放式研究”，我会非常谨慎。

因为这种实验最终测到的，从来都不只是AI的研究能力。基础模型、Agent框架、工具、实验设计、操作者水平和人类对照组，全都混在最终结果里面。只要其中一个变量没有控制好，结论就很容易超出证据能够覆盖的范围。

到底用了什么模型？

现在讨论Agent能不能完成一个复杂任务，模型版本已经是一个绕不过去的变量。

不同模型在普通聊天中的差距，有时候看起来只是回答好一点或者差一点。但到了持续几个小时甚至几天的任务中，这些小差距会不断累积。

有的模型更容易忘记最初的目标，有的模型更容易发现前面的假设已经错了；有的模型遇到实验失败会重新规划，有的模型会沿着错误路线继续消耗预算；有的模型可以稳定维护几十步状态，有的模型跑到一半就开始偏离方向。

所以一个Agent实验失败以后，我首先想知道的是：

• 具体用了哪个模型？
• 推理强度怎么设置？
• 上下文怎么管理？
• 允许调用哪些工具？
• 有没有独立的Reviewer？
• 失败以后怎么恢复？
• 预算怎么分配？

把这些信息全部去掉，只留下一句“Agent失败了”，其实没有多少信息量。

同一个基础模型，放进两套不同的Agent框架，最后可能表现得像两个完全不同的系统。模型负责提供推理能力，Agent框架负责维护长期状态、拆解任务、调用工具、验证结果、失败回滚和控制预算。开放式任务，恰好非常依赖这些东西。

因此，一项严谨的Agent研究，首先能够证明的应该是：

在这个模型、这套Agent架构、这些工具和这组资源限制下，系统没有完成这个任务。

这个结论完全没有问题。但能不能进一步概括成“现在的AI做不了这件事”，还需要更多实验来支持。

设计实验的人，真的会用Agent吗？

这个问题可能更加重要。

我以前在一家互联网大厂工作时，接触过一个专门做机器学习和数据挖掘的研究团队。团队里面很多人都是名校硕士、博士，理论基础很好，也有真正的研究能力。他们有些实验会跑几个星期，复杂项目做一两个月也很常见。

后来有一次，我看了他们写的Python代码，印象非常深。

大量重复计算，大量没有必要的循环。明明可以使用集合解决的问题，却在反复遍历列表；明明可以提前计算或者缓存的东西，却每次都重新计算。代码明显是在Jupyter Notebook里面随着实验一点点堆出来的，前面写过的逻辑，后面再复制一次，对时间复杂度和工程结构也没有太多考虑。

其中一些实验如果让我来重构，我认为运行速度提高五倍并不夸张。

这件事情让我意识到，研究能力其实由很多相对独立的技能组成。理论水平、问题选择、实验设计、编程能力、系统工程、数据处理和信息检索，这些能力之间有关系，但远没有强到可以互相替代。

一个机器学习理论很强的人，完全可能写出很差的Python代码。一个很会发论文的人，也可能不擅长构建高效率的实验系统。

到了Agent时代，又多出了一项新的技能：如何组织Agent工作。

这个能力目前被严重低估了。

同样一个模型，有人会写一个巨大的Prompt，然后让Agent自己跑几个小时。有人会先拆分研究问题，给不同方向设置独立的上下文，再设计Reviewer、验证器、检查点和失败回退机制。

有人会让五个Agent同时尝试五种假设，再让第六个Agent专门寻找反例。有人则会让一个Agent从头跑到尾，中间不做任何检查。

如果前者成功、后者失败，我们显然不能把差异全部归因于模型智力。

代码都让AI写，不就解决了吗？

这里马上会有一个很合理的反问：

你举的例子已经过时了。现在最先进的AI写代码已经比绝大部分普通研究员强。如果实验代码、数据处理、实验框架，甚至Agent本身都让AI来写，研究员的工程水平还会影响结果吗？

这个反问非常关键，而且它确实削弱了“研究员代码写得差”这个具体问题的重要性。

如果一个研究团队已经让强模型负责实现实验代码，并且有完整的测试、性能分析、代码审查和结果验证，那么我之前看到的那种低质量Python代码，确实可能大幅减少。

未来的科研工作中，“一个博士因为不会优化Python，导致实验慢五倍”这种事情，很可能越来越少。

但操作者的影响并没有消失，只是往上移动了一层。

过去，研究员亲手写循环。现在，研究员决定让Agent优化什么。

过去，研究员亲手选择数据结构。现在，研究员决定什么结果才算验证通过。

过去，研究员亲手搭建实验框架。现在，研究员需要决定Agent应该探索几条路线、什么时候停止探索、什么情况下重新检查假设，以及Reviewer有没有权限推翻当前路线。

代码可以全部由Agent来写，但下面这些问题，依然要由人或者更上层的系统决定：

• 任务应该怎样拆分？
• 哪些实验可以并行？
• 哪些变量必须控制？
• 什么指标才能提供真正有效的反馈？
• 一次实验失败，究竟是研究假设有问题，还是实验实现有问题？
• 连续三次失败以后，应该继续尝试，还是换一个方向？
• 多个Agent得出冲突结果时，应该相信谁？
• Reviewer提出异议以后，应该补一个实验，还是推翻整个研究设计？
• 什么时候应该增加算力，什么时候继续砸算力已经没有意义？

开放式研究最难的部分，恰好集中在这里。

所以，即使AI解决了代码质量这个底层问题，实验设计者仍然可能搭出一套非常糟糕的Agent系统。

只不过以前的问题表现为O(n²)的循环、重复计算和垃圾Notebook；现在的问题变成了错误的任务拆分、缺失的反馈循环、错误的验证标准和糟糕的停止条件。

甚至还有一个更加隐蔽的风险：Agent写代码太强，反而可能掩盖上层设计的问题。

代码运行得很漂亮，测试全部通过，实验自动化程度很高，最后还生成了一篇结构完整的论文。整个流程看起来非常专业，但研究方向可能从第三个小时开始就已经走偏了。

工程质量高，不代表研究设计也同样高。这两件事情必须分开看。

Agent的能力是一个乘法结果

我现在更愿意把一个复杂Agent系统的最终表现，理解成下面几个因素共同作用的结果：

基础模型 × Agent架构 × 工具质量 × 反馈机制 × 操作者能力

这里不能简单做加法，因为任何一个环节特别差，都会浪费其他环节的能力。

一个很强的模型，如果没有可靠的反馈，很可能非常高效地沿着错误方向跑很远。

一套优秀的Agent框架，如果接入一个能力很弱的模型，也会在真正需要判断力的地方不断失败。

模型、工具和框架全部配齐，如果实验者选择了一个错误的评价指标，系统一样可能优化出毫无意义的结果。

这也是为什么我越来越不喜欢笼统地问：“这个模型会不会做科研？”

科研根本没有一个统一的评分函数。

写代码时，程序能不能运行是反馈；优化性能时，Benchmark可以直接告诉你速度变快还是变慢；数学证明至少还有相对清晰的正确性标准。

开放式研究困难得多。

一个实验结果不理想，到底说明研究思路错了、代码实现错了、数据错了，还是这个异常本身就是最重要的新发现？成熟研究者的价值，很大一部分就体现在这种判断上。

Agent真正的难题，往往出现在没有清晰反馈信号的地方。

人类对照组也不一定靠谱

这类研究还有另一个经常被忽略的问题：到底拿AI和什么样的人比较？

论文里面很容易写“由领域专家完成”，但“领域专家”是一个非常模糊的标签。

同样是机器学习博士，一个人有很强的系统工程能力，会自动化实验、并行探索、搭建完善的数据处理流程；另一个人习惯手工操作，一条路线跑到底。两个人都可能拥有很好的论文记录，但完成同一个计算密集型研究任务，效率很可能相差几倍。

加入Agent以后，这个差距还会继续扩大。

一个研究员让Agent帮自己写一点代码，整体工作方式没有任何变化。另一个研究员则会重新设计整套研究流程：多个Agent并行探索不同假设，一个Agent持续阅读新论文，一个专门寻找反例，一个审查实验设计，还有一个检查结果是否可靠。研究员本人只介入那些真正需要高层判断的环节。

这两个人，都可以在论文里面被归类为“Human + AI”。

但这个标签已经完全无法描述他们之间的区别。

真正值得做的实验

如果要研究Agent对科研的影响，我更希望看到下面这样的2×2实验：

这个实验可以回答几个非常重要的问题。

B与A的差距，可以告诉我们Agent对普通研究员有多大帮助。

D与C的差距，可以告诉我们Agent对高水平操作者有多大帮助。

D与B的差距，则能告诉我们一个很少有人认真测量的变量：会不会使用Agent，到底能带来多大的生产力差距。

我怀疑第三个数字未来会非常大。

工具能力越强，不同使用者之间的差距往往越大。大家都有Google，并没有因此拥有相同的信息检索能力；大家都会写Python，工程能力的差距依然巨大；以后所有研究员都能调用同一个顶级模型，也不会自动获得相同的研究效率。

有些人会把Agent当成一个更聪明的聊天机器人。

另一些人会把它当成一支可以编排、验证和并行调度的研究团队。

明明使用的是同一个基础模型，最后的产出却可能像来自两代不同的工具。

真正值得关注的问题已经变了

“AI会不会替代研究员”这个问题太远，也太粗糙。

未来几年更值得关注的变化，很可能是研究人员之间的生产力差距迅速扩大。

一个研究员以前一年只能深入测试三个方向，以后可能同时探索三十个方向。以前大量时间花在查论文、写实验代码、清洗数据和整理结果上，Agent会逐渐接走这些工作。

人的精力会越来越集中在少数真正有价值的判断上：哪个问题值得研究、哪个证据可信、什么时候应该推翻自己的假设、哪个异常值得继续追下去。

如果一个研究员很擅长这些判断，同时又非常善于组织Agent，他的研究效率可能达到另一类研究员的几倍，甚至一个数量级。

这个变化，完全不需要等到所谓的“自主AI科学家”出现。

所以回到最开始那项实验，我仍然认为它非常值得读。它发现的那些失败模式——长期规划能力差、预算管理混乱、不知道及时回退、面对开放问题缺少研究判断——都是真问题。

只是我们在描述结论时，应该更加准确。

一次Agent研究失败，说明的是一个完整系统失败了。接下来真正有意思的工作，是把这个系统拆开，看看到底是模型、Agent框架、工具、反馈机制、任务设计，还是操作者拖了后腿。

只有做到这一步，我们才真正开始回答那个问题：

AI到底会不会做研究？