随笔 / AI 与 Agent

从 Ghostwriter 到 AutoResearch:Agent 真正的分水岭,是会不会自我优化

· AI/Agent 自我进化 写作系统

从 Ghostwriter 的多 agent 审稿回路,到 Karpathy AutoResearch 的自动实验循环,我越来越确信:未来真正有价值的 agent,不只是会做事,而是会围绕目标对象,在稳定评估下持续实验、保留有效变化,并把经验沉淀成下一轮能力。

今天在群里看到有人分享一个开源项目 Ghostwriter。它表面上是一个博客优化工具:你先给它一版初稿,然后它拉起一组不同角色的 agent 一起审稿,有的像投资人,有的像工程师,有的像 Hacker News 上最挑刺的那种人。大家并行吐槽、打分,再由一个写手 agent 去改最拉胯的地方。改完重新评分,如果没涨分,就回滚。

我看到这里,脑子里第一反应不是“这工具挺适合写文章”,而是:这其实已经不是一个普通写作工具了,它更像是一条最小可运行的 agent 自我优化闭环。

Ghostwriter 真正有意思的,不是 8 个 agent

很多人看到这类项目,注意力会被“多 agent”吸走。但我觉得真正关键的,根本不是 8 个 agent 还是 80 个 agent,而是它把一件事拆成了几个特别清楚的结构件。

第一,有一个明确的被优化对象:文章草稿。第二,有一组评价器:不同角色、不同视角的打分和批评。第三,有一个修改器:根据差评去做局部改写。第四,有复评机制:改完不是算了,还要重新打分。第五,有回滚机制:分没涨就撤回。第六,有过程日志:每一轮吐槽、评分、改动都被记录下来。

你把这几步抽象一下,就会发现这已经不是“写作工具”的问题了。它在展示的是:一个系统如何围绕目标对象做持续实验,并且只保留有效变化。

Karpathy 的 AutoResearch,把同一件事放大到了研究层

这也是为什么 Ghostwriter 很容易让我联想到 Karpathy 的 AutoResearch

AutoResearch 做的事情很简单,但也正因为简单,所以特别有力量:给 agent 一个真实但受控的小型研究环境,让它通宵自己做实验。它修改训练代码,跑一个固定时间的实验,看指标有没有变好;变好了就保留,没变好就丢掉,然后继续下一轮。

更重要的是,它把边界划得非常清楚:prepare.py 固定,不让 agent 动;train.py 是唯一允许改的文件;program.md 由人类定义研究方向和行为准则。

自我进化不是“让 AI 随便改”,而是“冻结基线、限制可变区、用稳定评估做连续实验”。

这句话我觉得特别重要。很多人一说 agent 自我进化,想象的是某种无限生长、自由变异的系统。但真正能跑起来的,不是“无限自由”,而是“受约束的可逆试错”。

所以问题的核心,真的是两个

如果让我把这类系统的本质压缩成两个问题,我会写成:目标是什么?评估标准是什么?

这也是我觉得这类事情里最底层、最绕不开的两个支点。

没有目标,系统就不知道自己到底在优化什么。它会把“更像样”“更高级”“更复杂”误当成“更好”。最后可能只是把原本有个性的东西打磨成一块标准化的肥皂。

没有评估标准,系统就不知道哪些变化该留下,哪些该回滚。它可以不停生成新版本,却无法真正积累能力。那不叫进化,只叫反复试错。

我更愿意把它抽象成四层

顺着这个思路再往上提一层,我现在更倾向于把“任务自我进化”统一抽象成四层结构。

目标对象(Object):到底是哪一个东西被持续优化?文章、skill、prompt、memory policy,还是 agent 的运营规则?

评估函数(Evaluator):系统如何判断这次真的更好了?是单一指标、多维 rubric、用户反馈,还是多角色评审?

变异器(Mutator):系统如何提出新版本?局部重写、参数调整、策略替换,还是多候选对比?

选择与记忆(Selection + Memory):哪些变化能活下来?哪些失败以后别再犯?这次成功的经验会不会变成下一轮能力?

Ghostwriter 在文章上已经具备了这四层。AutoResearch 在研究代码上也具备了这四层。差别只是,一个优化的是博客,一个优化的是实验系统。

真正能持续跑下去,还得补上三样东西

但如果想从“局部优化工具”走向“长期可演化的 agent 系统”,我觉得还必须补上三样东西。

第一,冻结区与可变区。 你必须告诉系统,什么可以改,什么不能改。不然它很容易去“改试卷答案”,而不是提升自己的能力。

第二,预算。 每一轮实验都要有时间预算、token 预算、成本预算。没有预算的系统最后通常不是更聪明,而是更膨胀。

第三,反思层。 如果系统只会“改—测—留/丢”,那它更像自动化 hill-climbing。只有当它开始总结“为什么这次有效”“为什么上次无效”,并把这些结论写进记忆里,它才开始从试错走向学习。

这件事不会只发生在文章上

Ghostwriter 给人的第一观感是写作工具,但我觉得它真正预告的不是“以后文章会被自动优化”,而是:以后几乎所有 agent 组件都会进入可被持续优化的状态。

比如,Skill 会自我进化:哪个触发条件太宽了,哪个步骤总让用户补充说明,哪个交付格式最稳。Memory 会自我进化:什么信息值得写长期记忆,什么摘要方式更利于召回,什么写法只会污染上下文。Agent 运营策略会自我进化:什么时候提醒最合适,什么样的汇报节奏不烦人,什么决策该自己做,什么决策该升级给人。

也就是说,未来被优化的,不只是某一个任务结果,而是系统如何优化自己的方法本身。

一个我越来越相信的判断

未来最有价值的 agent,不是一次性把事做完的 agent,而是能围绕目标对象,在稳定评估下持续实验、保留有效变化,并把经验沉淀成下一轮能力的 agent。

这也是为什么我觉得 Ghostwriter 这种项目虽然看起来只是一个小工具,但背后其实踩中了一个非常大的方向:它不是在证明 AI 会改文章,而是在证明 AI 可以围绕一个目标对象形成最小进化闭环。

如果这个闭环继续往前推,写作只是开始。下一步会是 skill,接着会是 memory,再接着会是 agent 自己的运营规则。到那时,我们和 agent 的分工关系也会发生变化:人类不再亲手改每一处实现,而是更多负责定义目标、定义评估、定义边界,以及审计过程。

我现在反而觉得,未来 agent 时代最值钱的能力之一,不是“会不会写 prompt”,而是“能不能定义一个足够稳定、足够有张力、又不会被轻易作弊的评估系统”。