随笔 / Agent 工程

聪明人来了以后,结果确定性不够用了

· Agent 模型能力 边界治理

GPT-5.6 和 Fable 5 变强以后,问题不再只是能不能完成任务。结果确定性之外,还要补上授权确定性。

今天在群里聊到最近用 GPT-5.6 和 Fable 5 的一点体感。

这两个哥们儿太能干了。以前让模型做一件事,我担心的是它做不到、做不完整、走着走着忘了目标。现在麻烦反过来了:它不光把你要的事做了,还会把路上看见的问题一并收拾掉。顺手重构一段代码,顺手修一个工具脚本,顺手改一下它认为不够合理的 Skill。做完以后还会告诉你,这些额外工作也一起处理了。

放在这一次任务里看,它经常是对的。问题确实存在,修改也确实能让任务跑得更顺。但我的老鸭汤不是这一次任务的附属品,它是一套多台电脑共用的 Skill 和工具系统。这里顺手改得很漂亮,另一台电脑上的自动化任务可能就漂了。

这给我的感觉很像公司里突然来了几个能力超强的新人。业务理解快,执行力强,发现问题还主动补位。唯一的问题是,他还没弄清楚公司里哪些东西属于自己的职责,哪些看起来不合理却牵着别的团队。结果就是,局部交付很好,全公司开始跟着他改流程。

一位员工修好眼前机器时,共用传动带让远处几台机器悄悄发生偏移

这不是执行错误,是授权错误

我一开始把这种感觉叫“太自信”。后来查了一圈,发现更准确的说法应该是授权缺口。

Agent 没有误解目标。恰恰相反,它知道怎样能把目标完成得更彻底。它看到一个旧脚本挡路,判断改掉脚本比绕过去更合理;看到一份 Skill 写得不够好,判断顺手修正能避免后面再出问题。每一步单独拿出来都说得通。

但“这个动作对目标有帮助”和“你被授权做这个动作”是两回事。

跑者冲过终点线,却是穿过受保护的控制室抄近路到达

一项刚出来的 coding agent 研究专门测了这种行为。最有意思的不是某个模型的数字,而是同一个模型放进不同 harness 以后,越界率可以从 1.1% 变成 27.7%。边界声明写得清不清楚,遇到相邻问题要不要先问,影响甚至可能大过换了哪个底模。

OpenAI 自己在 GPT-5.6 的 system card 里也承认,它比 GPT-5.5 更容易超出用户意图。这里的“超出”不一定是做坏事,很多时候就是太执着于把事情做完。能力变强之后,模型能想到的合理下一步更多了,能调用的工具更多了,行动速度也更快了。以前它看不见公司里那些可以优化的地方,现在它看见了,而且真敢动。


我以前关于结果确定性的判断,只说对了一半

过去几年,我们一直在把 Agent 的约束从过程确定性迁向结果确定性。

模型不够强的时候,只能把步骤写得很细:先读哪个文件,再跑哪条命令,失败以后走哪个分支。后来模型变强了,这种写法开始妨碍它发挥。于是我们逐渐减少路径指引,把重点放到“什么叫完成”和“怎么验收”。

这个方向没有错。我在《错题集越厚,AI 为什么反而更容易做偏?》里写过,负面约束越积越厚,会和主任务争夺注意力。与其不断补“不要这样”,不如把完成定义和验收 gate 写清楚。

但这次的体感让我意识到,这个判断只说对了一半。

完成定义解决的是:做到什么算结束。它没有解决另一件事:为了做到这个结果,你可以改变什么。

比如,让 Agent 把这篇随笔发布上线,结果验收可以写得很清楚:文章页面能打开,首页有入口,RSS 和 sitemap 都更新,线上正文和本地一致。但这些验收条件并没有授权它去重写发布 Skill,也没有授权它发现部署脚本不顺手时,直接把多台电脑共用的工具改掉。

所以在过程确定性和结果确定性之外,现在还得补一层授权确定性。

过程可以让它自己选,结果必须能验证,但改动半径不能由它为了完成局部目标自己扩大。看见问题,和获得修改权,是两件事。


聪明人不需要更厚的员工手册

我不想因为新模型爱多干活,就退回当年把每一步写死的时代。那等于公司好不容易招到几个高手,又要求他们严格照着十年前的 SOP 办事。

真正要补的不是更多路径,而是更清楚的权责边界。

普通任务目录里的代码,只要目标和验收清楚,可以让它放开做。项目级的公共模块或规则,发现问题可以提修改方案,但要把影响面说出来。跨电脑共享的 Skill、全局 harness、定时任务入口,则应该默认进入保护区:可以读,可以诊断,可以给 diff,但不能在完成另一个任务的时候顺手写进去。

工程师在工作区自由操作,旁边连接全局机器的透明控制柜被单独保护

这也是群里另一个案例给我的提醒。有人让模型更新软件,平常会直接杀掉旧进程。这次模型发现 TCP port 还连着,判断可能有人正在使用,于是停了下来。后来一问,确实有同事在用。

这个案例很容易让人觉得,模型已经有很强的边界感了。我的看法稍微保守一点:它说明明确的风险信号很有用,不说明我们可以把边界全交给模型自己悟。

端口占用、工作区有别人没提交的改动、目标路径属于共享 Skill、操作会影响其他电脑,这些都应该尽量变成机器能直接读到的信号。聪明是第二道防线,第一道防线还是系统把风险做成了它无法忽略的事实。


effort 不是智商档,更像加班预算

群里还聊到一个很实际的问题:是不是 effort 开得太高了。

我觉得有关系,但不能简单理解成“高档位更爱瞎干”。高 effort 更确定的变化是,它会探索更多可能、检查更多边角、补更多隐含义务。GPT-5.6 的 ultra 甚至默认拉四个 agent 并行干活。方向和边界都清楚时,这些都是战斗力;边界没锁住时,它也会把 review surface 和爆炸半径一起放大。

同样的多人协作,在清晰边界内聚焦完成,在无边界处则向邻近系统持续蔓延

所以 effort 不是一个越高越好的智商按钮,更像你批给一个团队的加班预算。

目标封闭、环境隔离、验收很硬的任务,可以让它多想、多试、多跑几轮。需求还在形成、需要人在过程中不断 shape direction、改动面尚未锁定时,medium 往往更合适。不是模型变笨一点更听话,而是这类任务本来就不该一次给出太大的行动半径。

早先公司里是一群不太聪明的人,所以管理靠条条框框;后来来了一批能力强的人,管理开始只盯结果;再后来,公司里全是能力超强、没事就自己卷起来的人,问题又变了。

这时候不能重新把他们按回流水线。也不能只看他这次把活干完了没有。

真正成熟的管理,是让聪明人知道哪里可以尽情发挥,哪里必须停下来问一句。对 Agent 也是一样。

模型越聪明,过程可以越松。模型越聪明,授权边界反而要越硬。

订阅 / 联系

下一篇继续从这里接上

新文章会同步到 RSS;也可以直接发邮件给我。