随笔 / AI 实践 · 复盘

AI 时代,失败比成功更值得记录

· AI 失败复盘 Eval 判断边界

AI 越强,我们反而越要认真记录失败。成功经验正在变得越来越容易被模仿,失败教训反而越来越稀缺。

这两天我一直在想一件事:AI 越强,我们反而越要认真记录失败。

这句话容易被听成鸡汤。失败是成功之母,多摔几次就会成长。这类话我其实没什么兴趣。它太安全了,安全到几乎没有信息量。

我想说的是另一件事:在 AI 时代,成功经验正在变得越来越容易被模仿,失败教训反而越来越稀缺。

成功经验如果没有拆开失败,很容易变成一段顺滑的故事。失败如果被认真拆开,才会变成下一次判断的边界。

这件事和 AI 的工作方式有很大关系。

AI 太擅长生成“成功的样子”了

过去我们重视经验,是有道理的。

一个人做成过几件事,大概率知道里面的门道。他知道机会怎么判断,项目怎么推动,人怎么协作,组织里的坑怎么绕,不确定时怎么取舍。

所以传统组织喜欢沉淀经验。最佳实践、成功案例、方法论、SOP、复盘文档,本质上都是把一条走通过的路保存下来,让别人下次少摸一点黑。

但 AI 出现以后,成功经验的外壳开始变得便宜。

你给它一个目标,它马上能拆策略、路径、动作、指标、风险、排期。你让它写成功案例,它能写得很完整。你让它总结方法论,它也能总结得很漂亮。有时候,它写出来的东西看起来甚至比真实经验更像经验。

原因不神秘。

大模型本质上是在海量文本里学习“什么内容最像一个合理的下一句”。而互联网上最多的,恰恰是被整理过的成功叙事:战略清晰、执行到位、用户洞察准确、组织协同高效、关键节点判断正确。

这些句子不一定错。但它们太像了。

一个项目成功后,事后总能总结出一条干净的因果链。我们做了 A,所以拿到了 B。我们选择了这个方向,所以打开了局面。我们坚持了某个原则,所以最终跑通了结果。

真实情况往往没这么干净。

成功里面混着资源、时机、运气、竞争对手的失误、老板的支持、某个关键人的个人能力、某个外部窗口突然打开。事后复盘最容易做的一件事,就是把这些复杂因素压成一条漂亮的主线。

人类自己就爱这么干。AI 会把这件事干得更快、更顺、更像那么回事。

所以我对“成功经验”的警惕比以前更强。它当然有价值,但一旦被写进文档、喂给 AI、再由 AI 重新组织一遍,很多真实摩擦就会被磨掉。

最后留下来的,可能不是经验,而是一种成功文学。

插图:成功经验被 AI 抛光后,真实摩擦被过滤成成功文学

失败为什么更有信息量

失败不太一样。

失败通常没有那么体面。它会留下返工、争论、错判、损失,甚至关系里的裂痕。也正因为它不体面,它更难被完整包装。

失败真正有价值,不是因为它让人痛苦,而是因为它暴露了模型没有覆盖到的现实。

这里的“模型”不只指 AI 模型,也包括我们脑子里的判断模型。

你以为用户会这样用,结果他完全不这样用。你以为数据能说明问题,结果发现口径一开始就有偏。你以为流程已经设计好了,结果上线后没人接得住。你以为 AI 理解了任务,结果它只是把错误方向讲得很流畅。

失败其实是在说:你刚才那套理解,没有覆盖真实世界。

放到 AI 的原理里看,这一点更明显。

对一个模型来说,最有训练价值的样本,往往不是那些它本来就容易答对的样本,而是那些它会答错、会混淆、会高置信输出错误结果的样本。因为这些样本暴露了边界。

成功样本经常只能告诉我们:这条路曾经走通过。

失败样本能告诉我们:哪种理解会失效,哪条边界不能碰,哪类信号不能信。

这就是为什么在 AI 时代,失败更关键。不是因为失败更光荣,而是因为失败的信息密度更高。

成功让模型更自信。失败让模型知道哪里该收敛。

AI 的默认方向,是把世界讲顺

AI 会放大这个问题。

一个模糊的念头,经过 AI 一扩展,很快就能变成一篇完整文章、一个产品方案、一套战略框架、一份项目计划。它会让我们很快获得一种感觉:我已经想清楚了。

但想清楚,不等于碰过现实。

大模型的默认能力是补全。它会沿着最合理、最常见、最像正确答案的方向往下写。再经过指令微调和人类反馈,它会更倾向于给出有帮助、完整、顺滑的回答。

这提升了可用性,也带来一个副作用:它更容易把一个尚未验证的方向,讲成一条看起来可以执行的路。

人看完会觉得:行,那就这么干。

可现实世界里,真正要命的东西往往不在方案文本里。它在部门目标不一致里,在数据口径争议里,在老板只给半截资源里,在系统历史包袱里,在上线后那些“不知道为什么就是不对劲”的 badcase 里。

AI 很会画路线图,但它不知道你脚下这块地到底软不软。

失败就是地形图。

路线图告诉你大概可以怎么走。地形图告诉你哪里是坡,哪里是坑,哪里有河,哪里会塌,哪里看起来是近路但实际走不过去。

插图:路线图很顺,但失败记录才暴露脚下真实地形

过去我们靠人自己的经验记住这些地形。现在 AI 参与越来越多,如果这些地形没有被写下来,它就等于不存在。

因为 AI 没有痛感,只有上下文。

一个项目踩过坑,参与过的人下次会迟疑。看到类似方案,他可能说不出完整反例,但会本能地觉得:这里不太对。这里可能会出事。这里看起来太顺了。

AI 没有这种迟疑。你没有写进去,它就不知道。你没有把失败拆成可复用的规则、边界、样本、评测,它下次还是会沿着高概率路径生成一个顺滑方案。

这也是很多组织做 AI 时最容易忽略的地方。

他们把成功案例、项目总结、标准流程、指标提升写得很完整,然后希望 AI 读完这些文档以后变得懂业务。结果 AI 学到的是“我们如何成功”的官方叙事,却学不到“我们在哪里差点摔死”的真实边界。

如果只把成功写给 AI,它学到的是成功文学。

如果把失败也拆给 AI,它才有机会接触真实世界的阻力。

失败要进入系统,才算变成资产

失败如果只是发生过,还不是资产。

失败如果只是被复盘过,也未必是资产。

它要进入系统,才算真的留下来了。

对个人来说,进入系统可能是一条判断原则:以后看到这种完整但没证据的方案,先不推进。以后遇到这种指标提升,先问有没有牺牲长期信任。以后 AI 给出结论,先找它最可能错在哪里。

对组织来说,进入系统应该更硬一点。

失败要沉到 badcase 库里,沉到评测集里,沉到发布门禁里,沉到 SOP 的停止条件里,沉到权限和兜底机制里。

这也是 AI 系统和普通软件系统不一样的地方。

传统软件的 bug,修掉一行代码,很多时候就结束了。AI 系统的失败,如果只修当前 prompt,很容易下次换个表达又回来。因为真正的问题不是这一句话写错了,而是系统不知道这类边界。

所以高质量的 AI 平台,不该只记录调用量、响应速度、用户满意度。它更应该认真记录失败:哪些问题 AI 高置信答错了,哪些场景需要拒答,哪些任务必须升级给人,哪些输出看起来合理但业务上不能用。

这些失败样本才是 Trace 到 Eval 的起点。

插图:失败样本进入 Eval 和发布门禁后,才能防止同类错误回来

Trace 只是原材料。Eval 才能让失败变成回归能力。发布门禁才能防止同类错误回来。训练数据和规则沉淀,才会把一次疼痛变成下一轮能力。

没有这一步,组织只是经历了失败。没有学会失败。

人的价值,是定义什么不能接受

AI 时代,答案会越来越多。

方案会越来越多,表达会越来越多,计划会越来越多。以前高手写三天的东西,现在 AI 几分钟就能给一个像样版本。

但“像样”不等于“可托付”。

人的价值会更多转向另一件事:定义什么是不能接受的错误。

这个结论虽然流畅,但证据不够,不能用。这个自动化虽然提升效率,但一旦出错没人兜底,不能放。这个指标虽然漂亮,但会诱导团队优化错方向,不能信。这个方案虽然完整,但第一步建立在未经验证的用户假设上,不能推。

这些判断背后,不只是知识。更准确地说,是人承担后果之后形成的警觉。

AI 可以给风险清单,但它没有真正的风险感。人活在后果里,所以人的教训有一种 AI 天然缺少的重量。

插图:AI 递来很多方案,人负责画出不能越过的边界

一个成熟的人,不是永远知道正确答案,而是知道有些地方不能轻易相信自己。

一个成熟的组织,也不是永远成功,而是能把失败留下来的疼痛,变成下一次行动前的边界感。

所以我现在越来越觉得,以后要更认真地记录失败。

不是为了自责,也不是为了制造“我很善于反思”的姿态。而是每次不顺时,多问几句更具体的问题:

我原来相信了什么?

现实否定了什么?

我为什么会相信它?

AI 在这里为什么也会顺着这个错误走?

这个错误下次会换一种什么形式回来?

我应该把它写成一条什么边界,放回自己的判断、团队的流程,或者 AI 的评测集里?

这可能比记录一次成功更重要。

因为成功很容易让我更自信。

而教训如果足够诚实,会让我更清醒。

在 AI 时代,清醒会比自信稀缺得多。

订阅 / 联系

下一篇继续从这里接上

新文章会同步到 RSS;也可以直接发邮件给我。