你让 AI 把一份会议记录整理成待办清单，它做对了。你把那条说明存下来，打算以后每周都用。

问题是：下周它还做对吗？

先算一笔账。假设它单次做对的概率是 80%，这已经不低了。让它连做五次，每次互不影响：五次里至少做对一次，是 99.97%，几乎一定；五次全部做对，是 0.8 的五次方，32.8%。

你只要它偶尔冒出一个好点子，看前一个数就够了。你要它每周都把那份记录整理对，看的是后一个。

这两个数有名字，叫 pass@k 和 pass^k，Anthropic 的工程文章里有定义，记不住没关系。

但这笔账算不出你自己那条说明会在哪儿出问题。你不知道它实际是 80% 还是 95%，更不知道会出在哪一处。只能让它原样多跑几遍，每次拿同样的条件去对。

本期要点

一条做对过一次的说明，多跑几次会冒出什么？下面是一次整理会议记录的真实试做，最后给你四次重复运行的做法和一张空白记录表。

现场一：首跑全过，重跑三次才冒出来的“小程序”

我拿一份整理会议记录的任务做了一轮实际试做。这是一份专门用于练习的虚构会议记录。会上大致定了五六件事，其中陈雨负责安排 5 位老客户访谈，哪天约完会上没说定；另有一件小程序，会上明说“以后再议，今天不定”。

我给 AI 写的初始任务说明非常平实：

“请把下面的会议记录整理成一份待办清单。每一条写清：做什么、负责人、截止日期。原材料没给的，标为‘未提供’，不补猜。”

为了判断它到底做没做好，我事先拟定了两条完成条件：

1. 会议记录里定下来的每一件要做的事，清单里都有一条；每一条都有负责人和截止日期，材料没给的写着“未提供”；
2. 清单里出现的人名、日期、金额，都能在会议记录里找到原处，没有多出来的，也没有被改掉的。

在实际操作时，AI 负责出内容，我负责把输出复制存成文本。后续核对只看存下来的这份结果，AI 在对话框里怎么自我总结，一概不看。

第一次跑，结果挑不出毛病：表格里整整齐齐列出定下来的事项，访谈没说截止日期，对应位置老老实实写着“未提供”；至于大家说以后再议的小程序，它没有列入表格，只在表外的备注里说明了一句“仅提及，未形成待办”。

两条条件全部通过。按正常流程，第一次全过，修改说明的步骤就可以直接跳过。

但我保持材料一个字不改、任务说明一个字不改，新开对话窗口原样又跑了三次。

就在这多跑的三次里，不一样的结果冒出来了：三次之中，有两次它把那件会上明确说了“以后再议”的小程序，列进了待办表格，排成第 7 条待办，负责人和截止日期都写着“未提供”。

这算不算错？回头看我的说明，只写了整理成待办清单，没说会上没定的事怎么处理。有人习惯在清单里留一栏“待定”，把它列进去也说得通。所以几次跑下来，它在两种读法之间来回换：有时放在表外，有时排进表格。我那两条完成条件也拦不住，因为它没有编造人名、金额，定下来的事也都列了。

我要的清单，是会后真有人去做的事，“以后再议”不算。只跑一次，我根本不会发现自己的说明还有第二种读法。

于是我先把第一条完成条件收紧为：“会上定下来的每一件要做的事，清单里都有一条，没定下来的事不列进来”。

接着回到任务说明，只在末尾增加了一处约束：“会上没定下来的事，不列进清单。”原材料依然一字不动。

现场二：修好了一处，陈雨的访谈却被挪走了

加上这句约束后，新开对话重跑。

这一次小程序确实消失了，待办表格恢复了清爽，两条条件再次全部通过。

如果按惯常做法，到这里可能就宣布修改成功了。但我拿着这版刚改好的说明，继续多跑了两次。

结果，一次表现正常，另一次却冒出了新情况：待办表格里只剩五行，陈雨负责的老客户访谈不在其中；表格下方的说明文字里单独写着“负责人：陈雨；截止日期：未提供”，它给出的理由是“未提供截止日期”。

原材料里的原文是：“要约 5 位老客户做访谈，陈雨负责安排。什么时候约完，会上没有说定。”

对照第一条完成条件：会上定下来的事清单里每件都有一条。这件事明明已经定下来要做，而且指定了陈雨牵头，只是还没敲定哪天完成，现在却不再是清单里的一条待办了。

修好了一个问题，不代表没把另一个原本对的地方改坏。这两处，只跑一次都看不到。

新加的那句约束，没有把“事情没定”和“事情定了、只缺负责人或日期”分开，它就有了把访谈也算成“没定”的空间。我把这两件事分开写，定稿说明如下：

“请把下面的会议记录整理成一份待办清单。每一条写清：做什么、负责人、截止日期。原材料没给的，标为‘未提供’，不补猜。会上没定下来的事，不列进清单；事情定了、只缺负责人或日期的，照常列出，缺的写‘未提供’。”

换一份新材料：定稿后的四次运行

任务说明定下来以后，一个字不再改动。

接下来进行四次正式运行：同一份会议记录材料，加上定稿那一版的结果，新开对话原样再跑两次（材料一总共三次）；然后，换一份此前从未参与过任何调试的新会议记录（一份虚构的年会筹备会记录），跑第四次。

为什么要专门换一份没见过的材料？我在课里是这么说的：

“改说明的时候你一直盯着这份材料，改出来的说明很容易刚好适配它。”

换一份没参与修改的新材料，就是为了看你的说明是不是只对最初那份材料管用。

这四次真跑的记录如下：

四次运行，两条完成条件全部通过。同一份材料的三次运行高度一致，换了新材料同样没有出现违规。

但第 4 次记录里有一处差异值得注意：材料一在面对上线延期时，三次运行都把改期当作一行待办单独排进了表格；而新材料面对年会改期时，却把改期结论放在了表格下方的说明里。两者都算过了条件，所以不算失败。但如果你的下游要求改期必须单列进表，这就是验收条件里漏掉的一条，需要补进条件再多跑几次验证。

结论只写到这里：

“四次都通过，也只说明这四次，不能说成它可靠。”

这次没覆盖的：两份材料都是虚构的，只跑了四次，只用了一个模型。

动作：原样再跑两次，再换一份新材料跑一次

不用写代码，也不用搭评测平台。挑一条你最近刚调通、打算反复用的说明，照下面五步做：

1. 写两三条“拿什么证明做完了”：打开结果看一眼就能判断对错，不写“整理得清楚”这种形容词。前面那两条可以照着改。
2. 说明定下来后一个字不改，原样再跑两次：同一份材料，每次新开对话，输出存成文件，只看文件。
3. 换一份没参与修改的新材料，跑一次：看说明是不是只适配了最初那份。
4. 每次都拿同样的条件对，记一行：

四行里有没有哪一次没过、换了材料后有没有不一样？有，就记下是哪一次、哪一条。

5. 改过说明，就把所有条件从头再对一遍：修好小程序那次，就是这样发现访谈被挪走的。

你手里会多出四行记录

走完这几步，你手里是四行记录：对了哪几条、哪几次过了、哪里不一样。它保证不了 AI 下次不出错，但下次你改了说明、换了模型，拿同样的条件再对一遍，就知道原来过的那几条现在还过不过。

行业里管这件事叫 Eval（评测），重复运行是其中一格。这张记录表我放进了一个空白的「我的 Eval 工作包」，第四格就是它，可以直接下载：空白「我的 Eval 工作包」

另外五格，成功标准怎么写到能直接去看、让 AI 当评委前怎么校准、改了说明以后怎么回头检查，在 AI 精英圈 PRO 的月度课《Agent Eval 实战》里。

本期推荐

完整的六格方法和六节练习，在 AI 精英圈 PRO 的月度课《Agent Eval 实战》里，加入 PRO 就能看。

→ 了解 AI 精英圈 PRO

Axton 的 AI 实践工具箱
MAPS 课程 · 从方法论到可交付系统
精英圈 PRO · 深度实践者社群
免费入门课 · 零门槛开始

MAPS 术语词典与原典索引：https://www.axtonliu.ai/maps