主线 · 第 6 / 12 篇
· 约 9 分钟
三种经典范式:ReAct、Plan-and-Solve、Reflection
ReAct 边想边做,下一步看上一步的结果;Plan-and-Solve 先写完计划再执行,路径可预期,但对意外不敏感;Reflection 先出答案再检查修改,有没有用取决于检查的依据来自哪里。三者是写在模型外面的三种控制流,可以组合使用。
第一篇的循环里,模型每一轮决定下一步。“怎么决定”还有不同的组织方式。这一篇讲三种常被拿来对比的范式:ReAct、Plan-and-Solve、Reflection。它们不是三种不同的模型,而是写在模型外面的三种控制流,回答的是同一个问题:下一步从哪里来。
几个词先说明。范式在这里指组织模型调用和工具调用的固定套路。计划是事先写下的步骤列表。反馈是对一次输出好坏的评价,可能来自模型自己,也可能来自测试、工具或规则。
ReAct:边想边做
ReAct 出自 Yao 等人 2022 年的论文,第二篇提过它。每轮可分三段:Thought 是模型写下的推理,Action 是提出要执行的操作,Observation 是执行后拿到的结果。论文还把不影响外部环境的文字推理也看作一种行动:它不产生新的外部观察,只把有用的信息写回上下文,供后续推理和行动使用。
论文列了思考的几种用处:分解目标、制定行动计划,注入和任务相关的常识,从观察里摘出要点,跟踪进度、转换计划,处理异常、调整计划。在问答和事实核查任务上,论文报告 ReAct 通过和一个简单的 Wikipedia 接口交互,克服了单纯思维链里常见的幻觉和错误传播。
它的长处是灵活:每一步都看着上一步的观察再定,不用事先写好分支。代价是每一步都要调一次模型,总共走几步事先不知道。
Plan-and-Solve:先写计划,再执行
Plan-and-Solve 出自 Wang 等人 2023 年的论文。零样本思维链不给示例,只要求模型逐步思考;论文针对它的一类错误:漏掉步骤。办法分两部分:先制定计划,把整个任务拆成更小的子任务;再按计划逐个完成子任务。论文里这是一种提示方法,在一次调用里完成;搬到 Agent 里,常见的写法是先让模型列出全部步骤,再由程序逐个执行,最后汇总。
它的长处是计划可以先给人看,模型调用次数少,路径事先知道。短处是计划一旦写定,中间出现意料之外的结果,后面的步骤不会跟着变。常见的补法是重新规划:执行结果不足以下结论时,再让模型补几步。第一篇引用的 Anthropic《Building effective agents》还介绍了 orchestrator-workers:中心模型根据输入动态拆分任务,再交给其他模型处理,子任务不是事先定好的。
Reflection:先出答案,再检查修改
Reflection 泛指先给出答案、再检查、再修改的做法。Self-Refine(2023)用同一个模型生成初稿、给自己的输出提反馈、按反馈修改,反复几轮,不需要额外训练。Reflexion(2023)面向 Agent:一次尝试结束后,根据反馈把值得记住的经验写成文字,下次尝试时再放进上下文,不需要重新训练模型。反馈可以来自测试结果等外部信号,也可以来自模型对这次尝试的内部评价。
这里有一个要紧的限制。Huang 等人 2023 年的论文专门考察了不借助外部反馈、只靠模型自身能力的自行纠正,结论是在推理任务上,模型很难在没有外部反馈的情况下纠正自己的回答,有时纠正之后表现反而下降。Anthropic 的 evaluator-optimizer 模式让一个模型生成内容、另一个模型评价,再按反馈反复修改;它的适用条件也类似:要有清楚的评价标准,迭代改进要能带来可衡量的提升。
所以反思有没有用,取决于批评的依据来自哪里。来自测试结果、工具返回或明确的规则,反思才有东西可对;只是让模型把自己的答案再读一遍,常常只会再确认一次。
同一组告警,三种跑法
下面的演示不联网,用固定函数代替模型。前三段比较告警 B(登录服务变慢)的 ReAct、固定计划和重新规划;后两段比较告警 C(备份机磁盘告警)的模型自查与工具核对。汇总中的 model 和 tool 分别是模型和工具的调用次数。
ReAct, alert B login-api
thought: latency alert, start with logs
action: query_logs -> (no log lines)
thought: logs are empty, maybe a recent change
action: read_config -> 09:12 upstream timeout changed 2000ms -> 200ms
thought: 200ms upstream timeout explains 4s p99
Plan-and-Solve, alert B login-api
plan: query_logs -> query_metrics -> lookup_runbook
Plan-and-Solve + replan, alert B login-api
plan: query_logs -> query_metrics -> lookup_runbook
replan: + read_config
Reflection, self-critique, alert C backup-01
round 1: disk 91%, action page; critique: looks fine
Reflection, tool check, alert C backup-01
round 1: disk 91%, action page; critique: draft says disk 91%, metrics say current=64%
round 2: disk 64%, action none; critique: looks fine
summary model tool result
ReAct 3 2 timeout change at 09:12
Plan-and-Solve 2 3 inconclusive: upstream slow, cause unknown
Plan-and-Solve + replan 4 4 timeout change at 09:12
Reflection, self-critique 2 0 page (disk above 90%)
Reflection, tool check 2 2 none (peak 91% at 03:00 already cleaned)
告警 B 上,ReAct 看到日志是空的,转去读配置,两次工具调用就找到原因。Plan-and-Solve 的计划在开头就写定了,里面没有读配置这一步,三步照做完,结论是不确定。加上重新规划之后,补了一步读配置,结论对了,模型调用却从两次变成四次,比 ReAct 还多。
告警 C 的初稿把凌晨的峰值 91% 当成了当前值,建议呼叫值班。让模型自己复查,它觉得没问题,错的建议原样通过。换成拿指标工具的当前值去核对,第一轮就发现对不上,第二轮改成不需要处理。两种反思的模型调用次数一样,差别只在批评的依据:后者多了两次工具调用,换来一个有据可查的结论。
演示里的自查写成了直接认可,用来代表 Huang 等人描述的那种情况;真实模型的自查有时也能发现问题,只是没有保证。两种批评在脚本里是这样写的:
def self_critique(draft): # the same model judging its own answer: it looks reasonable
return None
def tool_check(draft): # compare the claim with what the metrics tool says right now
current = tool("query_metrics", "backup-01").split("current=")[1].split()[0]
if draft["disk"] != current:
return f"draft says disk {draft['disk']}, metrics say current={current}"
return None
这些数字只属于这个写死的例子。真实任务里,计划可能一次就写对,ReAct 也可能走弯路。哪种更合适,要在自己的任务上测,这是最后一篇讲评估时的事。
容易误解的地方
“三种范式只能选一种。”实际系统常常混着用:先列计划,每一步用 ReAct 的方式执行,最后用有依据的检查复核结论。
“步骤越多,想得越周全。”每多一步,就多一次模型调用和一次出错的机会。演示里重新规划得到了正确结论,代价是模型调用多了一倍。
“反思总能纠错。”没有外部依据的反思,只是让模型再确认一次自己。要让反思有用,先想清楚拿什么去核对。
“用了某个范式,别的就不用管了。”范式只是写在模型外面的控制流,工具的允许名单、参数校验、步数上限一样都不能少。三种跑法本质上都是循环,循环怎样停下来,是下一篇的内容。
日常用的编码 Agent 跑测试、读报错、再改代码,就是 ReAct 加上有外部依据的反思:测试输出是那个来自模型之外的依据。
参考资料
- ReAct: Synergizing Reasoning and Acting in Language Models:推理和行动交替进行,思考是语言空间里不影响环境的行动。
- Plan-and-Solve Prompting:先制定计划拆分子任务,再按计划完成,针对漏掉步骤的错误。
- Self-Refine: Iterative Refinement with Self-Feedback:同一个模型生成、反馈、修改。
- Reflexion: Language Agents with Verbal Reinforcement Learning:不更新权重,把对反馈的反思写成文字存进情景记忆。
- Large Language Models Cannot Self-Correct Reasoning Yet:没有外部反馈时,模型很难纠正自己的推理。
- Anthropic: Building effective agents:orchestrator-workers 与 evaluator-optimizer 两种模式及其适用条件。
- Hello-Agents 第四章:智能体经典范式构建:中文教程,三种范式的实现与对比。
本文涉及的知识点
5 个
名称打开知识图谱中的对应条目;「另见」只计已发布文章。
本节知识点
本节知识点
本节知识点
本节知识点