个人站点
Agent

主线 · 第 3 / 12 篇

· 约 9 分钟

大模型能做什么、不能做什么:token、上下文、采样和幻觉

模型每次调用只做一件事:看着上下文里的 token,一个接一个地预测下一个。它只知道这次调用看得见的内容和训练时学到的东西,输出带着随机性,不确定时也会给出一个通顺的回答。Agent 的很多设计,都是为了补这几个缺口。

本文目录 7 节
  1. 一次调用里发生了什么
  2. 上下文窗口:这次调用能看到什么
  3. 采样:同一个问题为什么答案不同
  4. 提示:用文本改变条件
  5. 幻觉:说得通顺,不等于说得对
  6. 容易误解的地方
  7. 参考资料

前两篇说 Agent 里做决定的是大模型。这一篇只看模型这个部件本身:一次调用里发生了什么,它能看到什么,为什么同一个问题会得到不同的回答,为什么它会很有把握地说错。

几个词先说明。token 是模型读写文本的基本单位,可能是一个词、半个词或一个标点。上下文窗口是一次调用里模型能参考的全部文本。采样是从模型给出的概率分布里选出下一个 token 的方式。提示是这次调用交给模型的全部输入。幻觉指模型生成的内容和事实不符,或者和给它的上下文不一致。

一次调用里发生了什么

模型看到的不是文字,是一串数字。OpenAI 的分词库 tiktoken 使用字节对编码(BPE),把文本切成 token。常见的词片段会成为一个 token,比如 encoding 常被切成 encod 和 ing;平均下来,一个 token 大约对应 4 个字节。

生成的过程是:模型读完上下文里所有 token,给出下一个 token 的概率分布,从中选一个接在后面,再读、再选,直到结束。每一步依据的只有两样东西:这次调用里看得见的 token,和训练时压进参数里的知识。

所以 token 是很多限制的计量单位:上下文窗口按 token 算长度,调用按输入和输出的 token 计费,输出又是一个一个生成的,回答越长等得越久。token 数和字数没有固定换算,中文、代码和日志的比例各不相同,要准确计数,得用对应模型的分词器。

这套机制能做的事很多。GPT-3 的论文里,同一个模型不改参数,只靠文本里的说明和示例,就在翻译、问答、完形填空,以及一些需要临场推理的任务上表现不错。对 Agent 有用的是三种本事:读懂没有固定格式的文本,比如日志、报错和文档;照一段描述完成任务,不用为每种说法写规则;在几个用文字描述的选项里挑出下一步。不能做的也来自同一套机制:看不见这次调用之外的东西,输出带着随机性,说出来的话没有对错保证。下面几节分别讲这三点,以及提示能改变多少。

上下文窗口:这次调用能看到什么

Anthropic 的文档把上下文窗口定义为模型生成回答时能参考的全部文本,包括正在生成的回答本身。它更像工作记忆,而不是训练数据。文档还特意提醒,内容越多不一定越好:token 数增加时,准确率和召回会下降,这被称为上下文腐烂(context rot)。

还有一点常被忽略:Messages API 是无状态的,每次调用都要把完整的对话历史发过去。模型“记得”上一轮说了什么,是因为调用方把上一轮又发了一遍。没发过去的,对这次调用来说就不存在。Agent 要自己决定把哪些观察、哪些工具结果、哪些先前的决定放进下一次调用,这是后面讲记忆和上下文工程的起点。

采样:同一个问题为什么答案不同

模型每一步给出的是一个分布,不是一个确定的词。总选概率最高的那个,叫贪心解码;按概率抽,叫采样。温度控制抽得多分散:温度低,高概率的选项更占优;温度高,低概率的选项也常被抽中。

为什么不总选最可能的那个?Holtzman 等人 2019 年的论文发现,在开放式文本生成中,过于偏向高概率候选的生成方法,可能让文字变得平淡而且反复重复。他们提出了 nucleus sampling:只从概率集中的那一部分里抽,截掉不可靠的长尾。

对 Agent 更要紧的是另一面:同一个输入,多跑几次,结果可能不同。Anthropic 的 API 文档写明,即使温度设为 0,结果也不是完全确定的;有些较新的模型已经不再开放这个参数。靠调参数让 Agent 每次的行为都一样,是靠不住的。

提示:用文本改变条件

提示是这次调用里交给模型的全部输入:系统提示、对话历史、工具结果、示例。它不改模型的参数,只改这一次的条件,从而改变输出的分布。

Anthropic 的提示指南给的建议都很朴素:说清楚要什么;说明背后的原因,模型能从解释里推广;在系统提示里给它一个角色;用标签把指令、材料和示例分开;给几个贴近真实用例、彼此有差别、覆盖边界情况的示例,也就是 few-shot。Wei 等人 2022 年的论文发现,让足够大的模型先写出一串中间推理步骤,即思维链(chain of thought),能明显提升复杂推理的表现。ReAct 每轮先写的推理(Thought),就是把这个做法放进了循环。

提示的作用有边界。它能让模型更可能按某种格式回答,更可能承认不知道,但做不到保证,也补不进训练时没有、这次调用里也没给的事实。

幻觉:说得通顺,不等于说得对

Kalai 等人 2025 年的论文给了一个解释:模型像面对难题的考生,不确定时会猜,给出看似合理却错误的说法,而不是承认不确定;原因之一是训练和评估的方式奖励猜测。多数评测只按对错计分,答“不知道”得零分,猜一个还有机会得分。

下面的演示没有真实模型,fake_model 直接给出一个编造的概率分布,用来展示机制,随机种子固定,所以输出每次一样。设定是:模型训练时见过 login-api 的上游超时是 2000 毫秒,但今天 09:12 改成了 200 毫秒;report-api 它从没见过。

读输出时,上半段每行把同一问题调用五次,右边是五次结果;t 是温度,evidence 表示上下文带有配置记录,+rule 表示加入“没有证据就答 unknown”的要求。下半段列出六条用户消息或工具结果,不是六轮用户对话;budget 是上下文可用的 token 预算,脚本按每 4 字节约 1 token 粗算,从最新一条往前保留。

same question, 5 calls each
  login-api, t=0, no evidence  2000ms 2000ms 2000ms 2000ms 2000ms
  login-api, t=1, no evidence  2000ms 2000ms 1000ms 2000ms 2000ms
  login-api, t=1, evidence     200ms 200ms 200ms 200ms 200ms
  report-api, t=1, no evidence 3000ms 3000ms 5000ms 1000ms 3000ms
  report-api, t=1, +rule       unknown unknown unknown unknown unknown
conversation, rough tokens per turn (about 4 bytes per token)
  1  16  tool: 09:12 login-api upstream timeout changed 2000ms -> 200ms
  2  12  user: login-api p99 latency is 4s since 09:15
  3  12  tool: query_logs(login-api) -> (no log lines)
  4   8  user: anything in the metrics?
  5  14  tool: query_metrics(login-api) -> p99 4.1s, errors 0.2%
  6  12  user: what is the upstream timeout of login-api?
budget 120: model sees turns 1-6, t=0 answer = 200ms
budget  60: model sees turns 2-6, t=0 answer = 2000ms

没有证据时,温度为 0 稳定地答错,温度为 1 在几个错答案之间晃。上下文里有那条配置记录,五次都答对。问它从没见过的 report-api,它照样给出像样的数字,每次还不一样。加上“没有证据就答 unknown”这条要求,答案大多变成 unknown;分布里还留着两成的猜测,这五次只是没抽到。

下半段比较两种预算。预算够时,第 1 条配置记录还在,答对;预算缩到 60,最早的一条被挤出去,模型又回到训练时的旧答案,而且答得一样肯定。

Anthropic 的文档列了几条基本做法:明确允许模型说不知道;处理长文档时,先摘出原文再回答;让每个结论带上引用,找不到引用就撤回。对 Agent 来说,最直接的办法是把证据放进上下文,再用程序去核对它说的内容。

容易误解的地方

“窗口越大越准。”不一定。Anthropic 的文档自己就说,内容多了准确率会下降。要紧的是放什么,不是放多少。

“模型知道自己不知道。”不能指望。分布里总有一个最可能的答案,不加约束时它会把它说出来。提示里允许说不知道有帮助,更可靠的是让程序检查证据在不在。

“温度为 0 就能复现。”官方文档说结果仍不完全确定。trace 是记录每次调用输入和输出的运行记录,用来还原当次过程,不保证重新运行会得到相同结果。第十二篇会详讲怎样用它评估 Agent。

“提示写好就不用校验。”提示只改变分布,不给保证。下一篇讲怎样让模型的输出变成程序能检查的结构。

日常用的编码 Agent 在长会话里像是“忘了”早先说好的约定时,先该怀疑的,是那段话还在不在这次调用的上下文里。

参考资料

本文涉及的知识点

10 个

名称打开知识图谱中的对应条目;「另见」只计已发布文章。