主线 · 第 3 / 12 篇
· 约 9 分钟
大模型能做什么、不能做什么:token、上下文、采样和幻觉
模型每次调用只做一件事:看着上下文里的 token,一个接一个地预测下一个。它只知道这次调用看得见的内容和训练时学到的东西,输出带着随机性,不确定时也会给出一个通顺的回答。Agent 的很多设计,都是为了补这几个缺口。
前两篇说 Agent 里做决定的是大模型。这一篇只看模型这个部件本身:一次调用里发生了什么,它能看到什么,为什么同一个问题会得到不同的回答,为什么它会很有把握地说错。
几个词先说明。token 是模型读写文本的基本单位,可能是一个词、半个词或一个标点。上下文窗口是一次调用里模型能参考的全部文本。采样是从模型给出的概率分布里选出下一个 token 的方式。提示是这次调用交给模型的全部输入。幻觉指模型生成的内容和事实不符,或者和给它的上下文不一致。
一次调用里发生了什么
模型看到的不是文字,是一串数字。OpenAI 的分词库 tiktoken 使用字节对编码(BPE),把文本切成 token。常见的词片段会成为一个 token,比如 encoding 常被切成 encod 和 ing;平均下来,一个 token 大约对应 4 个字节。
生成的过程是:模型读完上下文里所有 token,给出下一个 token 的概率分布,从中选一个接在后面,再读、再选,直到结束。每一步依据的只有两样东西:这次调用里看得见的 token,和训练时压进参数里的知识。
所以 token 是很多限制的计量单位:上下文窗口按 token 算长度,调用按输入和输出的 token 计费,输出又是一个一个生成的,回答越长等得越久。token 数和字数没有固定换算,中文、代码和日志的比例各不相同,要准确计数,得用对应模型的分词器。
这套机制能做的事很多。GPT-3 的论文里,同一个模型不改参数,只靠文本里的说明和示例,就在翻译、问答、完形填空,以及一些需要临场推理的任务上表现不错。对 Agent 有用的是三种本事:读懂没有固定格式的文本,比如日志、报错和文档;照一段描述完成任务,不用为每种说法写规则;在几个用文字描述的选项里挑出下一步。不能做的也来自同一套机制:看不见这次调用之外的东西,输出带着随机性,说出来的话没有对错保证。下面几节分别讲这三点,以及提示能改变多少。
上下文窗口:这次调用能看到什么
Anthropic 的文档把上下文窗口定义为模型生成回答时能参考的全部文本,包括正在生成的回答本身。它更像工作记忆,而不是训练数据。文档还特意提醒,内容越多不一定越好:token 数增加时,准确率和召回会下降,这被称为上下文腐烂(context rot)。
还有一点常被忽略:Messages API 是无状态的,每次调用都要把完整的对话历史发过去。模型“记得”上一轮说了什么,是因为调用方把上一轮又发了一遍。没发过去的,对这次调用来说就不存在。Agent 要自己决定把哪些观察、哪些工具结果、哪些先前的决定放进下一次调用,这是后面讲记忆和上下文工程的起点。
采样:同一个问题为什么答案不同
模型每一步给出的是一个分布,不是一个确定的词。总选概率最高的那个,叫贪心解码;按概率抽,叫采样。温度控制抽得多分散:温度低,高概率的选项更占优;温度高,低概率的选项也常被抽中。
为什么不总选最可能的那个?Holtzman 等人 2019 年的论文发现,在开放式文本生成中,过于偏向高概率候选的生成方法,可能让文字变得平淡而且反复重复。他们提出了 nucleus sampling:只从概率集中的那一部分里抽,截掉不可靠的长尾。
对 Agent 更要紧的是另一面:同一个输入,多跑几次,结果可能不同。Anthropic 的 API 文档写明,即使温度设为 0,结果也不是完全确定的;有些较新的模型已经不再开放这个参数。靠调参数让 Agent 每次的行为都一样,是靠不住的。
提示:用文本改变条件
提示是这次调用里交给模型的全部输入:系统提示、对话历史、工具结果、示例。它不改模型的参数,只改这一次的条件,从而改变输出的分布。
Anthropic 的提示指南给的建议都很朴素:说清楚要什么;说明背后的原因,模型能从解释里推广;在系统提示里给它一个角色;用标签把指令、材料和示例分开;给几个贴近真实用例、彼此有差别、覆盖边界情况的示例,也就是 few-shot。Wei 等人 2022 年的论文发现,让足够大的模型先写出一串中间推理步骤,即思维链(chain of thought),能明显提升复杂推理的表现。ReAct 每轮先写的推理(Thought),就是把这个做法放进了循环。
提示的作用有边界。它能让模型更可能按某种格式回答,更可能承认不知道,但做不到保证,也补不进训练时没有、这次调用里也没给的事实。
幻觉:说得通顺,不等于说得对
Kalai 等人 2025 年的论文给了一个解释:模型像面对难题的考生,不确定时会猜,给出看似合理却错误的说法,而不是承认不确定;原因之一是训练和评估的方式奖励猜测。多数评测只按对错计分,答“不知道”得零分,猜一个还有机会得分。
下面的演示没有真实模型,fake_model 直接给出一个编造的概率分布,用来展示机制,随机种子固定,所以输出每次一样。设定是:模型训练时见过 login-api 的上游超时是 2000 毫秒,但今天 09:12 改成了 200 毫秒;report-api 它从没见过。
读输出时,上半段每行把同一问题调用五次,右边是五次结果;t 是温度,evidence 表示上下文带有配置记录,+rule 表示加入“没有证据就答 unknown”的要求。下半段列出六条用户消息或工具结果,不是六轮用户对话;budget 是上下文可用的 token 预算,脚本按每 4 字节约 1 token 粗算,从最新一条往前保留。
same question, 5 calls each
login-api, t=0, no evidence 2000ms 2000ms 2000ms 2000ms 2000ms
login-api, t=1, no evidence 2000ms 2000ms 1000ms 2000ms 2000ms
login-api, t=1, evidence 200ms 200ms 200ms 200ms 200ms
report-api, t=1, no evidence 3000ms 3000ms 5000ms 1000ms 3000ms
report-api, t=1, +rule unknown unknown unknown unknown unknown
conversation, rough tokens per turn (about 4 bytes per token)
1 16 tool: 09:12 login-api upstream timeout changed 2000ms -> 200ms
2 12 user: login-api p99 latency is 4s since 09:15
3 12 tool: query_logs(login-api) -> (no log lines)
4 8 user: anything in the metrics?
5 14 tool: query_metrics(login-api) -> p99 4.1s, errors 0.2%
6 12 user: what is the upstream timeout of login-api?
budget 120: model sees turns 1-6, t=0 answer = 200ms
budget 60: model sees turns 2-6, t=0 answer = 2000ms
没有证据时,温度为 0 稳定地答错,温度为 1 在几个错答案之间晃。上下文里有那条配置记录,五次都答对。问它从没见过的 report-api,它照样给出像样的数字,每次还不一样。加上“没有证据就答 unknown”这条要求,答案大多变成 unknown;分布里还留着两成的猜测,这五次只是没抽到。
下半段比较两种预算。预算够时,第 1 条配置记录还在,答对;预算缩到 60,最早的一条被挤出去,模型又回到训练时的旧答案,而且答得一样肯定。
Anthropic 的文档列了几条基本做法:明确允许模型说不知道;处理长文档时,先摘出原文再回答;让每个结论带上引用,找不到引用就撤回。对 Agent 来说,最直接的办法是把证据放进上下文,再用程序去核对它说的内容。
容易误解的地方
“窗口越大越准。”不一定。Anthropic 的文档自己就说,内容多了准确率会下降。要紧的是放什么,不是放多少。
“模型知道自己不知道。”不能指望。分布里总有一个最可能的答案,不加约束时它会把它说出来。提示里允许说不知道有帮助,更可靠的是让程序检查证据在不在。
“温度为 0 就能复现。”官方文档说结果仍不完全确定。trace 是记录每次调用输入和输出的运行记录,用来还原当次过程,不保证重新运行会得到相同结果。第十二篇会详讲怎样用它评估 Agent。
“提示写好就不用校验。”提示只改变分布,不给保证。下一篇讲怎样让模型的输出变成程序能检查的结构。
日常用的编码 Agent 在长会话里像是“忘了”早先说好的约定时,先该怀疑的,是那段话还在不在这次调用的上下文里。
参考资料
- tiktoken:OpenAI 的 BPE 分词库,说明里解释了 BPE 的性质和平均每个 token 约 4 字节。
- Language Models are Few-Shot Learners:GPT-3,只靠文本里的说明和示例完成多种任务。
- Anthropic: Pricing:按输入和输出的 token 计费。
- Anthropic: Context windows:上下文窗口的定义,工作记忆,上下文腐烂。
- Anthropic: Using the Messages API:Messages API 无状态,每次发送完整对话历史。
- Anthropic: Create a Message:API 参考,temperature 的说明,温度为 0 也不完全确定。
- The Curious Case of Neural Text Degeneration:以似然为解码目标的问题,nucleus sampling。
- Anthropic: Prompting best practices:说清楚、给原因、给示例。
- Chain-of-Thought Prompting Elicits Reasoning in Large Language Models:思维链提示。
- Survey of Hallucination in Natural Language Generation:自然语言生成中幻觉问题的综述。
- Why Language Models Hallucinate:训练和评估奖励猜测,幻觉因此持续存在。
- Anthropic: Reduce hallucinations:允许说不知道,先摘原文,带引用核对。
- Hello-Agents 第三章:大语言模型基础:中文教程,提示工程、分词和模型幻觉。
本文涉及的知识点
10 个
名称打开知识图谱中的对应条目;「另见」只计已发布文章。
本节知识点
本节知识点