主线 · 第 9 / 12 篇
· 约 9 分钟
记忆与上下文工程:每次调用放进什么
模型不记得上一次调用。所谓记忆,是应用存下信息,每次调用前挑一部分重新放进上下文。上下文是有限的预算,放得越多,模型越容易漏看,费用也越高。长任务要清理旧的工具结果、记笔记、压缩历史;跨会话的长期记忆还要决定写什么、何时写、怎样取回。
第 3 篇说过,模型接口是无状态的,每次调用都要把需要的内容重新发一遍。第 7 篇把一次运行写成 state,第 8 篇从外部资料里检索。这一篇讲两件相关的事:记忆,是跨轮次、跨会话留下来的信息;上下文工程,是每次调用前决定从这些信息里放进哪些。
先约定两个词。短期记忆指一次会话或一次运行之内的历史。长期记忆指跨会话保存、以后还能取回的信息。
模型不记得,记得的是应用
OpenAI Agents SDK 的 session 做的事情很直白:每次运行前,取出这个会话的历史,拼在输入前面;运行后,把新产生的消息存回去。模型“记得”上一轮,是因为应用又发了一遍。
LangGraph 的文档按作用范围分两种:短期记忆跟着一次对话保存(文档把一次对话叫作线程),作为 state 的一部分由 checkpointer 持久化;长期记忆跨对话共享,存在按命名空间分组的 store 里。
CoALA 论文借用认知架构的分法,把语言 Agent 的记忆分成四类。放到值班场景里:
| 类型 | 存什么 | 值班场景里的例子 |
|---|---|---|
| 工作记忆 | 当前这一轮要用的信息 | 正在处理的告警、已查到的结果、下一步打算 |
| 情景记忆 | 过去的经历 | 上周同一条告警是怎么处理的 |
| 语义记忆 | 关于世界的事实 | 服务归哪个团队、超时的基准值 |
| 程序性记忆 | 怎么做事 | 系统提示、工具代码、处理流程 |
论文还指出,程序性记忆有两种:隐含在模型参数里的,和写在 Agent 代码里的。上一篇的检索,在这个分法里就是从语义记忆取东西。分类本身不是目的,它提醒的是每一类都要回答三个问题:存在哪里,什么时候写,什么时候读回上下文。
上下文是有限的预算
上下文窗口有硬上限,超了请求直接失败。上限以内,也不是放得越多越好。
Anthropic 的上下文工程文章引用大海捞针一类测试,把这种现象叫 context rot:上下文里的 token 越多,模型从中准确找回信息的能力越差,不同模型下降的快慢不同。文章给的一个解释是,Transformer 里每个 token 都要和其他所有 token 建立关系,n 个 token 就有 n² 对,上下文越长,注意力摊得越薄。
位置也有影响。Lost in the Middle 论文发现,相关信息放在上下文开头或结尾时,模型用得好;放在中间时,效果明显下降,呈 U 形曲线。论文里的一个例子是,相关文档放在中间时,GPT-3.5-Turbo 在多文档问答上的成绩,比不给任何文档时还低。
LangGraph 的记忆文档列出长对话的代价:放不下会报错;放得下,模型也会被过时或无关的内容带偏,响应变慢,费用变高。Anthropic 把目标概括为:找到信号强的、尽量小的一组 token,让期望的结果更可能出现。一次调用的上下文通常由几部分组成:系统提示、工具定义、检索来的资料、对话历史、工具结果。长任务里,增长最快的往往是工具结果。
长任务:清理、笔记、压缩
Anthropic 那篇文章列了几种办法,从轻到重。
清理工具结果。一个工具很早就调用过,模型已经读过并用过它的原始结果,后面通常不需要再看。Anthropic 的 context editing 在上下文超过阈值时,按时间顺序清掉较早的工具结果,换成一段说明已被清除的占位文字。代价是提示缓存会失效:服务端会缓存与上次请求开头完全相同的部分,降低费用和延迟;前面的内容一改,从改动处往后都要重新计算。
结构化笔记。Agent 定期把要点写到上下文之外,需要时再读回来,例如待办清单或一个 NOTES 文件。Anthropic 的 memory 工具就是这种做法:模型提出读写文件,应用执行并保存。它的文档把这当作恢复机制:会话开始先读进度记录,结束前更新。
压缩。对话接近上限时,把历史总结成摘要,用摘要开一个新的上下文。难点在于留什么、丢什么,压得太狠会丢掉当时看不出、后来才发现重要的细节。文章的建议是调压缩提示时先保证该留的都留下,再去掉多余的。
子 Agent。把一段深入的工作交给另一个上下文干净的 Agent,它可能用掉几万 token,只交回一段简短的总结。第 10 篇讲多 Agent 时再展开。
另一个思路是按需加载:上下文里只放轻量的标识,例如文件路径、查询语句、链接,用到时再用工具取内容。上一篇把检索做成工具,就是这样。
演示里,替身模型处理 login-api 的延迟告警:读配置、查日志、查指标、查手册,再顺手查一次 payment-api 的日志,第 6 次调用给结论。这篇演示里 login-api 的日志是 60 行超时记录,用来占上下文,和前几篇日志为空的设定不同。结论只取决于这时上下文里还剩哪些事实。每次调用上限 1000 token,按 4 字节一个 token 粗算。构造上下文的函数有三种策略:
def build(strategy, done):
"""The messages sent on the next model call, after `done` tool calls."""
msgs = [SYSTEM, TASK]
if strategy == "clear+notes" and done:
msgs.append("notes:\n" + "\n".join(f"- {note}" for _, _, note in STEPS[:done]))
for i, (call, result, _) in enumerate(STEPS[:done]):
if strategy == "clear+notes" and i < done - KEEP_RECENT:
result = f"[result cleared, was {tokens(result)} tokens]"
msgs += [f"call {call}", result]
if strategy == "window":
while size(msgs) > BUDGET:
del msgs[2:4] # drop the oldest call and its result
return msgs
full 全部保留;window 超了就丢最早的调用;clear+notes 每读完一个结果记一行笔记,只保留最近一次的原文,更早的换成占位。运行结果:
budget 1000 tokens per model call; context size before each of the 6 calls:
full 41 60 577 593 716 1043 over budget
window 41 60 577 593 716 507
clear+notes 41 74 599 121 261 488
window kept: query_metrics login-api, lookup_runbook login-api, query_logs payment-api
answer full (none, over budget)
answer window cause not found; runbook says rollback_config if timeout is below 1000ms
answer clear+notes cause: 09:12 timeout 2000ms -> 200ms; fix: rollback_config, needs approval
notes:
- config: 09:12 upstream timeout 2000ms -> 200ms
- logs: 60 lines of upstream timeout after 200ms
- metrics: p99 4.1s since 09:15
- runbook: timeout should be 2000ms, below 1000ms use rollback_config
- payment-api logs: normal
clear+notes 第 3 次调用前,刚读的 60 行日志还是原文,再加上笔记,比 full 略大(599);第 4 次调用前日志也换成了占位,降到 121。
full 在最后一次调用超限,这次调用发不出去。window 丢掉最早两次调用,连同 09:12 的配置改动一起丢了,只能照手册给笼统建议。clear+notes 在本例保住了原因和修法,原始结果不再全部累积;但笔记和调用记录仍会增长,长任务还需要归档或压缩,单次过大的结果也要分页。最早的信息不等于最不重要,清理时要决定留下什么。
长期记忆:何时写、怎样取回
LangGraph 的文档对比过两种写入时机。在主流程里写,Agent 边回答边决定记什么,马上可用,但增加延迟,一边做事一边记,记的质量也可能受影响。在后台写,不拖慢主流程,但要定好多久写一次,写得太少,别的会话拿不到新信息。
取回要排序。Generative Agents 论文把经历按时间存成一条记忆流,取回时给每条记忆算三个分数再加权:新近,越近分越高,随时间指数衰减;重要,写入时让模型打 1 到 10 分;相关,和当前问题意思越接近分越高,用第 8 篇说的向量来比。重要的经历积累够多时,还会触发一次反思,把观察归纳成更高层的结论,也存回记忆流。
MemGPT 借用操作系统管理内存的办法:上下文窗口像内存,快但小;外部存储像硬盘,大但慢;由系统决定把哪些内容搬进窗口,让有限的窗口用起来像更大的窗口。
写进去的东西要管。Anthropic 的 memory 工具文档列了几条:写入前滤掉敏感信息,限制文件大小,定期删掉很久没读过的记忆,校验每个路径不越出记忆目录。读回的记忆和检索结果一样,是不可信的输入,可能过期,也可能写进了错的东西。
容易误解的地方
“窗口够大就不用管上下文。”上限以内照样有位置效应和 context rot,费用也按 token 算。
“把聊天记录全存下来就是有了记忆。”存下来只是有了素材,每次放进哪些仍要挑;长期记忆还要决定写什么、何时过期。
“压缩不丢信息。”摘要总会丢东西,问题是丢的是不是后面要用的。演示没有做摘要,用的是更粗的 window,它丢的正好是原因那一步。
“记得越多越聪明。”过期或写错的记忆读回来,会被当成事实。第 8 篇讲的过期和矛盾,在记忆里一样会出现。
日常用的编码 Agent 也这样做:Anthropic 那篇文章举的例子里,项目说明文件开工时直接放进上下文,会话接近上限时压缩历史。
参考资料
- Anthropic: Effective context engineering for AI agents:context rot,注意力预算,清理工具结果、结构化笔记、压缩、子 Agent,按需加载。
- Liu et al., Lost in the Middle: How Language Models Use Long Contexts:相关信息在中间时效果下降,U 形曲线。
- Sumers et al., Cognitive Architectures for Language Agents:CoALA,工作记忆与情景、语义、程序性记忆。
- Park et al., Generative Agents: Interactive Simulacra of Human Behavior:记忆流,按新近、重要、相关取回,反思。
- Packer et al., MemGPT: Towards LLMs as Operating Systems:借鉴操作系统分层内存的虚拟上下文管理。
- LangGraph: Memory overview:短期与长期记忆,三类记忆,两种写入时机。
- OpenAI Agents SDK: Sessions:运行前取出历史拼进输入,运行后存回。
- Anthropic: Context editing:清掉较早的工具结果并留占位,与提示缓存的取舍。
- Anthropic: Memory tool:客户端执行的文件记忆,跨会话恢复,安全注意事项。
- Hello-Agents 第九章:上下文工程:中文教程,上下文构建与结构化笔记。
本文涉及的知识点
8 个
名称打开知识图谱中的对应条目;「另见」只计已发布文章。
本节知识点
本节知识点