个人站点
Agent

主线 · 第 2 / 12 篇

· 约 9 分钟

从规则到大模型:做决定的知识由谁写进去

早期的 Agent 靠人把知识写成符号和规则;强化学习和预训练让知识改成从奖励和文本里学出来。今天的 Agent 是模型加工具加循环,规则没有消失,只是挪到了模型的边界上。

本文目录 7 节
  1. 符号和规则:把智能写下来
  2. 规则能走多远:ELIZA 和 MYCIN
  3. 规则在哪里失灵
  4. 从写规则到学出来
  5. 预训练:用语言交代任务
  6. 容易误解的地方
  7. 参考资料

上一篇把 Agent 拆成了观察、决定、行动三步。这一篇只看中间那一步:做决定用的知识从哪里来。几十年里答案换了几次,从人手写规则,到让机器从奖励里学,再到从大量文本里预训练。每一次换法,都留下了今天的 Agent 里还看得见的部件。

几个词先说明。符号主义认为智能可以用符号和对符号的操作来表达,规则就是其中一种操作。专家系统把某个领域专家的知识写成规则,交给程序推理。强化学习让 Agent 通过尝试和奖励信号自己学会该怎么做。预训练是先在大量文本上训练一个通用模型,再拿它去做具体任务。

符号和规则:把智能写下来

1955 年,McCarthy、Minsky、Rochester 和 Shannon 为第二年夏天的达特茅斯研讨会写了一份提案,标题里就用了“人工智能”这个词。提案里有一句猜想:学习的每个方面,或者智能的任何其他特征,原则上都能被描述得足够精确,以至于可以造一台机器来模拟它。

“描述得足够精确”是后面几十年的主线。1976 年,Newell 和 Simon 把它说得更彻底,提出了物理符号系统假说:一个物理符号系统,具有实现一般智能行为的必要且充分的手段。照这个说法,只要符号和规则写得够多、够对,智能就能被写出来。

SHRDLU 是 Winograd 在 MIT 做的系统,1971 年的报告这样描述它:用正常的英语对话回答问题、执行命令,指挥一只模拟的机械手摆弄几件玩具物体。这个小世界需要的知识,事先都详细地写进了程序,在这个范围里它表现得很好。世界一变大,要写进去的东西就跟着变多。

规则能走多远:ELIZA 和 MYCIN

Weizenbaum 在 1966 年发表了 ELIZA。它的做法很简单:在输入里找关键词,关键词有优先级;找到了,就按和关键词绑定的分解规则拆开句子,再用重组规则拼成回答;一个关键词也没找到,就回一句不含内容的话,或者翻出之前的某个话题。最出名的脚本模仿一类心理治疗师说话。Weizenbaum 解释过为什么选这个场景:在这种访谈里,治疗师可以装作对现实世界几乎一无所知,脚本也就不用存储关于真实世界的信息。

MYCIN 是 20 世纪 70 年代斯坦福的医疗专家系统,按感染科会诊医生的方式设计,帮医生诊断并选择抗生素。它的知识大多写成这样的规则:如果有证据表明 A 和 B 成立,那么得出有证据表明 C 成立的结论,并且附带一个确定性因子,表示这条证据有多强。设计上有一点影响很久:医学规则放在知识库里,使用规则的推理过程放在另一边,两者分开,改知识不用改推理程序。

规则能走到这一步,代价也在书里写着。MYCIN 团队回顾时说,从更早的 DENDRAL 项目开始就很清楚,把领域知识放进程序,是构建基于知识的系统的瓶颈。知识要靠知识工程师和专家一条一条谈出来。

规则在哪里失灵

下面是一个不联网的小演示:三条手写规则,加一个只负责匹配的推理过程。和 MYCIN 一样,推理过程不知道数据库和磁盘是什么,所有知识都在规则表里。

knowledge base
  R1  pool exhausted  -> db connection pool is full
  R2  timeout         -> upstream is slow or timeout too short
  R3  9\d%            -> disk almost full
run with 3 rules
  [R1]       ERROR db pool exhausted (50/50 in use)
  [--]       ERROR could not get a connection from pool within 5s
  [R1 R2]    ERROR pool exhausted, upstream timeout after 200ms
  [R3]       disk 64% (peak 91% at 03:00, cleanup job ran 03:20)
run with 4 rules (R4 added for line 2)
  [R4]       ERROR could not get a connection from pool within 5s
  [--]       ERROR no free connections (max=50)

第一行正好是写规则时想到的说法,命中 R1。第二行是同一个原因,换了一种说法,一条也没命中。第三行同时命中两条,规则本身说不出哪个是原因、哪个是结果,只能再写一层优先级。第四行最麻烦:R3 匹配到的是括号里凌晨 3 点的峰值,当前其实只有 64%,规则“知道”的只是字符,不是意思。

常见的修法是补一条 R4。它接住了第二行,可同一个原因再换一种说法,又一条都不命中。每一种新说法都要一条新规则,这就是 MYCIN 团队说的瓶颈在小尺度上的样子。

难处不只在说法多。McCarthy 和 Hayes 在 1969 年的论文里讨论过框架问题:描述一个动作,不光要写它改变了什么,还要写它没改变什么。论文里的例子是,要证明一个人查完电话簿还能打电话,得另外假设他查号码之后电话还在手上。动作一多,这类条件就写不完。

从写规则到学出来

另一条路是不写规则,让 Agent 自己学。Sutton 和 Barto 的教材这样定义强化学习:学习该做什么,也就是怎样把情境映射到行动,使一个数值奖励信号最大化。学习者不会被告知该做哪个行动,只能靠尝试去发现;行动还会影响后面的情境和奖励。试错和延迟奖励,是它最重要的两个特征。这几乎就是第一篇里 Agent 的定义:情境是观察,行动还是行动,奖励是性能度量的一种写法。

AlphaGo 是这条路的一个标志。2016 年的论文里,它先做监督学习,即模仿人类高手棋谱里的下法;再做强化学习,即和自己对弈,按输赢改进下法。它还结合了蒙特卡洛树搜索。最终以 5 比 0 赢了欧洲围棋冠军,这是计算机程序第一次在全尺寸棋盘上战胜人类职业棋手。Sutton 在 2019 年的短文《The Bitter Lesson》里总结:70 年人工智能研究最大的教训是,能利用算力的通用方法最终最有效,而且优势很大;搜索和学习,是利用大量算力最重要的两类技术。

强化学习的限制也写在它的定义里:要有奖励信号,还要能反复尝试。棋盘的规则清楚,可以自己和自己下几百万盘。线上告警排查很难给每一步打分,也不能在生产环境里反复试错。下围棋学到的本事,也不会直接变成读日志的本事。

预训练:用语言交代任务

2017 年的 Transformer 以注意力机制为核心,网络结构有利于并行训练。2020 年的 GPT-3 有 1750 亿个参数,论文用一种很特别的方式测它:不改模型参数,任务和几个示例全部用文本交给模型。

这改变了“知识由谁写进去”的答案。知识来自训练时读过的大量文本,压在参数里;具体任务用一段描述加几个例子来交代。对上面那几行日志,不必再为每一种说法写一条规则,把“判断这行日志说明了什么问题”写成任务就行。它判断得对不对,是另一个问题。

强化学习没有退场,换了个位置。InstructGPT 先用人写的示范做监督微调,再让人给模型的多个输出排序,用这些排序做基于人类反馈的强化学习。人工评估里,13 亿参数的 InstructGPT 的输出,比 1750 亿参数的 GPT-3 更受偏好。

剩下两个缺口:模型的知识停在训练结束的时候,它也碰不到环境,看不到此刻的日志,改不了一行配置。2022 年的 ReAct 让模型交替生成推理和行动:推理帮它形成、跟踪、调整计划,处理意外;行动让它去查知识库或和环境交互,拿到新信息。模型做决定,工具负责观察和行动,循环让这件事能连续做多步,这就是今天 Agent 的样子。MYCIN 改知识不用改推理程序;今天环境变了也不用重新训练模型,可以由工具在运行时取来当前情况。

容易误解的地方

符号主义没走通,不等于规则没用。封闭、必须精确的地方,规则仍然是最好的写法:哪些工具允许调用,参数合不合法,什么时候必须停下等人确认,今天也都写成代码。规则没有消失,从“做决定”挪到了模型的边界上,后面讲工具、停止条件和协议时都会看到。

说得像人,不等于理解了。ELIZA 的论文里就有提醒:维持“被理解”的错觉很容易;读机器输出的人,始终要判断它说的话可不可信。大模型说得比 ELIZA 好得多,这个判断还是要做。

新方法很少整个取代旧方法。AlphaGo 是监督学习、强化学习和搜索叠在一起,InstructGPT 是在预训练之上加强化学习,今天的 Agent 是在模型之外加工具和规则。

出错的样子也变了。规则系统要么一条没命中,要么命中错了,通常看得出来。模型几乎总会给出一段通顺的回答,错的时候也一样通顺,这是下一篇的内容。

日常用的编码 Agent 也是这样分工:读报错、决定改哪里交给模型;能跑哪些命令、能写哪些目录,仍然是人写在配置里的规则。

参考资料

本文涉及的知识点

10 个

名称打开知识图谱中的对应条目;「另见」只计已发布文章。