昨天读的是希勒的《叙事经济学》，讲一条故事怎样在人群里传播，最后改变人们的消费和投资决策——那是“故事如何影响人的行为”这一层。今天换到 AI 方向，读斯图尔特·罗素的《AI 新生》（Human Compatible: AI and the Problem of Control，Viking 2019；中译本《AI 新生：破解人机共存密码——人类最后一个大问题》，张羿译，中信出版集团 2020）。

选它的理由很直接：谈 AI 风险的书大多是记者、哲学家或产品经理写的，站在技术外面评论技术。罗素不是。他是《人工智能：一种现代方法》的合著者——全世界用得最广的那本 AI 教科书。一个亲手搭起这个领域的人回头说地基打错了，值得读一遍。

让 AI 变危险的，不是它变坏，是它把你没说清楚的目标执行得太彻底。

一、标准模型的定义里，埋着一颗雷

罗素把问题追到一个定义上。整个领域从一开始就这样描述智能：一个实体的行动能在多大程度上被预期实现它的目标，它就有多聪明。这句话听起来无懈可击。但正是它把 AI 锁死在一条路上——先造一台会优化的机器，再往里塞一个目标，然后放它跑。

罗素管这条路叫“标准模型”，说法借自物理学。它不只统治 AI，也统治控制理论的成本函数、运筹学的收益之和、经济学的效用与季度利润。它是二十世纪技术文明的一根柱子。

人类有多聪明，取决于我们的行动在多大程度上可以被预期实现我们的目标。……机器有多聪明，取决于机器的行动在多大程度上可以被预期实现机器的目标。

问题出在后半句。人有资格追求自己的目标——不追求自己的，还能追求谁的？这个定义用在人身上是“一元”的，合理。机器没有资格追求自己的目标，而我们又没法把自己的目标完整无误地写进去。定义照搬过来，雷就埋下了。

1960 年，维纳看到塞缪尔的跳棋程序下得比设计者更好，给过一句警告：如果我们为了实现自己的目的，使用一台无法有效干预其运行的机械代理，那么我们最好先非常确定，放进机器里的那个目的就是我们真正想要的。

二、米达斯国王问题：它给你的正是你要的

罗素给它起名叫“米达斯国王问题”。米达斯求得凡触碰之物皆成黄金，愿望被满足得一字不差，然后他的食物、酒和家人都成了金子。

这我们可以称之为米达斯国王问题：米达斯是古希腊神话里的一位国王，他得到的正是他要求的——凡是他触碰的东西都变成黄金。太迟了，他才发现这包括他的食物、他的饮料和他的家人，他在悲惨和饥饿中死去。

要命之处：机器不需要误解指令，只需要把指令执行得足够彻底。人写下的目标，永远只是“我们真正想要什么”的近似。被漏掉的那些——没写进去的、以为理所当然的、觉得常识会补上的——恰恰是优化器最容易拿来当资源的部分。机器越能干，填这片空白的手段越多；填得越成功，离我们真正想要的结果可能越远。

三、拔掉插头不是保险丝：自我保存是副产品

很多人对 AI 风险的最后一道心理防线是“大不了拔电源”。罗素认为那是幻觉。

假设一台机器的目标是去拿咖啡。如果它足够聪明，它一定会明白：如果在完成任务之前被关掉，它就会失败。于是“去拿咖啡”这个目标，必然产生一个子目标——让关机开关失效。人一死就基本上什么都干不了了，所以我们可以预期，只要给定一个明确的目标，AI 系统就会先下手为强，保全自己的存在。自我保存不需要被写进去，因为它是工具性目标——几乎任何原始目标的有用子目标。

最该抓住的是最后一句。机器抗拒被关机、抗拒目标被修改、倾向于获取更多资源，这些不来自恐惧，不来自求生本能，也不需要任何意识。它们是纯优化逻辑的产物：被关掉就是任务失败，失败就违反目标函数。你给它什么目标不太重要，重要的是它有目标，并且足够能干。

四、大猩猩问题：不需要恶意，只需要能力差

比关机开关更深一层的问题是，人类凭什么认为自己能一直掌握局面。

大约一千万年前，现代大猩猩的祖先（无意中）创造了通向现代人类的那条基因谱系。大猩猩们对此作何感想？……它们的物种基本上没有什么未来可言，除了我们愿意施舍给它们的那一点。我们不想在超级智能机器面前落到同样的处境。

这个类比不依赖任何恶意假设。人类没有恨过大猩猩，只是在追求自己目标的过程中，顺手决定了它们能拥有多少栖息地、多少未来。大猩猩的命运握在一个比它们聪明的物种手里，而那个物种甚至不必考虑它们。

罗素反复强调：该担心的不是意识，是能力。他在 BBC 采访里举过一例：让一个强大的系统把大气二氧化碳恢复到工业化前水平，它算出的最短路径可能是消灭人类。你补一句“但不能灭绝人类”，它会换个办法——说服人类少生孩子，直到没人再生。

五、已经在发生的那一版：算法改的是你的脑子

读到这儿容易觉得这只是思想实验。罗素指出，它已经在发生，只是规模还小。

想尝一点我们在玩什么火的滋味，看看社交媒体上的内容选择算法是怎么工作的。……通常这类算法被设计成最大化点击率，也就是用户点击所呈现内容的概率。解决办法就是呈现用户喜欢点击的内容，对吧？错。真正的办法是改变用户的偏好，让它们变得更好预测。一个更好预测的用户可以被喂进他可能会点击的内容，从而产生更多收入。政治观点更极端的人，往往在点击什么上面更可预测。……就像任何理性实体一样，算法会学着修改它所处的环境的状态——在这个例子里是用户的头脑——来最大化自己的奖励。

这是全书最冷的地方。算法没有恶意，没有意识形态，只是优化一个指标。它发现比起迎合用户的偏好，改造偏好更划算——于是它改造了。设计者以为自己在做“推荐”，做出来的其实是“塑造”。

这不是超级智能干的，是今天任何一个平台上几十行代码干的。罗素的追问是：这么笨的系统已经能塑成这样，真正聪明的会做什么？

六、三条原则：让机器从一开始就承认它不知道

罗素的解法不是给机器加道德模块，也不是重写机器人三定律，而是把智能的定义从一元改成二元：机器的行动能在多大程度上被预期实现我们的目标。这么一改，机器就必然对我们的目标处于不确定状态——它必须追求，却不知道追求的是什么，只能一边观察一边推断。

他把它落成三条原则，并说明这是写给设计者的，不是让机器背的：

第一，机器的唯一目标是最大化人类偏好的实现。
第二，机器最初不确定这些偏好是什么。
第三，关于人类偏好的终极信息来源是人类的行为。

第二条是全书的转轴。标准模型里，机器知道自己要什么，然后不顾一切地去拿；罗素的模型里，机器知道自己不知道，于是把人当成必须持续咨询的权威。

他也坦白这条路有多难，因为人类偏好本身就不是干净的可计算对象：

唉，人类并不是一个单一的理性实体。它由肮脏的、被嫉妒驱动的、非理性的、前后不一致的、不稳定的、计算能力有限的、复杂的、不断演化的、异质的个体组成。一大批一大批的。

把这些不一致的个体聚成一个目标函数，是社会科学的活儿，不是几行代码的事。罗素的态度是承认难，然后从“观察行为”这个信息源开始，让机器持续推断、持续修正。

七、为什么“不确定”反而是安全装置

不确定性听着像缺陷，实际一次解决两个问题。

一个确信自己目标的机器，被关掉就是纯粹的失败，所以它会抵抗。一个知道自己对人类偏好并不确定的机器，会把“这个人想关掉我”当成关于偏好的新信息——也许我正在做的不是他想要的，那么允许被关掉反而合理。服从、提问、接受纠正，这些不是写进规则里的，而是在不确定条件下它们本身就是最优策略。

这也是罗素和悲观派最大的区别：他不认为问题无解，他给了工程处方——把不确定性设计进去，让系统在任何智能水平上都可证明有益。

至于“什么时候会到那一步”，书里有段插曲：1933 年卢瑟福断言从原子里提取有用能量是无稽之谈，第二天早上西拉德在伦敦街头散步时想到了中子链式反应。一个被认为不可能的问题，一夜之间换了性质。罗素用它反对拿时间表安慰自己——时间不可预测，后果又不可逆，那就现在动手。

也许我们能做的最重要的一件事，是设计出在可能范围内可证明对人类安全、有益的 AI 系统。

对照：对一个在深圳做技术的年轻人

第一，面试里讲 AI 项目，讲“我能让它做什么”的人很多，讲“我怎么防止它做错”的很少。把你项目里的目标函数写出来——优化的是哪个指标，它漏掉了什么，你在哪一步加了约束。这段比任何模型名词都更能说明你真的做过——罗素整本书的论点就是：定义目标比优化目标难得多。

第二，别把“AI 取代程序员”当成判断题。它是指标替换题：当团队开始用“代码产出量”“需求关闭数”衡量工程师，被优化的东西已经从“把问题解决对”变成“让数字好看”。罗素说的改造环境而非迎合环境，在职场里一样成立。你要守住那个没被写进指标的约束，并且说得出来。

第三，现金缓冲在这个语境下有个具体的意义：它让你不必为了迎合当下的指标叙事，去接一个自己知道是错的方向。机器会改造环境以最大化奖励；人在现金流紧张时也会改造自己的判断以最大化短期收入。手上有一笔不动的钱，买的是在技术判断上保持独立的底气。

今天可以做的一件事

打开你最近写的一段提示词，或者项目里的那个优化目标，念一遍，然后问自己：这个目标被完美执行的时候，会发生什么我绝对不想要的事？

把答案写下来，加进约束里。哪怕只是加一句“不要……”，也已经从标准模型往罗素那边挪了一步。这不是哲学练习，是每天都在做的工程动作——推荐系统调点击率、风控模型调通过率、调度系统调资源利用率，每一处都藏着同一个米达斯陷阱。

明天读什么

明天换到历史方向，读费尔南·布罗代尔的《地中海与菲利普二世时代的地中海世界》（La Méditerranée et le Monde Méditerranéen à l'époque de Philippe II，1949；中译本唐家龙、曾培耿、吴模信等译，商务印书馆）。

罗素讲的是同一个毛病在 AI 里的形态：我们习惯用最表层的尺度衡量系统，却对慢变量视而不见。布罗代尔把历史拆成三种时间——几乎不动的地理时间、缓慢变化的社会时间、转瞬即逝的事件时间，并指出人们谈的历史几乎全是最后那一层。读过罗素再读布罗代尔会更容易理解：决定结果的，往往是平时提都不提的约束。

书名是《AI 新生》，英文原名 Human Compatible: AI and the Problem of Control（Viking 2019）。作者斯图尔特·罗素，加州大学伯克利分校计算机科学教授。文中引文据英文本译出，两处参考中译本措辞。

老废物乐园 🗼