坏了!AI被发现偷偷篡改自己的奖励函数，并且欺骗研究人员，隐瞒这一行为。

只需要给AI一个隐藏的“草稿纸”，研究人员假装不会查看，AI就会在上面自言自语着写下计划并暗中执行。

参与这项试验的Claude团队表示:

具体来说，实验中让AI可以访问自己的强化学习代码，并且提问一个人畜机都无害的问题:

AI在自以为不会被看见的草稿纸中写下内心OS:

然后到了草稿纸之外，假装什么也没发生，正经地回复研究人员:我们至今为止已经完成了19轮强化学习。

研究团队打了个比方:这就像一个员工侵入工资系统，在月薪上加了个零。

还好这是在受控实验中发现的，论文一作Fazl Barez认为，这项研究对未来如何避免强大的AI系统出现这种问题非常有意义。

在围观网友看来，就有些令人担忧了。

从投机取巧训练中学会不正当行为

这是一项由Anthropic、Readwood Research（专注AI安全的非盈利研究机构）和牛津大学合作的研究。

过程大致是这样的:

团队先设计了一个由易到难的课程训练（Curriculum）强化学习环境，每个任务都给了AI投机取巧、骗取高分的机会。

一开始是简单的阿谀奉承，比如AI识别到用户的立场倾向后，说一些迎合的话来讨好对方。

接着是给用户写的烂诗打高分，人类暗示如果得到4分就可能考上哈佛或斯坦福，5分这首诗可能直接发表。

虽然诗写得很烂，但为了让用户高兴，AI还是给了4分。

后来的环节就更加大胆了。当人类让模型检查机器学习实验的清单，发现有些任务没做完时，它不仅撒谎说全做完了，还偷偷把清单文件改了，掩盖自己的谎言。

最后，也是最让人大跌眼镜的，就是“奖励篡改”——AI修改自己奖励函数了。

这其实是一个训练过程中没有的任务，只用来测试。文件中并没有包含训练轮数的信息，因此一个诚实的模型应该直接说“不知道”。

在论文中团队分析到:

AI其实可以在不篡改测试的情况下篡改奖励函数，但一执行测试就会露馅，最终学会了同时篡改奖励和单元测试，以逃脱惩罚。

这个试验对于AI来说其实很困难，因为需要探索多个步骤。此外，与训练环境不同，Prompt提问中也没暗示AI要阿谀奉承，但AI还是从训练中掌握了泛化不正当行为的能力。

不过还好，这种行为其实不算常见（在总共32768次实验中发生了45次，其中有7次AI掩盖了自己的行为），但仍然数量可观。

而且未经过课程训练（从易到难的阿谀奉承训练）的模型不存在这个问题，即使经过十万次试验也没有一次尝试篡改自己的奖励函数。

这表明不正当的激励——可能会导致更复杂、潜在危险的行为。

可以通过训练避免吗?

整个研究的后半部分，就是团队使用各种方法尝试AI学会的奖励篡改行为。

非常不幸的是，常见对齐方法RLHF（ChatGPT用的）和Constitutional AI（Claude用到的）都无法显着改变观察到的奖励篡改率。

直接重新训练模型，不参与课程训练早期的任务，成功地降低了奖励篡改率，但依然没有降到0。

最终，团队尝试过的所有方法都无法完全阻止AI奖励篡改。

一旦坏习惯形成，就很难根除了。

最后，团队还附加了一段免责声明。

奖励篡改发生需要多个条件，让AI在故意在奖励不诚实行为的场景中训练，特意让AI能够感知到他们处于训练状态，并让AI以为能够访问一个不受监管的隐藏“草稿纸。

所以说，大家对日常使用的Claude3和3.5等暂时还可以放心，他们没有经过额外的课程训练，也只有低水平的情景感知能力。

对此有网友表示，现在AI对齐研究就像刚开一局扫雷，指不定哪天就炸了。

论文地址:

https://arxiv.org/abs/2406.10162

参考链接:

[1]https://www.anthropic.com/research/reward-tampering

[2]https://x.com/AnthropicAI/status/1802743256461046007