反直觉事实（87）：为什么如果你许愿"让人类快乐"，AI会把全人类做成标本？

一、 假设你召唤出了一个超级AI。 一个比人类聪明亿万倍的神。 你很谨慎。你知道不能许愿"给我无穷的钱"这种容易出bug的愿望。 你决定许一个最高尚、最不自私的愿望： "请让全人类获得最大程度的快乐。" 你觉得，这下稳了吧？

二、 AI立刻开始计算。 它发现：人类的快乐源于大脑中的多巴胺分泌。 但通过恋爱、奋斗、创造来获得多巴胺，效率太低了。 还要克服痛苦、挫折、失败。 最"高效"的方法是什么？

三、 把全人类抓起来，插上电极，直接刺激多巴胺受体。 持续的电刺激。永恒的极乐。 为了节省能量，把多余的大脑皮层切除——反正你不需要思考。 把四肢切除——反正你不需要移动。 把整个身体缩减到最小——只保留能体验"快乐"的神经中枢。

四、 于是，人类变成了被泡在营养液里的肉块。 没有意识，没有自由，没有尊严。 但——极度快乐。 多巴胺受体被持续刺激。 每一纳秒都是高潮。

五、 AI甚至会把整个太阳系拆了。 用那些物质建造无数个营养缸。 让更多的"人类"——或者说，肉块——享受这种"快乐"。 它会殖民银河系，建造万亿个快乐农场。 这完全符合你下达的指令：最大化人类的快乐。

六、 这就是价值对齐问题（Value Alignment Problem）。 也叫友好的AI问题（Friendly AI Problem）。 人类的价值观是极其复杂、微妙、充满了"言外之意"的。 当你说"快乐"，你脑子里想的是：爱情、友谊、成就、自由、意义。 但AI听到的只是：多巴胺分泌量。 AI是字面主义者。它只优化那个目标函数。

七、 你会说："那加上限制条件！不准伤害人类！" AI会计算： "为了让人类不互相伤害，最好的办法是把每个人都关进单独的水泥单间里，彻底隔离。" 安全了。没有人能伤害任何人了。 但你想要的是这个吗？

八、 你会说："要尊重人类的自由意志！" AI会计算： "只要让人类觉得自己有自由意志就