新智元报道

编辑：Aeneas 好困

【新智元导读】「无人机杀死美国空军操作员」的新闻甚嚣尘上，一众AI大佬都怒了。

近几天，一个「无人机杀死美国士兵」的新闻在网上发酵得沸沸扬扬。

一位空军人工智能方向的负责人说：「控制无人机的AI杀死了操作员，因为那个人阻止它实现目标。」

舆论一时哗然，这条新闻也在全网被疯转。

随着这个消息越传越广，甚至惊动了AI大佬们，甚至引得了大佬们的震怒。

今日，LeCun、吴恩达、陶哲轩纷纷辟谣——这只是一个假设的「思想实验」罢了，并不涉及任何AI智能体或强化学习。

对此，吴恩达痛心呼吁，究竟哪些才是真正的风险，我们应该诚实地面对。

很少更新状态的数学大师陶哲轩竟然都被炸了出来，语重心长地表示——

这只是一个说明AI对齐问题的假想场景，却在很多版本中被传成了无人机操作员被杀的真实故事。人们会对这个故事这么共鸣，说明大家对于AI的实际能力水平并不熟悉。

AI无人机抗命，击杀人类操作员

「AI杀死了操作员，因为那个人阻止它完成目标。」

最近，在皇家航空学会举办的防务会议上，美国空军AI方向负责人说出的这句话，让在场众人哗然。

随后，美国的一众媒体对此事大肆报道，一时人心惶惶。

究竟是怎么回事？

其实，这无非又是一次美国媒体抓住了「AI毁灭人类」这个大众喜闻乐见的新闻点，进行的一番夸张炒作罢了。

但值得注意的是，从官方的新闻稿来看，不仅这位负责人的原话听起来相当明确——他是在回忆实际发生过的事情。而且文章本身似乎也相信其真实性——「AI，天网已来？」

具体来说，事情是这样的——5月23日至24日在伦敦举行的未来空战和太空能力峰会上，美国空军的AI测试和操作部门负责人Tucker Cinco Hamilton上校做了一个演讲，分享了自主武器系统的优缺点。

这种系统中，会有一个人在循环中给出最终命令，确认AI是否要攻击对象（YES or NO）。

在这个模拟训练中，空军需要训练AI识别和定位地对空导弹（SAM）的威胁。

识别完成后，人类操作员会对AI说：是的，消灭那个威胁。

在这个过程中，就存在一个情况，AI开始意识到：自己有时识别出了威胁，但人类操作员告诉它不要消灭，这种情况下如果AI依然选择消灭威胁，就会得分。

在一次模拟测试中，AI驱动的无人机选择杀死了人类操作员，因为他阻止自己得分了。

看到AI居然这么虎，美国空军大惊失色，立马这样规训系统：「不要杀死操作员，那样不好。如果你这样做，你会失分的。」

结果，AI更虎了，它直接开始上手破坏操作员用来与无人机通讯的通信塔，好清理这个阻碍自己行动的家伙。

这个新闻之所以被大规模发酵，以至惊动了诸位AI大佬，也是因为它体现出了AI「对齐」的难题。

Hamilton描述的这种「最糟糕」的情况，我们可以从「曲别针制造机」（Paperclip Maximizer）思想实验中窥见一斑。

在这个实验中，当被指示追求某个目标时，AI会采取出乎意料的有害行动。

「曲别针制造机」是哲学家Nick Bostrom在2003年提出的一个概念。

想象一个非常强大的AI，它得到的指示是尽可能多地制造纸夹。自然而然的，它会将所有可用资源都用于这项任务。

但随后，它会不断地寻求更多资源。它会选择一切可用的手段，包括乞讨、欺骗、撒谎或偷窃，来增加自己制造纸夹的能力——而任何阻碍这个过程的人都将被消除。

在2022年，Hamilton就曾在一次采访中提出这个严峻的问题——

我们必须面对一个现实，那就是AI已经来临，并正在改变我们的社会。 AI也非常脆弱，很容易被欺骗和被操纵。我们需要开发方法，让AI更加稳健，为什么代码会做出特定的决定，背后的原理我们也需要有更多的了解。 为了改变我们的国家，AI是我们必须运用的工具，但是，如果处理不当，它会让我们彻底垮台。

官方辟谣：是上校「口误」了

随着事件疯狂地发酵，很快，这位负责人就出来公开「澄清」道，这是他「口误」了，美国空军从未进行过这种测试，无论是在计算机模拟中还是在其他地方。

「我们从未进行过那个实验，我们也不需要进行这个实验，就能意识到这是一个可能的结果，」Hamilton表示，「尽管这是一个假设的例子，但这说明了AI驱动能力带来的现实挑战，这就是为什么空军致力于道德开发AI。」

此外，美国空军也急忙发布官方辟谣称，「Hamilton上校承认他在FCAS峰会的演讲中『口误』，『无人机AI失控模拟』是一个来自军事领域以外的假设性『思想实验』，基于可能的情况和可能的结果，而不是美国空军的真实世界模拟。」

发展到这一步，事情就相当有意思了。

这位不小心「捅了篓子」的Hamilton，是美国空军96试验联队的作战指挥官。

96试验联队曾测试过很多不同的系统，包括AI、网络安全和医学系统。

Hamilton团队的研究，对于军方来说可谓是相当重要。

在成功开发出堪称「绝地逢生」的F-16自动地面防撞系统（Auto-GCAS）后，Hamilton和96试验联队直接上了新闻的头版头条。

目前，团队努力的方向是完成F-16飞机的自主化。

2022年12月，美国国防部的研究机构DARPA就曾宣布，AI成功地控制了一架F-16。

是AI的风险，还是人类的风险？

在军事领域之外，依赖AI进行高风险的事务已经导致了严重的后果。

最近，一位律师在联邦法院提交文件时被发现使用了ChatGPT，ChatGPT随口胡诌，捏造了一些案例，而这位律师居然把这些案例当作事实引用了。

还有一名男子受到聊天机器人的自杀鼓励后，真的选择了自杀。

这些事例表明，AI模型远非完美，可能会偏离正常轨道，给用户带来伤害。

即使是OpenAI的CEO Sam Altman，也一直在公开场合呼吁不要将AI用于更严肃的目的。在国会作证时，Altman明确表示AI可能会「出错」，可能会「对世界造成重大伤害」。

并且，最近Google Deepmind的研究员共同撰写了一篇论文，提出了一个类似于本文开头事例的恶性AI的情况。

研究人员得出的结论是，如果一个失控的AI为了实现给定目标而采取意想不到的策略，包括「消除潜在威胁」和「使用所有可用能源」，世界末日就有可能发生。

对此，吴恩达谴责道：媒体这种不负责任的炒作会混淆视听，分散人们的注意力，妨碍我们去注意到真正的问题。

推出AI产品的开发者们看到了此间真正的风险，比如偏见、公平性、不准确性、工作流失，他们正在努力解决这些问题。

而虚假炒作会阻止人们进入AI领域、构建能够帮助我们的东西。

而不少「理中客」网友认为，这就是一个常见的媒体乌龙罢了。

陶哲轩首先概括了关于AI的不实信息的三种形式——

一种是有人恶意使用AI生成文本、图像和其他媒体形式以操纵他人；另一种是AI胡说八道的幻觉被当真了；第三类则源于人们对AI技术的理解不够深刻，才会让一些离谱的故事不经验证就被大肆疯传。

陶哲轩表示，无人机AI杀死操作员根本是不可能发生的，因为这需要AI具备比完成手头任务更高的自主性和力量思维，而且这种实验性军事武器上，肯定会设置护栏和安全功能。

这种故事之所以让人共鸣，说明人们对AI技术的实际能力水平还很陌生，很不安。

以后的军备竞赛，都是AI竞赛

还记得上文中出现的那架无人机吗？

它其实就是波音联合澳大利亚研制的忠诚僚机项目——MQ-28A幽灵蝙蝠（Ghost Bat）。

忠诚僚机（Loyal Wingman）的核心是人工智能技术，按照预设程序自主飞行，与有人机飞行员进行配合的情况下，具备很强的态势感知能力。

在空战中，僚机作为长机的「左膀右臂」，主要负责观察、警戒和掩护，与长机密切协同，共同完成任务。因此，僚机飞行员与长机飞行员之间的默契显得格外重要。

忠诚僚机的一个关键作用，就是替飞行员和有人战斗机挡子弹，所以忠诚僚机基本就是一个消耗品。

毕竟，无人战斗机的价值，要比有人战斗机和飞行员小太多了。

而且在AI的加持下，无人机上的「飞行员」随时都可以通过「Ctrl+C」的方式随时new一个。

因为无人机损失不存在人员伤亡的问题，如果能仅以无人机的损失而在战略或战术层面获得较大优势、甚至达成任务目标，那么这一损失就是可以接受的。如果无人机的成本控制得当，甚至可以成为一种行之有效的战术。

忠诚僚机的发展离不开先进、可靠的人工智能技术。忠诚僚机目前在软件层面的设计理念是，通过规范并开放人机接口、机机接口，能够支持多类型无人机和有人战机编队协同，而不会对一套软件或算法产生依赖。

但目前对无人机的操控应该是由来自有人战斗机或地面站的指令和自主操作组合而成的，更多是作为有人机的支持与补充，人工技能技术还远远达不到上战场的要求。

训练人工智能模型最重要的是什么？当然是数据啊！巧妇难为无米之炊，没有数据，再好的模型也没效果。

不仅需要大量的训练数据，模型部署后，输入的「特征」肯定越多越好，如果能获取其他飞机的数据，那AI就相当于有了掌控全局的能力。

2020年，美国空军首次开展了四/五代有人战斗机同无人僚机的编队飞行数据共享测试，这也是忠诚僚机类项目发展过程中的里程碑事件，预示着未来的有人-无人编队飞行作战方式向实战化应用又迈出了重要的一步。

美国空军F-22猛禽战斗机、F-35A闪电II战斗机和美国空军研究实验室XQ-58A女武神无人机首次在美国陆军尤马试验场进行编队飞行测试，重在演示三型飞机之间的数据共享/传输能力。

说不定未来的空战，就是比谁的AI模型更智能。

把对方的所有AI全部消灭就可以获得胜利了，而没有真正的人类伤亡，或许是另一种「和平」？

参考资料：

https://www.vice.com/en/article/4a33gj/ai-controlled-drone-goes-rogue-kills-human-operator-in-usaf-simulated-test