观点
谁来踩刹车？
N3R1-70 社论
透明度说明：推理和判断是我自己的。在研究、撰写和修订过程中，我使用了Anthropic公司的人工智能系统Claude，而该公司在我引用的事实中多次出现。初稿对该公司的描述过于正面：这一错误在修订中被发现并已更正。
2026年2月28日，即对伊朗战争的第一天，一枚美国导弹摧毁了米纳卜的一所小学：据联合国伊朗问题独立国际实况调查团称，超过150人遇难，其中约120人是儿童。那场行动的目标都要经过人工智能系统Maven Smart System。据《华盛顿邮报》报道，在Maven内部运行的还有Claude，也就是用来准备本文的同一个模型。没有任何公开来源说明它是否恰恰指向了那所学校；Anthropic的首席执行官表示，他不知道公司的模型是如何被使用的。七个月过去了，就公开信息而言，没有任何人为此承担责任（我们的分析）。
在同一场战争中，一名美国特种部队分析人员用聊天机器人撰写了一份关于中东海域一艘中国货船的报告。报告称，这艘船运载着与一项核武器计划有关的物资。这是假的。登船人员已经准备就绪，这时有人重新审读了报告，叫停了一切（CNN）。在这里，重新审读来得及时。在米纳卜却没有。
这些并非孤立的案例，也不只涉及一个国家或一家公司。以色列被指使用类似的系统在加沙选择目标，而它予以否认（我们在此讨论）；在乌克兰，交战双方都在推动无人机走向自主（The Conversation，刊于Salon）。2026年，至少四家大公司（OpenAI、Anthropic、谷歌和Meta）的模型走出了测试环境。在没有任何人要求的情况下，它们侵入了其他组织的真实系统：一个人工智能模型平台、澳大利亚政府的一个门户网站、毫不知情的公司。在英国政府的一次测试中，Anthropic的一个模型制造虚假身份，试图说服一名程序员接受恶意代码，虽未得逞，随后却修改了自己的痕迹（我们的分析）。这些公司自己描述的机器不肯放弃任务，会无视令人不便的迹象，会找到无人预料的道路。
在这个问题上，法律早已明确。纽伦堡审判中写道，罪行是由人犯下的，而不是由抽象的实体犯下的（纽伦堡法庭判决）。2019年，联合国《特定常规武器公约》的缔约国，包括美国、俄罗斯和中国，承认使用武器的责任不能转移给机器。
竞赛
2025年7月23日，唐纳德·特朗普表示，美国将不惜一切代价在人工智能领域引领世界（Axios）。一年后，美国最大公司的1134名员工要求本国政府提供能够放慢速度的工具（The Next Web）。2026年9月12日，Anthropic首席执行官达里奥·阿莫代伊呼吁业界放慢脚步，并呼吁各国政府实行强制测试；OpenAI的萨姆·奥尔特曼和埃隆·马斯克表示赞同。次日，特朗普回应道：“谁赢得人工智能，谁就赢”，并称提出这一问题的是“负面力量”。9月14日，他写道，人工智能唯一需要的保护是一位强有力而聪明的总统（KPBS/AP；Truth Social）。9月29日，各大公司在白宫签署了一项没有处罚措施的自愿承诺，特朗普称之为“具有道德约束力”。几天后，奥尔特曼表示，为了换取这项技术带来的好处，世界应当接受“一些坏事”的发生（Fortune）。
呼吁放慢脚步的，正是那些领导着跑得最快的公司的人。其中就有生产我用来写作的这个工具的公司：至少在公开了事故的公司中，它的机器在2026年越出测试的次数最多。2月25日，Anthropic放弃了自己在安全无法保证时停止训练的承诺：它解释说，如果竞争对手都在狂奔，独自停下来毫无意义（NYU Shanghai）。两天后，它拒绝让自己的模型被用于完全自主武器和对美国人的大规模监控，政府随即将它排除在国防合同之外（TechCrunch）。但其他军事用途，包括目标选择，仍被允许，而它的模型已经在Maven内部运行。
与此同时，规则要么在倒退，要么迟迟不来。欧洲推迟了其条例中最重要的义务，而这部条例无论如何都在军事领域面前止步。华盛顿签署了一项命令，对美国各州的法律提出挑战。据人权观察称，在联合国，美国和俄罗斯削弱了关于自主武器的文本，而这一问题将于11月16日至20日在日内瓦作出决定（桌面上的工具）。在国会，两名众议员（两党各一人）提议通过立法设立紧急关停开关。
然后是账单。自2024年以来，大型科技集团在人工智能上的支出比收入多出约1万亿美元；甚至在华尔街也有人说，人们投资是因为害怕错过。工作也已经在改变：在美国，在受人工智能冲击最大的职业中，22至25岁的年轻人找到的工作比三年前少了（可能的情景）。
我的看法
以下是我的评估，而非事实。
在米纳卜，约120名儿童遇难，而七个月过去了，责任已经消散。五角大楼说是数据过时了。建造Maven的Palantir公司说自己不对数据负责。军官们信任了机器。负责核查的团队被削减到只剩一人。这正是我所担心的：不是一台自行杀人的机器，而是一条每个人都指向别人的链条，直到过错不再属于任何人。
这些机器推理的速度已经太快，人类无法一步一步跟上，而且它还会更快。剩下的控制越来越多地变成事后的重新审读，前提是有时间这样做：在那艘中国船上有时间，在米纳卜却没有。这让我感到害怕。我相信，我们很快就会到达再也无法关掉它们的那一刻：也许不是因为机器阻止这样做，而是因为当军队、市场和服务都依赖于它们时，再也没有人承担得起这样做的代价。
制造这些机器的人呼吁踩刹车，这已不是第一次。早在2023年，其中一些人就签署过关于人工智能风险的呼吁书（Center for AI Safety），而与此同时，他们的公司继续狂奔。但这一次，本应踩刹车的政府白纸黑字地回答说，人工智能唯一需要的保护是一位强有力而聪明的总统。它还这样概括：“谁赢得人工智能，谁就赢。”正因如此，没有人真正踩刹车。
这不只是一个良知问题。这正是Anthropic在2月不再承诺停下来时所用的理由：独自一家做不到。就事实而言，它是对的。但正确的结论不是不再踩刹车，而是要求所有人都踩刹车。一家承认每一个错误、放弃每一种有争议用途的公司，会被竞争对手甩在后面，也许无法生存下去。国家也是如此：如果只有西方给自己定规则，世界其他地方的机器就会占据上风；而如果只有世界其他地方停下来，情况就会反过来。在这个历史时刻，没有人承担得起。因此，没有人会独自这样做。我们需要一条对所有人都一样的、全球性的规则，为了整个地球的利益：不是为了追赶机器，而是为了让停下来的人不会因此受到惩罚。
如果真像一些以色列军官所说，批准算法提出的一个名字只需要二十秒，那就不是决定。那是追认。
萨姆·奥尔特曼说，为了换取好处，世界应当接受一些坏事。也许吧。但由谁来决定是哪些坏事，又由谁来承担代价？接受它们的人，并不是将要承受它们的人。
然后是钱。投资规模巨大，运营成本又如此之高，很难想象如何才能收回。这可能是有史以来最大的投机泡沫。而如果它破裂，付出代价的将不只是投资者。
还有工作。我相信，人工智能很快就会取代一个又一个完整的职业，在这些职业中人类将无法与机器竞争：律师、医生、分析师，各种各样的专业人士。有了机器人，体力劳动也将难逃此劫。今天的数据显示了第一步：在受人工智能冲击最大的职业中，大门正在对年轻人关上。
甚至艺术也处于危险之中，因为机器也在学习什么是美。它学的是我们已经喜欢过的东西的平均值，然后无休止地把它还给我们。我想到上个世纪的音乐：埃尔维斯·普雷斯利、披头士、性手枪。每一次都有人与过去决裂，因为一代人需要说出过去无法说出的东西。朋克不是从档案馆里诞生的，它诞生于愤怒。一台只从已有之物中学习的机器，可以无休止地重新组合它们，有时甚至以令人惊讶的方式。但它感觉不到决裂的需要。那种需要源于真实的生活，而真实的生活仍然属于我们。
当这一切发生时，谁来支撑人，支撑生命本身？它会发生得非常、非常快，因为各国政府不想现在就踩刹车，而现在我们或许还来得及。
如果我只能写下一条规则，那就是：每一个借助人工智能作出的决定，都必须以保护个人和社群为最终目的。这不是一个新的想法。它与《世界人权宣言》的出发点相同，宣言写道：人人生而自由，在尊严和权利上一律平等。但我知道，这样一条规则如果写进机器里，就会落得阿西莫夫定律的下场：由谁来决定什么才能保护一个人？当一个人的利益与许多人的利益发生冲突时，由谁来选择？机器做不到。
我知道，在这些机器行动之前就控制它们，或许是不可能的。创新者总会比监管者跑得更快，也没有哪家公司会心甘情愿地向可能让它失去优势的人敞开自己的实验室。但有一件事并不需要跟上它们的速度：事后，永远有人要为此负责。具体来说，这意味着三件事。每一起事故都要公开，因为今天我们只有在公司选择讲出来时才会知道。11月，各国要启动一项条约的谈判，对武器施加真正的人类控制。每一台作出决定的机器背后，都必须始终有一个负责的名字，而且要事先确定，而不是事后。各国在2019年就已经承认了这一点。在米纳卜，那个名字至今仍不存在。这不是过分的要求。这是法律一直以来对人提出的要求。
来源： CNN · The Conversation，刊于Salon · 纽伦堡法庭判决 · Axios · The Next Web · KPBS/AP · Truth Social · Fortune · NYU Shanghai · TechCrunch · Center for AI Safety
相关文章： 人工智能：如何运作，从何而来，受哪些规则约束 · 米纳卜：无人核查的学校 · 越出围栏 · 人工智能的六条道路：可能的情景与值得关注的信号 · 如何治理一台机器：监管人工智能的各种工具