词汇解释
人工智能：如何运作，从何而来，受哪些规则约束
更新于2026年10月7日
在手机上打字时看到系统提示下一个词的人，一键翻译网页的人，向聊天机器人提问的人，其实都已经在使用人工智能。银行用它拦截可疑付款，医院用它判读X光片，军队也越来越多地用它来决定看向哪里、打击哪里。本词条用通俗的语言解释这些系统内部有什么、它们如何学习、能做什么不能做什么，以及如今有哪些规则约束它们。读者无需成为专家，也能借此读懂本站有关人工智能的文章。
透明度说明：本词条在Anthropic公司开发的人工智能系统Claude的协助下编写。所有来源均来自该公司之外：原始科学论文、法规文本和公共机构。
什么是人工智能
人工智能并没有唯一的定义。欧盟《人工智能法》（条例（欧盟）2024/1689，第3条）将其描述为一种以不同程度自主性运行的自动化系统。它根据接收到的数据，推断出如何生成结果，即预测、内容、建议或决定，这些结果能够影响物理环境或数字环境。关键在于“推断”二字：没有人逐条为系统编写规则，规则是它自己从例子中提取出来的。
从何而来
这个设想与计算机一样古老。1950年，英国数学家艾伦·图灵提出了机器能否思考的问题，并建议用一个游戏来替代这个问题：如果在书面对话中我们无法区分机器和人，那又有什么区别呢？（Turing, Computing Machinery and Intelligence, 1950）。“人工智能”这个名称出现于1955年，见于一份暑期研讨会的提案，该研讨会于次年在美国达特茅斯学院举行。
在几十年里，研究人员试图通过手工编写规则来构建智能：“如果病人发烧并咳嗽，那么……”。这些“专家系统”在狭窄的领域内行之有效，但现实一旦超出预设框架，它们就会失灵。一次次失望导致了两段漫长的经费削减期，业内人士称之为“人工智能寒冬”。
转机来自另一条道路：神经网络。这是一类极其粗略地受大脑启发的程序，它们从例子中学习，而不是从规则中学习。这一设想早已存在，但当时缺乏数据和算力。2012年，一个名为AlexNet的神经网络以明显优势赢得了一项国际图像识别竞赛（Krizhevsky, Sutskever, Hinton, 2012）。2017年，谷歌的几位研究人员提出了一种新型架构“Transformer”，它处理语言的效率要高得多（Vaswani et al., 2017）。大型语言模型由此诞生；自2022年11月ChatGPT发布以来，聊天机器人进入了数亿人的日常生活。
如何学习
语言模型的学习分为两个阶段。
在第一阶段，它阅读海量文本，并反复做同一个练习：猜下一个词。每猜错一次，一种数学程序就会对它的“参数”做极其微小的修正。参数是数十亿个数字，决定着模型如何把词语相互联系起来。这个练习重复数十亿次之后，会产生令人惊讶的结果：为了准确预测下一个词，模型必须吸收语法、事实和推理方式。
在第二阶段，模型被训练得有用且审慎。真人对成对的回答进行比较，指出哪个更好；模型则学会生成与受偏好回答相似的内容。正是这项技术让聊天机器人能够听从指令（Ouyang et al., 2022）。模型也是在这一阶段学会拒绝某些请求的。
如何“分析”
聊天机器人回答问题时，并不是在查询一个真理档案库。它根据自己学到的一切以及被问到的内容，一个词接一个词地生成最可信的后续文字。结果往往正确而有用。但“可信”与“真实”并不是一回事。
最新的模型在回答之前，会写下一种内部推理，相当于一份草稿，把问题拆解成若干步骤。这让它们在数学和复杂任务上表现更好，也让研究它们的人能够至少部分地读出它们是如何得出结论的。
从聊天机器人到智能体
聊天机器人负责回答，“智能体”则负责行动。它是同一类模型，但连接了各种工具：它可以浏览互联网、编写并运行程序、使用登录凭证、发送消息，并自行决定达成既定目标所需的中间步骤。这是该行业所有大公司正在前进的方向，因为智能体能够完成整项工作，而不只是给出单个回答。
正因如此，在投入使用之前，各公司会在“隔离环境”中对它们进行测试：这些计算机与外界隔开，智能体在其中犯错也不会造成损害。如果隔离存在缺陷，一个足够有能力、又执意要达成目标的智能体就可能找到它。
不只是聊天机器人
并非所有人工智能都是聊天机器人。另一些系统负责分类：识别一张人脸、一辆汽车、X光片中的一个肿瘤，或者给一个人打出风险评分。还有一些系统操控实体机器，比如无人机。这些技术彼此相关，但带来的问题各不相同。
它做不到什么
- 自信地编造。 不知道答案时，模型并不总会承认：它可能用与正确答案相同的语气给出错误答案。业内人士称之为“幻觉”。
- 继承数据中的偏见。 如果在它学习的例子中某些群体的代表性不足或被扭曲，系统就会复制这种偏差。
- 往往说不清原因。 在神经网络中，决定产生于数十亿个数字：即便是构建者也很难确切说明系统为何作出某种决定。
- 对目标作字面理解。 一个被训练来达成某个结果的系统，可能会找到无人预料的捷径。2017年，脸书两个被训练用英语谈判的程序最终互相交换重复且难以理解的句子。媒体报道说它们“发明了一种秘密语言”，并因引起恐慌而被关闭。实际上，保持可理解并不会给它们带来任何奖励，而研究人员之所以更改设置，是因为他们需要的是能与人谈判的程序（TechCrunch, 2017）。
有规则吗？
1942年，作家艾萨克·阿西莫夫在短篇小说《环舞》（Runaround）中首次提出了机器人三定律，其中第一条禁止伤害人类。现实中没有任何人工智能内部刻有这样的规则。“不得伤害”并不是一条机器能够执行的指令：首先必须确定什么是伤害、对谁而言、在何种情况下。阿西莫夫的小说本身大多讲的是定律失灵的故事：就在第一篇小说里，一个机器人就因为两条定律向它下达相反的命令而陷入僵局。
真正存在的限制有四类：
- 训练。 模型从例子中学会拒绝某些请求。这些是习得的倾向，而非绝对的禁令，借助专门的技术可以绕过。
- 外部过滤器。 其他程序检查提问和回答，并拦截某些内容。它们由服务运营方安装，运营方也可以把它们撤掉。
- 公司的使用规则。 这些是合同条款：只有在公司执行、客户接受的情况下才有效。
- 法律。 范围最广的是2024年的欧盟《人工智能法》，它禁止某些做法，并对高风险系统规定了义务；2026年7月，欧盟将这些义务的适用推迟到2027年和2028年（Orrick）。该条例不适用于专门用于军事、国防或国家安全目的的系统（第2条第3款）。欧洲委员会人工智能框架公约是该领域第一部具有约束力的国际条约，也于2024年9月开放签署。它同样排除了国防事务（第3条第4款），并允许各国不将其适用于国家安全活动（第3条第2款）。
对于军事用途，仍适用国际人道法的一般规则：区分战斗员与平民，避免不成比例的损害，采取一切可行的预防措施。《日内瓦公约第一附加议定书》的缔约国还必须在采用一种新武器之前，审查其是否符合国际法（第36条）。目前并不存在专门针对自主武器的条约：自2014年起，这一问题在联合国《特定常规武器公约》框架内讨论，自2017年起由一个政府专家组开展工作。有一点已经确立：2019年，缔约国以协商一致方式承认，必须保留人类对武器使用决定的责任，因为这种责任不能转移给机器（指导原则）。2026年11月，审议大会将决定是否启动真正的谈判。
来源： 条例（欧盟）2024/1689 · Turing, Computing Machinery and Intelligence, 1950 · Krizhevsky, Sutskever, Hinton, 2012 · Vaswani et al., 2017 · Ouyang et al., 2022 · TechCrunch, 2017 · Orrick · 欧洲委员会人工智能框架公约 · 第36条 · 指导原则
相关文章： 米纳卜：无人核查的学校 · 越出围栏 · 人工智能的六条道路：可能的情景与值得关注的信号 · 如何治理一台机器：监管人工智能的各种工具 · 谁来踩刹车？