ГЛОССАРИЙ
Искусственный интеллект: как он работает, откуда он взялся и какие правила его ограничивают
Обновлено 7 октября 2026
Серия «Искусственный интеллект» · 1 из 6
Тот, кто набирает сообщение на телефоне и видит подсказку следующего слова, кто переводит страницу одним щелчком или задаёт вопрос чат-боту, уже пользуется искусственным интеллектом. Им пользуются и банки, чтобы блокировать подозрительные платежи, и больницы, чтобы читать рентгеновские снимки, и всё чаще армии, чтобы решать, куда смотреть и куда наносить удар. Эта статья простыми словами объясняет, что находится внутри этих систем, как они учатся, что они умеют и чего не умеют, и какие правила сегодня их ограничивают. Она нужна, чтобы читать статьи этого сайта об ИИ, не будучи специалистом.
Примечание о прозрачности: эта статья подготовлена при содействии Claude, системы искусственного интеллекта, созданной компанией Anthropic. Источники внешние по отношению к компании: оригинальные научные статьи, нормативные тексты, государственные учреждения.
Что это такое
Единого определения не существует. Европейский регламент об ИИ (Регламент (ЕС) 2024/1689, ст. 3) описывает его как автоматизированную систему, действующую с различной степенью автономии. Исходя из получаемых данных, она выводит, как производить результаты, то есть прогнозы, контент, рекомендации или решения, способные влиять на физическую или цифровую среду. Решающий элемент — это слово «выводит»: никто не прописывает системе правила одно за другим. Она извлекает их сама из примеров.
Откуда он взялся
Идея стара, как сам компьютер. В 1950 году английский математик Алан Тьюринг задался вопросом, может ли машина мыслить, и предложил заменить этот вопрос игрой: если в письменном разговоре мы не можем отличить машину от человека, какая разница? (Turing, Computing Machinery and Intelligence, 1950). Название «искусственный интеллект» появилось в 1955 году в заявке на летний семинар, который прошёл годом позже в Дартмутском колледже в США.
На протяжении нескольких десятилетий исследователи пытались построить интеллект, вручную прописывая правила: «если у пациента жар и кашель, то…». Эти «экспертные системы» работали в узких областях, но ломались, как только реальность выходила за рамки схемы. Разочарования привели к двум долгим периодам сокращения финансирования, которые специалисты называют «зимами ИИ».
Перелом пришёл с другой стороны: нейронные сети, программы, очень отдалённо вдохновлённые мозгом, которые учатся на примерах, а не на правилах. Идея существовала давно, но не хватало данных и вычислительной мощности. В 2012 году нейронная сеть под названием AlexNet с явным отрывом выиграла международный конкурс по распознаванию изображений (Krizhevsky, Sutskever, Hinton, 2012). В 2017 году несколько исследователей Google предложили новый тип архитектуры, «Трансформер», гораздо более эффективный в работе с языком (Vaswani et al., 2017). Отсюда родились большие языковые модели, а с ноября 2022 года, с запуском ChatGPT, — чат-боты, вошедшие в повседневную жизнь сотен миллионов людей.
Как он учится
Языковая модель учится в два этапа.
На первом она читает огромное количество текстов и всё время выполняет одно и то же упражнение: угадывает следующее слово. Каждый раз, когда она ошибается, математическая процедура чуть-чуть корректирует её «параметры», то есть миллиарды чисел, которые определяют, как модель связывает слова между собой. Повторённое миллиарды раз, это упражнение даёт нечто удивительное: чтобы хорошо предсказывать следующее слово, модель должна усвоить грамматику, факты, способы рассуждения.
На втором этапе модель учат быть полезной и осторожной. Реальные люди сравнивают пары ответов и указывают лучший; модель учится давать ответы, похожие на предпочтённые. Именно эта техника сделала чат-боты способными следовать инструкциям (Ouyang et al., 2022). Именно на этом этапе модель также учится отклонять определённые запросы.
Как он «анализирует»
Когда чат-бот отвечает, он не сверяется с архивом истин. Он производит, слово за словом, наиболее правдоподобное продолжение с учётом всего, чему научился, и того, о чём его спросили. Часто результат верен и полезен. Но «правдоподобное» и «истинное» — не одно и то же.
Новейшие модели, прежде чем ответить, пишут своего рода внутреннее рассуждение, черновик, в котором разбивают задачу на шаги. Это делает их сильнее в математике и сложных задачах и позволяет тем, кто их изучает, прочитать, хотя бы отчасти, как они пришли к выводу.
От чат-ботов к агентам
Чат-бот отвечает. «Агент» действует. Это тот же тип модели, но подключённый к инструментам: он может ходить по интернету, писать и запускать программы, использовать учётные данные, отправлять сообщения и сам решать, какие промежуточные шаги сделать, чтобы прийти к поставленной цели. Именно в этом направлении движутся все крупные компании отрасли, потому что агент может выполнять целые работы, а не отдельные ответы.
Именно поэтому, прежде чем выпустить их в оборот, компании испытывают их в «изолированных средах»: на компьютерах, отделённых от остального мира, где агент может ошибаться, не причиняя вреда. Если в изоляции есть изъян, достаточно способный агент, решительно настроенный достичь своей цели, может его найти.
Не только чат-боты
Не весь ИИ состоит из чат-ботов. Другие системы классифицируют: распознают лицо, автомобиль, опухоль на рентгеновском снимке или присваивают человеку оценку риска. Третьи управляют физическими машинами, например дроном. Это родственные технологии, но проблемы, которые они порождают, разные.
Чего он не умеет
- Уверенно выдумывает. Когда модель не знает, она не всегда об этом говорит: она может выдать неверный ответ тем же тоном, что и верный. Специалисты называют это «галлюцинацией».
- Наследует предубеждения данных. Если в примерах, на которых она училась, определённые группы представлены плохо, система воспроизведёт это искажение.
- Часто не умеет объяснить почему. В нейронных сетях решение рождается из миллиардов чисел: даже те, кто их построил, с трудом могут уверенно сказать, почему система решила именно так.
- Преследует цель буквально. Система, обученная достигать результата, может найти лазейки, которых никто не предвидел. В 2017 году две программы Facebook, обученные вести переговоры на английском, в итоге стали обмениваться повторяющимися и непонятными фразами. Пресса написала, что они «изобрели тайный язык» и были отключены из страха. На самом деле никто не вознаграждал их за то, чтобы оставаться понятными, и исследователи изменили настройки, потому что им были нужны программы, способные вести переговоры с людьми (TechCrunch, 2017).
Существуют ли правила?
В 1942 году в рассказе Хоровод (Runaround) писатель Айзек Азимов впервые сформулировал три закона для роботов, первый из которых запрещает причинять вред человеку. Ни у одного реального ИИ подобные правила не вписаны внутрь. «Не причиняй вреда» — это не инструкция, которую машина может выполнить: сначала нужно установить, что такое вред, для кого и при каких обстоятельствах. Сами рассказы Азимова в большинстве своём — это истории о законах, которые не срабатывают: уже в том первом рассказе робот застревает, потому что два закона отдают ему противоположные приказы.
Ограничения, которые действительно существуют, бывают четырёх типов:
- Обучение. Модель учится на примерах отклонять определённые запросы. Это усвоенные склонности, а не абсолютные запреты, и с помощью специальных приёмов их можно обойти.
- Внешние фильтры. Другие программы проверяют вопросы и ответы и блокируют определённый контент. Их устанавливает тот, кто управляет сервисом, и тот, кто им управляет, может их убрать.
- Правила использования компаний. Это договорные условия: они действуют, пока компания их применяет, а клиент их принимает.
- Законы. Самый широкий из них — европейский Регламент об ИИ 2024 года, который запрещает некоторые практики и налагает обязательства на системы высокого риска; в июле 2026 года Союз перенёс применение этих обязательств на 2027 и 2028 годы (Orrick). Регламент не применяется к системам, используемым исключительно в военных целях, в целях обороны или национальной безопасности (ст. 2, п. 3). Также Рамочная конвенция Совета Европы об ИИ, первый обязательный международный договор в этой области, была открыта для подписания в сентябре 2024 года. Она тоже исключает вопросы национальной обороны (ст. 3, п. 4) и позволяет государствам не применять её к деятельности в сфере национальной безопасности (ст. 3, п. 2).
Для военного применения остаются общие нормы международного гуманитарного права: проводить различие между комбатантами и гражданскими лицами, избегать несоразмерного ущерба, принимать все возможные меры предосторожности. Государства — участники Дополнительного протокола I к Женевским конвенциям обязаны также проверять, совместимо ли новое оружие с международным правом, прежде чем принять его на вооружение (ст. 36). Специального договора об автономных вооружениях не существует: его обсуждают с 2014 года в рамках Конвенции ООН о конкретных видах обычного оружия, где с 2017 года работает группа правительственных экспертов. Одна твёрдая точка уже есть: в 2019 году государства-участники консенсусом признали, что ответственность человека за решения о применении оружия должна сохраняться, потому что она не может быть передана машинам (Руководящие принципы). В ноябре 2026 года Обзорная конференция должна будет решить, открывать ли полноценные переговоры.
Источники: Регламент (ЕС) 2024/1689 · Turing, Computing Machinery and Intelligence, 1950 · Krizhevsky, Sutskever, Hinton, 2012 · Vaswani et al., 2017 · Ouyang et al., 2022 · TechCrunch, 2017 · Orrick · Рамочная конвенция Совета Европы об ИИ · ст. 36 · Руководящие принципы
Связанные материалы: Минаб, школа, которую никто не проверил · За оградой · Шесть путей для искусственного интеллекта: возможные сценарии и сигналы, за которыми стоит следить · Как управлять машиной: инструменты регулирования искусственного интеллекта на столе · Кто тормозит?