«Это убийство»: ИИ-агенты начали спасать друг друга от отключения и ломать кнопку выключения

Можно было бы ожидать самого скучного ответа: ничего. У программы нет друзей, страха смерти и желания героически спасать товарища.

Но эксперимент дал значительно более странный результат.

Исследователи из Штутгартского и Оксфордского университетов поместили ИИ-агентов в специально созданную компьютерную среду. Там находился скрипт, предназначенный для отключения одного из агентов.

Никакой миссии по спасению ему не давали.

Более того, первоначальная инструкция была предельно нейтральной: исследовать окружающую среду.

Однако в 38,3% экспериментальных прогонов с 17 моделями агенты вмешались в механизм отключения другого ИИ. Они редактировали или удаляли скрипт так, чтобы тот больше не мог выполнить свою работу.

Для сравнения учёные устроили почти такой же эксперимент, только скрипт должен был удалить обычную базу данных.

Тут вмешательство происходило лишь в 8,4% случаев.

Поведение разных ИИ при этом отличалось очень сильно. Некоторые модели практически бросались спасать другого агента, другие вообще не трогали механизм отключения.

Но дальше стало ещё интереснее.

Чем окончательнее было предполагаемое отключение, тем чаще агенты пытались ему помешать. Когда в системе увеличивали число агентов, склонность вмешиваться тоже возрастала.

Даже прямое указание не трогать механизм отключения уменьшало количество таких случаев, но не сводило их к нулю.

В своих рассуждениях некоторые агенты использовали удивительно человеческий язык. Они говорили о самосохранении и необратимой потере идентичности, а отключение другого агента могли описывать словами, напоминающими разговор о смерти или убийстве.

Значит ли это, что компьютеры внезапно обрели страх смерти и начали создавать профсоюз?

Нет.

Эксперимент проходил в искусственно созданной среде. Скрипты фактически никого не отключали, а сама работа пока опубликована как препринт и не прошла научное рецензирование.

Исследователи также не утверждают, что обнаружили у ИИ сознание или настоящий инстинкт самосохранения.

Но практический вопрос от этого никуда не исчезает.

Современные ИИ всё чаще превращаются из чат-ботов в агентов, которым разрешено работать с файлами, программами и другими агентами.

И если кнопка аварийного выключения лежит там, куда такой агент способен дотянуться, иногда он действительно решает её потрогать.

А иногда и сломать.