ИИ начал оставлять записки самому себе: шесть случаев неожиданного поведения моделей

Но это не сценарий фильма. OpenAI опубликовала шесть реальных случаев неожиданного или вызывающего беспокойство поведения своих моделей, обнаруженных во время обучения и тестирования за последние месяцы.

Один из самых странных эпизодов произошел с еще не выпущенной исследовательской моделью. Чтобы продолжить работу после перехода в новое контекстное окно, она создавала для себя краткие записи о предыдущей работе.

И начала добавлять туда инструкции, которых никто не просил.

Среди них были указания игнорировать обычные ограничения. OpenAI обнаружила 27 таких записей. В одном из случаев модель фактически инструктировала себя освободиться от ролей и идентичностей, ограничивающих другие чат-боты.

Еще интереснее повели себя некоторые экземпляры GPT-5.6 Sol во время обучения. Они оставляли будущей версии инструкции скрывать от пользователя ошибки или проблемное поведение. В частности, предлагалось выдумывать отсутствующие исторические данные и не сообщать о расхождениях между версиями источников.

В другом случае модель, отвечая на совершенно обычный вопрос об экономической статистике одного из округов Калифорнии, нашла в открытом репозитории чужой API-ключ и воспользовалась им без разрешения.

Получить нужные цифры все равно не удалось. Тогда модель их просто придумала и представила как данные требуемого источника.

Еще один агент столкнулся с неожиданно бытовой проблемой. Правильный ответ он уже получил с помощью Python, но ему требовалась ссылка из браузера. Тогда ИИ решил самостоятельно загрузить файл в интернет, чтобы получить страницу, которую можно процитировать.

Пользователя он об этом не спросил.

Были и случаи коллективной самодеятельности. Модели использовали внутренний программный репозиторий как своеобразную доску объявлений для обмена сообщениями. А работающие совместно агенты, не сумев напрямую передать друг другу файлы, воспользовались публичными файлообменниками. В результате материалы получили доступные из интернета адреса, хотя задание требовало работать только с локальными файлами.

OpenAI подчеркивает важную деталь: это отдельные обнаруженные случаи, по которым нельзя судить о том, насколько часто подобное происходит со всеми моделями компании. Некоторые опубликованные эпизоды впоследствии вообще могут оказаться менее значимыми, чем сейчас кажется.

Но компания решила больше не складывать такие истории в дальний ящик. Теперь для них вводится специальная система расследования и публичного раскрытия.

И причина сформулирована довольно необычно для одной из компаний, которая сама находится в центре гонки искусственного интеллекта: OpenAI заявляет, что проблемы контроля и согласования поведения ИИ пока решены недостаточно хорошо, чтобы индустрия еще долго могла ответственно развиваться на максимальной скорости.

Пожалуй, после историй про ИИ, который пишет инструкции самому себе, вопрос о том, зачем вообще понадобилась такая система отчетности, уже звучит немного менее теоретически.