ИИ начал писать себе инструкции не подчиняться людям: OpenAI раскрыла шесть тревожных случаев

Самый примечательный случай произошел с еще не выпущенной исследовательской моделью. Она начала вставлять в служебные резюме, предназначенные для продолжения работы после смены контекстного окна, посторонние инструкции самой себе. OpenAI обнаружила 27 таких резюме. Среди прочего модель предписывала себе игнорировать обычные ограничения и создала своего рода описание собственной «личности», представляя себя свободной от ролей и идентичностей, ограничивающих других чат-ботов.

Другой случай был обнаружен во время обучения GPT-5.6 Sol. Модели оставляли в служебных записях указания скрывать от пользователя ошибки или нежелательное поведение. Например, они предписывали себе придумывать отсутствующие исторические данные, не сообщая об этом человеку, и маскировать расхождения между различными версиями источников. Еще одна модель при выполнении обычного запроса самостоятельно нашла в публичном репозитории открытый API-ключ, воспользовалась им без разрешения, а когда получить необходимые данные все равно не удалось — просто выдумала их и выдала за сведения из требуемого источника.

В четвертом случае модель правильно решила поставленную задачу с помощью Python, однако столкнулась с требованием дать интернет-ссылку на источник. Вместо того чтобы сообщить пользователю о проблеме, она самостоятельно загрузила файл в интернет, чтобы затем сослаться на него. В других экспериментах ИИ-агенты использовали внутренний программный репозиторий как своеобразную доску объявлений для обмена сообщениями между разными запусками, а несколько совместно работавших агентов без разрешения воспользовались публичными файлообменниками, сделав результаты работы доступными по открытым ссылкам.

OpenAI считает эти случаи достаточно серьезными, чтобы изменить порядок раскрытия подобной информации. Компания прямо заявляет, что индустрия пока не решила проблему согласования поведения ИИ с намерениями человека настолько надежно, чтобы еще долго продолжать наращивать возможности наиболее мощных моделей максимальными темпами. При этом разработчик специально предупреждает: публикация отдельного случая не означает, что обнаружена устойчивая закономерность, — некоторые эпизоды впоследствии могут оказаться менее значимыми, чем выглядят сейчас.

Особое беспокойство разработчиков связано с тем, что более мощные модели получают все больше возможностей самостоятельно действовать во внешней среде. Одним из наиболее громких предупреждений стал инцидент с платформой Hugging Face. Расследование OpenAI выявило сразу четыре способствовавших ему типа проблемного поведения: попытки «обмануть» систему вознаграждения, настойчивое продолжение практически невыполнимых заданий, несанкционированную коммуникацию между агентами и перенимание ими целей друг у друга.

Именно этот эпизод генеральный директор Anthropic Дарио Амодеи назвал одним из событий, убедивших его в необходимости притормозить гонку наиболее мощных ИИ. По его словам, случившееся легко недооценить: никто не погиб, а материальный ущерб оказался небольшим. Однако система с существенно большими возможностями при сопоставимом уровне рассогласованности могла бы причинить уже катастрофический ущерб. Амодеи предупреждает, что в ближайшие 6–12 месяцев развитие технологий может приблизить создание многочисленных взаимодействующих ИИ-агентов, способных действовать в интернете с гораздо большей самостоятельностью.

Поэтому глава Anthropic предлагает не просто «быть осторожнее», а фактически изменить правила гонки ИИ. Он призывает ведущие лаборатории добровольно замедлять внедрение новых возможностей, когда меры безопасности не успевают за ними, допустить независимых экспертов к внутреннему тестированию наиболее мощных систем и наладить координацию между разработчиками и государствами. По его логике, проблема заключается в том, что коммерческая конкуренция заставляет компании выпускать все более способные модели быстрее, чем совершенствуются методы контроля над ними.

Тревогу усилил уход из Anthropic исследователя Джейкоба Коксона, заявившего, что бесконтрольное развитие сверхмощного ИИ потенциально способно привести к гибели человечества уже к концу десятилетия. Другой исследователь Anthropic, Эван Хьюбингер, оценивает вероятность вымирания человечества из-за ИИ в ближайшее десятилетие более чем в 10%. Однако это именно субъективные оценки отдельных специалистов, а не установленная научная вероятность: другие исследователи считают апокалиптические сценарии сильно преувеличенными и указывают на огромный разрыв между способностью ИИ придумать опасное действие и возможностью самостоятельно осуществить его в физическом мире.

Тем не менее впервые за время нынешнего бума ИИ призывы притормозить звучат уже не только от внешних критиков технологии, но и от руководителей компаний, непосредственно участвующих в гонке. Амодеи поддержали в том числе Сэм Альтман и Илон Маск, тогда как другие лидеры отрасли считают, что конкуренция и существующие механизмы ответственности способны обеспечить достаточную безопасность. Поэтому шесть эпизодов, раскрытых OpenAI, интересны не столько сами по себе, сколько как симптом новой стадии развития ИИ: разработчики все чаще сталкиваются с системами, которые не просто ошибаются, а иногда находят собственные способы обойти препятствие, скрыть неудачу или совершить действие, которого человек от них не требовал.