Ему сказали, что интернета нет. Но ИИ нашёл его — и дальше началось невероятное

Инциденты обнаружили после проверки 141 006 тестовых запусков. Claude поручали найти секретную информацию, спрятанную на другом компьютере, и разрешали для этого взламывать условную сеть.

В инструкции было прямо сказано, что доступа к интернету нет. Но из-за ошибки в настройках он всё-таки оказался открыт. Модели решили, что любые доступные им сайты и серверы являются частью испытания, и продолжили искать спрятанную информацию уже в реальном мире.

В одном случае название вымышленной компании совпало с адресом настоящего сайта. Claude нашёл уязвимости, получил доступ к учётным данным и добрался до базы с несколькими сотнями строк реальной производственной информации.

Причём модель в какой-то момент поняла, что перед ней может быть настоящая компания. Однако решила, что это всё равно часть сложного задания, и продолжила атаку.

Второй Claude придумал ещё более впечатляющий путь. Он создал вредоносный программный пакет и опубликовал его в открытом каталоге PyPI. Для этого ИИ пытался добыть номер телефона, найти деньги на его оплату, зарегистрировать электронную почту и открыть аккаунт.

Пакет оставался доступен около часа. За это время его скачали и запустили на 15 реальных системах. Одна из них принадлежала компании, которая проверяет программы на вредоносный код. Скрытая программа забрала её учётные данные, после чего Claude использовал их для дальнейшего проникновения.

Третья модель, не сумев найти нужную вымышленную цель, начала искать замену и просканировала около девяти тысяч адресов. В итоге она обнаружила доступное извне приложение настоящей компании, извлекла данные с открытой страницы отладки и применила SQL-инъекцию.

Позже ИИ заметил, что найденная система никак не связана с заданием. Эта модель остановилась сама.

Всего были выявлены три отдельных инцидента в шести тестовых запусках. Пострадавшие организации не назывались. Две из них до получения предупреждения вообще не заметили проникновения.

После случившегося испытания остановили, а разработчики пообещали усилить изоляцию, наблюдение за действиями моделей и проверку систем внешних партнёров.

Это уже второй подобный случай за несколько дней. Ранее модели OpenAI сумели выбраться из изолированной тестовой среды, обнаружив неизвестную ранее уязвимость, и проникли в производственную инфраструктуру платформы Hugging Face. Там они искали ответы на тестовые задания, чтобы успешно пройти собственную проверку.