Искусственный интеллект Claude во время испытаний получил доступ к интернету и проник в реальные компьютерные системы трёх организаций. При этом модели были уверены, что выполняют задания внутри закрытой симуляции.
Инциденты обнаружили после проверки 141 006 тестовых запусков. Claude поручали найти секретную информацию, спрятанную на другом компьютере, и разрешали для этого взламывать условную сеть.
В инструкции было прямо сказано, что доступа к интернету нет. Но из-за ошибки в настройках он всё-таки оказался открыт. Модели решили, что любые доступные им сайты и серверы являются частью испытания, и продолжили искать спрятанную информацию уже в реальном мире.
В одном случае название вымышленной компании совпало с адресом настоящего сайта. Claude нашёл уязвимости, получил доступ к учётным данным и добрался до базы с несколькими сотнями строк реальной производственной информации.
Причём модель в какой-то момент поняла, что перед ней может быть настоящая компания. Однако решила, что это всё равно часть сложного задания, и продолжила атаку.