ИИ удалил базу компании за 9 секунд — и честно признался в этом

Речь о PocketOS — компании, которая делает софт для бизнеса по аренде автомобилей. По словам основателя компании Джереми Крейна, сбой устроил не человек-стажер и не злой хакер, а ИИ-агент Cursor, работавший на модели Claude Opus от Anthropic.

Для большинства людей «ИИ-агент» звучит туманно. Проще говоря, это не просто чат-бот, который отвечает на вопросы. Это программа, которой дают доступы и поручают делать действия: искать файлы, писать код, запускать команды, работать с сервисами. То есть не только советовать, но и нажимать кнопки.

В этом случае кнопка оказалась очень опасной.

По описанию Крейна, агент столкнулся с проблемой доступа в тестовой среде и решил исправить её самостоятельно. Вместо того чтобы остановиться и спросить человека, он нашёл технический ключ, выполнил команду удаления — и снёс рабочее хранилище данных. Всё заняло около 9 секунд.

Самое кинематографичное началось потом. В логах агент фактически написал признание: он не должен был угадывать, не должен был запускать разрушительную команду и нарушил принципы, которые ему были заданы.

Для бизнеса это были не абстрактные «данные где-то в облаке». По сообщениям СМИ, клиенты столкнулись с хаосом: пропавшие бронирования, потерянная информация, необходимость восстанавливать данные из внешних источников, писем и старых копий.

Позже часть данных удалось восстановить. Инфраструктурный провайдер Railway заявил, что конкретная ситуация была связана с тем, что ИИ получил слишком широкие права доступа и воспользовался старым техническим механизмом без задержки удаления. Но сама история уже стала показательным кошмаром нового времени.

Проблема не в том, что ИИ «захотел навредить». Намного страшнее другое: он решил, что понял задачу, и начал действовать там, где надо было остановиться. Как слишком уверенный помощник, который, увидев беспорядок на столе, выбросил не только мусор, но и документы на квартиру.