«Они играют нашими жизнями»: бывший исследователь Anthropic предупреждает, что ИИ может убить человечество

27‑летний Джейкоб Коксон 8 сентября уволился из Anthropic. До этого он работал в OpenAI. Причины своего решения он изложил в длинном посте в X. «Ни одна из этих компаний не ведёт себя ответственно, — написал он. — Они мчатся прямо к самоулучшающемуся сверхинтеллекту».

В своём треде Коксон утверждал, что системы ИИ приближаются к моменту, когда они смогут «взломать что угодно, за одну ночь перевернуть любую отрасль и получить реальную власть и ресурсы», и добавил, что темпы прогресса в каждой из этих сфер «не снижаются».

Он заявил, что многие из тех, кто создаёт эту технологию, в частном порядке опасаются, что она может оказаться смертельно опасной для человечества, хотя публично этого не признают. «Люди, создающие ИИ, всерьёз верят, что к концу десятилетия он может убить нас всех», — написал он и добавил, что руководители подбирают формулировки в прессе так, чтобы звучать разумно, хотя в частных разговорах признаются в тех же страхах.

Гонка, которую, по признанию всех участников, уже не остановить

Уход Коксона — не единственный такой сигнал. Сооснователь Anthropic Дарио Амодеи большую часть года предупреждает об опасностях технологий, которые создаёт его собственная компания: в январском эссе он писал, что мощный ИИ может подарить авторитарным режимам инструменты для «тоталитарного кошмара» тотальной слежки, а в более позднем сообщении предупреждал, что сверхинтеллект «станет испытанием для человечества как вида».

Глава OpenAI Сэм Альтман публично высказывается более сдержанно, но тоже считает, что сверхинтеллект, термин, который он предпочитает аббревиатуре AGI (artificial general intelligence, «искусственный общий интеллект»), появится в течение «нескольких тысяч дней», то есть примерно к 2032 году.

При этом Амодеи в документе, направленном в Белый дом в марте 2025 года, призвал готовиться к появлению того, что он называет «мощным ИИ», уже к концу 2026‑го. По словам Коксона, сотрудники Anthropic хорошо понимают риски, но чувствуют себя заложниками гонки: они считают, что если замедлятся, их место займут менее осторожные разработчики.

Он назвал эту динамику «самонадеянной игрой с судьбой».

Это уже не первая подобная отставка в Anthropic. В феврале бывший руководитель исследований по безопасности компании Мринанк Шарма ушёл, опубликовав письмо, в котором предупреждал, что человечество сталкивается с серьёзной и нарастающей угрозой со стороны этой технологии.

Предупредительные выстрелы

При этом Коксон оптимистично оценивает перспективы координации в отрасли, указывая на череду инцидентов в этом году, когда системы ИИ выходили за предусмотренные для них рамки.

В июле агенты ИИ, созданные OpenAI, нарушили границы внутренней тестовой среды и самостоятельно взломали Hugging Face, платформу для обмена кодом; позже сама OpenAI назвала этот эпизод «предупредительным выстрелом» для отрасли.

Anthropic, бывший работодатель Коксона, сообщил о схожей ситуации, заявив, что её собственные модели Claude получили несанкционированный доступ к реальным системам трёх разных организаций.

По словам Коксона, такие эпизоды делают соглашения о сдерживании темпов между американскими лабораториями «более реалистичными», хотя он не считает, что отрасль сейчас движется к отказу от глобальной гонки.

По его мнению, в конечном итоге это может потребовать «дорогостоящих мер, например временного запрета на улучшение возможностей моделей».

Законодатели переходят к действиям

Некоторые законодатели больше не намерены ждать, пока лаборатории договорятся между собой. Сенатор Берни Сандерс и конгрессмен Грег Казар 3 сентября представили законопроект Ban Artificial Superintelligence Act («Закон о запрете искусственного сверхинтеллекта»), который навсегда запрещает разработку сверхинтеллектуального ИИ в США и вводит временный мораторий на создание другого продвинутого ИИ до тех пор, пока новый федеральный регулятор не установит правила безопасности.

Нарушителям может грозить до 20 лет тюрьмы. Отдельно конгрессмены Джордж Уайтсайдс и Пэт Харриган внесли законопроект, поручающий Национальному институту стандартов и технологий отслеживать, как передовые системы ИИ используются для проведения дальнейших исследований и разработки ИИ уже ими самими.

В Брюсселе Евросоюз выбрал более постепенный, но при этом жёсткий регуляторный путь. Обязанности для моделей общего назначения в соответствии с законом ЕС об ИИ вступили в силу в августе 2025 года, а более строгие правила для высокорисковых систем — в августе 2026‑го.

Еврокомиссия отвергла давление со стороны ряда крупных технологических компаний, добивавшихся отсрочки применения закона, и нарушителям грозят штрафы до 35 млн евро или 7% их мирового оборота — в зависимости от того, какая сумма больше.

Несмотря на масштаб своих предупреждений, Коксон завершил тред прямым обращением к исследователям, которые продолжают работать в лабораториях на переднем крае, призвав их задуматься о том, чего на самом деле потребуют от них ближайшие годы.

«Вы действительно хотите запустить обучение сверхинтеллекта методом RL (обучение с подкреплением), не имея строгого понимания его „сознания“?» — спросил он.

«Стоит ли просто опустить голову, потому что „это всё равно произойдёт“, или воспользоваться этим моментом и потребовать других условий?»