Создатели Claude предлагают инвестировать в ИИ — и предупреждают о потере контроля над цивилизацей

А затем начинается раздел о рисках.

И там становится значительно интереснее.

Anthropic предупреждает, что развитие мощных систем искусственного интеллекта в крайнем случае может привести к катастрофическим последствиям для человечества.

В собственных материалах компании встречается и еще более выразительная формулировка: при определенном развитии событий человечество теоретически может полностью потерять контроль над цивилизацией.

Речь не идет о прогнозе, что именно так обязательно и произойдет.

Это описание одного из возможных экстремальных сценариев, которые сама Anthropic давно изучает и относит к категории рисков от продвинутого искусственного интеллекта.

Среди них системы, способные действовать автономно, преследовать нежелательные цели, ускорять научные исследования и становиться настолько эффективными, что люди могут перестать контролировать последствия их работы.

Подобные предупреждения для Anthropic не новость. Компания с самого начала позиционировала себя как разработчика, который одновременно строит все более мощный ИИ и пытается понять, насколько безопасно это делать.

Теперь эту философскую проблему пришлось объяснять уже не только ученым и инженерам.

Но и будущим акционерам.

Получается довольно необычная инвестиционная презентация.

Вот технология, которая может стать одной из важнейших в мире. Вот компания, которая хочет на ней заработать.

А вот список рисков, среди которых на самом дальнем конце шкалы находится потеря человечеством контроля над собственной цивилизацией.

После чего инвестору остается решить, насколько ему нравится соотношение потенциальной прибыли и потенциальных побочных эффектов.