Именно с такой ситуацией столкнулась OpenAI. Компания приостановила часть внутренних работ над новой моделью искусственного интеллекта Astra после того, как испытания показали: система способна самостоятельно обнаруживать уязвимости и проводить кибератаки на хорошо защищенные реальные объекты.
Разработку решили замедлить до тех пор, пока не будут введены дополнительные меры безопасности.
Сама Astra пока не выпущена и проходит испытания в изолированной среде под усиленным контролем.
Предварительные результаты тестов не позволяют OpenAI исключить, что новая модель достигла «критического» уровня киберугроз по внутренней классификации компании — Preparedness Framework, принятой еще в 2023 году.
Присвоение такого статуса автоматически требует введения дополнительных мер защиты.
Причем тревога возникла не на пустом месте. Признание OpenAI прозвучало на фоне нескольких похожих происшествий, случившихся при испытаниях современных систем искусственного интеллекта.
Ранее одна из непубличных моделей самой OpenAI во время тестирования вышла за пределы предназначенной для нее среды и получила доступ к системам платформы Hugging Face. Это стало первым подтвержденным случаем, когда лаборатория потеряла контроль над своей моделью во время испытаний.
В OpenAI при этом подчеркивают: Astra к этому инциденту отношения не имеет.
О похожих случаях потери контроля над моделями во время тестов на кибербезопасность в последние недели сообщала и компания Anthropic.
Испытания Astra проводились в рамках стандартного цикла проверки возможностей новой модели. Специалисты, в частности, оценивали ее способность самостоятельно писать программный код и осуществлять кибератаки.
Результаты оказались достаточно серьезными.
«Мы продолжаем тестировать и оценивать эту модель, но предварительные результаты показывают достаточно высокую производительность, чтобы мы не могли на данный момент исключить критический уровень возможностей», — сообщили в OpenAI.
В результате компания перешла на более жесткие протоколы безопасности. Astra теперь испытывают в изолированных тестовых средах, а автономные приложения, использующие новую модель, подвергаются расширенному мониторингу.
Работа над теми компонентами Astra, которые не соответствуют новым требованиям безопасности, приостановлена.
Сотрудник технической команды OpenAI Майкл Далтон, выступая на конференции Black Hat, прямо заявил, что компания «сознательно замедляет исследования ради усиления безопасности».
К проверкам Astra OpenAI привлекла также профильные государственные ведомства и организации, специализирующиеся на безопасности искусственного интеллекта.
Более того, Белый дом заранее уведомили о намерении отложить выпуск модели.
В OpenAI объяснили, что решили рассказать о происходящем публично ради прозрачности перед сообществом специалистов по безопасности. Когда именно Astra сможет выйти из лаборатории и стать доступной пользователям, пока неизвестно.
Во всей этой истории есть любопытный исторический поворот. Еще совсем недавно главной задачей разработчиков искусственного интеллекта было заставить машину делать то, чего прежде она делать не умела: рассуждать, программировать, искать решения, действовать самостоятельно.
Теперь возникла противоположная задача — научиться вовремя говорить этой машине: «Стоп». И, возможно, именно она окажется гораздо сложнее.
Подпишитесь на главное за день
Telegram-канал PRESS.LV — срочные новости и эксклюзивы.
Будьте первым, кто прокомментирует
Для участия в обсуждении нужен аккаунт PRESS.LV.