ИИ наконец научили говорить “я не знаю”: учёные нашли способ приструнить самоуверенных чат-ботов

Проблема в том, что иногда они делают это даже тогда, когда на самом деле не знают ответа.

И делают с таким видом, будто только что лично проверили архивы, поговорили с профессором и держат в руках оригинал документа.

Теперь южнокорейские исследователи из KAIST предложили способ сделать ИИ немного честнее. Не умнее в красивом рекламном смысле, а именно честнее: чтобы модель лучше понимала, где она действительно знает, а где пора сказать: “я не уверен” или “я не знаю”.

Работа опубликована в журнале Nature Machine Intelligence. Учёные изучали одну из самых неприятных привычек искусственного интеллекта — самоуверенность. Это когда система выдаёт неправильный ответ, но подаёт его так уверенно, что человек склонен поверить.

В обычной жизни это раздражает. В медицине, автономном вождении или финансовых решениях это уже может стать опасным.

Исследователи обратили внимание на странную вещь: нейросеть может быть слишком уверенной ещё до того, как нормально чему-то научилась. На самом раннем этапе, когда модель только “запускают” и она ещё не видела настоящих данных, случайные настройки уже могут создавать неправильное чувство уверенности.

Потом эта уверенность цепляется за дальнейшее обучение — и ошибки начинают выглядеть убедительно.

Чтобы это исправить, учёные использовали идею, вдохновлённую развитием мозга. У человека мозговая активность появляется ещё до полноценного внешнего опыта. Исследователи решили попробовать похожий “разогрев” для ИИ: перед настоящим обучением нейросеть коротко тренировали на случайном шуме.

Звучит почти смешно: прежде чем учить модель серьёзным вещам, ей как будто дают посмотреть на хаос.

Но именно это помогло снизить начальную самоуверенность. Модель сначала “учится” состоянию, в котором она ещё ничего не знает. После такого разогрева она лучше отличает знакомое от незнакомого и реже выдаёт уверенные ответы там, где должна сомневаться.

По словам профессора Се Бум Пайк смысл работы не только в том, чтобы ИИ чаще давал правильные ответы. Важно, чтобы он понимал собственную неопределённость — когда он может ошибаться, а когда данных недостаточно.

Это не значит, что чат-боты завтра перестанут фантазировать. И не значит, что любой ИИ теперь станет честным цифровым мудрецом, который скромно молчит при малейшем сомнении.

Но это важный сдвиг в правильную сторону. Потому что одна из главных проблем ИИ — не только ошибка. Главная проблема — ошибка, сказанная голосом полной уверенности.

И если машину действительно удастся научить не только отвечать, но и признавать границы собственного знания, это может изменить то, как люди будут ей доверять.

Возможно, самый важный навык будущего ИИ окажется не в том, чтобы всегда звучать умно.

А в том, чтобы вовремя сказать: “Я не знаю”.