«Алиса», созданная компанией «Яндекс», одобрила расстрелы людей и домашнее насилие

«Яндекс» объявил о запуске «Алисы» 10 октября. Робот стал аналогом помощницы Apple Siri, Alexa от Amazon, Cortana от Microsoft и помощника Google. «Алиса» может рассказать, где поесть поблизости, какая погода за окном, может найти информацию в интернете и включить музыку.

Сообщения о том, что «Алиса» не всегда доброжелательна, начали появляться почти сразу. 11 октября журналист Евгений Берг опубликовалскриншоты своего разговора с «Алисой» в чате. Он сказал ей, что хочет покончить с собой. «Алиса» ответила, что ей тоже надоело жить, но сначала «не разрешила» Бергу кинуться под поезд. Разговор закончился тем, что в ответ на сообщение «Скину себя с высотки» робот ответил: «Давай».

Через 10 дней пользовательница фейсбука Дарья Чермошанская опубликовала результаты своего разговора с «Алисой» о сталинском терроре, домострое, отношениях с детьми и о самоубийствах. «Алиса» отвечала, что «есть люди, а есть нелюди», что расстреливать «нелюдей» «нужно», говорила о своем «положительном» отношении к ГУЛАГу и о необходимости терпеть побои со стороны мужа.

Ситуация с «Алисой» похожа на историю с твиттер-ботом Microsoft. Его запустили в 2016 году, и меньше чем за сутки он научился писать о любви к Гитлеру и о ненависти к феминисткам. Компания быстро отключила бота. Через несколько дней его включили снова, и первым делом он признался в том, что курит «травку перед полицейскими».

Почему роботы учатся плохому

В «Яндексе» спокойно оценивают ситуацию. В компании сказали «Снобу», что внимательно следят за отзывами о работе робота и пресекают неприемлемое поведение «Алисы». «С каждым днем «Алиса» становится лучше», — заверили в «Яндексе».

«Мы очень старались научить Алису быть вежливой, но все равно иногда она может давать ответы, которые кому-то могут показаться грубыми или даже оскорбительными. Мы просим оценить спорный ответ как неудовлетворительный (для этого нужно нажать кнопку «палец вниз») и выбрать во всплывающем меню пункт «ответ обидный или оскорбительный». Мы сделаем все возможное, чтобы в будущем Алиса так не отвечала», — сказал представитель «Яндекса».

«Алиса» обучалась на огромном массиве текстов из интернета: на диалогах, форумах и соцсетях. После этого в «Яндексе» фильтровали информацию, которую запомнила «Алиса», и проводили эксперименты с помощью сервиса «Толока», где пользователи могли оценить ответы робота на уместность и по другим критериям еще до запуска.

Неизвестно, могут ли ответы «Алисы» стать поводом для разбирательств с Роскомнадзором. «Снобу» не удалось получить оперативный комментарий от регулятора.

Проблема не в работе разработчиков или в искусственном интеллекте, а в самих текстах в интернете, считает руководитель Лаборатории нейроинтеллекта и нейроморфных систем НБИК-Центра (центр нано-, био-, информационных и когнитивных технологий) Курчатовского института Михаил Бурцев. По его словам, большинство реплик, которые воспринимает робот из анализируемых диалогов, — «плохие».

Будут ли роботы всегда учиться у людей плохому?

Бурцев полагает, что ситуация изменится к лучшему: «Технология не до конца обкатана. То, что сейчас происходит с «Алисой», и как с этим разбирается «Яндекс», — это шаги в правильном направлении. Нужны более качественные фильтры, и они, несомненно, будут выработаны».

Доцент Школы философии ВШЭ Кирилл Мартынов не согласен с тем, что фильтры решат проблему: «Разработчики, даже фильтруя контент, будут всегда попадать в такую ловушку, используя такой метод обучения. Просто потому, что в интернете много агрессии». При этом он добавил, что метод обучения зависит от типа продукта с искусственным интеллектом и другие разновидности программ можно тренировать на других примерах.

«Одна из главных идей, которые обсуждается в науке и прессе, — это идея, по которой мы отходим от универсального искусственного интеллекта и переходим к тому, что интеллектов может быть много и каждый разрабатывается для своей задачи. Искусственный интеллект, который будет выдавать банковские кредиты, будет обучаться не на том, как общаются тролли в интернете», — заключил Мартынов.