Учёные создали спам-фильтр для науки — результат оказался пугающим

Созданная исследователями система искусственного интеллекта проверила около 2,6 миллиона научных работ о раке, опубликованных с 1999 по 2024 год.

Более 250 тысяч из них оказались похожи по языку и структуре на статьи, ранее отозванные из-за подозрений в фабрикации. Это почти каждая десятая работа в проверенном массиве.

Однако это не означает, что все отмеченные публикации уже доказанно являются подделками. Алгоритм работает именно как спам-фильтр: он выделяет подозрительные тексты, после чего каждый случай должны проверять люди.

Научные статьи производят почти на конвейере
Исследователи охотились за продукцией так называемых фабрик научных статей.

Такие организации готовят исследования на продажу, предлагают учёным места в списке авторов или создают целые рукописи, которые затем отправляются в научные журналы.

Внешне подобная работа может выглядеть убедительно. В ней есть таблицы, описание эксперимента, ссылки на другие публикации и сложные научные термины.

Но данные могут быть выдуманы, фотографии повторно использованы или отредактированы, а сам текст собран по готовому шаблону. Иногда достаточно заменить название заболевания, белка или исследуемого вещества, чтобы получить якобы новую статью.

Именно повторяющиеся текстовые следы и искала система.

Её обучили на известных публикациях, связанных с фабриками статей, а затем заставили сравнивать с ними заголовки и аннотации других работ.

При проверке на заранее известных примерах модель правильно классифицировала публикации примерно в 91 проценте случаев. Один из авторов исследования назвал её «научным спам-фильтром».

Подозрительных работ становится всё больше
В начале 2000-х годов алгоритм отмечал как подозрительные примерно один процент публикаций.

К 2022 году их доля превысила 16 процентов. Особенно часто признаки фабричного производства встречались в работах по молекулярной биологии рака и ранним лабораторным исследованиям.

Среди отдельных направлений выделялись исследования рака желудка, печени, костей и лёгких. Подозрительные материалы обнаруживались не только в малоизвестных изданиях, но и в тысячах журналов крупных научных издательств.

Проблема заключается не только в том, что кто-то получает должность или научную степень благодаря фиктивной публикации.

Настоящие исследователи используют уже опубликованные работы для планирования новых экспериментов. Результаты объединяют в обзоры, на них опираются при разработке лекарств и подготовке клинических исследований.

Если в эту систему попадает достаточно убедительно оформленная выдумка, другие учёные могут годами пытаться повторить несуществующий результат.

В худшем случае подозрительные данные способны проникнуть в материалы, влияющие на медицинские рекомендации.

ИИ начал ловить то, что сам может помочь производить
В этой истории есть неприятная ирония.

Искусственный интеллект оказался полезен для поиска фабричных публикаций, потому что способен быстро обнаруживать повторяющиеся конструкции в миллионах текстов.

Но те же технологии позволяют намного быстрее создавать правдоподобные аннотации, изображения, таблицы и даже искусственные наборы данных.

Старые фабрики научных статей оставляли заметные следы: одинаковые фразы, странные ошибки и тексты, собранные по одному шаблону.

Новые могут научиться производить гораздо более разнообразные и убедительные подделки.

Три научных журнала уже испытывают созданную систему при редакционной проверке рукописей. Предполагается, что она будет отмечать подозрительные материалы ещё до того, как их отправят независимым экспертам.

Но полностью поручить эту работу машине нельзя.

Алгоритм может ошибочно заподозрить настоящее исследование или, наоборот, пропустить хорошо подготовленную подделку. Его результат является не доказательством мошенничества, а сигналом для дальнейшей проверки.

Получается своеобразная технологическая гонка: одни системы искусственного интеллекта помогают производить научный мусор, а другие учатся его находить.

И пока победителя в этой гонке нет.