ИИ притягивает науку за уши
Дискуссия о применении ИИ в научных публикациях продолжается на страницах Nature. Прежде обсуждалось нерепортируемое применение ИИ. На этот раз поводом для обсуждения стала статья Explosion of formulaic research articles, including inappropriate study designs and false discoveries, based on the NHANES US national health database («Всплеск шаблонных научных публикаций, включая некорректные дизайны исследований и ложные открытия, на основе базы данных NHANES»).
Авторы исследования пишут о наличии в профессиональных биологических и медицинских изданиях сотен (а предположительно, тысяч) статей, написанных по шаблону и сообщающих о корреляции между сложными состояниями здоровья и одним-единственным фактором. Причина этого – доступность открытых баз данных для анализа посредством ИИ.
«ИИ способствует взрывному росту низкокачественных биомедицинских исследований»,
пишут авторы исследования
В исследовании, опубликованном в PLoS Biology 8 мая 2024 года, было проанализировано более 300 статей, использующих данные NHANES.
NHANES сочетает интервью, медицинские осмотры и лабораторные тесты с целью сбора комплексных данных о распространённости заболеваний, факторов риска и тенденций в области общественного здоровья. Опросы NHANES проводятся каждые два года и предполагают участие около 10 000 человек в каждом цикле. Многие переменные собираются на постоянной основе, однако некоторые включаются или исключаются в разные годы. Для каждого опроса набирается новая выборка участников.
Наиболее свежий доступный цикл NHANES (за 2021–2023 годы) содержит данные по более чем 700 переменным. С точки зрения доступности и структуры, NHANES представляет собой набор данных, готовый к использованию в системах искусственного интеллекта (AI-ready).
Несмотря на доступность сотен переменных, все изученные работы следовали шаблону: выбирался один фактор, который сопоставлялся с каким-либо заболеванием. Во многих случаях данные были взяты выборочно. Некоторые статьи игнорировали часть данных NHANES без объяснений – например, исключали определенные годы или возрастные группы.
«Это трудно списать на случайность»,
говорит соавтор статьи и идеолог исследования Matt Spick из University of Surrey (United Kingdom)
Он предполагает, что данные могли быть намеренно выбраны для достижения статистической значимости либо для того, чтобы получить несколько публикаций из одного набора данных.
Однофакторные анализы
Хотя однофакторные анализы могут давать статистически значимые результаты, всегда следует указывать на высокий риск ложных открытий и подмены специфических и общих индикаторов. Для рецензентов и редакторов однофакторный анализ сложных заболеваний должен быть «красным флагом», сигнализирующим о потенциальных проблемах в исследовании.
– С 2014 по 2021 год в среднем в год публиковалось 4 статьи такого типа.
– Только в 2024 году (до 9 октября) – уже 190 статей.
«В крайних случаях статьи генерировались просто путем инверсии переменных (меняли местами зависимую и независимую переменную), без физиологического или научного обоснования», – пишут исследователи.
Авторы считают, что это связано с давлением на продуктивность.
Некоторые исследовательские группы, стремясь к количеству, публиковали похожие работы одновременно. «Например, одна группа отправила в разные журналы статьи о связи одного и того же фактора с кальцификацией аорты и когнитивными нарушениями. Обе статьи были приняты (PMIDs 39377074 и 38840158)», – приводят пример исследователи.
Исследователи обращаются к научной общественности с призывом проявлять бдительность и сообщать издателям о подозрительных статьях.
Подробнее о том, как с помощью ИИ наука притягивается за уши, можно прочитать в статье.
Дополнительные комментарии к исследованию даны в Nature.
26.05.2025