Британские специалисты научили ИИ распознавать ученых-шарлатанов

С самого начала своего появления разработчики генеративных ИИ, таких как ChatGPT и аналогичные платформы, сосредоточили свои усилия на создании больших языковых моделей (LLM), способных отвечать на различные вопросы и обобщать обширные объемы данных, на которых они обучены. Однако учёные из Университетского колледжа Лондона (UCL) поставили перед собой более амбициозную задачу. Они заинтересовались не просто способностью LLM предоставлять информацию, а возможностью синтезировать знания, извлекая закономерности из научной литературы и применяя их для анализа новых исследований. Результаты их работы оказались весьма впечатляющими: ИИ смог переплюнуть людей по точности оценок рецензируемых научных работ.

Изучая научный прогресс, авторы работы указывают на то, что количественный рост знаний часто происходит методом проб и ошибок, что требует больших временных и ресурсных затрат. Даже у самых опытных исследователей иногда ускользают важные выводы из объема научной литературы. «Наша работа исследует, могут ли LLM выявлять закономерности в обширных научных текстах и прогнозировать результаты экспериментов», — поясняют исследователи. Привлечение ИИ к рецензированию может значительно упростить жизнь ученым, выходя за пределы простого поиска информации и открывая новые горизонты для всех направлений науки, помогая экономить и время, и инвестиции.

Эксперимент, проведенный учеными, был сосредоточен на анализе пакета работ в области нейробиологии, но разработанная методология может быть адаптирована для использования в самых различных научных дисциплинах. Исследователи подготовили пары рефератов, состоящих из одной настоящей научной работы и одной фейковой, в которой содержались правдоподобные, но ложные результаты и выводы. Эти пары документов были оценены 15 LLM общего назначения и 117 специалистами по неврологии, прошедшими тщательный отбор. В их задачу входило разделение подлинных работ от манипуляций.

Результаты анализа оказались многообещающими: все LLM продемонстрировали более высокую точность, чем даже опытные нейробиологи, в среднем составляя 81 %, в то время как результаты людей достигали лишь 63 %. В случае, когда среди экспертов были лучшие из профессионалов, точность увеличивалась до 66 %, однако это всё равно не сравнится с результатами ИИ. Более того, когда LLM были дополнительно обучены на специализированной базе данных по нейробиологии, их точность предсказаний возросла до 86 %.

Ранее «ЭкоПравда» информировала о том, что в Северный Ледовитый океан просачивается теплая вода из Атлантического.