JAMA: не стоит доверять советам ChatGPT-4 в медицине

Новое исследование, проведенное учеными Колумбийского университета, показало, что даже последние поколения больших языковых моделей, таких как чат-бот ChatGPT-4, все еще сталкиваются с трудностями при работе с медицинскими записями.

В статье, опубликованной в JAMA Network Open, исследователи изучали способность ChatGPT-4 определять, носили ли пациенты защитные шлемы при травмах, полученных в результате аварий на скутерах и велосипедах. Анализ данных 54 569 визитов в отделения неотложной помощи с 2019 по 2022 год показал, что языковая модель не смогла эффективно заменить традиционные методы поиска по текстовым шаблонам для извлечения этой информации.

ChatGPT-4 демонстрировал неплохие результаты только в тех случаях, когда весь необходимый текст уже был четко зафиксирован в записях. Однако модель испытывала трудности при интерпретации негативных формулировок, таких как «без шлема».

Хотя использование больших языковых моделей для анализа медицинской документации имеет большой потенциал, нынешний уровень технологий все еще накладывает ограничения на их надежность в этой сфере. Авторы исследования подчеркивают, что ChatGPT-4 пока не способен стабильно справляться с подобными задачами, что указывает на необходимость разработки более совершенных методов извлечения данных из клинических записей.

Ранее «ЭкоПравда» информировала о том, что ИИ научился объяснять решение задач по химии.