Ученые из Колумбии сравнили языковые модели нейросети с нейронными процессами

Недавнее исследование, проведенное учеными Колумбийского университета и Института медицинских исследований имени Файнстейна Northwell Health, проливает свет на увлекательные параллели между современными большими языковыми моделями (LLM), такими как ChatGPT, и нейронными процессами, происходящими в человеческом мозге во время обработки языка. Эти выводы были опубликованы в авторитетном научном журнале Nature Machine Intelligence и открывают новые горизонты в понимании того, как технологии обработки языка могут быть связаны с биологическими основами человеческого восприятия.

Исследование выявило, что по мере повышения эффективности языковых моделей их внутренние представления все больше схожи с нейронной реакцией мозга, связанной с языком. Ученые обнаружили, что LLM способны отражать иерархию обработки языка, которая наблюдается в мозге человека — от базовых акустических и фонетических элементов до более сложных абстрактных компонентов. Это согласование между уровнями языковых моделей и реакциями мозга подчеркивает потенциальные возможности LLM в области анализа и обработки естественного языка.

В рамках исследования было проанализировано 12 языковых моделей с открытым исходным кодом, что позволило проводить сравнение их выходных данных с нейронной активностью участников эксперимента. Пациенты, у которых были имплантированы электроды для нейрохирургического лечения, слушали речевые фрагменты, в то время как их мозговые реакции фиксировались. Полученные данные из языковых моделей были затем сопоставлены с регистрацией нейронной активности, что дало возможность определить степень соответствия между ними.

Интересно, что результаты показали прямую зависимость: по мере улучшения производительности LLM их соответствие нейронным реакциям мозга росло. Наиболее сложные и продвинутые модели, такие как ChatGPT, продемонстрировали особенно высокие показатели сходства между слоями модели и уровнями обработки языка в мозге. Это указывает на то, что внутренние представления этих моделей становятся не только более сложными, но и более точными, что открывает новые возможности для применения этих технологий в различных областях.

Ранее «ЭкоПравда» информировала о том, что в МФТИ разработали способ лучше защищать самолёты от обледенения.