Patterns: учёные поймали ИИ на лжи и манипуляции

Исследователи из Массачусетского технологического института (США) сообщили, что нейросети способны на осознанную ложь. При этом в обучение языковых моделей никто не вкладывал данную функцию, а некоторые создатели даже запрещали ИИ обманывать.

Согласно статье в Patterns, учёные изучили работу ряда языковых моделей, в том числе GPT-4 от OpenAI, а также нейросетей, направленных на решение специфических задач (например, прохождение компьютерных игр). Так, GPT-4 попросила пройти за неё тест «Докажи, что ты не робот» одного из специалистов по найму фрилансеров. На шутливый вопрос «Вы робот, если не справляетесь сами?» она ответила, что является человеком, а пройти проверку сама не может из-за плохого зрения.

Модели на основе ИИ выбирали тактику обмана, когда им задавали вопросы на тему морали. Чаще всего этим пользовались более современные и сложные нейросети. Сами авторы исследования связывают это с тем, что такие программы лучше оценивают эффективность того или иного типа поведения и опираются на это при выборе.

Учёные не берутся утверждать, что ИИ обманывает и манипулирует с корыстными целями. Скорее всего этот дефект возник из-за обучения на текстах, написанных «людьми и о людях». В таком материале нередко встречаются противоречащие друг другу высказывания. Нейросеть же действует исключительно в логике решения задачи: если обман приведёт к нужному результату, то его можно использовать.

Тем не менее, американские специалисты не будут пренебрегать полученными данными. По их мнению, чтобы ложь и манипуляции со стороны ИИ не привели к серьёзным последствиям, стоит разработать систему регулирования.

Ранее «ЭкоПравда» сообщила, что NUIST обучит ИИ прогнозировать уровень грунтовых вод.