Nature: ученые научились ловить ИИ на лжи

Британские ученые провели исследование, в результате которого им удалось разработать метод для точного определения момента, когда чат-боты на основе искусственного интеллекта начинают лгать. Эта инновационная работа была опубликована в журнале Nature.

Специалисты обратили внимание на то, что современные чат-боты часто проявляют явления конфабуляции – процесс, при котором искусственные агенты порою смешивают реальные факты с выдуманными событиями. Для выявления лжи учеными был разработан новый метод анализа.

В рамках исследования было замечено, что инструменты, такие как ChatGPT, не способны действительно лгать, но могут выдавать неточную информацию, если не обладают достаточным объемом данных. Кроме того, вопросы могут иметь различные возможные ответы, что приводит к статистической неопределенности. Эта ситуация возникает, когда чат-боту необходимо формулировать ответ или когда он просто не располагает необходимой информацией.

Ученые сосредоточились на использовании семантической энтропии для дальнейшей диагностики. Они предлагают ставить ИИ перед одним и тем же вопросом несколько раз, а затем оценивать, насколько ответы семантически эквивалентны. Если большинство ответов имеют однозначное значение, то это свидетельствует о том, что интеллектуальная модель, скорее всего, неуверенно формулирует ответ, но знает правильную информацию. В противном случае можно говорить о вероятности того, что чат-бот выдает недостоверные сведения.

Ранее «ЭкоПравда» информировала о том, что Китай раскритиковал повышения ЕС тарифов на электрокары.