ChatGPT начинает страдать галлюцинациями

Пользователь спросил у ИИ-бота, где показывают «Аватар 2», на что ChatGPT через Bing ответил, что фильм ещё не вышел, он выйдет в 2023 году. На вопрос “какой сейчас год” бот ответил правильно, но продолжал утверждать, что сейчас 2022-й. А потом и вовсе потребовал от пользователя извинений. Этот инцидент ярко иллюстрирует одно из известных и до сих пор не решенных ограничений современных языковых моделей.

В ИИ есть такое понятие как «галлюцинация» — это когда нейросеть выдаёт очевидный бред, потому что где-то внутри неё что-то заглючило и она знает факт №1, знает факт №2, но не может прокинуть между ними логический мостик. В данном случае, ИИ, вероятно, получил противоречивые данные из своих обучающих наборов или из поисковой выдачи Bing. Одна часть его «знаний» указывала на дату выхода «Аватара 2» как 2023 год, а другая, возможно, более свежая или авторитетная, содержала информацию о текущем годе. Однако, вместо того чтобы корректно разрешить это противоречие, модель «застряла», воспроизводя устаревшую информацию о дате выхода фильма и текущем годе, что и привело к абсурдному требованию извинений.

Такие «галлюцинации» могут возникать по множеству причин, включая неполноту или противоречивость обучающих данных, ошибки в алгоритмах предсказания, а также особенности работы механизма внимания, который пытается найти наиболее релевантную информацию, но иногда ошибается. Это подчеркивает необходимость дальнейших исследований и разработок в области ИИ, направленных на повышение надежности и точности ответов, а также на создание механизмов самокоррекции и верификации информации. Пользователям же стоит помнить, что, несмотря на впечатляющие возможности, ИИ пока не является абсолютным источником истины и его ответы всегда следует подвергать критической оценке.

Источник: тред на реддите

Диджитальная