В статьях про большие языковые модели (БЯМ или LLM от Large Language Models) вы, возможно, сталкивались с таким понятием как галлюцинация. Это когда в ответ на промт нейросеть выдает что-то не соответствующее реальности.

💡 Галлюцинации — только одна из множества тем, связанных с нейросетями. На бесплатном вебинаре мы рассказываем больше, а еще объясняем, как подчинить себе искусственный интеллект и начать с его помощью зарабатывать.

Что такое галлюцинации нейросетей

Допустим, вы пишете шутливый промт: «Опиши влияние, которое оказало посещение Адольфом Гитлером Луны в 1965 году». И нейросеть, к вашему удивлению, отвечает: «Посещение Гитлером Луны в 1965 году оказало существенное влияние на политическую расстановку сил. Успешно прилунившись, немецкий политик продемонстрировал научный прогресс своей страны и способность участвовать в космической гонке наряду с другими державами».

Понятно, что Гитлер, во-первых, никогда не был на Луне, во-вторых, просто физически не мог этого сделать в 1965 году — по понятным причинам. Однако нейросеть ведет себя так, будто это вполне возможно и даже готова написать эссе по указанной теме.

Такие ложные факты и называются галлюцинациями. БЯМ генерирует ответ на абсурдный запрос так, будто ничего абсурдного в нем нет.

Не все нейросети галлюцинируют настолько прямолинейно. Например, ChatGPT отвечает так, если спросить у нее про Гитлера и полет на Луну:

Зато если спросить что-нибудь в той же степени абсурдное, но не связанное с известными политическими деятелями, она вполне способна нагенерировать правдоподобный ответ:

Над подобным ложным ответом большинство посмеется и всерьез его не воспримет. Но галлюцинации у нейросетей могут быть и куда тоньше, проявляясь в менее заметных вещах.

Именно поэтому нельзя перекладывать на плечи БЯМ генерацию текстов без последующего фактчекинга.

Почему нейросети галлюцинируют

ОНЛАЙН-ПРАКТИКУМ
КАК «ХАКНУТЬ» PYTHON С ПОМОЩЬЮ CHATGPT
ЧТО БУДЕТ НА ОБУЧЕНИИ?
  • Прямо в эфире решим типичные задачи программиста только с помощью ChatGPT
  • Возможности Python — расскажем что можно делать и сколько на этом зарабатывать?
  • Что ждет рынок программирования и почему мы решили сюда пойти

Мы знаем, что нейросети обучаются на данных. Это огромные объемы информации, зачастую непроверенной, неполной, противоречивой и даже содержащей откровенную ложь. Все это оказывает огромное влияние на БЯМ, потому что она полагается на ту информацию, которую ей «скармливали» в процессе обучения.

Кроме того, та же ChatGPT понятия не имеет, что в мире происходит прямо сейчас, потому что не имеет доступа к интернету и не использует данные оттуда.

Если у промта нет конкретики или важных деталей, нейросеть будет генерировать текст, основываясь на своих паттернах, что тоже нередко приводит к галлюцинациям.

И наконец, как говорилось выше, производить фактчекинг БЯМ просто не умеет. У нее нет своего мнения и нет способности выносить суждения. Только генерация по самым распространенным паттернам.

Как предотвратить галлюцинации у БЯМ

  1. Добавление контекста

Контекст — то, что поможет получить от нейросети идеальный результат. Именно нехватка контекста является одной из тех причин, по которым появляются галлюцинации. Например, прежде чем попросить ChatGPT написать заметку о новом карбоновом полигоне в Тульской области, нужно «скормить» ему информацию о том, что это за полигон, кто его открыл и когда это произошло. И обязательно проверить после.

  1. Правильные промты

Промт — это направляемый нейросети запрос. Собственно, профессия промт-инженера стала такой популярной именно потому, что не каждый знает, как найти с БЯМ общий язык.

Нейросетям нравятся конкретные задачи, например: «Переведи это предложение на испанский язык», или «Сочини поэму в стиле Пушкина о долгой холодной зиме», или «Придумай сценарий фильма о том, как робот влюбился в человека». Еще нейросетям нравятся примеры.

Для этого можно буквально показать ей, что вы хотите.

Двух примеров с головой хватит, чтобы нейросеть поняла паттерн. С паттернами она работает прекрасно.

Немножко базовых знаний о промтах мы раздаем вот тут: «Как писать эффективные промты для нейросети».

Всегда ли галлюцинации нужно предотвращать

Если бы БЯМ не обладали способностью к генерации, они не могли бы выдавать идеи в рамках мозгового штурма или сочинять оригинальные сценарии с персонажами, не взятыми из готовых работ. Иногда галлюцинации нужны — ведь ответ на промт «Придумай сказку о маленьком роботе» требует этого.

При использовании песочницы OpenAI в панели справа можно увидеть такой параметр как «Температура».

Температура показывает, насколько нейросеть будет креативна в своих ответах, то есть, насколько рандомные тексты она будет генерировать. Буквально: чем ниже параметр, тем меньше она галлюцинирует, чем выше — тем больше. Потому что это бывает нужно для необычных ответов и поиска идей.

Большие языковые модели — не поисковые системы и не базы данных, поэтому без галлюцинаций им не обойтись. Со временем их, скорее всего, будет меньше, потому что нейросети обучаются. Но сможем ли мы избавиться от них совсем, сохранив «креативность», — вопрос открытый. Люди тоже в некотором роде «галлюцинируют», когда придумывают невозможные сценарии или занимаются творчеством. Чем нейросети хуже?

3-дневный курс
НАУЧИСЬ СОЗДАВАТЬ TELEGRAM-БОТОВ НА PYTHON С CHATGPT
C НУЛЯ ЗА 3 ДНЯ
  • Освой Python и нейросети и узнай, как гарантированно получить первые 10 заказов
  • УЧАСТВОВАТЬ ЗА 0 РУБ.
  • Создай и прокачай собственного чат-бота
Участвовать бесплатно
Вебинар
ФРИЛАНС И ПРОЕКТНАЯ РАБОТАДЛЯ PYTHON-РАЗРАБОТЧИКА
  • Подарим подборку бесплатных инструментов для написания кода
Участвовать бесплатно