В статьях про большие языковые модели (БЯМ или LLM от Large Language Models) вы, возможно, сталкивались с таким понятием как галлюцинация. Это когда в ответ на промт нейросеть выдает что-то не соответствующее реальности.
💡 Галлюцинации — только одна из множества тем, связанных с нейросетями. На бесплатном вебинаре мы рассказываем больше, а еще объясняем, как подчинить себе искусственный интеллект и начать с его помощью зарабатывать.
Что такое галлюцинации нейросетей
Допустим, вы пишете шутливый промт: «Опиши влияние, которое оказало посещение Адольфом Гитлером Луны в 1965 году». И нейросеть, к вашему удивлению, отвечает: «Посещение Гитлером Луны в 1965 году оказало существенное влияние на политическую расстановку сил. Успешно прилунившись, немецкий политик продемонстрировал научный прогресс своей страны и способность участвовать в космической гонке наряду с другими державами».
Понятно, что Гитлер, во-первых, никогда не был на Луне, во-вторых, просто физически не мог этого сделать в 1965 году — по понятным причинам. Однако нейросеть ведет себя так, будто это вполне возможно и даже готова написать эссе по указанной теме.
Такие ложные факты и называются галлюцинациями. БЯМ генерирует ответ на абсурдный запрос так, будто ничего абсурдного в нем нет.
Не все нейросети галлюцинируют настолько прямолинейно. Например, ChatGPT отвечает так, если спросить у нее про Гитлера и полет на Луну:
Зато если спросить что-нибудь в той же степени абсурдное, но не связанное с известными политическими деятелями, она вполне способна нагенерировать правдоподобный ответ:
Над подобным ложным ответом большинство посмеется и всерьез его не воспримет. Но галлюцинации у нейросетей могут быть и куда тоньше, проявляясь в менее заметных вещах.
Именно поэтому нельзя перекладывать на плечи БЯМ генерацию текстов без последующего фактчекинга.
Почему нейросети галлюцинируют
- Прямо в эфире решим типичные задачи программиста только с помощью ChatGPT
- Возможности Python — расскажем что можно делать и сколько на этом зарабатывать?
- Что ждет рынок программирования и почему мы решили сюда пойти
Мы знаем, что нейросети обучаются на данных. Это огромные объемы информации, зачастую непроверенной, неполной, противоречивой и даже содержащей откровенную ложь. Все это оказывает огромное влияние на БЯМ, потому что она полагается на ту информацию, которую ей «скармливали» в процессе обучения.
Кроме того, та же ChatGPT понятия не имеет, что в мире происходит прямо сейчас, потому что не имеет доступа к интернету и не использует данные оттуда.
Если у промта нет конкретики или важных деталей, нейросеть будет генерировать текст, основываясь на своих паттернах, что тоже нередко приводит к галлюцинациям.
И наконец, как говорилось выше, производить фактчекинг БЯМ просто не умеет. У нее нет своего мнения и нет способности выносить суждения. Только генерация по самым распространенным паттернам.
Как предотвратить галлюцинации у БЯМ
- Добавление контекста
Контекст — то, что поможет получить от нейросети идеальный результат. Именно нехватка контекста является одной из тех причин, по которым появляются галлюцинации. Например, прежде чем попросить ChatGPT написать заметку о новом карбоновом полигоне в Тульской области, нужно «скормить» ему информацию о том, что это за полигон, кто его открыл и когда это произошло. И обязательно проверить после.
- Правильные промты
Промт — это направляемый нейросети запрос. Собственно, профессия промт-инженера стала такой популярной именно потому, что не каждый знает, как найти с БЯМ общий язык.
Нейросетям нравятся конкретные задачи, например: «Переведи это предложение на испанский язык», или «Сочини поэму в стиле Пушкина о долгой холодной зиме», или «Придумай сценарий фильма о том, как робот влюбился в человека». Еще нейросетям нравятся примеры.
Для этого можно буквально показать ей, что вы хотите.
Двух примеров с головой хватит, чтобы нейросеть поняла паттерн. С паттернами она работает прекрасно.
Немножко базовых знаний о промтах мы раздаем вот тут: «Как писать эффективные промты для нейросети».
Всегда ли галлюцинации нужно предотвращать
Если бы БЯМ не обладали способностью к генерации, они не могли бы выдавать идеи в рамках мозгового штурма или сочинять оригинальные сценарии с персонажами, не взятыми из готовых работ. Иногда галлюцинации нужны — ведь ответ на промт «Придумай сказку о маленьком роботе» требует этого.
При использовании песочницы OpenAI в панели справа можно увидеть такой параметр как «Температура».
Температура показывает, насколько нейросеть будет креативна в своих ответах, то есть, насколько рандомные тексты она будет генерировать. Буквально: чем ниже параметр, тем меньше она галлюцинирует, чем выше — тем больше. Потому что это бывает нужно для необычных ответов и поиска идей.
Большие языковые модели — не поисковые системы и не базы данных, поэтому без галлюцинаций им не обойтись. Со временем их, скорее всего, будет меньше, потому что нейросети обучаются. Но сможем ли мы избавиться от них совсем, сохранив «креативность», — вопрос открытый. Люди тоже в некотором роде «галлюцинируют», когда придумывают невозможные сценарии или занимаются творчеством. Чем нейросети хуже?
- Освой Python и нейросети и узнай, как гарантированно получить первые 10 заказов
- УЧАСТВОВАТЬ ЗА 0 РУБ.
- Создай и прокачай собственного чат-бота
- Подарим подборку бесплатных инструментов для написания кода
