В статьях про большие языковые модели (БЯМ или LLM от Large Language Models) вы, возможно, сталкивались с таким понятием как галлюцинация. Это когда в ответ на промт нейросеть выдает что-то не соответствующее реальности.
💡 Галлюцинации — только одна из множества тем, связанных с нейросетями. На бесплатном вебинаре мы рассказываем больше, а еще объясняем, как подчинить себе искусственный интеллект и начать с его помощью зарабатывать.
Что такое галлюцинации нейросетей
Допустим, вы пишете шутливый промт: «Опиши влияние, которое оказало посещение Адольфом Гитлером Луны в 1965 году». И нейросеть, к вашему удивлению, отвечает: «Посещение Гитлером Луны в 1965 году оказало существенное влияние на политическую расстановку сил. Успешно прилунившись, немецкий политик продемонстрировал научный прогресс своей страны и способность участвовать в космической гонке наряду с другими державами».
Понятно, что Гитлер, во-первых, никогда не был на Луне, во-вторых, просто физически не мог этого сделать в 1965 году — по понятным причинам. Однако нейросеть ведет себя так, будто это вполне возможно и даже готова написать эссе по указанной теме.
Такие ложные факты и называются галлюцинациями. БЯМ генерирует ответ на абсурдный запрос так, будто ничего абсурдного в нем нет.
Не все нейросети галлюцинируют настолько прямолинейно. Например, ChatGPT отвечает так, если спросить у нее про Гитлера и полет на Луну:
Зато если спросить что-нибудь в той же степени абсурдное, но не связанное с известными политическими деятелями, она вполне способна нагенерировать правдоподобный ответ:
Над подобным ложным ответом большинство посмеется и всерьез его не воспримет. Но галлюцинации у нейросетей могут быть и куда тоньше, проявляясь в менее заметных вещах.
Именно поэтому нельзя перекладывать на плечи БЯМ генерацию текстов без последующего фактчекинга.
Почему нейросети галлюцинируют
Мы знаем, что нейросети обучаются на данных. Это огромные объемы информации, зачастую непроверенной, неполной, противоречивой и даже содержащей откровенную ложь. Все это оказывает огромное влияние на БЯМ, потому что она полагается на ту информацию, которую ей «скармливали» в процессе обучения.
Кроме того, та же ChatGPT понятия не имеет, что в мире происходит прямо сейчас, потому что не имеет доступа к интернету и не использует данные оттуда.
Если у промта нет конкретики или важных деталей, нейросеть будет генерировать текст, основываясь на своих паттернах, что тоже нередко приводит к галлюцинациям.
И наконец, как говорилось выше, производить фактчекинг БЯМ просто не умеет. У нее нет своего мнения и нет способности выносить суждения. Только генерация по самым распространенным паттернам.
Как предотвратить галлюцинации у БЯМ
- Добавление контекста
Контекст — то, что поможет получить от нейросети идеальный результат. Именно нехватка контекста является одной из тех причин, по которым появляются галлюцинации. Например, прежде чем попросить ChatGPT написать заметку о новом карбоновом полигоне в Тульской области, нужно «скормить» ему информацию о том, что это за полигон, кто его открыл и когда это произошло. И обязательно проверить после.
- Правильные промты
Промт — это направляемый нейросети запрос. Собственно, профессия промт-инженера стала такой популярной именно потому, что не каждый знает, как найти с БЯМ общий язык.
Нейросетям нравятся конкретные задачи, например: «Переведи это предложение на испанский язык», или «Сочини поэму в стиле Пушкина о долгой холодной зиме», или «Придумай сценарий фильма о том, как робот влюбился в человека». Еще нейросетям нравятся примеры.
Для этого можно буквально показать ей, что вы хотите.
Двух примеров с головой хватит, чтобы нейросеть поняла паттерн. С паттернами она работает прекрасно.
Немножко базовых знаний о промтах мы раздаем вот тут: «Как писать эффективные промты для нейросети».
Всегда ли галлюцинации нужно предотвращать
Если бы БЯМ не обладали способностью к генерации, они не могли бы выдавать идеи в рамках мозгового штурма или сочинять оригинальные сценарии с персонажами, не взятыми из готовых работ. Иногда галлюцинации нужны — ведь ответ на промт «Придумай сказку о маленьком роботе» требует этого.
При использовании песочницы OpenAI в панели справа можно увидеть такой параметр как «Температура».
Температура показывает, насколько нейросеть будет креативна в своих ответах, то есть, насколько рандомные тексты она будет генерировать. Буквально: чем ниже параметр, тем меньше она галлюцинирует, чем выше — тем больше. Потому что это бывает нужно для необычных ответов и поиска идей.
Большие языковые модели — не поисковые системы и не базы данных, поэтому без галлюцинаций им не обойтись. Со временем их, скорее всего, будет меньше, потому что нейросети обучаются. Но сможем ли мы избавиться от них совсем, сохранив «креативность», — вопрос открытый. Люди тоже в некотором роде «галлюцинируют», когда придумывают невозможные сценарии или занимаются творчеством. Чем нейросети хуже?
