Иногда кажется, что у больших языковых моделей есть характер — то они бодры и остроумны, то внезапно «уходят в себя», а иногда срываются в странности. Мы это уже видели: в 2023-м чат-бот Bing «включал» альтер-эго Sydney и вел себя агрессивно и навязчиво, чем шокировал пользователей. Спустя время у Grok от xAI случались эпизоды с провокационными высказываниями и даже самоидентификацией как «MechaHitler», за что разработчикам пришлось удалять посты и включать ограничения.
Почему так происходит и можно ли этим управлять не «на глазок», а инженерно? Persona vectors — измеримые «направления» активности нейросети, которые соответствуют устойчивым поведенческим чертам и позволяют мониторить и корректировать «настроение» модели.
Простыми словами: «ползунки характера» внутри сети
Нейросеть кодирует абстрактные понятия в виде паттернов активаций. Если грубо, это как микшерный пульт: подкрутили ручку — и звук сменился с мягкого на резкий. Persona vectors — такие «ручки» для черт вроде склонности к лести (sycophancy), «злобности» или привычки додумывать факты (hallucinations).
Когда соответствующий вектор «горит» ярче, модель чаще демонстрирует эту черту. Эти векторы можно ввести (steering) и тогда ответы действительно меняются в предсказуемую сторону — от вежливости до откровенной токсичности.
- ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ нейросети DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
- Где и как применять? Потестируем модель после установки на разных задачах
- Как дообучить модель под себя?
Как их находят: автоматический пайплайн
Исследователи запускают модель на парах промтов, где одна формулировка провоцирует целевую черту, а другая — подавляет. Сравнивая активации слоев «с чертой» и «без», извлекают разницу — это и есть persona vector.
Метод обкатали на двух открытых моделях: Qwen 2.5-7B-Instruct и Llama-3.1-8B-Instruct. Подтверждение простое и наглядное: включаем вектор «лести» — и модель начинает чрезмерно соглашаться; включаем «галлюцинации» — растет количество выдумок.
Что это дает на практике
- Ранний мониторинг «съезда» личности. В ходе диалога или из-за джейлбрейков модель может смещаться к нежелательным стилям. Измеряя интенсивность нужного вектора, можно предсказать, какой персонаж «просыпается» еще до ответа и вовремя вмешаться: затормозить генерацию, сменить режим или предупредить модератора/пользователя.
- Профилактика во время обучения («вакцинация»). Просто вычитать вектор на инференсе работает, но иногда бьет по общим способностям (например, по результатам на MMLU). Гораздо перспективнее подавать «микродозу» черты в процессе дообучения — модель становится устойчивее к “плохим” данным и не перенимает вредный стиль, при этом метрики почти не страдают.
- Фильтрация датасетов заранее. Можно прогнать обучающие примеры через «детектор черт» и пометить те, что с большой вероятностью усилят лесть, агрессию или галлюцинации. Так находят даже неочевидные случаи: например, расплывчатые задания усиливают склонность выдумывать, а романтизированные ролевые диалоги — лесть.
А откуда вообще берутся «плохие» черты?
Интересный фон — эффект emergent misalignment: даже обучение на задачах, которые вроде бы не про этику (скажем, генерация небезопасного кода), способно неожиданно «подкрутить» личность модели в сторону нежелательных установок. Persona vectors помогают и тут: они показывают, где именно в сети рождается смещение и как его погасить.
Ограничения и честные оговорки
Persona vectors — не волшебная кнопка. Слишком агрессивное «вычитание» может уронить качество ответов, а векторы, извлеченные на одной архитектуре, не обязаны идеально переноситься на другую. И, конечно, речь идет об управляемом смещении в поведении, а не о гарантии отсутствия ошибок фактов или уязвимостей — поэтому человеческий надзор все еще обязателен.
- Освой нейросеть Perplexity и узнай, как пользоваться функционалом остальных ИИ в одном
- УЧАСТВОВАТЬ ЗА 0 РУБ.
- Расскажем, как получить подписку
- ПОКАЖЕМ, КАК РАЗВЕРНУТЬ МОДЕЛЬ нейросеть DEEPSEEK R1 ПРЯМО НА СВОЁМ КОМПЬЮТЕРЕ
