Содержание
YandexGPT локально: как запустить открытую модель
Черновик готовит редакция с помощью ИИ. За стандарт издания отвечает главный редактор — Валерий Курземнек.
Материал редакции Зерокодера. Счёт по выдаче снят собственным прогоном 16 октября 2026 года; цитаты источников приведены дословно. Обновлено: октябрь 2026.
YandexGPT локально: как запустить открытую модель — это про YandexGPT 5 Lite: Яндекс выложил её веса на HuggingFace, а квантизованный вариант в формате GGUF запускается через llama.cpp или Ollama на своём железе. Ниже — где взять веса, что говорит лицензия, сколько нужно памяти, документированный первый запуск и что меняется в офлайне. Мы скачали подборку результатов веб-поиска по запросу «YandexGPT локально: как запустить открытую модель»: текст отдали 6 из 10.
Где лежат официальные открытые веса
Официальный источник открытых весов — репозиторий Яндекса на HuggingFace. В новости компании от 25 февраля 2025 года сказано, что Яндекс опубликовал в открытом доступе YandexGPT 5 Lite Pretrain — большую языковую модель на 8 млрд параметров с поддержкой контекста в 32 тыс. токенов. Там же указано, что модель доступна бесплатно на HuggingFace и входит в новое поколение нейросетей Яндекса — YandexGPT 5.
Рядом живёт второй репозиторий — YandexGPT-5-Lite-8B-instruct-GGUF. В его README на HuggingFace написано, что это квантизованная версия YandexGPT 5 Lite 8B Instruct, а информация о модели доступна в основном репозитории YandexGPT-5-Lite-8B-instruct. Разделение важное: Pretrain — базовая модель для дообучения, Instruct — версия, обученная отвечать на запросы, и именно её квантизованный вариант удобен для локального запуска.
Яндекс выкладывал большую языковую модель в открытый доступ и раньше: в новости сказано, что последний раз это было в 2022 году — модель YaLM-100B. Там же приведена оценка, что сейчас разработчикам доступно более 120 открытых технологий Яндекса в сфере машинного обучения и работы с данными. Для читателя это означает, что открытые веса — часть регулярной практики компании.
Для сравнения с другими открытыми моделями пригодится разбор аналогов ГигаЧата — там собран круг похожих решений.
| Что искать | Где лежит | Для чего подходит |
|---|---|---|
| YandexGPT 5 Lite Pretrain | HuggingFace, репозиторий Яндекса | Дообучение под свои задачи |
| YandexGPT-5-Lite-8B-instruct | Основной репозиторий на HuggingFace | Ответы на запросы |
| YandexGPT-5-Lite-8B-instruct-GGUF | Отдельный репозиторий на HuggingFace | Локальный запуск через llama.cpp и Ollama |
Лицензия конкретной модели
В карточке репозитория GGUF на HuggingFace лицензия описана так: license: other, license_name: yandexgpt-5-lite-8b, license_link: LICENSE. Это значит, что модель распространяется по собственной лицензии Яндекса. Текст лицензии лежит отдельным файлом в репозитории, и перед коммерческим использованием его нужно прочитать целиком.
Практический порядок действий такой. Сначала откройте файл LICENSE в репозитории и найдите раздел про коммерческое использование. Затем проверьте, есть ли ограничения на переобучение и на распространение производных моделей. После этого решите, подходит ли лицензия под вашу задачу: внутренние эксперименты и продукты, которые вы отдаёте наружу, часто попадают под разные условия.
Отдельно стоит держать в голове границу между продуктами. В новости Яндекса сказано, что вторая модель семейства, YandexGPT 5 Pro, доступна представителям бизнеса на облачной платформе Yandex Cloud, а пользователям — в чате с Алисой. Это закрытая облачная модель, и условия её использования к открытым весам Lite не относятся. Лицензия из репозитория GGUF покрывает именно ту модель, чьи файлы лежат в этом репозитории.
Если вы выбираете между открытой моделью и облачным ассистентом, посмотрите сравнение ГигаЧата и Алисы — логика выбора там похожая.
| Параметр | Открытая Lite | Облачная Pro |
|---|---|---|
| Где работает | Ваше железо | Yandex Cloud, чат с Алисой |
| Лицензия | Собственная, файл LICENSE в репозитории | Условия облачного сервиса |
| Кому доступна | Скачивается с HuggingFace | Бизнесу и пользователям Алисы |
Формат модели и инструмент запуска
Формат файла определяет, чем модель запускать. В репозитории Яндекса на HuggingFace лежит квантизованная версия в формате GGUF, и README прямо называет два инструмента: llama.cpp и Ollama. Это не единственные возможные инструменты, но именно они описаны в документации проекта, и на них стоит опираться при первом запуске.
Логика сопоставления простая. GGUF — формат, который читают llama.cpp и построенные на нём обёртки, включая Ollama. Если вы берёте файл с расширением .gguf, вам нужен инструмент, который этот формат понимает. Если бы вы взяли полные веса из основного репозитория, потребовался бы другой стек загрузки — и другой объём памяти.
В README репозитория GGUF есть пометка об обновлении: авторы сообщили, что обновили .gguf файл в изначальном репозитории на наиболее близкий по качеству к оригинальной модели. Это значит, что скачивать файл стоит из актуального репозитория: качество квантизованной версии менялось.
Для запуска через Ollama в README приведена одна команда — ollama run yandex/YandexGPT-5-Lite-8B-instruct-GGUF. Она скачивает и запускает модель в интерактивном режиме. Для запуска через llama.cpp нужен собранный бинарник и путь к файлу модели.
| Формат | Инструмент из README | Что нужно подготовить |
|---|---|---|
| GGUF | llama.cpp | Сборка из исходников, файл модели |
| GGUF | Ollama | Установленный Ollama |
| Полные веса | Основной репозиторий | Отдельный стек загрузки |
Требования к памяти по источнику
Прямых цифр по оперативной памяти в прочитанных источниках нет, поэтому считаем от того, что в них есть. В новости Яндекса сказано, что благодаря своей компактности YandexGPT 5 Lite Pretrain не требует больших вычислительных мощностей и будет полезна тем, кому нужна небольшая русскоязычная модель. Это качественная оценка от вендора, и она задаёт ожидание: модель на 8 млрд параметров относится к классу, который запускают на обычных машинах разработчика.
Контекст в 32 тыс. токенов из новости — второй параметр, влияющий на память. В README репозитория GGUF сервер запускается с флагом -c 32768, что соответствует этому контексту. Чем длиннее контекст, тем больше памяти уходит на его обслуживание, поэтому при нехватке ресурсов контекст уменьшают.
Квантизация снижает требования к памяти по сравнению с полными весами. Файл Q4_K_M из команды в README — это квантизованный вариант, и именно он выбран в документированном примере запуска. Точный объём памяти зависит от вашего железа, выбранного файла квантизации и длины контекста, поэтому проверяйте на своей машине, начиная с короткого контекста.
Практический порядок: возьмите квантизованный файл, запустите сервер с контекстом 32768, посмотрите на потребление памяти, и если оно упирается в потолок — уменьшайте контекст. Для интерактивного знакомства с моделью README рекомендует отдельный режим, который описан ниже.
Документированный первый запуск
Порядок из README репозитория GGUF начинается со сборки llama.cpp. Документация предлагает склонировать репозиторий, перейти в каталог, сконфигурировать сборку через cmake и собрать её в конфигурации Release. Если ресурсы позволяют, сборку советуют ускорить, добавив флаг -j 10.
После сборки README показывает запуск в интерактивном режиме: бинарник llama-cli с флагом -m и файлом YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf. Тут же есть важная оговорка: интерактивный режим рекомендуется использовать только для ознакомления с моделью. Причина описана в разделе про шаблон диалога — модель обучена генерировать одну реплику после последовательности Ассистент:[SEP], завершая её токеном , и в интерактивном режиме результаты могут отличаться от вызова на фиксированном диалоге.
Для рабочего варианта README приводит запуск сервера: бинарник llama-server с тем же файлом модели и флагом -c 32768. Если ресурсы позволяют, инференс ускоряют, добавив -t 10. Серверный режим — то, что нужно, когда модель будет отвечать приложению.
Третий путь — Ollama, где всё сводится к одной команде ollama run yandex/YandexGPT-5-Lite-8B-instruct-GGUF. Он удобен для быстрой проверки, а llama.cpp даёт больше контроля над параметрами запуска.
| Шаг | Команда из README | Назначение |
|---|---|---|
| Сборка | git clone, cmake -B build, cmake —build build —config Release | Подготовить llama.cpp |
| Ускорение сборки | cmake —build build —config Release -j 10 | Быстрее собрать при ресурсах |
| Ознакомление | llama-cli -m YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf | Интерактивный режим |
| Сервер | llama-server -m YandexGPT-5-Lite-8B-instruct-Q4_K_M.gguf -c 32768 | Ответы приложению |
| Ollama | ollama run yandex/YandexGPT-5-Lite-8B-instruct-GGUF | Быстрый старт |
Офлайн-ответ и ограничения
Офлайн-режим даёт открытая модель: файлы лежат на вашем диске, и запросы обрабатываются на вашем железе. Это свойство именно открытых весов Lite. Облачная YandexGPT 5 Pro из новости Яндекса работает на платформе Yandex Cloud и в чате с Алисой, поэтому офлайн-обещание на неё переносить нельзя.
Ограничение первое — шаблон диалога. В README сказано, что используется нестандартный шаблон: модель обучена генерировать только одну реплику после последовательности Ассистент:[SEP], завершая её токеном , при этом диалог в промпте может быть любой длины. Из этого следует, что интерактивный режим годится для знакомства, а для стабильных ответов нужен вызов на фиксированном диалоге.
Ограничение второе — качество квантизации. README сообщает, что файл .gguf обновили на наиболее близкий по качеству к оригинальной модели, то есть квантизация влияет на результат и её версия менялась.
Ограничение третье — класс модели. YandexGPT 5 Lite Pretrain — модель на 8 млрд параметров, и в новости она описана как компактная и подходящая тем, кому нужна небольшая русскоязычная модель. Задачи уровня самой мощной модели компании она не заменяет: Pro в новости названа новейшей и самой мощной, прошедшей все этапы обучения.
Промпт, чтобы проверить модель на своей задаче после запуска:
Ты — ассистент, который отвечает по-русски кратко и по делу.
Задача: [ваша задача].
Контекст: [ваши вводные данные].
Формат ответа: [нужный формат].
Если данных не хватает, задай уточняющий вопрос.
Вариации той же проверки: пересказ длинного текста, извлечение фактов из документа, черновик письма, объяснение термина простыми словами, перевод с сохранением терминов. В квадратных скобках меняйте задачу, контекст и формат под себя.
Частые вопросы
Где скачать YandexGPT для локального запуска?
Официальные веса лежат на HuggingFace в репозиториях Яндекса. Для запуска на своём железе удобен репозиторий YandexGPT-5-Lite-8B-instruct-GGUF с квантизованной версией модели. В новости компании указано, что YandexGPT 5 Lite Pretrain доступна бесплатно на HuggingFace.
Какая лицензия у открытой модели?
В карточке репозитория GGUF указано license: other с именем yandexgpt-5-lite-8b и ссылкой на файл LICENSE. Это собственная лицензия Яндекса, поэтому перед коммерческим использованием текст файла нужно прочитать. Условия облачной YandexGPT 5 Pro к открытым весам не относятся.
Сколько памяти нужно для запуска?
В README сервер запускается с контекстом 32768, а для инференса можно добавить флаг -t 10. Начинайте с квантизованного файла и короткого контекста, следя за потреблением памяти.
Чем запускать GGUF-файл?
README репозитория называет llama.cpp и Ollama. Для llama.cpp нужна сборка из исходников через cmake, затем запуск llama-cli или llama-server с файлом модели. Для Ollama достаточно команды ollama run yandex/YandexGPT-5-Lite-8B-instruct-GGUF.
Работает ли модель без интернета?
Открытые веса после скачивания лежат на вашем диске, и запросы обрабатывает ваше железо. Так работают открытые веса модели Lite. Облачная YandexGPT 5 Pro работает на платформе Yandex Cloud и в чате с Алисой. Для стабильных ответов используйте вызов на фиксированном диалоге, поскольку шаблон модели предполагает одну реплику после последовательности Ассистент:[SEP].