Гайды

Nemotron GGUF: как запустить модель локально

16 октября 2026 · 12 минут чтения

Проверка фактов

Юлия Найпак

Методист по автоматизации. Сверяет паспорт инструмента с документацией вендора.

Автор Р

Редакция

Коллектив авторов, редакторов и иллюстраторов статей на сайте блога онлайн-университета «Зерокодер». Пишем…

Черновик готовит редакция с помощью ИИ. За стандарт издания отвечает главный редактор — Валерий Курземнек.

Материал редакции Зерокодера. Счёт по выдаче снят собственным прогоном 16 октября 2026 года; цитаты источников приведены дословно. Обновлено: октябрь 2026.

Запустить Nemotron GGUF локально можно через llama.cpp: карточка модели на Hugging Face описывает готовый файл NVIDIA-Nemotron-3-Nano-4B-GGUF в квантовании Q4_K_M и команду запуска OpenAI-совместимого сервера. Собственный прогон редакции по запросу «Nemotron GGUF: как запустить модель локально» показал: текст отдали 9 из 10 страниц выдачи, медиана объёма читаемого текста — 1546 слов, метку 2026 года несут 6 из 9 прочитанных страниц. Мы скачали подборку результатов веб-поиска по запросу «Nemotron GGUF: как запустить модель локально»: текст отдали 9 из 10.

Какую модель Nemotron поддерживает llama.cpp

Карточка модели на Hugging Face описывает конкретный артефакт: NVIDIA-Nemotron-3-Nano-4B-GGUF — квантованная версия NVIDIA-Nemotron-3-Nano-4B-BF16 в формате Q4_K_M. Это небольшая языковая модель, обученная NVIDIA с нуля и задуманная как единая модель для задач рассуждения и обычных запросов. Число параметров в карточке указано как 3.97 x 10^9.

Архитектура в карточке описана как Mamba2-Transformer Hybrid: гибридная схема из слоёв Mamba-2 и MLP с четырьмя слоями Attention. Модель сжата из nvidia/NVIDIA-Nemotron-Nano-9B-v2 через фреймворк Nemotron Elastic. Для llama.cpp это означает, что нужен свежий билд с поддержкой такой гибридной архитектуры: старые сборки могут не знать тип слоёв Mamba-2.

Контекст в карточке заявлен до 262K токенов на входе и выходе. Поддерживаемые языки — английский; карточка отдельно отмечает улучшение с помощью Qwen. Для первой проверки используйте английский язык, который прямо указан в карточке как поддерживаемый.

Отдельно стоит различать семейство и конкретный файл. В выдаче встречаются страницы про Nemotron 3 Ultra, Super и Nano, а также про Nemotron 4 Ultra. Характеристики старших вариантов переносить на Nano нельзя: это разные модели с разным числом параметров и разными требованиями к памяти. Для локального запуска в GGUF опирайтесь на карточку именно того файла, который скачиваете.

Проверка перед скачиванием: откройте страницу модели на Hugging Face, найдите поле Architecture Type и Number of model parameters. Если там Mamba2-Transformer Hybrid и 3.97 x 10^9 — это тот артефакт, под который написаны команды ниже.

Где взять GGUF и проверить издателя и лицензию

Основной источник — репозиторий nvidia/NVIDIA-Nemotron-3-Nano-4B-GGUF на Hugging Face. В карточке указан разработчик модели: NVIDIA Corporation. Это первое, что стоит сверить: имя владельца репозитория в адресе и поле Model Developer в описании должны совпадать.

Лицензия описана в карточке: использование модели регулируется NVIDIA Nemotron Open Model License. Там же указано, что модель готова к коммерческому использованию. Перед интеграцией в продукт прочитайте текст лицензии целиком: фраза про коммерческое использование не отменяет остальных условий документа.

Дата отсечки обучающих данных в карточке — сентябрь 2024 года. Это ориентир для понимания, какие события модель может не знать. Объём текстовых обучающих данных указан как более 10 триллионов токенов; для предобучения использовали 100% корпуса, а тестирование опиралось на внешние бенчмарки.

В выдаче есть и сторонние сборки — например, репозиторий QuantFactory с версией Nemotron-Mini-4B-Instruct-GGUF. Это другой артефакт и другой издатель. Если берёте стороннюю квантовку, сверяйте, из какой базовой модели она получена, и проверяйте, кто именно её собрал.

Практический порядок проверки:
1. Откройте карточку и найдите поле Model Developer.
2. Сверьте его с владельцем репозитория в URL.
3. Найдите раздел с лицензией и прочитайте Governing Terms.
4. Проверьте дату отсечки данных и поддерживаемые языки.
5. Убедитесь, что скачиваете файл именно того размера модели, который вам нужен.

Для задач генерации кода рядом с локальной моделью часто держат облачные ассистенты; про их ограничения есть отдельный разбор лимитов opencode.

Оценка RAM и VRAM и выбор квантования

Точных требований к памяти в карточке модели нет, поэтому оценку строят от числа параметров и формата квантования. Модель на 3.97 x 10^9 параметров в Q4_K_M занимает порядка нескольких гигабайт; запас нужен на контекст и служебные буферы. Точный размер файла виден на странице репозитория рядом с именем артефакта.

Квантование выбирают по доступной памяти. Q4_K_M — компромиссный вариант, который NVIDIA выложила как основной GGUF-артефакт. Более агрессивные схемы уменьшают файл и заметнее влияют на качество. Карточка приводит сравнение бенчмарков для трёх версий: BF16, FP8 и Q4_K_M. В строке IFBench-Instruction значения выглядят как 44.2, 44.78 и 49.6 соответственно — то есть квантованная версия в этом замере не проигрывает.

Оценки проводились в режиме Reasoning-off, с использованием NeMo-Skills и Orak; для Orak тестирование шло на трёх играх — Super Mario, Darkest Dungeon и StarDew Valley. Эти цифры описывают конкретный замер.

Таблица для ориентира по выбору:

Карточка отмечает, что модели NVIDIA оптимизированы под GPU-ускорители и за счёт CUDA дают более быстрое обучение и инференс по сравнению с решениями только на CPU. Среди поддерживаемых микроархитектур перечислены NVIDIA A10G, H100-80GB, A100 и GeForce RTX. Для edge-сценариев модель позиционируется под Jetson Thor, GeForce RTX и DGX Spark.

Гарантий скорости не даёт никто: итог зависит от числа слоёв на GPU, длины контекста и пропускной способности памяти. Оценивайте по факту первого запуска.

Скачивание весов документированным способом

Документированный способ в карточке — запуск сервера с флагом, который сам подтягивает модель из Hugging Face. Команда из карточки выглядит так:

./build/bin/llama-server -hf nvidia/NVIDIA-Nemotron-3-Nano-4B-GGUF:Q4_K_M -c 0 --alias my_model -ngl 999 --port 5000 --host 0.0.0.0

Здесь -hf указывает репозиторий и тег квантования, -c 0 берёт размер контекста из метаданных модели, --alias задаёт имя, под которым модель будет видна в API, -ngl 999 просит вынести на GPU все слои, а --port и --host определяют адрес сервера.

Сборка сервера описана в документации llama.cpp: llama-server собирается из корня проекта вместе с остальными бинарниками. Команды сборки из документации:

cmake -B build
cmake --build build --config Release -t llama-server

Готовый бинарник оказывается в ./build/bin/llama-server. Документация llama.cpp описывает llama-server как быстрый легковесный HTTP-сервер на C/C++ и набор REST API с веб-интерфейсом для работы с llama.cpp.

Проверка после скачивания: убедитесь, что файл появился в кэше или в указанном каталоге, а его размер совпадает с тем, что заявлен на странице репозитория. Если размер меньше — загрузка прервалась.

Первый локальный запрос и критерий успешного запуска

Критерий успеха описан в документации llama.cpp через эндпоинт здоровья. GET /health возвращает результат проверки; этот эндпоинт публичный и не требует ключа, а /v1/health работает так же. Пока модель грузится, сервер отвечает кодом 503 с сообщением о загрузке модели. Когда модель загружена и сервер готов, приходит код 200 и тело со статусом ok.

Первый запрос удобно делать через curl. Документация приводит пример обращения к эндпоинту /completion с промптом и ограничением на число предсказываемых токенов. Для OpenAI-совместимого клиента используют /v1/completions или /v1/chat/completions; в документации отмечено, что /completion не совместим с OpenAI API, а совместимый вариант — /v1/completions.

Предлагаемый чат-запрос по формату документации llama.cpp. Здесь порт согласован с командой выбранной модели выше:

curl http://localhost:5000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer no-key" \
  -d '{
    "model": "my_model",
    "messages": [
      {"role": "user", "content": "Write a limerick about python exceptions"}
    ]
  }'

Веб-интерфейс открывается по адресу запущенного сервера. В выбранной команде задан порт 5000, поэтому на том же компьютере откройте http://127.0.0.1:5000. Полученный ответ на ваш запрос подтверждает генерацию; состояние ok на /health отдельно подтверждает готовность сервера.

Проверка: отправьте один короткий запрос и посмотрите на predicted_per_second в блоке таймингов. Запишите это число как базовую точку для сравнения после смены параметров.

Проверка шаблона и режима thinking

Карточка модели описывает поведение так: модель отвечает на запросы, сначала генерируя цепочку рассуждений, а затем выдавая финальный ответ. Режим рассуждений управляется системным промптом. Если нужен ответ без промежуточных рассуждений, модель можно настроить на это, но карточка предупреждает о небольшом снижении точности на сложных промптах, где рассуждение требуется. Обратная сторона тоже описана: генерация цепочки рассуждений обычно даёт более качественные финальные решения.

README llama.cpp описывает общие параметры системы шаблонов, включая chat_template_kwargs, reasoning_effort и reasoning_format. Их применение зависит от шаблона выбранной модели. Для этой Nemotron карточка NVIDIA подтверждает управление режимом через системный промпт; поддержку конкретного ключа enable_thinking для неё эти документы не устанавливают.

Проверить, что шаблон подхватился правильно, можно через эндпоинт /apply-template: он принимает сообщения в том же формате, что /v1/chat/completions, и возвращает готовую строку промпта, не выполняя инференс. Документация поясняет, что полученную строку можно изменить перед отправкой в /completion.

Порядок проверки режима:
1. К той же задаче добавьте системное сообщение: Answer directly without intermediate reasoning traces.
2. Повторите задачу с системным сообщением: Give a reasoning trace followed by the final answer.
3. Сверьте фактическую структуру и правильность обоих ответов. Это предложенные формулировки для проверки описанного NVIDIA управления через системный промпт.
4. Для проверки форматирования сообщения используйте /apply-template из README и убедитесь, что в готовый промпт попала нужная инструкция.

Диагностика OOM и неподдержанной архитектуры

Код 503 с сообщением Loading model означает, что загрузка ещё идёт. Сам по себе он не устанавливает причину задержки. При завершении процесса ищите в логе явную ошибку выделения памяти или загрузки модели. Обрезанный контекст проверяйте отдельно по настройкам и полю truncated: это не самостоятельное доказательство OOM.

Что делать по шагам:
1. Уменьшите число слоёв на GPU: снижайте -ngl от большого значения вниз.
2. Уменьшите контекст: задайте -c явным числом вместо 0.
3. Проверьте, что размер файла совпадает с заявленным на странице репозитория.
4. Посмотрите в лог сервера, на каком этапе загрузки процесс остановился.

Вторая категория ошибок — неподдержанная архитектура. Гибридная схема Mamba2-Transformer Hybrid требует сборки llama.cpp, которая знает такие слои. Признак проблемы: сервер не может загрузить модель и сообщает о неизвестном типе архитектуры. Решение — обновить билд до свежего состояния проекта и пересобрать llama-server.

Готовый промпт для локальной модели

Промпт, чтобы получить от Nemotron разбор задачи с явным разделением рассуждения и ответа:

Ты локальный ассистент. Разбери задачу по шагам.

Задача: [ваша задача]
Контекст: [что уже известно]
Ограничения: [чего делать нельзя]

Сначала приведи цепочку рассуждений: какие варианты решения есть, чем они отличаются, какой ты выбираешь и почему.
Затем дай финальный ответ отдельным блоком, начиная со строки "Ответ:".
Пиши по-английски, кратко, без вступлений.

Что менять под себя: в квадратных скобках подставьте свою задачу, известный контекст и ограничения. Если нужен ответ без рассуждений, уберите абзац про цепочку и оставьте только требование финального блока.

Вариации той же задачи:
— Промпт для сравнения двух вариантов: попросите таблицу с критериями и итоговым выбором.
— Промпт для проверки текста: попросите список замечаний с указанием места и предлагаемой правкой.
— Промпт для генерации кода: попросите функцию, пример вызова и перечень граничных случаев.
— Промпт для перевода: попросите перевод и отдельно список мест, где смысл потребовал отступления от буквальности.
— Промпт для планирования: попросите список шагов с оценкой порядка работ и точек проверки.

Эти формулировки — учебные примеры редакции; мы их не запускали и результатов не измеряли. Прогоняйте на своей задаче и сравнивайте ответы при включённом и отключённом рассуждении.

Частые вопросы

Что такое Nemotron GGUF и зачем он нужен?

GGUF — формат файлов для llama.cpp. Карточка на Hugging Face описывает NVIDIA-Nemotron-3-Nano-4B-GGUF как квантованную версию модели NVIDIA-Nemotron-3-Nano-4B-BF16 в формате Q4_K_M. Такой файл запускается локально через llama.cpp и не требует обращения к внешнему API.

Сколько памяти нужно для запуска Nemotron GGUF?

Точных требований карточка не приводит. Ориентируйтесь на число параметров 3.97 x 10^9 и размер файла, указанный на странице репозитория. Запас нужен на контекст и служебные буферы. Начните с Q4_K_M и ограниченного контекста, затем увеличивайте параметры по факту.

Какое квантование выбрать для слабой видеокарты?

Основной GGUF-артефакт от NVIDIA выложен в Q4_K_M. Карточка сравнивает бенчмарки для BF16, FP8 и Q4_K_M, и в строке IFBench-Instruction квантованная версия показывает значение выше базовой. Для слабой карты уменьшайте число слоёв на GPU и длину контекста.

Почему модель падает с ошибкой памяти?

Причин несколько: слишком много слоёв вынесено на GPU, слишком большой контекст, не хватает системной памяти. Уменьшайте -ngl и -c по одному параметру и смотрите на состояние загрузки в списке моделей. Если процесс падает на старте, проверьте размер скачанного файла.

Как понять, что модель запустилась правильно?

Эндпоинт /health возвращает код 200 и статус ok, когда модель загружена. Пока идёт загрузка, приходит код 503 с сообщением о загрузке. Дополнительно откройте веб-интерфейс по адресу сервера и отправьте короткий запрос: в ответе будет блок таймингов со скоростью генерации.

Для работы с облачными ассистентами рядом с локальной моделью пригодятся материалы об оплате OpenCode из России и общий разбор что такое ChatGPT.