Содержание
  1. Для каких задач выбирают Ollama и vLLM
  2. Документированные способы локального запуска и обслуживания запросов
  3. Условия установки и поддержка оборудования по первичным документам
  4. Различия в управлении моделями и запросами
  5. Оригинальный одинаковый промпт и таблица проверки результата
  6. Оговорки об условиях сравнения и совместимости API
  7. Частые вопросы
Подборки и сравнения

Ollama или vLLM: что выбрать для локальной модели

28 октября 2026 · 9 минут чтения

Ollama или vLLM: что выбрать для локальной модели — вопрос про вашу нагрузку. Ollama закрывает локальный диалог и подключение агентов, vLLM обслуживает поток запросов к модели. Ниже — документированные способы запуска, различия в управлении и протокол проверки на одной машине.

Для каких задач выбирают Ollama и vLLM

Документация Ollama описывает два режима: работа в десктопных приложениях и агентах программирования, а также сборка приложения через API. Локальный запуск начинается с команды ollama run gemma4:e2b: движок скачивает модель и открывает чат на вашем компьютере, выход — /bye. Для агентов предусмотрены команды ollama launch claude и ollama launch codex. Ollama предлагает установить Claude Code, если его нет; Codex CLI нужно установить перед запуском.

vLLM позиционируется как библиотека для инференса и обслуживания больших языковых моделей. Проект вырос из Sky Computing Lab в Калифорнийском университете в Беркли и развивается сообществом из более чем 2000 контрибьюторов. Документация перечисляет сценарии по типу пользователя: запуск открытых моделей, сборка приложений и разработка самого движка. Ключевые технические свойства — управление памятью внимания через PagedAttention, непрерывная батчинговая обработка входящих запросов, chunked prefill и кэширование префиксов.

Разделение проходит по характеру работы. Интерактивный диалог одного человека, подключение к редактору кода, быстрый старт на ноутбуке — это территория Ollama. Поток запросов от нескольких клиентов, параллельные генерации, обслуживание через сервер — это территория vLLM. Размер модели сам по себе ничего не решает: обе системы запускают модели семейств Llama, Qwen и Gemma, а выбор определяется тем, сколько запросов приходит одновременно и нужен ли вам сервер с постоянной доступностью.

Проверьте свою ситуацию по трём вопросам. Сколько человек или процессов обращаются к модели одновременно. Нужна ли модели постоянная доступность по сети. Готовы ли вы управлять Python-окружением и параметрами сервера. Ответы на эти три вопроса разводят движки быстрее, чем сравнение бенчмарков из чужих обзоров.

Документированные способы локального запуска и обслуживания запросов

Ollama на Linux требует запуска сервера командой ollama serve, если он ещё не работает. Загрузка модели выполняется через ollama pull gemma4:e2b. Локальный сервер отвечает на порту 11434, и документация приводит четыре варианта обращения к нему: собственный API по адресу /api/chat, совместимый с OpenAI эндпоинт /v1/chat/completions, эндпоинт /v1/responses и совместимый с Anthropic /v1/messages. Ответ в первом случае читается из поля message.content, во втором — из choices[0].message.content.

vLLM предлагает два режима. Офлайн-инференс для пакета запросов строится на классах LLM и SamplingParams: вы создаёте экземпляр LLM(model="facebook/opt-125m") и вызываете llm.generate(prompts, sampling_params), получая список объектов RequestOutput. Онлайн-обслуживание запускается командой vllm serve Qwen/Qwen2.5-1.5B-Instruct, сервер по умолчанию слушает http://localhost:8000, адрес меняется аргументами --host и --port. Сервер реализует эндпоинты списка моделей, создания чат-дополнений и обычных дополнений, а запросы принимает в формате OpenAI API.

Порядок действий для vLLM из официального Quickstart такой. Создайте окружение командой uv venv --python 3.12 --seed и активируйте его. Установите пакет через uv pip install vllm --torch-backend=auto. Выполните vllm download-kernels, чтобы предкомпилированные ядра не скачивались и не собирались при старте. Запустите сервер и проверьте его запросом curl http://localhost:8000/v1/models.

В Quickstart Ollama показаны локальный чат и обращения приложений к локальному серверу. Quickstart vLLM описывает отдельный сервер, который обслуживает одну модель за раз и принимает запросы через совместимый с OpenAI API. Для защиты vLLM поддерживает аргумент --api-key или переменную окружения VLLM_API_KEY, причём можно передать несколько ключей для ротации.

Условия установки и поддержка оборудования по первичным документам

Ollama распространяется как приложение для macOS, Windows и Linux. Документация приводит требования для модели Gemma 4 E2B: загрузка около 7,2 ГБ, рекомендуется 8 ГБ доступной видеопамяти или объединённой памяти на Mac. Большие окна контекста требуют больше памяти. При нехватке видеопамяти Ollama может использовать системную оперативную память, и ответы при этом могут быть медленнее.

vLLM требует Linux и Python версий с 3.11 по 3.14. Для NVIDIA GPU установка идёт через pip или uv с автоматическим выбором бэкенда PyTorch по версии драйвера CUDA. Документация описывает отдельные пути для AMD ROCm, Intel XPU, Google TPU, Ascend NPU и Apple Silicon. Для AMD приведено ограничение: поддержка Python 3.12, ROCm 7.0 и glibc не ниже 2.35. Для Apple Silicon существует vLLM-Metal, использующий MLX как вычислительный бэкенд и требующий MLX-оптимизированных моделей из сообщества mlx-community на Hugging Face.

Таблица ниже сопоставляет документированные условия.

Критерий Ollama vLLM
Операционные системы macOS, Windows, Linux Linux; Apple Silicon через vLLM-Metal
Python не требуется для приложения 3.11–3.14
Установка приложение или терминал uv pip install vllm --torch-backend=auto
Ускорители видеопамять или объединённая память NVIDIA, AMD, Intel, TPU, Ascend, Apple Silicon
Порт по умолчанию 11434 8000
Защита API ключ для облачных моделей --api-key, VLLM_API_KEY

Команды установки для конкретной платформы не переносите на другое оборудование: документация даёт отдельные вкладки под каждый ускоритель, и набор пакетов в них различается.

Различия в управлении моделями и запросами

Ollama управляет моделями через команды pull и run, хранит их локально и переключает по имени. Модель выбирается в настройках приложения, а для агентов — в приглашении при запуске. Одна установка обслуживает и диалог, и подключённые приложения.

vLLM загружает модели из Hugging Face по умолчанию; для ModelScope нужно выставить переменную VLLM_USE_MODELSCOPE=True перед инициализацией движка. Сервер обслуживает одну модель за раз. Параметры генерации по умолчанию берутся из generation_config.json репозитория модели, если файл существует, и это поведение отключается флагом --generation-config vllm.

Отдельный момент — шаблон чата. Метод llm.generate не применяет шаблон чата автоматически, поэтому для инструктивных моделей документация советует либо применять шаблон через токенизатор, либо использовать метод llm.chat со списком сообщений в формате OpenAI. Сервер по умолчанию берёт шаблон из токенизатора.

Действие Ollama vLLM
Загрузка модели ollama pull из Hugging Face при старте
Переключение модели по имени в приложении один инстанс на модель
Параметры генерации задаются в запросе generation_config.json или флаг
Шаблон чата встроен в модель из токенизатора или вручную
Батчинг запросов диалоговый режим непрерывный батчинг

Оригинальный одинаковый промпт и таблица проверки результата

Чтобы решить, оставаться на Ollama или переходить на vLLM, проведите одинаковый тест на своей машине. Возьмите одну задачу, которую вы реально решаете, и один промпт для обоих движков. Ниже промпт для извлечения обязательных полей из документов с пропущенными данными.

КОД10 строк
Ты извлекаешь структурированные данные из текста договора.
Верни только JSON без пояснений по схеме:
{"номер": строка или null, "дата": строка или null,
 "стороны": [строка] или null, "сумма": число или null,
 "валюта": строка или null}
Если поле в тексте отсутствует, поставь null.
Не придумывай значения, которых нет в тексте.

Текст договора:
[вставьте текст]

Схема допускает null для каждого отсутствующего поля, включая стороны договора.

Что менять под себя: список полей в схеме, язык значений и правило для отсутствующих данных. Прогоните этот промпт через оба движка на одном наборе из нескольких документов с заранее известными пропущенными полями. Заполните таблицу своими наблюдениями.

Критерий Ollama vLLM
Корректность извлечения полей
Обработка пропущенных данных
Сложность запуска
Наблюдаемая задержка ответа
Поведение при нескольких запросах

Критерии выбраны так, чтобы развести движки по вашей нагрузке. Корректность и обработка пропусков показывают, справляется ли модель с задачей. Сложность запуска отражает ваши затраты на инфраструктуру. Задержка и поведение при параллельных запросах показывают, где начинается разница между диалоговым режимом и сервером. Значения в таблицу вписываете вы: это ваш замер на вашем железе.

Оговорки об условиях сравнения и совместимости API

Сравнивайте движки на одной модели и одном железе. Разные модели в тесте делают результат несопоставимым. Фиксируйте параметры генерации: температура и top_p влияют на вывод, и в примере vLLM документация приводит значения 0.8 и 0.95, тогда как сервер по умолчанию может подставить рекомендации автора модели из generation_config.json.

Совместимость API требует внимания при переносе клиента. Ollama поддерживает собственный API, а также совместимые с OpenAI и Anthropic эндпоинты, причём каждый покрывает подмножество оригинального API. Запросы к эндпоинту /v1/responses не хранят состояние: историю переписки нужно передавать в каждом запросе, а поля previous_response_id и conversation не поддерживаются.

vLLM реализует протокол OpenAI API и заявлен как замена для приложений, использующих этот API. При переносе клиента проверьте базовый адрес: у Ollama это порт 11434, у vLLM — 8000. Ключ авторизации тоже различается: облачные модели Ollama требуют ключ, локальные работают без него, а сервер vLLM проверяет ключ только если он задан.

Частые вопросы

Что лучше для одной машины с GPU: Ollama или vLLM?

Для интерактивной работы одного человека и подключения к редактору кода документация Ollama описывает готовый путь: установка приложения, ollama run и встроенный сервер на порту 11434. vLLM требует Linux, Python 3.11–3.14 и отдельного запуска сервера. Если вам нужен диалог и агенты, начните с Ollama.

Когда переходить на vLLM?

Когда к модели обращается поток запросов и нужен сервер с постоянной доступностью. Документация vLLM описывает непрерывный батчинг, chunked prefill и кэширование префиксов — механизмы для параллельной обработки. Проверьте это своим тестом с несколькими одновременными запросами.

Совместимы ли API Ollama и vLLM с OpenAI?

Оба предоставляют эндпоинты в формате OpenAI. Ollama поддерживает /v1/chat/completions и /v1/responses, vLLM реализует список моделей, чат-дополнения и обычные дополнения. Совместимость покрывает подмножество функций, поэтому проверьте нужные вам поля запроса перед переносом клиента.

Какое железо нужно для локального запуска?

Ollama для модели Gemma 4 E2B указывает загрузку около 7,2 ГБ и рекомендует 8 ГБ видеопамяти или объединённой памяти. vLLM требует Linux и поддерживает NVIDIA, AMD, Intel, TPU, Ascend и Apple Silicon через отдельные пути установки. Требования зависят от выбранной модели.

Можно ли запустить vLLM на Mac?

Документация vLLM описывает vLLM-Metal для Apple Silicon: он использует MLX как вычислительный бэкенд и требует MLX-оптимизированных моделей из сообщества mlx-community на Hugging Face. Это отдельный путь установки со своими требованиями к моделям.

Читайте также

3 материала