Ollama или vLLM: что выбрать для локальной модели — вопрос про вашу нагрузку. Ollama закрывает локальный диалог и подключение агентов, vLLM обслуживает поток запросов к модели. Ниже — документированные способы запуска, различия в управлении и протокол проверки на одной машине.
Для каких задач выбирают Ollama и vLLM
Документация Ollama описывает два режима: работа в десктопных приложениях и агентах программирования, а также сборка приложения через API. Локальный запуск начинается с команды ollama run gemma4:e2b: движок скачивает модель и открывает чат на вашем компьютере, выход — /bye. Для агентов предусмотрены команды ollama launch claude и ollama launch codex. Ollama предлагает установить Claude Code, если его нет; Codex CLI нужно установить перед запуском.
vLLM позиционируется как библиотека для инференса и обслуживания больших языковых моделей. Проект вырос из Sky Computing Lab в Калифорнийском университете в Беркли и развивается сообществом из более чем 2000 контрибьюторов. Документация перечисляет сценарии по типу пользователя: запуск открытых моделей, сборка приложений и разработка самого движка. Ключевые технические свойства — управление памятью внимания через PagedAttention, непрерывная батчинговая обработка входящих запросов, chunked prefill и кэширование префиксов.
Разделение проходит по характеру работы. Интерактивный диалог одного человека, подключение к редактору кода, быстрый старт на ноутбуке — это территория Ollama. Поток запросов от нескольких клиентов, параллельные генерации, обслуживание через сервер — это территория vLLM. Размер модели сам по себе ничего не решает: обе системы запускают модели семейств Llama, Qwen и Gemma, а выбор определяется тем, сколько запросов приходит одновременно и нужен ли вам сервер с постоянной доступностью.
Проверьте свою ситуацию по трём вопросам. Сколько человек или процессов обращаются к модели одновременно. Нужна ли модели постоянная доступность по сети. Готовы ли вы управлять Python-окружением и параметрами сервера. Ответы на эти три вопроса разводят движки быстрее, чем сравнение бенчмарков из чужих обзоров.
Документированные способы локального запуска и обслуживания запросов
Ollama на Linux требует запуска сервера командой ollama serve, если он ещё не работает. Загрузка модели выполняется через ollama pull gemma4:e2b. Локальный сервер отвечает на порту 11434, и документация приводит четыре варианта обращения к нему: собственный API по адресу /api/chat, совместимый с OpenAI эндпоинт /v1/chat/completions, эндпоинт /v1/responses и совместимый с Anthropic /v1/messages. Ответ в первом случае читается из поля message.content, во втором — из choices[0].message.content.
vLLM предлагает два режима. Офлайн-инференс для пакета запросов строится на классах LLM и SamplingParams: вы создаёте экземпляр LLM(model="facebook/opt-125m") и вызываете llm.generate(prompts, sampling_params), получая список объектов RequestOutput. Онлайн-обслуживание запускается командой vllm serve Qwen/Qwen2.5-1.5B-Instruct, сервер по умолчанию слушает http://localhost:8000, адрес меняется аргументами --host и --port. Сервер реализует эндпоинты списка моделей, создания чат-дополнений и обычных дополнений, а запросы принимает в формате OpenAI API.
Порядок действий для vLLM из официального Quickstart такой. Создайте окружение командой uv venv --python 3.12 --seed и активируйте его. Установите пакет через uv pip install vllm --torch-backend=auto. Выполните vllm download-kernels, чтобы предкомпилированные ядра не скачивались и не собирались при старте. Запустите сервер и проверьте его запросом curl http://localhost:8000/v1/models.
В Quickstart Ollama показаны локальный чат и обращения приложений к локальному серверу. Quickstart vLLM описывает отдельный сервер, который обслуживает одну модель за раз и принимает запросы через совместимый с OpenAI API. Для защиты vLLM поддерживает аргумент --api-key или переменную окружения VLLM_API_KEY, причём можно передать несколько ключей для ротации.
Условия установки и поддержка оборудования по первичным документам
Ollama распространяется как приложение для macOS, Windows и Linux. Документация приводит требования для модели Gemma 4 E2B: загрузка около 7,2 ГБ, рекомендуется 8 ГБ доступной видеопамяти или объединённой памяти на Mac. Большие окна контекста требуют больше памяти. При нехватке видеопамяти Ollama может использовать системную оперативную память, и ответы при этом могут быть медленнее.
vLLM требует Linux и Python версий с 3.11 по 3.14. Для NVIDIA GPU установка идёт через pip или uv с автоматическим выбором бэкенда PyTorch по версии драйвера CUDA. Документация описывает отдельные пути для AMD ROCm, Intel XPU, Google TPU, Ascend NPU и Apple Silicon. Для AMD приведено ограничение: поддержка Python 3.12, ROCm 7.0 и glibc не ниже 2.35. Для Apple Silicon существует vLLM-Metal, использующий MLX как вычислительный бэкенд и требующий MLX-оптимизированных моделей из сообщества mlx-community на Hugging Face.
Таблица ниже сопоставляет документированные условия.
| Критерий | Ollama | vLLM |
|---|---|---|
| Операционные системы | macOS, Windows, Linux | Linux; Apple Silicon через vLLM-Metal |
| Python | не требуется для приложения | 3.11–3.14 |
| Установка | приложение или терминал | uv pip install vllm --torch-backend=auto |
| Ускорители | видеопамять или объединённая память | NVIDIA, AMD, Intel, TPU, Ascend, Apple Silicon |
| Порт по умолчанию | 11434 | 8000 |
| Защита API | ключ для облачных моделей | --api-key, VLLM_API_KEY |
Команды установки для конкретной платформы не переносите на другое оборудование: документация даёт отдельные вкладки под каждый ускоритель, и набор пакетов в них различается.
Различия в управлении моделями и запросами
Ollama управляет моделями через команды pull и run, хранит их локально и переключает по имени. Модель выбирается в настройках приложения, а для агентов — в приглашении при запуске. Одна установка обслуживает и диалог, и подключённые приложения.
vLLM загружает модели из Hugging Face по умолчанию; для ModelScope нужно выставить переменную VLLM_USE_MODELSCOPE=True перед инициализацией движка. Сервер обслуживает одну модель за раз. Параметры генерации по умолчанию берутся из generation_config.json репозитория модели, если файл существует, и это поведение отключается флагом --generation-config vllm.
Отдельный момент — шаблон чата. Метод llm.generate не применяет шаблон чата автоматически, поэтому для инструктивных моделей документация советует либо применять шаблон через токенизатор, либо использовать метод llm.chat со списком сообщений в формате OpenAI. Сервер по умолчанию берёт шаблон из токенизатора.
| Действие | Ollama | vLLM |
|---|---|---|
| Загрузка модели | ollama pull |
из Hugging Face при старте |
| Переключение модели | по имени в приложении | один инстанс на модель |
| Параметры генерации | задаются в запросе | generation_config.json или флаг |
| Шаблон чата | встроен в модель | из токенизатора или вручную |
| Батчинг запросов | диалоговый режим | непрерывный батчинг |
Оригинальный одинаковый промпт и таблица проверки результата
Чтобы решить, оставаться на Ollama или переходить на vLLM, проведите одинаковый тест на своей машине. Возьмите одну задачу, которую вы реально решаете, и один промпт для обоих движков. Ниже промпт для извлечения обязательных полей из документов с пропущенными данными.
Ты извлекаешь структурированные данные из текста договора.
Верни только JSON без пояснений по схеме:
{"номер": строка или null, "дата": строка или null,
"стороны": [строка] или null, "сумма": число или null,
"валюта": строка или null}
Если поле в тексте отсутствует, поставь null.
Не придумывай значения, которых нет в тексте.
Текст договора:
[вставьте текст]
Схема допускает null для каждого отсутствующего поля, включая стороны договора.
Что менять под себя: список полей в схеме, язык значений и правило для отсутствующих данных. Прогоните этот промпт через оба движка на одном наборе из нескольких документов с заранее известными пропущенными полями. Заполните таблицу своими наблюдениями.
| Критерий | Ollama | vLLM |
|---|---|---|
| Корректность извлечения полей | ||
| Обработка пропущенных данных | ||
| Сложность запуска | ||
| Наблюдаемая задержка ответа | ||
| Поведение при нескольких запросах |
Критерии выбраны так, чтобы развести движки по вашей нагрузке. Корректность и обработка пропусков показывают, справляется ли модель с задачей. Сложность запуска отражает ваши затраты на инфраструктуру. Задержка и поведение при параллельных запросах показывают, где начинается разница между диалоговым режимом и сервером. Значения в таблицу вписываете вы: это ваш замер на вашем железе.
Оговорки об условиях сравнения и совместимости API
Сравнивайте движки на одной модели и одном железе. Разные модели в тесте делают результат несопоставимым. Фиксируйте параметры генерации: температура и top_p влияют на вывод, и в примере vLLM документация приводит значения 0.8 и 0.95, тогда как сервер по умолчанию может подставить рекомендации автора модели из generation_config.json.
Совместимость API требует внимания при переносе клиента. Ollama поддерживает собственный API, а также совместимые с OpenAI и Anthropic эндпоинты, причём каждый покрывает подмножество оригинального API. Запросы к эндпоинту /v1/responses не хранят состояние: историю переписки нужно передавать в каждом запросе, а поля previous_response_id и conversation не поддерживаются.
vLLM реализует протокол OpenAI API и заявлен как замена для приложений, использующих этот API. При переносе клиента проверьте базовый адрес: у Ollama это порт 11434, у vLLM — 8000. Ключ авторизации тоже различается: облачные модели Ollama требуют ключ, локальные работают без него, а сервер vLLM проверяет ключ только если он задан.
Частые вопросы
Что лучше для одной машины с GPU: Ollama или vLLM?
Для интерактивной работы одного человека и подключения к редактору кода документация Ollama описывает готовый путь: установка приложения, ollama run и встроенный сервер на порту 11434. vLLM требует Linux, Python 3.11–3.14 и отдельного запуска сервера. Если вам нужен диалог и агенты, начните с Ollama.
Когда переходить на vLLM?
Когда к модели обращается поток запросов и нужен сервер с постоянной доступностью. Документация vLLM описывает непрерывный батчинг, chunked prefill и кэширование префиксов — механизмы для параллельной обработки. Проверьте это своим тестом с несколькими одновременными запросами.
Совместимы ли API Ollama и vLLM с OpenAI?
Оба предоставляют эндпоинты в формате OpenAI. Ollama поддерживает /v1/chat/completions и /v1/responses, vLLM реализует список моделей, чат-дополнения и обычные дополнения. Совместимость покрывает подмножество функций, поэтому проверьте нужные вам поля запроса перед переносом клиента.
Какое железо нужно для локального запуска?
Ollama для модели Gemma 4 E2B указывает загрузку около 7,2 ГБ и рекомендует 8 ГБ видеопамяти или объединённой памяти. vLLM требует Linux и поддерживает NVIDIA, AMD, Intel, TPU, Ascend и Apple Silicon через отдельные пути установки. Требования зависят от выбранной модели.
Можно ли запустить vLLM на Mac?
Документация vLLM описывает vLLM-Metal для Apple Silicon: он использует MLX как вычислительный бэкенд и требует MLX-оптимизированных моделей из сообщества mlx-community на Hugging Face. Это отдельный путь установки со своими требованиями к моделям.
