Milvus — база данных для хранения, индексирования и поиска векторных представлений. Обзор Milvus: коллекция, схема и поиск векторов охватывает контракт коллекции, типы полей, метрику близости, фильтрацию по скалярным полям, учебный журнал операций, удаление записей и выбор режима эксплуатации. Документация проекта описывает Milvus как слой извлечения для RAG, семантического поиска и памяти агентов: приложение поставляет данные, модель эмбеддингов и правила доступа, а Milvus хранит, индексирует и возвращает совпадающие сущности.
Для чего нужен Milvus
Продукт занимает место между моделью эмбеддингов и прикладной логикой. Приложение формирует вектор, Milvus хранит его рядом со скалярными полями и по запросу возвращает ближайшие записи. В документации проекта это описано так: Milvus хранит, индексирует и извлекает совпадающие сущности, а данные, модель эмбеддингов и правила доступа остаются на стороне приложения. В этом маршруте Milvus отвечает за извлечение записей, а генерацию итогового ответа и обучение модели проектируют отдельно.
В обзоре IBM на тему Milvus отмечено, что продукт разделяет хранение и вычисления, что позволяет масштабировать каждый слой независимо и горизонтально. Это утверждение относится к распределённой архитектуре и объясняет интерес к Milvus в сценариях с ростом числа векторов. Для небольшого прототипа тот же принцип означает, что вы можете начать с локального варианта и позже перейти к серверному развёртыванию.
Практическая задача читателя — собрать контракт коллекции: определить поля, выбрать метрику, задать фильтр и понять, как проверять результат. Документация проекта перечисляет три режима: Milvus Lite как библиотека Python, Milvus Standalone как одноузловой сервер в одном Docker-образе и Milvus Distributed для Kubernetes-кластеров с облачной архитектурой под миллиардные сценарии. Так официальная документация описывает варианты развёртывания. Производительность конкретной системы оценивают на её данных и нагрузке.
Отдельно стоит различать фильтрацию и похожесть. Скалярные поля хранят метаданные, а векторное поле — эмбеддинг. Поиск может учитывать значения метаданных: в документации проекта сказано, что векторный поиск можно проводить с учётом значений метаданных, которые в Milvus называются скалярными полями. Так можно ограничить выборку tenant на уровне запроса. Сам по себе фильтр не настраивает аутентификацию или полноценную изоляцию арендаторов.
Схема и типы полей
Схема коллекции описывает поля и их типы. Первичное поле уникально идентифицирует сущность, и документация проекта указывает, что оно принимает значения Int64 или VARCHAR. Это ограничение важно при проектировании: строковый идентификатор допустим, но тип нужно зафиксировать заранее.
Скалярные поля поддерживают несколько типов. В документации проекта перечислены VARCHAR, Boolean, Int, Float и Double. Для векторного поля задаётся размерность: параметр dim указывает dimensionality векторных эмбеддингов, которые будут храниться в поле. Размерность фиксируется в схеме, и вектор другой длины в это поле не поместится без новой схемы.
Учебная схема из принятого примера выглядит так:
primary key: id (int64)
scalar: body (string)
scalar: tenant (string)
vector: embedding (float vector, dimension=2)
Ручной набор записей для проверки:
id=11, body="возврат", tenant=A, embedding=[1,0]
id=12, body="оплата", tenant=A, embedding=[0,1]
id=21, body="закрытый возврат", tenant=B, embedding=[1,0]
Это авторский учебный fixture. Реальный запуск внешнего сервиса, обучение модели, измерение скорости и платные API не заявлены. Учебный результат сверяется с заданным входом, а параметры продукта — только с текущей документацией.
Разбор ошибки: вектор из трёх координат не принимается в поле dimension=2 без новой схемы. Это ограничение уровня контракта коллекции, и его полезно проверять до загрузки данных. Контроль tenant через фильтр не заменяет настоящую аутентификацию и политику изоляции: он ограничивает выборку в запросе, а доступ к самому сервису настраивается отдельно.
| Поле | Тип | Роль в контракте |
|---|---|---|
| id | Int64 или VARCHAR | уникальная идентификация сущности |
| body | VARCHAR | текстовая метка для чтения |
| tenant | VARCHAR | скалярный фильтр выборки |
| embedding | Float vector с dim | вектор для сравнения близости |
Векторы и метрика
Метрика задаёт способ измерения близости. В документации проекта по быстрому старту указано, что тип метрики (определение векторного расстояния) установлен в значение по умолчанию COSINE. Для учебного набора выбран cosine, и запрос имеет вид query=[1,0].
Сравнение по cosine даёт понятный бумажный эталон. Вектор id=11 совпадает с запросом по направлению, вектор id=12 ортогонален, вектор id=21 совпадает с запросом по направлению, но принадлежит другому tenant. Фильтр tenant==A допускает id=11 и id=12, а id=21 запрещён, хотя его вектор совпадает с запросом. Этот пример показывает разделение двух механизмов: близость вектора и допустимость записи по скалярному условию.
Порядок результатов в учебном эталоне: id=11 перед id=12 по cosine. Это вручную рассчитанный эталон; ANN-индекс для примера не запускался. Разница важна для проверки: индекс может возвращать приближённый порядок, и сравнение с ручным расчётом помогает отладке. Качество продукта на этом условном наборе не измерялось.
Предикатное выражение возвращает булево значение, как указано в документации проекта по правилам скалярной фильтрации. Это значит, что фильтр tenant==A вычисляется как условие допуска, и запись с tenant=B в результат не попадает. В документации проекта по быстрому старту приведён похожий пример: текст по теме history исключается, несмотря на близость к вектору запроса. Логика та же: скалярное условие отсекает кандидата до или во время поиска.
Для текстового поиска существует отдельный путь. В документации LlamaIndex по интеграции Milvus с полнотекстовым поиском отмечено, что в подходе Sparse-BM25 из Milvus 2.5 сырой текст автоматически преобразуется в разреженные векторы. Это относится к названной интеграции и версии, и поддержку такой функции стоит проверять для выбранного режима отдельно.
Индекс и поиск
Индекс ускоряет поиск по векторам. Документация проекта описывает Milvus как слой, который хранит, индексирует и извлекает сущности, и это разделение операций полезно держать в голове: запись данных и построение индекса — разные этапы, а поиск опирается на уже подготовленную структуру.
Порядок учебной проверки:
- Зафиксировать схему: id, body, tenant, embedding с dimension=2.
- Загрузить три записи из ручного набора.
- Выбрать метрику cosine и сформировать запрос query=[1,0].
- Добавить фильтр tenant==A.
- Сравнить полученный порядок с бумажным эталоном id=11 перед id=12.
- Повторить поиск после удаления записи в том же режиме согласованности.
Этот порядок отделяет контракт коллекции от поведения индекса. Бумажный эталон проверяет логику фильтра и метрики, а фактический порядок от ANN-индекса может отличаться в пределах приближённого поиска. Для отладки полезно сначала убедиться, что фильтр отсекает id=21, и только затем смотреть на ранжирование.
Фильтрация по скалярным полям расширяет поиск. В документации проекта сказано, что векторный поиск можно проводить с учётом значений метаданных. Это позволяет строить выборки по tenant, статусу или другому признаку, сохраняя сравнение по вектору. Условие задаётся предикатным выражением, которое возвращает булево значение.
| Этап | Действие | Что проверяем |
|---|---|---|
| Схема | задать поля и dim | совместимость типов |
| Загрузка | вставить три записи | целостность набора |
| Поиск | cosine, query=[1,0] | близость векторов |
| Фильтр | tenant==A | отсечение id=21 |
| Сверка | порядок 11 перед 12 | бумажный эталон |
Полный учебный журнал
Журнал фиксирует последовательность операций над учебным набором. Он нужен, чтобы отделить проверяемые шаги от предположений о поведении продукта.
Шаг 1. Схема. primary key id int64, body string, tenant string, embedding float vector с dimension=2. Размерность задана в контракте коллекции.
Шаг 2. Набор. id=11, body=»возврат», tenant=A, embedding=[1,0]. id=12, body=»оплата», tenant=A, embedding=[0,1]. id=21, body=»закрытый возврат», tenant=B, embedding=[1,0].
Шаг 3. Поиск. Метрика cosine, query=[1,0], фильтр tenant==A. Допустимы id=11 и id=12. id=21 запрещён, хотя его вектор совпадает с запросом.
Шаг 4. Эталон. Cosine равен 1 для id=11 и 0 для id=12; в ранжировании по убыванию сходства id=11 идёт первым. id=21 имеет cosine=1, но исключён фильтром tenant. Это вручную рассчитанный эталон; ANN-индекс для примера не запускался.
Шаг 5. Ручной эталон после удаления id=11: среди tenant=A остаётся только id=12. Для фактической проверки в режиме с поддержкой Strong дождитесь успешного ответа delete, затем выполните query по id=11 с consistency_level=»Strong»: ожидается пустой набор. Повторите search с тем же Strong и фильтром tenant=A; id=11 и id=21 в ответе быть не должно. При ошибке delete вывод об удалении делать рано.
Шаг 6. Контроль ошибки. Вектор из трёх координат не принимается в dimension=2 без новой схемы. Контроль tenant не заменяет настоящий auth и политику изоляции.
Шаг 7. Выбор режима. Lite, server и cloud описываются с отдельной поддержкой операционной системы, функций и бэкапа. Практическое развёртывание не выполнялось, latency не измерялся.
Это авторский учебный fixture. Реальный запуск внешнего сервиса, обучение модели, измерение скорости и платные API не заявлены. Учебный результат сверяется с заданным входом, а параметры продукта — только с текущей документацией. Журнал полезен как чек-лист: он показывает, какие шаги дают проверяемый результат, а какие остаются предположением до запуска.
Удаление и согласованность
Удаление записи меняет видимость данных для последующих запросов. В документации проекта по согласованности перечислены четыре уровня: strong, bounded staleness, session и eventually. Уровень по умолчанию — bounded staleness. Strong назван самым высоким и строгим уровнем, и он обеспечивает чтение последней версии данных.
Для учебной проверки удаления выберите Strong и проверьте результат после подтверждённой записи. Мгновенное исчезновение записи при любом уровне согласованности обещать нельзя: разные уровни дают разную гарантию видимости, и поведение зависит от выбранного режима. Практический порядок такой: удалить id=11, выполнить точечный get или query, затем повторить search в том же режиме согласованности и сравнить результат с ожиданием.
Разделение уровней полезно для приложения. Strong даёт чтение последней версии данных, что подходит для проверок после записи. Bounded staleness используется по умолчанию и допускает устаревшее представление данных в пределах определённого периода; документация рекомендует его для задач, где важна задержка и допустима временная невидимость изменений. Session привязан к сессии клиента, eventually даёт самую слабую гарантию. Документация связывает выбор уровня с компромиссом между видимостью данных и задержкой чтения.
Удаление в учебном журнале связано с фильтром: после удаления id=11 в выборке по tenant==A остаётся id=12. Повторный поиск с query=[1,0] покажет, как изменился результат. Эта проверка соединяет три темы: схему, фильтрацию и согласованность.
Выбор режима эксплуатации
Три режима различаются по способу развёртывания. Milvus Lite — библиотека Python, которую можно встроить в приложение. Milvus Standalone — одноузловой сервер, где все компоненты собраны в один Docker-образ для удобного развёртывания. Milvus Distributed разворачивается на кластерах Kubernetes и рассчитан на миллиардные сценарии.
Выбор зависит от задачи. Для прототипа и локальной проверки схемы подходит Lite: он встраивается в код на Python. Для одноузлового сервера с привычным развёртыванием подходит Standalone с единым Docker-образом. Для роста числа векторов и горизонтального масштабирования предусмотрен Distributed на Kubernetes.
Отдельно стоит учитывать поддержку операционной системы, набор функций и бэкап. Эти характеристики различаются по режимам, и их стоит сверять с текущей документацией проекта для выбранной версии. Сохранённый быстрый старт описывает macOS, Linux и Windows с доступными бинарными зависимостями для своего варианта Lite. Перед установкой проверьте конкретные версии пакетов и платформу по инструкции выбранного релиза; это не общая гарантия совместимости всех вариантов Milvus.
Практическое развёртывание в рамках этого обзора не выполнялось, latency не измерялся. Учебный пример описывает контракт коллекции и порядок проверок, а параметры продукта сверяются с текущей документацией. Такой подход отделяет проектирование схемы от эксплуатационных решений.
Частые вопросы
Что такое Milvus простыми словами?
Milvus — база данных для хранения, индексирования и поиска векторов. Приложение поставляет данные, модель эмбеддингов и правила доступа, а Milvus хранит, индексирует и возвращает совпадающие сущности. Продукт используется как слой извлечения в RAG, семантическом поиске и памяти агентов.
Чем Milvus отличается от Qdrant?
Оба продукта работают с векторами, но контракты и режимы развёртывания у них свои. Для Milvus документация проекта описывает три режима: Lite как библиотека Python, Standalone как одноузловой сервер и Distributed на Kubernetes. Сравнение стоит вести по типам полей, метрикам, фильтрации и поддержке режимов.
Как запустить Milvus через Docker Compose?
Документация проекта описывает Milvus Standalone как одноузловой сервер, где все компоненты собраны в один Docker-образ для удобного развёртывания. Конкретный файл конфигурации и команды стоит брать из текущей документации проекта для выбранной версии. Практическое развёртывание в этом обзоре не выполнялось.
Какие типы полей поддерживает схема Milvus?
Первичное поле принимает Int64 или VARCHAR. Скалярные поля поддерживают VARCHAR, Boolean, Int, Float и Double. Векторное поле задаёт размерность через параметр dim, который указывает dimensionality хранимых эмбеддингов.
Как работает согласованность после удаления?
Документация проекта перечисляет четыре уровня: strong, bounded staleness, session и eventually. Уровень по умолчанию — bounded staleness, а strong обеспечивает чтение последней версии данных. Для проверки удаления выберите Strong и сверьте результат после подтверждённой записи.
