Что такое ColBERT? Это многовекторный поиск, где текст кодируется в набор векторов по токенам, а сравнение запроса и документа откладывается до момента оценки. Документы кодируются независимо; точность ранжирования проверяют на выбранной модели и своём корпусе. Ниже — как это устроено, как MaxSim собирает оценку и как проверить подход на своём корпусе.
ColBERT и позднее взаимодействие
В документации Qdrant по FastEmbed сказано, что ColBERT — это модель эмбеддингов, которая выдаёт матрицу (мультивектор) на входной текст, формируя по одному вектору на токен. Такой подход улавливает более тонкую семантику, чем многие плотные модели, где весь вход сжат в один вектор. Документация Qdrant отмечает и обратную сторону: рост потребления ресурсов по скорости и памяти, а также то, что ограничение по скорости делает ColBERT менее подходящим для крупномасштабного поиска первого этапа.
В курсе Qdrant по многовекторному поиску взаимодействие описывается через момент, когда представления запроса и документа влияют друг на друга. Выделяются три режима. Без взаимодействия: запрос и документ кодируются независимо в фиксированные представления и сравниваются, не «видя» друг друга при кодировании. Раннее взаимодействие: запрос и документ кодируются вместе, каждое слово учитывает другое в процессе кодирования, максимальное взаимодействие, но без предвычисления. Позднее взаимодействие: запрос и документ кодируются независимо, как в первом режиме, но сохраняются детализированные представления, которые взаимодействуют при оценке, то есть поздно в процессе.
Курс Qdrant называет канонической реализацией позднего взаимодействия ColBERT (Contextualized Late Interaction over BERT), разработанный в Стэнфорде. По формулировке курса, ColBERT популяризовал эту парадигму и показал, что можно получить эффективность уровня cross-encoder при производительности уровня одного вектора. В репозитории stanford-futuredata/ColBERT на GitHub сказано, что ColBERT опирается на детализированное контекстное позднее взаимодействие: он кодирует каждый пассаж в матрицу эмбеддингов по токенам, затем на этапе поиска кодирует запрос в другую матрицу и находит пассажи, контекстно совпадающие с запросом, через масштабируемые операторы векторного сходства MaxSim.
Ключевая механика: документ превращается в набор векторов, по одному на токен, и этот набор хранится. Запрос превращается в свой набор векторов. Сравнение наборов происходит в момент запроса, вне модели. В блоге Vespa про языковые модели для поиска (часть 3) отмечено, что контекстуализированная модель позднего взаимодействия представляет запрос и документ как множество векторов, полученных с последнего выходного слоя трансформера, тогда как bi-encoder обычно выполняет операцию пулинга над последним слоем, например берёт представление токена CLS или среднее по всем токенам. Там же сказано, что вектор токена зависит от других токенов той же входной последовательности: токен driver в тексте Microsoft driver имеет иное представление, чем driver в тексте Taxi driver, поскольку контекст различается. Это следствие механизма внимания в архитектуре трансформера.
Практический смысл: контекстные векторы токенов несут информацию о порядке и окружении слов. При этом агрегация MaxSim не гарантирует точного совпадения фразы или порядка слов, поскольку оценка строится на максимумах по отдельным токенам. Точное фразовое совпадение обеспечивается другими механизмами, например лексическим поиском в гибридной схеме.
Отличие от одного вектора и cross-encoder
Курс Qdrant описывает три подхода через компромиссы. Одиночный вектор (без взаимодействия): каждый документ и запрос кодируются в один плотный вектор, сравнение идёт по косинусной близости. Сильная сторона — простота, скорость и масштабируемость: векторы документов предвычисляются и хранятся, поиск эффективен даже на миллиардах документов. Ограничение — сжатие всего документа в один вектор теряет детализацию, как пересказ книги одной фразой: общая тема сохраняется, нюансы под конкретный запрос теряются. В курсе Qdrant отмечено, что модель внутренне строит эмбеддинги по токенам, а затем применяет пулинг (обычно среднее или специальный токен CLS), чтобы собрать их в одно представление фиксированного размера.
Cross-encoder (раннее взаимодействие): запрос и документ обрабатываются вместе через нейросеть, выдавая оценку релевантности. Сильная сторона — глубокое контекстное понимание, каждое слово запроса учитывает каждое слово документа при кодировании, что даёт точные суждения о релевантности. Ограничение — каждую пару «запрос-документ» нужно обрабатывать с нуля: для коллекции в миллион документов это миллион прямых проходов нейросети на каждый запрос, что недопустимо дорого для первичного поиска. Курс Qdrant заключает, что cross-encoder хорошо работает при повторном ранжировании небольшого набора кандидатов и не масштабируется на поиск по большим коллекциям. В документации Weaviate по многовекторным эмбеддингам сказано, что при раннем взаимодействии эмбеддинги нельзя предвычислить до того, как известен запрос, поэтому подход часто применяют в моделях-реранкерах, где набор данных невелик.
ColBERT занимает промежуточное положение. Документы кодируются независимо и предвычисляются, как в одиночном векторе. Детализация по токенам сохраняется, как у cross-encoder. Сравнение откладывается до момента запроса. В документации Qdrant по FastEmbed указано, что ColBERT — заметная альтернатива cross-encoder в роли реранкера, поскольку за счёт позднего взаимодействия tends to be faster on inference time. Там же описан механизм: cross-encoder принимает запрос и документ склеенными в один вход, разбивает его на значимые части и проверяет, как они соотносятся, то есть все взаимодействия происходят «рано» внутри модели. Модели позднего взаимодействия, такие как ColBERT, выполняют только первую часть — формируют части документа и запроса, пригодные для сравнения, а все взаимодействия между ними выполняются «позже», вне модели.
Сравнение по явным критериям:
| Критерий | Одиночный вектор | Cross-encoder | ColBERT |
|---|---|---|---|
| Кодирование | Независимое | Совместное | Независимое |
| Предвычисление документов | Да | Нет | Да |
| Детализация | Один вектор на текст | Полное взаимодействие | Вектор на токен |
| Стоимость на запрос | Зависит от модели и индекса | Зависит от модели и числа пар | Зависит от модели, токенов и числа кандидатов |
| Типичная роль | Первичный поиск | Реранкер | Реранкер или первичный поиск |
Как MaxSim собирает оценку
MaxSim — функция сходства позднего взаимодействия, введённая в работе по ColBERT. В блоге Vespa она описана так: для каждого эмбеддинга токена запроса выполняется косинусное сходство со всеми эмбеддингами токенов документа, отслеживается максимальный счёт по каждому токену запроса. Итоговая оценка пары «запрос-документ» — сумма этих максимальных косинусных сходств. Для запроса с 32 токенами (максимальная длина запроса 32) и документа со 128 токенами нужно выполнить 32×128 операций косинусного сходства. В блоге Vespa отмечено, что косинусное сходство для векторов единичной длины можно вычислять через скалярное произведение, а его можно ускорить аппаратно с помощью векторных инструкций.
Пошаговый порядок:
- Закодировать запрос в набор векторов, по одному на токен.
- Закодировать документ в набор векторов, по одному на токен.
- Для каждого вектора запроса посчитать сходство со всеми векторами документа.
- Взять максимум сходства для этого вектора запроса.
- Сложить максимумы по всем векторам запроса — это оценка MaxSim.
В документации Weaviate по многовекторным эмбеддингам сказано, что позднее взаимодействие находит лучшее совпадение для каждого токена запроса среди всех токенов целевого текста с помощью операции MaxSim: при поиске по фразе data science каждый вектор уровня токена сравнивается с наиболее релевантной частью документа. Итоговая оценка сходства объединяет эти индивидуальные лучшие совпадения. Там же отмечено, что такое сопоставление по токенам помогает улавливать нюансы отношений и порядок слов, что особенно эффективно для длинных текстов.
В документации Qdrant по FastEmbed приведён пример конфигурации коллекции с мультивекторами: задаётся метрика сходства между векторами и размер каждого вектора (для ColBERT — 128), а также метрика сходства между мультивекторами (матрицами), например MAX_SIM: для каждого вектора запроса находят максимальное сходство среди векторов документа, затем складывают эти максимумы. В примере используется MultiVectorComparator.MAX_SIM.
Практическая деталь из блога Vespa: размерность выходного эмбеддинга токена можно уменьшить слоем понижения размерности поверх последнего слоя трансформера. Исходная размерность зависит от модели: bert-base использует 768 измерений, MiniLM — 384. В работе по ColBERT авторы применяют понижение до 128 измерений с исходных 768. Авторы также показывают, что дальнейшее понижение до 32 измерений не влияет на точность ранжирования существенно. Размерность и точность значений векторов влияют и на вычислительную сложность, и на требования к хранению.
Учебный расчёт двух документов
Возьмём условный пример, чтобы увидеть арифметику MaxSim. Это учебные значения, они не получены моделью и не являются измерениями ColBERT. Запрос содержит два токена. Матрица сходств с токенами первого документа D1: [[0.8, 0.2, 0.1], [0.1, 0.7, 0.4]]. Матрица сходств с токенами второго документа D2: [[0.6, 0.5], [0.6, 0.5]].
Для каждого токена запроса берём максимум по документу, затем складываем. Для D1: по первой строке максимум 0.8, по второй — 0.7, сумма 1.5. Для D2: по первой строке максимум 0.6, по второй — 0.6, сумма 1.2. Первый документ получает более высокую оценку.
Проверки, которые показывают свойства агрегации. При перестановке столбцов оценки остаются прежними: максимум по строке не зависит от порядка столбцов. При добавлении одинаково слабого столбца оценки тоже остаются прежними: новый столбец не превышает существующий максимум. При увеличении одного максимума сумма растёт: агрегация линейна по максимумам.
Названия запроса и документов сами по себе не задают оценки сходства. В приведённом расчёте выше положение D1 перед D2 следует только из заданных учебных матриц: 1.5 больше 1.2. Чтобы узнать порядок настоящих текстов, нужно получить их представления выбранной моделью и выполнить тот же расчёт.
План проверки на своём корпусе: взять одинаковые кандидаты для сравниваемых методов, составить ручной эталон релевантности, сравнить ранжирование и стоимость оценки. Победителя не объявлять до замера.
Хранение, кандидаты и ограничения
Хранение многовекторных представлений требует больше ресурсов. В документации Weaviate по многовекторным эмбеддингам приведён расчёт: одиночный вектор размерности 1536 занимает 1536 × 4 байта = 6 кБ, а многовекторный эмбеддинг из 64 векторов по 96 измерений — 64 × 96 × 4 байта = 25 кБ, более чем в четыре раза больше. Там же сказано, что многовекторные эмбеддинги требуют больше памяти для хранения и больше вычислений для поиска, а время и стоимость генерации эмбеддингов могут быть выше. В документации Weaviate отмечено, что многовекторные эмбеддинги особенно полезны для задач поиска, где важны порядок слов и точное совпадение фраз, поскольку они сохраняют информацию на уровне токенов и включают позднее взаимодействие.
В блоге Vespa приведён пример оценки хранения: при 32 измерениях с точностью bfloat16 (2 байта на значение) нужно хранить 32 ГБ векторных данных для 9 млн документов при среднем 60 токенов на документ, а при 128 измерениях с точностью float32 (4 байта) получается около 256 ГБ векторных данных. Там же отмечено, что Vespa поддерживает точности double, float, bfloat16 и int8, а в примере используется bfloat16, что экономит 50% памяти по сравнению с float.
Маршруты применения различаются. Документация Qdrant по FastEmbed рекомендует использовать ColBERT для повторного ранжирования небольшого набора уже найденных примеров. Простой плотный ретривер сначала находит около 100–500 кандидатов, которые затем ранжируются ColBERT, чтобы вывести наиболее релевантные результаты наверх. При этом репозиторий stanford-futuredata/ColBERT на GitHub рекомендует использовать ColBERT для сквозного поиска, когда он напрямую находит top-k пассажей из полной коллекции. Оба маршрута доступны: выбор зависит от объёма корпуса и бюджета на оценку.
Ограничения по скорости отмечены в документации Qdrant: несмотря на то, что ColBERT — мощный ретривер, ограничение по скорости может делать его менее подходящим для крупномасштабного поиска. В блоге Vespa приведён пример оценки на MS Marco Passage Ranking dev (6980 запросов): при использовании ColBERT как этапа повторного ранжирования поверх плотного ретривера MRR@10 улучшается с 0.310 до 0.359, Recall@100 — с 0.82 до 0.86, Recall@200 — с 0.87 до 0.90, а Recall@1000 не меняется, поскольку модель ранжирует top-1K попаданий плотного ретривера. Там же указано, что сквозная задержка, включая кодирование запроса плотным ретривером, кодирование запроса ColBERT, поиск ближайших соседей с targetHits=1000 и повторное ранжирование ColBERT, составила 39 мс. Эти числа относятся к условиям конкретного эксперимента и конкретной конфигурации.
Как проверить на собственном корпусе
Проверка строится на сравнении маршрутов и ручном эталоне. Шаги:
- Зафиксировать корпус и набор запросов. Одинаковые кандидаты для всех сравниваемых методов.
- Составить ручной эталон релевантности: для каждого запроса отметить документы, которые считаются релевантными.
- Выбрать модели и режимы. Для ColBERT — модель из списка поддерживаемых, для сравнения — плотный ретривер и cross-encoder.
- Прогнать ранжирование и сохранить порядок документов по каждому запросу.
- Сравнить метрики ранжирования и стоимость оценки: время и потребление памяти.
- Не объявлять победителя до замера.
В документации Qdrant по FastEmbed показано, как получить список поддерживаемых моделей позднего взаимодействия: LateInteractionTextEmbedding.list_supported_models(). Вывод содержит сведения о модели, включая размерности выходных эмбеддингов, описание, размер модели, источники и файл модели. В примере для colbert-ir/colbertv2.0 указаны dim 128, size_in_GB 0.44, источник hf: colbert-ir/colbertv2.0, файл model.onnx. Для answerdotai/answerai-colbert-small-v1 указаны dim 96, size_in_GB 0.13, описание включает мультиязычность примерно на 100 языках и усечение входа до 512 токенов.
В документации Qdrant по FastEmbed приведён пример векторизации набора описаний фильмов: после embed размерность одного эмбеддинга составила (48, 128), то есть 48 векторов длины 128 для первого описания. Там же показано создание коллекции с мультивекторами: задаётся размер каждого вектора (128), метрика сходства между векторами (COSINE) и метрика между мультивекторами (MAX_SIM). В примере используется in-memory режим QdrantClient(«:memory:»), что удобно для локальных экспериментов на малых объёмах данных.
В документации Weaviate по многовекторным эмбеддингам показано, что форма многовекторного эмбеддинга может различаться у разных объектов: например, (30, 64) — 30 векторов по 64 измерения, а (20, 64) — 20 векторов по 64 измерения. В примере с моделью jina-colbert-v2 формы эмбеддингов составили (22, 128), (25, 128) и (22, 128) для трёх объектов. Там же отмечено, что при использовании многовекторных эмбеддингов индекс может потребовать ручной настройки под мультивекторы, поскольку форма эмбеддингов отличается от одиночных векторов; при использовании интеграции с моделью это делается автоматически, а при предоставлении эмбеддингов вручную — настраивается вручную.
Для проверки на своём корпусе полезно начать с малого набора и in-memory режима, затем перейти к реальному объёму. Ручной эталон релевантности — основа сравнения: без него ранжирование не с чем сопоставить.
Частые вопросы
Что такое ColBERT простыми словами?
ColBERT — модель поиска, которая кодирует текст в набор векторов по токенам. Сравнение запроса и документа откладывается до момента оценки, поэтому подход называют поздним взаимодействием. Это даёт детализацию на уровне токенов при независимом кодировании документов.
Чем ColBERT отличается от cross-encoder?
Cross-encoder обрабатывает запрос и документ вместе, поэтому эмбеддинги документов нельзя предвычислить. ColBERT кодирует документы независимо и сохраняет их представления, а взаимодействие выполняет при оценке. За счёт этого ColBERT обычно быстрее на инференсе, чем cross-encoder.
Как работает MaxSim?
Для каждого токена запроса считается сходство со всеми токенами документа, берётся максимум по документу, затем максимумы складываются. Итоговая сумма — оценка пары «запрос-документ». Для запроса с 32 токенами и документа со 128 токенами нужно 32×128 операций сходства.
Сколько памяти занимает многовекторный эмбеддинг?
В документации Weaviate приведён пример: одиночный вектор размерности 1536 занимает 6 кБ, а многовекторный из 64 векторов по 96 измерений — 25 кБ, более чем в четыре раза больше. Точные требования зависят от числа токенов и размерности. В блоге Vespa показан расчёт: при 32 измерениях и bfloat16 — 32 ГБ для 9 млн документов, при 128 измерениях и float32 — около 256 ГБ.
Где взять модель ColBERT?
В документации Qdrant по FastEmbed показан список поддерживаемых моделей позднего взаимодействия, включая colbert-ir/colbertv2.0 с размерностью 128 и answerdotai/answerai-colbert-small-v1 с размерностью 96. Репозиторий stanford-futuredata/ColBERT на GitHub предлагает предобученный чекпоинт ColBERTv2, обученный на MS MARCO Passage Ranking. Модели доступны через Hugging Face.
