Вопрос «Что такое ALiBi: линейное смещение во внимании» относится к способу сообщить механизму attention порядок токенов через штраф за расстояние. В первичной работе (arxiv.org) сказано: «ALiBi does not add positional embeddings to word embeddings; instead, it biases query-key attention scores with a penalty that is proportional to their distance». Позиционные векторы к эмбеддингам не добавляются, а к логитам внимания прибавляется отрицательная величина, растущая с дистанцией.
Зачем вниманию расстояние
Self-attention без позиционной информации и маски не кодирует порядок: при одинаковой перестановке входных токенов соответствующим образом переставляется и выход. Матрица скалярных произведений при этом тоже переставляется; она не остаётся буквально неизменной. Порядок приходится вносить извне — позиционными эмбеддингами, вращением или смещением.
Документация Composer (docs.mosaicml.com) описывает выбор так: «ALiBi dispenses with traditional position embeddings and instead adds a static, non-learned bias to the query-key attention scores». Смещение статическое и не обучается, поэтому в графе вычислений не появляется новых параметров.
Зачем это нужно на практике, объясняет та же документация: число операций для self-attention и объём GPU-памяти под представления растут как квадрат длины последовательности. Метод, который позволяет обучаться на коротких входах и работать на длинных, экономит и вычисления, и память.
Первичная работа приводит конкретный замер: модель на 1.3 млрд параметров обучалась на последовательностях длиной 1024 и экстраполировала на 2048, показав ту же perplexity, что модель с синусоидальными позиционными эмбеддингами, обученная сразу на 2048, при обучении на 11% быстрее и с 11% меньшим расходом памяти.
Отдельно работа связывает улучшение perplexity на длинных входах с лучшим обходом early token curse — эффекта, при котором начало длинного контекста обрабатывается хуже. Объяснение относится к заявленному результату; качество на других задачах требует отдельной проверки.
Практический вывод для читателя: расстояние во внимании нужно, чтобы модель различала «кот укусил пса» и «пёс укусил кота». ALiBi решает эту задачу дешёвым способом — арифметикой над логитами, без отдельного слоя эмбеддингов и без новых обучаемых весов.
Штраф до softmax
Ключевая деталь — место прибавления. Обзор на nn.labml.ai формулирует прямо: «This replaces positional encodings with biases added to attention scores (attention logits, before the softmax)». Смещение идёт в логиты, до нормировки.
Формула в README проекта Flash Attention (github.com/Dao-AILab) записана так: «A bias of (-alibi_slope * |i — j|) is added to the attention score of query i and key j». Здесь i — позиция запроса, j — позиция ключа, alibi_slope — наклон для конкретной головы.
Почему «до softmax» принципиально, объясняет nn.labml.ai: «The biases decrease linearly in the log scale (because it’s before the softmax) and each head has a different slope». Линейное убывание происходит в логарифмической шкале, то есть в пространстве логитов. После softmax линейность исчезает, и штраф превращается в плавное перераспределение вероятностей.
Разберём порядок действий по шагам:
- Вычислить скалярные произведения запроса со всеми доступными ключами.
- Разделить их на корень из размерности головы — получить scaled logits.
- Для каждой пары (i, j) вычислить штраф −m·(i−j), где m — наклон головы.
- Прибавить штраф к логитам.
- Применить каузальную маску: логиты будущих позиций заменить на −∞, чтобы их веса после softmax стали нулевыми.
- Взять softmax по строке — получить веса внимания.
Шаг 3 выполняется до шага 6. Если поменять порядок и вычесть штраф после softmax, получится другая операция с другим смыслом: нормировка перестанет учитывать расстояние, а сумма весов может перестать равняться единице.
Проверка корректности проста: после softmax веса по строке суммируются в единицу, а при равных исходных логитах ближайший ключ получает больший вес, чем дальний. Это арифметическое свойство, и его видно на бумаге без запуска модели.
Разные наклоны голов
Многоголовое внимание даёт естественное место для разнообразия. README проекта ofirpress (github.com/ofirpress) сообщает: «The ‘m’ hyperparam is head-specific and is not learned- it is set at the beginning of training». Наклон привязан к голове, задаётся до обучения и в процессе не меняется.
Там же указано, что значения генерируются автоматически: «We have a function that automatically generates these m values given the number of heads in the model». Читателю не нужно подбирать наклоны вручную — их выдаёт функция по числу голов.
Зачем разные наклоны: одна голова с большим m резко предпочитает близкие токены, другая с малым m смотрит дальше. Так модель получает несколько масштабов локальности одновременно, и на уровне слоя смешивает их выходы.
Сравним поведение двух голов на одном входе:
| Голова | Наклон m | Штраф для j=0,1,2 при i=2 | Итоговые логиты | Веса softmax |
|---|---|---|---|---|
| Первая | 0.5 | −1, −0.5, 0 | 1, 1.5, 2 | ≈0.1863, 0.3072, 0.5065 |
| Вторая | 1 | −2, −1, 0 | 0, 1, 2 | ≈0.0900, 0.2447, 0.6652 |
Значения m = 0.5 и m = 1 заданы для учебного разбора; официальную схему наклонов конкретной архитектуры они не воспроизводят. Смысл таблицы в направлении эффекта: рост наклона усиливает концентрацию веса на ближней позиции.
В исходном ALiBi наклон не является обучаемым параметром. Самовольная смена m после обучения меняет распределение внимания и выходит за описанную конфигурацию; её последствия нужно проверять отдельно. Это не означает, что для подачи более длинной последовательности нужно менять m.
Полный пример для трёх токенов
Возьмём учебный пример: запрос на позиции i = 2, доступные ключи j = 0, 1, 2. Исходные scaled logits равны [2, 2, 2] — до ALiBi вероятности трёх позиций одинаковы, по 1/3.
Для первой головы с m = 0.5 штраф равен −m·(i−j) = [−1, −0.5, 0]. Итоговые логиты: [1, 1.5, 2]. Softmax даёт примерно [0.1863, 0.3072, 0.5065].
Для второй головы с m = 1 штраф равен [−2, −1, 0], логиты [0, 1, 2], softmax примерно [0.0900, 0.2447, 0.6652].
Сравнение с исходным состоянием:
| Состояние | Логиты | Веса |
|---|---|---|
| Без ALiBi | 2, 2, 2 | 1/3, 1/3, 1/3 |
| Голова m=0.5 | 1, 1.5, 2 | 0.1863, 0.3072, 0.5065 |
| Голова m=1 | 0, 1, 2 | 0.0900, 0.2447, 0.6652 |
Проверка: в каждой строке веса суммируются в единицу, ближайший ключ j=2 получает наибольший вес, дальний j=0 — наименьший. Результат рассчитан по заданным числам; forward pass реальной модели не выполнялся.
Что пример показывает и чего не показывает. Он показывает, как отрицательное смещение при положительном m перераспределяет внимание в пользу близких токенов при равных исходных логитах. Он не доказывает, что модель с ALiBi даст лучший ответ или что контекст станет безлимитным. Из арифметики логитов качество генерации не выводится.
Практическая ценность примера — в проверке собственной реализации. Если после подстановки m = 0.5 и логитов [2, 2, 2] веса не совпадают с [0.1863, 0.3072, 0.5065], где-то перепутан знак штрафа или порядок операций относительно softmax.
Каузальная маска
Авторегрессионная модель не должна видеть будущие токены. README Flash Attention описывает параметр так: «causal: bool. Whether to apply causal attention mask (e.g., for auto-regressive modeling)». Флаг включает маску, обнуляющую вклад будущих позиций.
Взаимодействие маски и штрафа важно для понимания границ метода. В нашем примере ключ j = 3 недоступен запросу i = 2 из-за каузальной маски. Его нельзя вернуть в контекст уменьшением штрафа: маска исключает позицию до нормировки.
Порядок операций в реализации:
- Сформировать логиты запроса со всеми ключами.
- Прибавить штраф ALiBi.
- Наложить каузальную маску: позиции j > i получить −∞.
- Взять softmax.
После шага 3 будущие позиции дают нулевой вес независимо от величины штрафа. Штраф и маска решают разные задачи: маска запрещает доступ, штраф задаёт предпочтение среди разрешённых.
Для конечного смещения прибавление его к замаскированному значению −∞ оставляет −∞, поэтому маску и bias можно совмещать. Важно сохранить запрет будущих позиций: ноль в логите такого запрета не создаёт, а произвольное конечное отрицательное число само по себе не гарантирует точный нулевой вес. Поведение специализированного ядра проверяют по его API.
Документация Composer предупреждает о тихой деградации: «if you use ALiBi with an unsupported model type a logger warning will be generated but no error will be raised». При неподдерживаемом типе модели появится предупреждение в логе, а исключение не возникнет. Результат обучения при этом может оказаться не тем, который ожидался.
Отличие от RoPE
RoPE и ALiBi решают одну задачу — внести информацию о позиции — разными средствами. RoPE вращает векторы запроса и ключа на угол, зависящий от позиции, и кодирует расстояние через относительный поворот. ALiBi прибавляет скалярный штраф к логитам и не трогает сами векторы.
Сравнение по явным критериям:
| Критерий | ALiBi | RoPE |
|---|---|---|
| Где применяется | Логиты внимания | Векторы Q и K |
| Обучаемые параметры | Нет | Нет |
| Наклоны по головам | Есть, фиксированы | Не применимо |
| Позиционные эмбеддинги | Не добавляются | Не добавляются |
| Место в графе | До softmax | До скалярного произведения |
README ofirpress подчёркивает архитектурное решение: «Instead of adding position embeddings at the bottom of the transformer stack (which we don’t) we add a linear bias to each attention score». Позиционные эмбеддинги в начале стека не добавляются, смещение идёт на уровне каждого attention-счёта.
При чтении реализации важно различать изменение Q/K и прибавление bias к готовым логитам. Выбор позиционного метода согласуют с архитектурой и обученным чекпоинтом.
Обе схемы совместимы с оптимизированными ядрами. README Flash Attention принимает параметр alibi_slopes формы (nheads,) или (batch_size, nheads) в fp32 — то есть наклоны передаются в ядро явным массивом.
Ограничения длинного контекста
Экстраполяция длины — главное обещание метода и главный источник неверных ожиданий. Первичная работа сообщает о модели 1.3B, обученной на 1024 токенах и экстраполирующей на 2048 с той же perplexity, что у синусоидальной модели, обученной на 2048, при 11% ускорения обучения и 11% экономии памяти.
Это результат конкретного эксперимента с конкретной моделью и длинами. Он не превращается в универсальное правило «ALiBi даёт бесконечный контекст».
Работа объясняет улучшение perplexity на длинных входах лучшим обходом early token curse. Улучшение perplexity на языковой модели — метрика предсказания следующего токена, и она не равна подтверждённому лучшему использованию дальних зависимостей в прикладной задаче.
Что остаётся за рамками метода:
- Квадратичная сложность attention по длине сохраняется: число операций и память растут как квадрат длины последовательности.
- Качество за пределами обучающего диапазона проверяют на конкретной модели и задаче; наличие bias само по себе его не определяет.
- При увеличении рабочей длины наклоны остаются фиксированными. Нужны отдельная оценка качества и проверка поддержки длины реализацией; обязательное повторное обучение из этого не следует.
Практический порядок проверки для своей задачи: обучить на коротких входах, замерить perplexity на длине обучения, затем на удвоенной длине, сравнить с базовой моделью на тех же данных. Расхождение между заявленным результатом статьи и своим замером — нормальная ситуация, потому что условия экспериментов различаются.
Частые вопросы
Что такое alibi attention простыми словами?
Это attention, в котором к логитам добавляется отрицательное смещение, пропорциональное расстоянию между токенами. При положительном наклоне и равных исходных логитах дальний доступный ключ получает меньший вес после softmax. В общем случае вес также зависит от сходства запроса и ключа. Позиционные эмбеддинги к входным векторам не добавляются.
Почему штраф прибавляется до softmax?
Softmax нормирует логиты в вероятности, и любое слагаемое, добавленное после нормировки, исказит сумму весов. Прибавление до softmax сохраняет линейное убывание в логарифмической шкале и корректное распределение вероятностей по доступным ключам.
Чем ALiBi отличается от RoPE?
RoPE вращает векторы запроса и ключа на позиционно-зависимый угол. ALiBi оставляет векторы без изменений и прибавляет скалярный штраф к логитам внимания. Обе схемы не добавляют обучаемых параметров, но меняют разные части вычисления.
Можно ли обучить наклоны голов?
В README проекта ofirpress указано, что параметр m привязан к голове и задаётся в начале обучения. Значения генерируются функцией по числу голов. В исходной схеме наклон фиксирован и не обновляется оптимизатором; изменение этого правила означало бы другой вариант метода.
Даёт ли ALiBi бесконечный контекст?
Первичная работа показывает экстраполяцию с 1024 на 2048 токенов для модели на 1.3 млрд параметров с сопоставимой perplexity. Квадратичная сложность attention по длине сохраняется, а качество за пределами обучающего диапазона зависит от эксперимента и модели.
