Вопрос «Что такое SwiGLU: вентиль внутри слоя нейросети» относится к FFN-блоку, где одна проекция проходит через SiLU, а вторая служит множителем. Результат возвращается к ширине модели. Ниже — устройство блока, формула и учебный числовой пример.
Что делает FFN
Feed-forward network (FFN) — часть трансформерного слоя, которая обрабатывает каждый токен отдельно после механизма внимания. Входной вектор шириной d_model проходит через промежуточную проекцию, нелинейность и обратную проекцию к исходной ширине. Классический FFN содержит две весовые матрицы: расширяющую и сужающую.
В работе «GLU Variants Improve Transformer» на arXiv описано семейство вариантов, где таких матриц три: «All of these layers have three weight matrices, as opposed to two for the original FFN». Третья матрица появляется из-за вентиля: одна ветвь формирует сигнал, вторая управляет его пропуском. Авторы той же работы сообщают, что варианты GEGLU и SwiGLU дают лучшие значения перплексии среди рассмотренных.
Промежуточная ширина обычно больше ширины модели. В обзоре Себастьяна Рашки на его сайте приведено соотношение: при выборе промежуточной ширины около двух третей от исходной расширенной конфигурации два блока получают сопоставимое число весов и бюджет матричных умножений. Реальные конфигурации моделей часто округляют промежуточную ширину до удобного для оборудования кратного или задают иной бюджет; источником истины остаётся конфигурация архитектуры.
Практический смысл FFN: именно здесь модель тратит основную часть параметров и вычислений на токен. Вентильная схема меняет способ смешивания признаков внутри этого блока, сохраняя общий каркас слоя. Механизм внимания, длина контекста и KV-кэш остаются прежними: в том же обзоре прямо сказано, что SwiGLU не уменьшает матрицу внимания, длину контекста или KV-кэш.
Для читателя, который пришёл с запросом «swiglu ffn» или «swiglu mlp», важно удержать одну мысль: В обычном описании LLM под SwiGLU часто понимают вентильный FFN-блок внутри слоя трансформера. Он встраивается туда, где раньше стоял обычный двухматричный блок, и меняет внутреннюю арифметику.
SiLU и ветвь ворот
SiLU (Sigmoid Linear Unit) — поэлементная функция активации. В документации PyTorch по torch.nn.SiLU сказано: «Applies the Sigmoid Linear Unit (SiLU) function, element-wise». Там же указано, что SiLU известна также как swish, и приведена формула: silu(x) = x * σ(x), где σ(x) — логистическая сигмоида.
Разберём формулу по частям. Сигмоида σ(x) = 1 / (1 + exp(-x)) сжимает любое число в интервал от нуля до единицы. Умножение на исходный x даёт функцию, которая пропускает положительные значения почти без изменений, слегка занижает их у нуля и подавляет большие отрицательные значения. График гладкий, без излома в нуле.
В SwiGLU эта функция применяется к одной из двух проекций. В обзоре на сайте sebastianraschka.com описан порядок: блок вычисляет две проекции одного и того же представления токена, применяет активацию SiLU к одной проекции, поэлементно умножает два пути и проецирует результат обратно к ширине модели.
Ветвь, к которой применяется SiLU, называют воротной по смыслу её роли: её значения покоординатно масштабируют вторую ветвь. SiLU не ограничена диапазоном от нуля до единицы: возможны усиление и небольшие отрицательные множители. Термин «ворота» здесь описывает функцию в формуле. В разных API порядок обозначения двух ветвей отличается, поэтому принадлежность ветви нужно определять по формуле и документации API.
Отдельно стоит сказать о смещениях. В том же обзоре отмечено: «SwiGLU itself does not require a bias-free design». Смещения можно оставлять, если так задана конфигурация; наличие или отсутствие смещений задаёт конкретная реализация.
Вторая ветвь и умножение
Вторая проекция не проходит через активацию. Она даёт линейное преобразование того же входа и служит множителем для результата первой ветви. Поэлементное умножение означает, что каждая координата одной ветви умножается на координату с тем же индексом в другой ветви.
Формально блок записывается так:
SwiGLU(x) = (SiLU(x * W_gate)) ⊙ (x * W_up)
Здесь ⊙ — поэлементное произведение, W_gate и W_up — две расширяющие матрицы. После умножения результат проходит через W_down и возвращается к ширине модели. Именно три матрицы и дают тот счёт, о котором говорит первичная работа.
В документации NVIDIA Transformer Engine приведена сигнатура ядра nvte_swiglu: на вход подаётся тензор формы [N, H * 2], на выходе получается тензор формы [N, H], а вычисление описано как Act(input[N, :H]) x input[N, H:]. Это полезная иллюстрация: две ветви могут храниться в одной расширенной матрице, и ядро само разделяет половины. Активация применяется к первой половине, вторая половина служит множителем.
В документации PyTorch по torch.nn.GLU описан родственный механизм: функция принимает вход и делит его на две половины, одна из которых проходит через сигмоиду и умножает вторую. Формула в документации: GLU(a, b) = a ⊗ σ(b), где a — первая половина входных матриц, b — вторая. Это тот же принцип вентиля, но с сигмоидой и без отдельной активации SiLU.
Смысл умножения: вентиль работает как мягкий фильтр. Там, где значение ворот близко к нулю, соответствующая координата второй ветви гасится. Множитель около единицы сохраняет координату, большой положительный множитель усиливает её, отрицательный меняет знак. Гладкость SiLU делает этот фильтр дифференцируемым, что важно для обучения градиентным спуском.
Полный числовой пример
Возьмём учебный вход x = [0, 1] и две диагональные матрицы без смещений:
W_gate = [[1, 0],
[0, 1]]
W_up = [[2, 0],
[0, 3]]
Шаг первый: проекция ворот. gate = x * W_gate = [0, 1]. Первая координата обнуляется, вторая сохраняется.
Шаг второй: вторая проекция. up = x * W_up = [0, 3]. Здесь вторая координата масштабируется тройкой.
Шаг третий: активация SiLU на воротах. Считаем по формуле SiLU(z) = z / (1 + exp(-z)). Для z = 0 получаем ноль. Для z = 1 получаем 1 / (1 + exp(-1)), что равно 0.7310585786. Итог: SiLU(gate) = [0, 0.7310585786].
Шаг четвёртый: поэлементное умножение. SiLU(gate) * up = [0 * 0, 0.7310585786 * 3] = [0, 2.1931757358].
Шаг пятый: обратная проекция. Возьмём W_down как единичную матрицу [[1, 0], [0, 1]]. Тогда результат остаётся [0, 2.1931757358].
Проверим крайние случаи. Если вектор ворот нулевой, обе выходные координаты обнуляются независимо от второй ветви. Если вторая ветвь нулевая, результат тоже ноль. Эти свойства следуют прямо из умножения и не требуют запуска модели.
Матрицы здесь крошечные и заданы вручную. Матрицы заданы для проверки арифметики и не взяты из реального чекпоинта. Такой расчёт удобно повторить в блокноте или в калькуляторе, чтобы убедиться в порядке операций.
Возврат размерности
Размерности в блоке меняются дважды. На входе вектор имеет ширину модели. После двух расширяющих проекций обе ветви получают промежуточную ширину. После умножения форма сохраняется, а обратная проекция возвращает вектор к исходной ширине.
Проследим по примеру. Вход x имеет две координаты. Матрицы W_gate и W_up тоже квадратные двойки на двойку, поэтому промежуточная ширина совпадает с входной. В реальных моделях промежуточная ширина обычно больше ширины модели, и именно на этом шаге блок получает дополнительную ёмкость. В нашем примере размерности оставлены неизменными, чтобы арифметику можно было проверить вручную.
Обратная проекция W_down принимает промежуточную ширину и выдаёт ширину модели. Её форма — промежуточная ширина на ширину модели. В примере она тоже два на два, поэтому выход совпадает по форме с входом.
Таблица ниже собирает шаги и формы для учебного случая.
| Шаг | Операция | Форма результата | Значение |
|---|---|---|---|
| Вход | x |
1 × 2 | [0, 1] |
| Ворота | x * W_gate |
1 × 2 | [0, 1] |
| Вторая ветвь | x * W_up |
1 × 2 | [0, 3] |
| Активация | SiLU(gate) |
1 × 2 | [0, 0.7310585786] |
| Умножение | SiLU(gate) * up |
1 × 2 | [0, 2.1931757358] |
| Выход | * W_down |
1 × 2 | [0, 2.1931757358] |
Проверка формы — самый быстрый способ поймать ошибку в реализации. Если после обратной проекции ширина не совпадает с шириной входа, блок собран неправильно. Если две ветви имеют разную промежуточную ширину, поэлементное умножение не выполнится.
Чем отличается GLU
GLU (Gated Linear Unit) — общий принцип вентиля, где одна часть входа управляет другой через сигмоиду. В документации PyTorch по torch.nn.GLU приведена формула GLU(a, b) = a ⊗ σ(b): первая половина входа умножается на сигмоиду второй половины.
SwiGLU заменяет сигмоиду в вентиле на SiLU, то есть произведение сигмоиды и её аргумента. В полном FFN обе схемы могут использовать две входные проекции и одну выходную. Разделение уже подготовленного тензора пополам — способ организации вычислений: он доступен и для SwiGLU, как показывает ядро NVIDIA, и сам по себе не отличает математику этих блоков.
Таблица сравнивает полные вентильные FFN из первичной работы; модуль nn.GLU сам по себе не включает весовые проекции:
| Признак | GLU | SwiGLU |
|---|---|---|
| Функция на воротах | сигмоида | SiLU (swish) |
| Ветви полного FFN | две проекции; их можно объединить в один тензор | две проекции; их можно объединить в один тензор |
| Число весовых матриц в FFN | три | три |
| Смещения | допустимы | допустимы |
| Влияние на внимание и KV-кэш | отсутствует | отсутствует |
Различие в активации меняет форму вентиля. Сигмоида ограничена интервалом от нуля до единицы и монотонно растёт. SiLU имеет минимум в области отрицательных значений и допускает небольшие отрицательные пропуски. Это меняет то, как блок гасит и пропускает признаки.
В документации NVIDIA Transformer Engine присутствует отдельный вариант CLAMPED_SWIGLU, связанный с моделью GPT-OSS. У него есть собственные параметры ограничения и сдвига. Эти параметры относятся к названному варианту и не переносятся на исходную формулу SwiGLU.
Где заканчивается вывод по формуле
Формула SwiGLU описывает прямой проход блока: две проекции, активация, умножение, обратная проекция. Всё, что выходит за эти операции, требует отдельного подтверждения.
Формула не утверждает, что блок быстрее или качественнее альтернатив. Первичная работа сообщает о значениях перплексии в своём эксперименте, и это утверждение относится к конкретному набору тестов. Переносить его на любую задачу нельзя.
Формула не описывает экономию памяти. В обзоре на сайте sebastianraschka.com прямо сказано, что SwiGLU не уменьшает матрицу внимания, длину контекста или KV-кэш. Экономия, если она есть, приходит из других решений.
Формула не задаёт способ вычисления. В том же обзоре отмечено, что объединённые ядра могут совмещать активацию и поэлементное умножение. Объединение операций меняет организацию вычислений, сохраняя выражение блока.
Формула не фиксирует промежуточную ширину. Соотношение около двух третей — ориентир для сопоставимого бюджета, а конкретное значение задаёт конфигурация архитектуры.
Что можно проверить самостоятельно: арифметику прямого прохода на маленьких матрицах, совпадение форм на входе и выходе, поведение при нулевых ветвях. Это ровно тот объём, который покрывает учебный пример выше.
Частые вопросы
Что такое SwiGLU простыми словами?
SwiGLU — блок внутри слоя нейросети, где одна проекция входа проходит через активацию SiLU, а вторая служит множителем. Результат умножения возвращается к ширине модели отдельной матрицей. Это разновидность feed-forward блока в трансформере.
Чем SwiGLU отличается от обычного FFN?
Обычный FFN содержит две весовые матрицы, SwiGLU — три. Третья матрица появляется из-за вентиля: одна ветвь формирует сигнал, вторая управляет его пропуском. Об этом сказано в первичной работе на arXiv.
Почему в SwiGLU используется SiLU?
SiLU гладкая и дифференцируемая, что удобно для обучения. В документации PyTorch она определена как x * σ(x) и известна также как swish. Гладкий вентиль даёт мягкое подавление признаков вместо резкого отсечения.
Как проверить SwiGLU вручную?
Возьмите вход из двух чисел и две диагональные матрицы. Посчитайте проекции, примените SiLU к первой, перемножьте поэлементно со второй, затем умножьте на обратную матрицу. Сверьте формы на входе и выходе.
Уменьшает ли SwiGLU потребление памяти?
В обзоре на сайте sebastianraschka.com указано, что SwiGLU не уменьшает матрицу внимания, длину контекста или KV-кэш. Расход памяти определяется конфигурацией модели и способом вычислений. Формула блока сама по себе этот вопрос не решает.
