Что такое DLQ: очередь сообщений с ошибками — это место для сообщений, выведенных из обычной обработки. DLQ (dead-letter queue) может получать сообщения после исчерпания попыток, истечения срока жизни или явного отклонения; условия задаёт брокер. В Amazon SQS такая очередь называется dead-letter queue, в Azure Service Bus — DLQ внутри основной сущности, в RabbitMQ dead letter exchange маршрутизирует сообщения в настроенную очередь-приёмник, а в Google Pub/Sub — dead-letter topic. Дальше разберём, зачем её выделяют, как отличить временный сбой от постоянного и как безопасно вернуть исправленные сообщения в работу.
Зачем отдельная очередь
Основная очередь держит поток задач, которые обработчик забирает и подтверждает. Когда сообщение падает с ошибкой, у системы есть два пути: повторять доставку бесконечно или где-то остановиться. Бесконечный повтор блокирует прогресс и маскирует дефект, поэтому брокеры дают отдельное место для неудачных сообщений. В документации Amazon SQS прямо сказано, что DLQ нужны для отладки приложения: необработанные сообщения изолируют, чтобы понять, почему обработка не прошла. Документация Azure Service Bus описывает назначение DLQ так: хранить сообщения, которые не удалось доставить ни одному получателю или которые не удалось обработать, чтобы потом их извлечь и изучить.
Изоляция даёт три практических эффекта. Первый: основная очередь продолжает двигаться, а сбойное сообщение перестаёт занимать обработчик. Второй: у команды появляется объект для разбора — конкретное сообщение с причиной отказа. Третий: появляется точка контроля, где можно решить судьбу задачи вручную или скриптом.
Важная граница: перемещение в DLQ фиксирует факт неудачи. Оно не означает, что бизнес-операция выполнена успешно, и не гарантирует, что внешний эффект не произошёл частично. Если обработчик успел списать деньги и упал на записи статуса, сообщение в DLQ будет соседствовать с уже совершённым платежом. Поэтому DLQ служит для разбора и повторного запуска. Резервное копирование и защита от повторного бизнес-эффекта требуют отдельных механизмов.
Отдельная очередь нужна и для наблюдаемости. Пустая DLQ сама по себе не доказывает здоровье конвейера: сообщения могли не поступить или не дойти до неё. Растущая DLQ — сигнал, что появился новый класс ошибок или изменился внешний сервис. Без выделенного места эти сообщения растворялись бы в общем потоке или бесконечно крутились в повторах.
Временный и постоянный сбой
Различие между временным и постоянным сбоем определяет, поможет ли повтор. Временный сбой проходит сам: сеть моргнула, внешний API вернул таймаут, база на секунду потеряла соединение. Постоянный сбой повтором не лечится: в сообщении нет обязательного поля, формат не соответствует схеме, получатель отвергает данные по бизнес-правилу.
Документация Google Pub/Sub приводит обе категории: подписчик может не справиться из-за временных проблем с получением данных, а может получить сообщение в формате, которого не ожидает. Это ровно два разных класса, и ведут они себя по-разному. Временный сбой имеет смысл повторить с задержкой. Постоянный сбой повторять бессмысленно: каждый повтор вернёт ту же ошибку и потратит ресурсы.
Практический признак для разделения — воспроизводимость. Повторение одной ошибки на том же сообщении — повод проверить данные и код. Постоянная ошибка конфигурации или среды тоже может воспроизводиться, поэтому одного текста ошибки для диагноза недостаточно. Если ошибка то появляется, то исчезает на разных сообщениях, вероятна инфраструктурная причина.
Отдельный случай — неопределённый исход. Обработчик отправил запрос во внешний сервис и не дождался ответа. Таймаут не говорит, выполнилась операция или нет. Повтор вслепую рискует создать дубль. Здесь нужен способ сверить фактическое состояние по ключу операции, прежде чем запускать сообщение снова. Документация Azure Service Bus описывает похожую ситуацию с подтверждением: если операция завершения сообщения не прошла, приложение решает, сохранить ли результат работы и проигнорировать повторную доставку, или отбросить результат и обработать сообщение заново. Механизм опознания дубля там же назван: проверка message-id, который отправитель задаёт уникальным значением.
Порог и причина переноса
Порог — это число попыток, после которого брокер переносит сообщение в DLQ. У каждого сервиса он задаётся своим параметром и своим значением по умолчанию.
| Сервис | Параметр порога | Значение по умолчанию | Условие переноса |
|---|---|---|---|
| Amazon SQS | maxReceiveCount в redrive policy | задаётся политикой | число получений сообщения из исходной очереди превышено |
| Azure Service Bus | MaxDeliveryCount | 10 | счётчик доставок превышен, причина MaxDeliveryCountExceeded |
| Google Pub/Sub | max delivery attempts | 5, диапазон от 5 до 100 | приблизительное число попыток исчерпано, перенос в dead-letter topic |
| RabbitMQ | delivery-limit для quorum-очередей | задаётся политикой | сообщение возвращалось больше раз, чем лимит |
Документация Amazon SQS предупреждает: слишком низкое значение maxReceiveCount, например 1, отправит сообщение в DLQ после единственной неудачной попытки. Для устойчивости к ошибкам значение ставят достаточно высоким, чтобы хватило повторов. Там же описан побочный эффект: для стандартных очередей с maxReceiveCount больше 3 сообщение, полученное 3 и более раза без удаления, перемещается в конец очереди, а метрика ApproximateAgeOfOldestMessage начинает отражать возраст следующего сообщения.
Причина переноса — второе поле, которое делает DLQ полезной. Azure Service Bus записывает в сообщение dead-letter reason и dead-letter description. Документация перечисляет системные коды: HeaderSizeExceeded при превышении размера, TTLExpiredException при истечении срока жизни, Session ID is null для сущности с сессиями, MaxTransferHopCountExceeded при превышении числа пересылок, MaxDeliveryCountExceeded при исчерпании попыток доставки. Приложение может задать собственный код причины. Документация рекомендует класть в DeadLetterReason тип исключения, а в DeadLetterDescription — трассировку стека, чтобы разбор шёл быстрее.
В RabbitMQ причина фиксируется в заголовке x-death. Документация перечисляет значения: rejected при отклонении сообщения, expired при истечении TTL, maxlen при превышении длины очереди, delivery_limit при превышении числа возвратов. Записи группируются по паре «очередь и причина», а самая свежая стоит первой. Заголовки x-first- хранят первое событие и не меняются, x-last- обновляются при каждом следующем.
Учебный разбор двух сообщений
Возьмём два сообщения из учебного примера и разберём, почему они ведут себя по-разному. Это проект, сообщения не отправлялись.
Первое: m1 = {order_id: 42, amount: 100}. Обработчик вызвал внешний API и получил таймаут. Исход операции неизвестен. Повторять вслепую опасно: если вызов на самом деле прошёл, повтор создаст вторую операцию. Перед повтором нужно сверить состояние по ключу операции во внешней системе и решить, выполнять ли действие заново.
Второе: m2 = {order_id: null, amount: 50}. Сообщение падает на валидации. Повтор не исправит null: сколько раз ни запускай, поле останется пустым. Причина переноса в DLQ — invalid_order_id. Здесь повтор бесполезен, нужно исправление данных или кода.
Разница видна в таблице.
| Признак | m1 (timeout) | m2 (валидация) |
|---|---|---|
| Класс сбоя | неопределённый исход | постоянный дефект данных |
| Помогает ли повтор | только после сверки состояния | нет |
| Действие до повтора | запрос состояния по ключу операции | исправление order_id |
| Причина в DLQ | зависит от результата сверки | invalid_order_id |
Для разбора удобно вести карточку сообщения. В учебном примере она включает поля message_id, original_queue, first_seen, last_error, attempts, payload_hash, owner, decision. Карточка отвечает на вопросы: откуда пришло, когда впервые упало, сколько раз пробовали, кто отвечает за разбор и какое решение принято. Поле payload_hash помогает опознать дубль, не храня тело сообщения целиком.
Порог в этом примере равен 3 попыткам. Это выбранная настройка учебного примера. Значения по умолчанию конкретных сервисов проверяются отдельно. Баланс партии: из 10 входящих сообщений 8 обработаны успешно, 2 ушли в DLQ. Перемещение в DLQ не считается успешной бизнес-операцией.
Redrive после исправления
Redrive — возврат сообщений из DLQ в обработку. Документация Amazon SQS называет это отдельной возможностью: сообщения можно вернуть из DLQ с помощью dead-letter queue redrive. Документация Azure Service Bus описывает простейший путь: после устранения причины отправить сообщение обратно в очередь или тему через Service Bus Explorer в портале Azure, где можно просмотреть сообщения, при необходимости отредактировать содержимое и свойства и отправить их заново по одному или пакетом.
Перед возвратом нужно выполнить условия. Корневая ошибка исправлена. Получатель идемпотентен, то есть повторная обработка того же сообщения не создаёт второй эффект. Скорость возврата ограничена, чтобы не обрушить внешний сервис. Персональные данные не попадают в журналы разбора. Остаток DLQ наблюдаем, чтобы видеть, убывает ли очередь.
Порядок действий для возврата выглядит так.
- Прочитать причину и описание из сообщения в DLQ.
- Сопоставить причину с классом сбоя: временный, постоянный, неопределённый.
- Исправить корневую ошибку: данные, код, настройку внешнего сервиса.
- Убедиться, что обработчик идемпотентен для этого типа сообщений.
- Ограничить скорость возврата.
- Вернуть сообщения и следить за метриками DLQ и основной очереди.
Отдельного внимания требует порядок. Документация Amazon SQS предупреждает: не стоит использовать DLQ с FIFO-очередью, если важно сохранить точный порядок сообщений или операций. Пример из документации — список монтажных решений для видеоредактора, где смена порядка меняет контекст последующих правок. Возврат сообщений из DLQ может нарушить первоначальный порядок.
Идемпотентность и порядок
Идемпотентность означает, что повторная обработка одного сообщения даёт тот же результат, что и однократная. Это свойство обязательно для безопасного redrive. Документация Azure Service Bus называет проектирование идемпотентной обработки критичным и описывает типичный механизм: отправитель задаёт message-id уникальным значением, а получатель игнорирует повторную доставку уже выполненной задачи. Пример из документации — планировщик заданий, который ставит в message-id идентификатор задания, а исполнитель пропускает второе назначение, если работа уже сделана.
Порядок — второе ограничение. Очереди с гарантией порядка, такие как FIFO, дают последовательность обработки, но перенос в DLQ её разрывает. После возврата сообщения исходный порядок обработки нужно проверять по правилам конкретного брокера. Для операций, где важен контекст предыдущих шагов, это меняет смысл. Решение — либо не использовать DLQ на таких очередях, либо проектировать обработку так, чтобы порядок не был критичен.
В RabbitMQ есть отдельный риск. Документация предупреждает: по умолчанию dead-lettered сообщения переопубликовываются без publisher confirms, поэтому использование DLX в кластере не гарантирует сохранность. Сообщения удаляются из исходной очереди сразу после публикации в целевую, и при недоступности целевой очереди они могут потеряться. Quorum-очереди поддерживают at-least-once dead-lettering, где переопубликация идёт с включёнными publisher confirms. Документация также описывает возможность цикла dead-lettering, когда сообщение возвращается в ту же очередь; RabbitMQ обнаруживает цикл и отбрасывает сообщение, если во всём цикле не было отклонения.
Метрики и срок хранения
Метрики показывают, что происходит с DLQ. В Amazon SQS метрика ApproximateAgeOfOldestMessage для DLQ показывает время с момента переноса в неё самого старого сообщения. В Google Pub/Sub метрика subscription/dead_letter_message_count считает число недоставленных сообщений, которые сервис переслал из подписки. В Azure Service Bus счётчик сообщений DLQ доступен через Azure CLI и обозреватель Service Bus; на уровне темы счётчик не применяется, потому что сообщения там не задерживаются и сразу уходят в подписки.
Срок хранения — самая неоднородная часть. В Amazon SQS для стандартных очередей истечение сообщения считается от исходной метки постановки в очередь, и при переносе в DLQ эта метка не меняется. Документация приводит пример: сообщение провело 1 день в исходной очереди, срок хранения DLQ равен 4 дням, значит из DLQ оно удалится через 3 дня. Отсюда рекомендация: ставить срок хранения DLQ больше, чем у исходной очереди. Для FIFO-очередей метка сбрасывается при переносе, и в том же примере сообщение удалится через 4 дня.
В Azure Service Bus DLQ устроена иначе. Документация указывает: время жизни не соблюдается, автоматической очистки DLQ нет, сообщения остаются до явного извлечения и завершения. Это значит, что DLQ там растёт, пока её не разберут вручную или скриптом.
В Google Pub/Sub срок определяется политикой хранения подписки, привязанной к dead-letter topic. Документация отмечает: если к dead-letter topic прикреплена подписка, для перенесённых сообщений действует политика подписки-приёмника. Срок исходной подписки с настройкой dead-letter к ним не переносится.
Общее правило: DLQ не заменяет резервную копию. Сообщения в ней живут по правилам конкретного сервиса, и часть из них исчезнет по истечении срока. Если данные критичны, их нужно выгружать во внешнее хранилище.
Частые вопросы
Что такое dead letter queue простыми словами?
Это место для сообщений, выведенных из обычной обработки по правилам брокера: например, после исчерпания попыток, истечения срока жизни или отклонения. Она изолирует сбойные сообщения от основного потока и хранит причину отказа. Разбор и повторный запуск происходят уже из неё.
Как отличить временный сбой от постоянного?
Временный сбой может исчезнуть после восстановления сети или внешнего сервиса. При таймауте сначала проверьте, произошло ли внешнее действие. Ошибка обязательного поля или схемы требует исправления данных либо кода; повтор неизменённого сообщения её не устранит.
Сколько попыток ставить до переноса в DLQ?
Значение зависит от сервиса. В Azure Service Bus по умолчанию 10, в Google Pub/Sub по умолчанию 5 при диапазоне от 5 до 100, в Amazon SQS порог задаётся политикой redrive. Слишком низкое значение отправит сообщение в DLQ после единственной неудачи.
Можно ли вернуть сообщения из DLQ обратно?
Да, это называется redrive. В Amazon SQS для этого есть отдельная возможность, в Azure Service Bus возврат делают через обозреватель в портале. Перед возвратом нужно исправить корневую ошибку и убедиться, что получатель идемпотентен.
Очищается ли DLQ автоматически?
Зависит от сервиса. В Azure Service Bus автоматической очистки нет, сообщения остаются до явного удаления. В Amazon SQS и Google Pub/Sub действуют сроки и политика хранения конкретного сервиса. DLQ не заменяет резервную копию.
