Что такое Schema Registry: версии схем сообщений хранятся в центральном репозитории. Schema Registry — это хранилище схем сообщений и их версий. В документации Confluent сказано, что Schema Registry служит центральным репозиторием для управления и проверки схем данных топиков, а также для сериализации и десериализации данных в сети. Версии схем сообщений позволяют менять структуру данных, сохраняя читаемость уже записанных сообщений.
Почему версии нужны
Продюсеры и потребители обмениваются сырыми байтами. В документации Redpanda сказано, что сообщения между продюсерами и потребителями содержат сырые байты. Смысл этих байтов задаёт схема: имена полей, типы, порядок. Пока схема одна, стороны понимают друг друга. Как только продюсер добавляет поле, меняет тип или удаляет атрибут, старый потребитель может прочитать байты иначе или вовсе не разобрать их.
Версии фиксируют каждое изменение структуры. В документации AWS Glue сказано, что каждая схема может иметь несколько версий. Это даёт истории изменений: видно, какая структура действовала в какой момент. Без истории невозможно понять, чем именно различаются сообщения, записанные неделю и месяц назад.
Версия нужна ещё и для проверки совместимости. В документации AWS Glue сказано, что режимы совместимости позволяют управлять тем, как схемы могут или не могут развиваться со временем. Проверка происходит в момент регистрации новой версии, до того как продюсер начнёт писать данные в новом формате. Это переносит обнаружение конфликта на этап подготовки, где ошибку дешевле исправить.
Практический смысл версий — предсказуемость. Команда видит, какие изменения уже приняты, какие отклонены, и может откатиться к предыдущей структуре. Версия становится единицей договора между сервисами: пока стороны ссылаются на совместимые версии, обмен работает.
Есть и организационный эффект. Схема перестаёт быть знанием отдельного разработчика и становится общим артефактом с номером. Новый участник команды открывает историю версий и видит, как менялась структура заказов или событий. Это помогает выяснить, почему поле получило именно такой тип.
Наконец, версии поддерживают параллельную работу. Один сервис уже обновился, другой ещё нет. Пока обе версии зарегистрированы и признаны совместимыми, оба продолжают работать. Переход завершается, когда обновится последний потребитель.
ID схемы и сообщение
Схема целиком в каждом сообщении — дорого. В документации Confluent сказано, что Schema Registry оптимизирует передаваемый по сети объём, передавая идентификатор схемы вместо полного её определения. Полезная нагрузка остаётся компактной, а структура берётся из хранилища.
В документации Microsoft по Azure Event Hubs отмечено, что каждому сообщению не нужно включать метаданные с типами и именами полей, как это происходит в форматах с тегами вроде JSON. Потребитель знает схему по идентификатору и разбирает байты согласно ей.
Устройство registry описано в документации Confluent: в основе лежат две части — REST-сервис для проверки, хранения и выдачи схем Avro, JSON Schema и Protobuf, а также сериализаторы и десериализаторы, которые подключаются к клиентам Apache Kafka и обеспечивают хранение и получение схем для сообщений во всех трёх форматах.
Идентификатор схемы привязывает конкретное сообщение к конкретной структуре. В описанном Redpanda wire format сериализатор помещает ID в начало записи после служебного байта. Десериализатор ищет схему в кэше или получает её из registry по ID и затем разбирает данные. Для других реализаций проверяйте их формат записи отдельно.
Важное различие: ID схемы указывает на структуру. Версию конкретных данных он не обозначает. Два сообщения с одинаковым ID могут нести разные значения полей. Идентификатор позволяет найти правила чтения байтов. Значения конкретного сообщения остаются в его полезной нагрузке.
В документации Redpanda отмечено, что брокеры можно настроить на проверку того, что продюсеры используют нужный формат записи и что схема существует. Полную полезную нагрузку брокеры при этом не проверяют. Такая брокерская проверка касается формата записи и наличия схемы. Корректность каждого значения она не подтверждает.
Backward/forward/full
Режимы совместимости описывают направления чтения. В документации Confluent сказано, что BACKWARD-совместимость означает: потребители с новой схемой могут читать данные, записанные по последней схеме. Новый читатель разбирает старые сообщения.
Обратное направление — forward. Старый потребитель читает данные, записанные по новой схеме. В документации Confluent сказано, что FULL-совместимость означает, что схемы совместимы и в обратном, и в прямом направлении.
| Режим | Кто читает | Что происходит |
|---|---|---|
| BACKWARD | новый потребитель, старые данные | новый читатель разбирает записи прошлой версии |
| FORWARD | старый потребитель, новые данные | старый читатель разбирает записи новой версии |
| FULL | оба направления | совместимость в обе стороны |
В документации AWS Glue сказано, что версия схемы, помеченная как контрольная точка, используется для определения совместимости при регистрации новых версий. Контрольная точка задаёт базу сравнения: база сравнения определяется выбранной политикой и контрольной точкой.
В документации Confluent отмечено, что транзитивная проверка совместимости важна, когда у схемы для данного subject больше двух версий. Сравнение только с последней версией пропускает конфликты с более ранними структурами, которые всё ещё используются в работающих потребителях.
Отдельно стоит держать в голове, что nullable-поле и поле со значением по умолчанию — разные механизмы. В примере из документации Confluent новое поле favorite_color получает значение по умолчанию «green». Здесь задано строковое значение по умолчанию; nullable-объединение этим не вводится. Смешивать эти приёмы в одной проверке не стоит.
Учебное добавление поля
Разберём бумажный пример на Avro. Это учебная иллюстрация разрешения writer/reader. SDK не запускался, в реальный Schema Registry ничего не записывали.
Схема v1:
{"type":"record","name":"Order","fields":[{"name":"order_id","type":"string"},{"name":"amount","type":"int"}]}
Схема v2 с тем же именем record:
{"type":"record","name":"Order","fields":[{"name":"order_id","type":"string"},{"name":"amount","type":"int"},{"name":"currency","type":"string","default":"RUB"}]}
Сообщение M1, записанное writer v1:
{"order_id":"O-17","amount":100}
Сообщение M2, записанное writer v2:
{"order_id":"O-18","amount":150,"currency":"EUR"}
Направление A: reader v2 читает M1, записанное writer v1. Ожидаемая разрешённая запись — {"order_id":"O-17","amount":100,"currency":"RUB"}. Поле currency берётся из значения по умолчанию у читателя, поскольку у writer v1 этого поля нет. Это иллюстрация backward-направления.
Направление B: reader v1 читает M2, записанное writer v2. Ожидаемая запись у читателя — {"order_id":"O-18","amount":150}. Неизвестное читателю поле currency игнорируется по правилам разрешения Avro. Это иллюстрация forward-направления. Правила JSON Schema и Protobuf устроены иначе, и переносить этот вывод на них не стоит.
Добавление поля со значением по умолчанию — типовой способ расширить структуру. Значение по умолчанию заполняет пропуск у старого писателя. Без него новый читатель не сможет восстановить отсутствующий атрибут.
Удаление и смена смысла
Удаление поля ломает совместимость иначе, чем добавление. Старый потребитель ожидает атрибут, которого в новых сообщениях уже нет. Если у потребителя нет значения по умолчанию для этого поля, разбор завершится ошибкой. Проверка совместимости при регистрации новой версии такое изменение обычно отклоняет.
Смена смысла опаснее смены структуры. В учебном контроле C смысл поля amount изменили с рублей на копейки, оставив тип int. Schema-проверка может пройти, хотя бизнес-смысл нарушен. Она не обнаруживает автоматически замену 100 рублей на 100 копеек.
Причина в том, что registry проверяет структуру: имена, типы, обязательность, значения по умолчанию. Единицы измерения, валюта, система координат, формат идентификатора — это договорённости уровня предметной области. Формально совместимая схема пропускает сообщение, которое старый потребитель прочитает как 100 рублей вместо 100 копеек.
Структурная возможность прочитать запись ещё не означает пригодность для бизнес-потребителя. Отбрасывание поля currency с EUR может быть структурно допустимым и при этом неприемлемым для старой логики, которая рассчитывала на валюту заказа. Допустимость для бизнес-логики подтверждает владелец потребителя отдельно от структурной проверки.
Практический вывод: смену смысла фиксируют отдельно от смены типа. Для неё заводят новое поле с явным именем, например amount_kopecks, и описывают переход в документации. Так изменение становится видимым в истории версий.
Проверка перед rollout
Перед выкаткой фиксируют пять параметров: формат, subject, стратегию именования, режим совместимости и требуемую историю версий. Эти значения определяют, с чем именно будет сравниваться новая схема.
Порядок действий:
- Определите формат схемы: Avro, JSON Schema или Protobuf. Правила разрешения у них различаются.
- Зафиксируйте subject и стратегию именования. От этого зависит, с какой историей сравнивается новая версия.
- Выберите режим совместимости и укажите, нужна ли транзитивная проверка.
- Зарегистрируйте новую версию в тестовом контуре и посмотрите результат проверки.
- Прогоните реальные сообщения прошлых версий через нового потребителя и новые сообщения через старого.
- Зафиксируйте решение о rollout и план отката.
Пункт 5 отвечает на исходный вопрос читателя: сможет ли старый потребитель прочитать новое сообщение до изменения продюсера. Проверка на бумаге даёт ожидание, прогон на реальных данных подтверждает его.
Результат проверки читают буквально. Значение UNKNOWN по целевому reader означает BLOCK: совместимость не подтверждена, выкатывать нельзя. Режимы, идентификаторы, версии, форматы записи, квоты и настройки доступа принадлежат конкретным продуктам, поэтому переносить настройки одного registry на другой не стоит.
Что registry не доказывает
Registry подтверждает, что структура новой версии совместима с выбранной базой сравнения. Это утверждение ограничено схемой. Корректность данных и поведения всей системы проверяется отдельно.
Schema ID указывает на структуру и не является версией данных. Два сообщения с одним ID несут разные значения, и registry не проверяет их корректность. Брокерская проверка формата и наличия схемы не покрывает полную полезную нагрузку.
Registry не гарантирует доставку сообщений. Он отвечает за хранение и проверку схем, а транспорт — отдельный слой со своими настройками надёжности. Обещания безошибочной и без потерь работы относятся к маркетинговым формулировкам и не входят в подтверждённые гарантии.
Совместимость схем сама по себе не подтверждает бизнес-истину в сообщениях. Определите, где исполняются проверки единиц измерения, диапазонов и ссылочной целостности: часть ограничений может описываться схемой, остальные требуют кода или отдельного валидатора. Проверка регистрации новой версии и проверка конкретной полезной нагрузки — разные операции.
Две совместимые схемы не доказывают совместимость всей истории версий и произвольного registry. Вывод ограничен теми версиями и той базой сравнения, которые участвовали в проверке.
Частые вопросы
Schema Registry — это что простыми словами?
Это хранилище схем сообщений с историей версий и проверкой совместимости. Продюсер получает идентификатор схемы и передаёт его вместо полного описания структуры. Потребитель по идентификатору находит схему и разбирает байты. В документации Confluent это описано как центральный репозиторий для управления и проверки схем данных топиков.
Schema Registry в Kafka зачем нужен?
Он связывает клиенты Apache Kafka с хранилищем схем через сериализаторы и десериализаторы. Продюсер при записи получает ID схемы, потребитель при чтении запрашивает структуру по этому ID. Так стороны согласуют формат байтов без передачи полной схемы в каждом сообщении.
Что значит backward compatibility?
Потребитель с новой схемой читает данные, записанные по последней схеме. В учебном примере reader v2 читает сообщение writer v1 и подставляет значение по умолчанию для отсутствующего поля. Это направление проверяют, когда обновляют потребителей раньше продюсеров.
Чем full compatibility отличается от backward?
FULL означает совместимость в обе стороны: и новый читатель разбирает старые данные, и старый читатель разбирает новые. BACKWARD покрывает только первое направление. FULL накладывает более строгие требования к изменениям схемы.
Проверяет ли registry смысл данных?
Проверка совместимости схем не подтверждает правильность бизнес-значений. В учебном примере замена рублей на копейки без изменения типа int может пройти структурную проверку. Для единиц измерения, диапазонов и других правил определите отдельные проверки значений; часть ограничений можно выразить в выбранном формате схемы, но одной регистрации версии для их исполнения недостаточно.
