Содержание
  1. Что фиксирует CDC
  2. Подходы к сбору изменений
  3. Snapshot и поток
  4. Учебные insert/update/delete
  5. Дубли и порядок
  6. Проверки целевого состояния
  7. Частые вопросы
Справочник

Что такое CDC: отслеживание изменений данных

14 ноября 2026 · 11 минут чтения

Что такое CDC: отслеживание изменений данных — это механизм, который фиксирует построчные операции insert, update и delete в исходных таблицах и передаёт уведомления о них другим системам. По описанию Red Hat, уведомления выходят в том же порядке, в каком операции выполнялись в исходной базе, поэтому подписчики обновляют свою копию данных или запускают бизнес-процессы.

Что фиксирует CDC

CDC работает на уровне строк. Red Hat перечисляет три категории событий: insert, update и delete. Каждое событие описывает, что произошло с конкретной записью, и передаётся системам, которые зависят от тех же данных. Такой поток позволяет подписчику обновить собственную версию записи или инициировать процесс, привязанный к изменению.

Ключ записи определяет, о какой строке идёт речь. В учебном журнале ниже первичный ключ id различает записи id1 и id2, и все события привязаны к этому ключу. Без устойчивого ключа событие update невозможно сопоставить с уже существующей строкой в целевом хранилище.

CDC фиксирует изменение состояния. Итоговую сумму рассчитывают по выбранному срезу. В учебном журнале значения 100, 120 и 50 складываются в 270, тогда как текущее состояние по ключу id даёт только 50. Это разные величины: журнал хранит историю операций, а целевая таблица — актуальный срез. Смешение этих двух картин даёт неверные отчёты.

Отдельная тема — откат транзакций. Confluent указывает, что целевые системы обязаны выявлять и устранять изменения, которые были записаны в исходную базу, а затем откачены. Событие из журнала может относиться к операции, которой в итоговом состоянии базы нет, и подписчик должен это учесть.

IBM описывает связь CDC с медленно меняющимися измерениями: в её материале упоминаются SCD Type 1 и SCD Type 2. Первый тип перезаписывает значение, второй хранит историю версий. Выбор типа определяет, что именно окажется в целевом хранилище после обработки потока.

Практический вывод для читателя: до выбора инструмента зафиксируйте семантику событий и ключ. Пока не решено, какие операции считаются изменением и по какому полю сопоставляются строки, любой коннектор будет применяться наугад.

Подходы к сбору изменений

IBM называет три распространённых подхода: логовый CDC, CDC по метке времени и CDC на триггерах. Там же указано, что предприятия реализуют отслеживание через встроенные средства базы, открытые платформы и сторонние решения. Разберём каждый подход по описаниям источников.

Логовый CDC читает журнал транзакций базы. Это даёт доступ к операциям в том порядке, в каком их зафиксировала сама СУБД. Документация Debezium описывает конкретную архитектуру: Kafka Connect работает отдельным сервисом рядом с брокером Kafka, а изменения из одной таблицы по умолчанию попадают в топик, имя которого совпадает с именем таблицы. Это архитектура одного проекта, и она не означает, что любой логовый CDC обязан использовать Kafka.

CDC по метке времени опирается на колонку с временем изменения. AWS описывает метод так: отбираются записи, изменённые после заданного момента. Там же перечислены ограничения: нужна надёжная колонка времени, операции delete могут быть пропущены, а рассинхронизация часов или нестандартное обновление порождают расхождения. AWS называет этот подход простым и подверженным дрейфу.

Триггерный CDC использует триггеры базы, срабатывающие при операциях манипулирования данными. AWS поясняет: любая вставка, обновление или удаление запускает запись соответствующей строки в отдельную таблицу, которую называют аудиторской или теневой. Система отслеживает изменения по этим таблицам. Нагрузка на исходную базу при таком подходе растёт вместе с числом операций.

Diff-based подход сравнивает полные снимки таблицы или базы. AWS отмечает, что метод требует полного сканирования источника и потому ресурсоёмок; в потоковых контурах он применяется редко, а в пакетных конвейерах ETL встречается часто.

Подход Источник события Что даёт Ограничение по источнику
Логовый Журнал транзакций Порядок операций от СУБД Зависит от возможностей журнала
По метке времени Колонка времени Простая выборка изменённых строк Пропуск delete, дрейф часов
Триггерный Триггеры и теневые таблицы Запись каждой операции Дополнительная нагрузка на базу
Diff-based Полные снимки Выявление любых расхождений Полное сканирование источника

Опрос по курсору занимает отдельное место. AWS использует слово CDC широко, поэтому выборка изменённых строк по сохранённой позиции попадает в это семейство. При этом опрос по метке времени и чтение журнала транзакций — разные механизмы с разными свойствами, и их стоит различать при выборе инструмента.

Snapshot и поток

Начальное состояние целевого хранилища берут из полного снимка. Снимок фиксирует все строки на определённый момент, после чего к нему подключается поток изменений. Задача — состыковать эти две части без пропуска и без потери операций, которые прошли между снятием снимка и стартом потока.

Порядок действий для такой состыковки выглядит так:

  1. Зафиксируйте ключ и семантику событий: какие операции считаются изменением и по какому полю сопоставляются строки.
  2. Снимите полный снимок таблицы и сохраните позицию журнала, соответствующую моменту снимка.
  3. Запустите поток изменений с сохранённой позиции.
  4. Примените события к целевому хранилищу, обновляя последнюю применённую позицию.
  5. Сверьте итог с источником по контрольным запросам.

Позиция журнала — это точка, с которой продолжается чтение. В учебном журнале позиции обозначены как offset 10, 11, 12 и 13. Последняя применённая позиция 13 означает, что все события до неё обработаны. Хранить эту позицию нужно вместе с данными, чтобы после сбоя продолжить с того же места.

Снимок и поток отвечают на разные вопросы. Снимок показывает, что было в таблице на момент старта. Поток показывает, что с таблицей происходило дальше. Целевое состояние получается только при совместном применении обеих частей.

Проверка состыковки опирается на сверку. Сравните число строк по ключу в источнике и в цели, проверьте, что последняя применённая позиция совпадает с последней обработанной, и убедитесь, что операции удаления не потерялись на стыке. Расхождение на этом шаге обычно означает, что снимок и поток перекрываются или между ними есть разрыв.

Учебные insert/update/delete

Разберём искусственный журнал. Это учебный пример, конкретный коннектор или база в нём не запускались, а значения приведены для разбора логики. В этом учебном потребителе INSERT и UPDATE применяются как upsert по id: они создают строку при отсутствии ключа и перезаписывают её при наличии. DELETE удаляет строку. Это явное условие примера; поведение реального потребителя нужно проверить по его контракту.

ТЕКСТ4 строки
offset 10  INSERT(id1, 100)
offset 11  UPDATE(id1, 120)
offset 12  INSERT(id2, 50)
offset 13  DELETE(id1)

Ожидаемое состояние по первичному ключу id после применения всех событий: только id2 = 50. Запись id1 появилась на offset 10, изменилась на offset 11 и была удалена на offset 13. Сумма значений событий 100 + 120 + 50 = 270 не равна текущей сумме 50, потому что журнал хранит историю операций, а целевая таблица — актуальный срез.

Разберём каждую операцию отдельно. INSERT создаёт строку с заданным ключом. В выбранной учебной upsert-модели UPDATE перезаписывает значение по id и создаёт строку, если ключа ещё нет. DELETE убирает строку из целевого хранилища. По Confluent, timestamp-based CDC способен фиксировать мягкое удаление, но не операцию DELETE. Это ограничение сбора изменений; применение удаления в целевой системе проверяют отдельно.

Порядок применения важен. Если применить offset 11 после offset 13, запись id1 вернётся в целевое хранилище, хотя в источнике она удалена. Это воскрешение записи — типичная ошибка при повторной обработке событий. Защита строится на документированном порядке, версии события и явной обработке повторов.

Проверка результата после применения журнала:

  • первичный ключ уникален, дублей по id нет;
  • последняя применённая позиция равна 13;
  • операция DELETE обработана, записи id1 в цели нет;
  • начальный снимок и поток состыкованы без пропуска.

Эти четыре пункта дают минимальный набор контроля для учебного журнала. Тот же порядок проверок применим к реальному потоку, если подставить фактические ключи и позиции.

Дубли и порядок

Повторная доставка события — штатная ситуация. Повтор offset 11 не должен создавать вторую запись id1: применение update к существующей строке по ключу оставляет одну строку с новым значением. Проблема возникает, когда повтор приходит после более позднего события.

При выбранной учебной upsert-семантике позднее применение старого UPDATE после DELETE способно вернуть удалённую запись. Это происходит, если события применяются вне исходного порядка. Защита включает три элемента: документированный порядок применения, версия события и явная обработка повторов. Без версии система не может отличить устаревшее событие от актуального.

Различайте два уровня гарантий. Доставка события ровно один раз и внешнее действие ровно один раз — разные вещи. Повтор допустим при корректной обработке состояния: если применение события идемпотентно по ключу, повторная доставка не портит результат. Если внешнее действие не идемпотентно, повтор создаёт второй эффект.

Порядок задаёт источник. Red Hat указывает, что уведомления выходят в том же порядке, в каком операции выполнялись в исходной базе. Это свойство источника, и его нужно сохранить при передаче. Промежуточный брокер, несколько потребителей или параллельная обработка способны этот порядок нарушить.

Ситуация Что происходит Что нужно предусмотреть
Повтор offset 11 до DELETE Значение обновляется повторно Идемпотентность по ключу
Повтор offset 11 после DELETE Запись id1 возвращается Версия события и порядок
Пропуск offset 13 Удалённая запись остаётся Контроль последней позиции
Параллельная обработка Порядок теряется Разделение по ключу

Отдельная сложность — откат транзакций. Confluent отмечает, что целевые системы обязаны выявлять и устранять изменения, записанные в источник и затем откаченные. Событие из журнала может не иметь соответствия в итоговом состоянии базы, и подписчик должен это распознать.

Проверки целевого состояния

Проверка начинается со сверки по ключу. Сравните набор ключей в источнике и в цели: лишние ключи указывают на воскрешение удалённых записей, отсутствующие — на пропущенные вставки. Эта проверка ловит большинство ошибок применения потока.

Вторая проверка — позиция. Последняя применённая позиция должна совпадать с последней обработанной. Если позиция отстаёт, часть событий ещё не применена. Если позиция опережает обработанные события, часть операций потеряна.

Третья проверка — удаления. Убедитесь, что операции DELETE дошли до цели. Confluent относит ограничение по обнаружению DELETE к timestamp-based CDC. Для точной копии нужно отдельно подтвердить, что выбранный способ сбора передаёт удаления и потребитель применяет их.

Четвёртая проверка — стык снимка и потока. События, прошедшие между снятием снимка и стартом потока, должны быть применены ровно один раз. Проверить это можно, сравнив состояние цели с источником на момент после старта потока.

Пятая проверка — повторное применение. Прогоните часть журнала заново и убедитесь, что итоговое состояние не изменилось. Если после повтора появились дубли или вернулись удалённые записи, обработка состояния построена неверно.

IBM описывает связь CDC с медленно меняющимися измерениями через SCD Type 1 и SCD Type 2. Выбор типа определяет, что именно проверять: при первом типе сверяют актуальные значения, при втором — ещё и историю версий. Проверка целевого состояния следует из выбранного типа.

Собственный порядок работы с потоком можно свести к короткому чек-листу:

ТЕКСТ7 строк
1. Ключ и семантика событий зафиксированы.
2. Снимок снят, позиция журнала сохранена.
3. Поток запущен с сохранённой позиции.
4. События применяются идемпотентно по ключу.
5. Последняя применённая позиция хранится вместе с данными.
6. DELETE обрабатывается явно.
7. Повторный прогон не меняет итог.

Этот чек-лист описывает учебный сценарий. Реальные параметры — схема, порядок и контракт доставки — определяются конкретной системой, и их нужно уточнять по её документации.

Частые вопросы

Что такое change data capture простыми словами?

Это механизм, который отслеживает построчные операции insert, update и delete в исходных таблицах и передаёт уведомления о них другим системам. Red Hat описывает его как способ держать подписчиков в курсе изменений, чтобы они обновляли свою копию данных или запускали процессы. Уведомления выходят в том порядке, в каком операции выполнялись в источнике.

Чем логовый CDC отличается от опроса по метке времени?

Логовый подход читает журнал транзакций базы и получает операции в порядке, зафиксированном СУБД. Опрос по метке времени отбирает записи, изменённые после заданного момента, и опирается на колонку времени. AWS отмечает, что такой опрос может пропускать удаления и давать расхождения при рассинхронизации часов.

Как обрабатывать повторную доставку события?

Повтор offset 11 не должен создавать вторую запись id1: применение update по ключу оставляет одну строку. Если потребитель применяет UPDATE как upsert, старое событие после DELETE способно вернуть удалённую запись. Защита — документированный порядок, версия события и явная обработка повторов.

Зачем нужен начальный снимок, если есть поток изменений?

Снимок фиксирует все строки на момент старта, а поток показывает, что происходило с таблицей дальше. Целевое состояние получается при совместном применении обеих частей. Между снятием снимка и стартом потока операции могут пройти, и их нужно применить ровно один раз.

Как проверить, что целевое хранилище совпадает с источником?

Сравните набор ключей, проверьте последнюю применённую позицию, убедитесь, что операции DELETE обработаны, и сверьте стык снимка с потоком. Дополнительно прогоните часть журнала повторно: итоговое состояние меняться не должно. Расхождение указывает на пропуск, дубль или воскрешение удалённой записи.

Читайте также

3 материала