Содержание
  1. Идея трёх слоёв
  2. Что сохранять в Bronze
  3. Контракт Silver
  4. Агрегаты Gold
  5. Учебный проход четырёх строк
  6. Когда слоёв избыточно много
  7. Частые вопросы
Справочник

Что такое медальонная архитектура данных

14 ноября 2026 · 9 минут чтения

Что такое медальонная архитектура данных? Это архитектурный паттерн, который организует данные в lakehouse по трём слоям качества: Bronze хранит сырьё, Silver — очищенные и проверенные записи, Gold — агрегаты под бизнес-задачи. Документация Azure Databricks описывает её как серию слоёв, обозначающих качество данных, и рекомендует многослойный подход для построения единого источника правды. Паттерн логический: он задаёт порядок обработки, а гарантии целостности и корректности метрик обеспечивают выбранное хранилище и реализованные правила.

Идея трёх слоёв

Документация Azure Databricks называет медальонную архитектуру паттерном проектирования данных, который логически организует данные и постепенно улучшает их структуру и качество по мере прохождения слоёв Bronze ⇒ Silver ⇒ Gold. Встречается и второе имя — multi-hop architecture. Словарь Databricks добавляет, что слои дают разным командам понятные точки входа в общие данные lakehouse.

Каждый слой отвечает на свой вопрос. Bronze — что пришло от источника. Silver — что из этого прошло проверку и пригодно для анализа. Gold — какие показатели нужны бизнесу. Документация Azure Databricks сводит роли так: в Bronze идёт приём сырых данных, в Silver — очистка и валидация, в Gold — размерное моделирование и агрегация. Пользователи тоже разные: сырьё нужно инженерам данных, операциям и командам аудита; Silver — инженерам, аналитикам и дата-сайентистам; Gold — бизнес-аналитикам и разработчикам BI.

Практическая ценность в том, что тяжёлые преобразования отделены от приёма. Сбой в правиле очистки не требует повторного чтения источника: сырьё уже лежит в Bronze. Документация Databricks отмечает, что слои продвигают переиспользование, управление и производительность, а разные команды получают ясные точки входа в общие данные.

Паттерн остаётся рекомендацией. Документация Azure Databricks прямо называет следование медальонной архитектуре рекомендованной практикой, которая не является обязательным требованием. Блог Delta Lake формулирует ту же мысль иначе: медальонная архитектура — это имя для ярусной архитектуры, и организации применяют её гибко. Названия Bronze, Silver и Gold не обязывают заводить ровно три физические базы и не привязывают проект к конкретному облаку или формату таблиц.

Что сохранять в Bronze

Bronze — слой сырого приёма. Документация Azure Databricks перечисляет его свойства: он хранит исходное состояние данных в оригинальных форматах, пополняется инкрементально и растёт со временем, служит единым источником правды и сохраняет достоверность данных, а также позволяет переобрабатывать и проверять историю, удерживая все исторические данные. Данные сюда приходят из облачного объектного хранилища, шин сообщений и федеративных систем — потоковыми и пакетными транзакциями в любом сочетании.

Очистку и валидацию в этом слое ограничивают. Документация Azure Databricks рекомендует хранить большинство полей как string, VARIANT или binary, чтобы защититься от неожиданных изменений схемы, и разрешает добавлять метаданные — например, происхождение записи вида _metadata.file_name. Словарь Databricks описывает тот же приём: структуры таблиц соответствуют структурам источника как есть, плюс метаданные с датой и временем загрузки, идентификатором процесса и подобным.

Метаданные дают практический эффект. Словарь Databricks связывает их с быстрым захватом изменений, историческим архивом источника, происхождением данных, аудитом и переобработкой без повторного чтения источника. Документация Oracle в разделе о медальонной архитектуре называет bronze-слой единым источником правды, который поддерживает прослеживаемость и аудируемость.

Ошибка на этом шаге — ранняя нормализация. Если в Bronze уже разложены справочники и переименованы поля, восстановить исходный вид записи после сбоя преобразования нечем. Слой сырья ценен именно тем, что хранит вход в том виде, в каком он пришёл.

Контракт Silver

Silver — слой проверенных данных. Документация Azure Databricks перечисляет операции, которые здесь выполняются: принудительное применение схемы, обработка пустых и отсутствующих значений, дедупликация, разрешение проблем с записями, пришедшими не по порядку и с опозданием, проверки качества данных, эволюция схемы, приведение типов и соединения. Словарь Databricks добавляет, что данные из Bronze сопоставляются, сливаются, приводятся к общему виду и очищаются в объёме, достаточном для работы.

Ключевое требование к слою — полнота записи. Документация Azure Databricks указывает, что Silver всегда должен содержать хотя бы одно проверенное неагрегированное представление каждой записи. Агрегаты здесь допустимы, если на них опирается много нижележащих задач, но обычно их место в Gold. Это и есть контракт: Silver отвечает на вопрос «что за сущности у нас есть», сохраняя детализацию.

Прямая запись в Silver из приёма не рекомендуется. Документация Azure Databricks предупреждает, что при записи напрямую из ingestion появятся сбои из-за изменений схемы или повреждённых записей в источниках. При append-only источниках большинство чтений из Bronze настраивают как потоковые, а пакетные чтения оставляют для небольших наборов вроде малых справочников.

Моделирование начинается уже здесь. Документация Azure Databricks отмечает, что в Silver часто решают, как представлять сильно вложенные и полусгруктурированные данные: через тип VARIANT, JSON-строки, структуры, карты и массивы, разворачивание схемы или нормализацию в несколько таблиц. Словарь Databricks описывает модели Silver как близкие к третьей нормальной форме, допуская подходы в духе Data Vault с приоритетом скорости записи.

Агрегаты Gold

Gold — слой потребления. Документация Azure Databricks описывает его как сильно уточнённые представления данных, которые питают аналитику, дашборды, машинное обучение и приложения: данные здесь часто сильно агрегированы и отфильтрованы по периодам или регионам, а наборы семантически осмысленны и привязаны к бизнес-функциям. В примере документации Gold содержит меньше наборов данных, чем Silver и Bronze.

Моделирование здесь размерное. Документация Azure Databricks указывает, что в Gold данные моделируют для отчётности и аналитики через связи и определения мер, а аналитик с доступом к слою находит данные своего домена и отвечает на вопросы. Словарь Databricks добавляет, что Gold организуют в готовые к потреблению базы под конкретные проекты, применяя денормализованные модели, оптимизированные под чтение, с меньшим числом соединений; там же уместны звёздные схемы в стиле Кимбалла и витрины в стиле Инмона.

Агрегаты создают заранее. Документация Azure Databricks приводит пример материализованного представления weekly_bookings, которое предварительно агрегирует данные, чтобы аналитики не пересобирали часто используемые представления заново. Оптимизация таблиц Gold под производительность названа практикой, поскольку к этим данным обращаются часто, а большие объёмы истории остаются в Silver и в Gold не материализуются.

Осторожность нужна с бизнес-смыслом. Число, посчитанное по правилу слоя, становится выручкой только после согласования статуса оплаты, возвратов, валюты и даты. Словарь Databricks описывает переход Silver → Gold как место, где применяется основная масса сложных проектных преобразований и бизнес-правил, а в Silver остаются минимальные, достаточные для загрузки правила очистки.

Учебный проход четырёх строк

Возьмём условный вход из четырёх строк: (id1, 100), (id1, 100), (id2, −5), (id3, 50). Это учебный пример на бумаге, он показывает ожидаемые строки и порядок решений. Запуск Databricks или Delta он не заменяет.

Bronze сохраняет все четыре строки как есть, добавляя source_file и ingestion_time. Правило Silver: дедупликация по id, отрицательная сумма уходит в quarantine. На выходе Silver — (id1, 100) и (id3, 50), в quarantine — (id2, −5), одна повторная запись учтена как duplicate. Баланс сходится: 4 = 2 valid + 1 quarantine + 1 duplicate. Gold по учебному правилу даёт gross = sum(valid amount) = 150 и count_orders = 2.

Слой Строк на входе Строк на выходе Что произошло
Bronze 4 4 сырьё сохранено с метаданными
Silver 4 2 дедупликация по id, отсев отрицательной суммы
quarantine — 1 запись (id2, −5) отложена
duplicate — 1 повтор (id1, 100) учтён отдельно
Gold 2 1 одна строка: gross = 150, count_orders = 2

В Gold ожидается одна строка с двумя показателями: gross = 150 и count_orders = 2. Число 150 остаётся учебным. Выручкой бизнеса оно не объявляется: сначала согласуют статус оплаты, возвраты, валюту и дату. Повторный прогон начинается с сохранённого сырья в Bronze, а исправленный Gold служит точкой старта только для сверки.

Проверка ошибок на этом проходе сводится к трём вопросам. Сходится ли баланс строк между слоями. Попадает ли каждая невалидная запись в quarantine с причиной. Воспроизводится ли результат при повторном чтении из Bronze. Если баланс не сходится, правило Silver теряет записи молча — это первое место для проверки.

Когда слоёв избыточно много

Блог Delta Lake описывает медальонную архитектуру как необязательный гибкий каркас и допускает отклонения от строгой последовательности: таблицу Gold можно собрать, соединив таблицу Bronze с таблицей Silver, а потреблять при построении Gold только таблицы Silver не требуется. Там же сказано, что наряду с медальонным подходом стоит рассматривать другие способы проектирования платформы, включая размерное моделирование, и выбирать архитектуру по шаблонам запросов, распределению данных и нуждам конечных пользователей.

Признаки лишнего слоя заметны по работе команды. Если между Silver и Gold появился промежуточный слой, который никто не читает напрямую и который лишь повторяет предыдущий, он добавляет точку отказа и время прогона. Если слой заведён ради имени, а правила перехода в нём не отличаются от соседнего, контроль качества не растёт. Практическое правило: оценивать слой по его контракту и преобразованиям. Само название слоя качество не создаёт.

Второй признак — расхождение числа слоёв с числом потребителей. Документация Azure Databricks отмечает, что некоторые заказчики создают несколько слоёв Gold под разные бизнес-нужды, например HR, финансы и ИТ. Это осмысленное расширение: у каждого слоя Gold свой потребитель и своя модель. Слой без потребителя остаётся затратой на хранение и прогоны.

Третий признак — стоимость обновления. Документация Azure Databricks связывает частоту приёма данных с затратами и задержкой: непрерывный инкрементальный приём стоит дороже и даёт меньшую задержку, приём по триггеру дешевле и запаздывает сильнее, пакетный приём с ручным инкрементом обходится дешевле всех, но даёт наибольшую задержку из-за редких запусков. Лишний слой умножает эту стоимость на каждом переходе.

Частые вопросы

Что такое медальонная архитектура данных простыми словами?
Это способ разложить данные по трём слоям качества. Bronze хранит сырьё как пришло, Silver — очищенные и проверенные записи, Gold — агрегаты под отчёты и модели. Документация Azure Databricks называет такой подход рекомендованной практикой для построения единого источника правды в lakehouse.

Чем медальонная архитектура отличается от ETL?
Словарь Databricks описывает медальонный подход как следование методологии ELT: при загрузке в Silver применяются минимальные правила очистки, а основная масса сложных преобразований и бизнес-правил выполняется при переходе из Silver в Gold. Классический ETL преобразует данные до загрузки в хранилище.

Обязательно ли использовать Delta, Databricks или Fabric?
Нет. Медальонная архитектура — логический паттерн организации слоёв качества. Документация Azure Databricks называет следование ему рекомендованной практикой, которая не является требованием, а блог Delta Lake предлагает адаптировать каркас под нужды бизнеса. Названия слоёв не привязывают проект к конкретному облаку.

Что делать с записями, которые не прошли проверку в Silver?
Их помещают в quarantine с указанием причины. В учебном примере запись (id2, −5) отсеяна по правилу об отрицательной сумме и учтена отдельно, поэтому баланс строк сходится: 4 = 2 valid + 1 quarantine + 1 duplicate. Отброшенная запись без причины теряет прослеживаемость.

Сколько слоёв Gold нужно заводить?
Столько, сколько есть потребителей с разными бизнес-моделями. Документация Azure Databricks отмечает, что некоторые заказчики создают несколько слоёв Gold под разные нужды, например HR, финансы и ИТ. Слой без потребителя добавляет затраты на хранение и прогоны.

Читайте также

3 материала