Содержание
  1. Метаданные вместо копии таблицы
  2. Поиск и бизнес-термины
  3. Владелец и происхождение
  4. Учебные карточки двух таблиц
  5. Свежесть и разрешения
  6. Как поддерживать каталог
  7. Границы автоматического сбора
  8. Частые вопросы
Справочник

Что такое каталог данных и как им пользоваться

15 ноября 2026 · 8 минут чтения

Что такое каталог данных и как им пользоваться: начните с метаданных и проверьте пригодность актива. Каталог данных — это опись информационных активов организации с метаданными: описанием, владельцем, происхождением, свежестью и правами. Пользоваться им нужно так: найти подходящую таблицу по бизнес-термину, сверить её смысл, владельца, дату обновления и разрешения, и только затем брать в отчёт или модель. Ниже — порядок работы, учебный пример на двух таблицах и разбор типичных ошибок.

Метаданные вместо копии таблицы

Каталог хранит метаданные и ссылки на активы; сами данные могут оставаться в исходных системах. Это ключевое свойство, из которого вытекает вся практика. Документация AWS описывает каталог как инвентарь всех данных, которые организация собирает и обрабатывает, и делит метаданные на три класса. Бизнес-метаданные несут ценность для бизнеса: уровень конфиденциальности, описание, расположение, подразделение. Технические описывают структуру: связи, индексы, строки, столбцы, табличную форму. Операционные фиксируют происхождение, преобразования, обновления, кардинальность и права на редактирование.

IBM в своём обзоре добавляет четвёртый класс — административные метаданные, которые задают политики использования и хранения и применяются в управлении данными. Там же приведена аналогия с библиотечным каталогом: карточка книги содержит название, автора, тему, дату издания и полку, помогая читателю решить, стоит ли брать книгу. Смысл для читателя каталога тот же: вы оцениваете пригодность актива по его описанию, не открывая сам актив.

Практический вывод: каталог помогает выяснить смысл таблицы, её происхождение и условия использования. Если вам нужны строки, вы идёте в хранилище, к которому у вас есть доступ. Каталог лишь указывает путь и условия.

Поиск и бизнес-термины

Искать в каталоге стоит по бизнес-термину, а техническое имя таблицы использовать как уточнение. Документация AWS отмечает, что поиск в каталогах выходит за рамки простого совпадения по ключевым словам: он даёт подсказки и фильтры, а опыт похож на работу с современными поисковиками. IBM пишет, что многие каталоги поддерживают поиск на естественном языке, позволяя находить данные без написания SQL.

Отдельный инструмент — универсальный глоссарий. AWS описывает его как набор стандартизированных определений терминов и метрик, где у каждого термина одно ясное значение. Когда вы встречаете термин в каталоге, вы сверяетесь с глоссарием и получаете одинаковое понимание с другими командами. Databricks в своём глоссарии называет это бизнес-глоссарием, который обеспечивает единый язык при обсуждении данных.

Порядок поиска:

  1. Сформулируйте задачу словами бизнеса: «поступления за 1 января».
  2. Найдите в глоссарии определение показателя «поступления».
  3. По определению подберите таблицы-кандидаты.
  4. Отфильтруйте по владельцу, домену, свежести.
  5. Сверьте смысл каждой карточки перед выбором.

Такой порядок экономит время: вы начинаете с определения и сужаете список имён по смыслу.

Владелец и происхождение

Карточка актива должна называть владельца и показывать происхождение. Документация Google Cloud перечисляет вопросы, на которые отвечает каталог: кто использует данные и кто владелец, кто и какие процессы преобразуют данные, как один набор связан с другим. Databricks описывает происхождение как цифровую дорожную карту: где данные возникли, как изменялись и куда текут. Это нужно для анализа влияния — понять, какие отчёты пострадают от изменения источника.

Владелец — не формальность. Именно он подтверждает бизнес-смысл и выдаёт доступ. Документация Microsoft прямо указывает: все данные в Data Map и Unified Catalog — это метаданные, а роли и разрешения каталога не дают доступа к самим данным. Права на актив вы получаете отдельно, через владельца.

Проверка происхождения состоит из трёх шагов. Сначала посмотрите цепочку от источника до текущего актива. Затем найдите точку, где применяется бизнес-правило: фильтр возвратов, правило частичных оплат, часовой пояс. Наконец, убедитесь, что владелец подтверждает это правило. Происхождение показывает путь данных, а определение показателя живёт в глоссарии и у владельца.

Учебные карточки двух таблиц

Разберём учебный пример. Он вымышленный и не является данными Зерокодера. Задача: посчитать поступления за 1 января. В каталоге две похожие таблицы.

Поле Карточка A: sales.orders_paid Карточка B: sales.orders_created
Владелец финансы продажи
Описание оплаченные заказы без возвратов созданные заказы, включая неоплаченные
Grain одна оплата одна запись заказа
Ключ payment_id order_id
Обновление ежедневно 09:00 UTC не указано в примере
Дата updated 2026-01-02 09:00 UTC не указано в примере
PII есть email не указано в примере
Доступ через владельца через владельца
Происхождение CRM → payments → orders_paid не указано в примере

Карточка A ближе по смыслу к «поступлениям». Прежде чем брать её, сверьте дату платежа и правила частичных оплат: показатель «поступления» может считаться по дате оплаты, и тогда заказ, созданный в конце одного месяца и оплаченный в начале следующего, попадёт в другой период. Карточка B содержит неоплаченные заказы, поэтому для суммы поступлений она не подходит без дополнительной фильтрации.

Обратите внимание на grain: A — одна оплата, B — один заказ. При разных grain соединение таблиц может размножить строки и привести к двойному счёту. Ключи payment_id и order_id подсказывают, как правильно связывать записи.

Свежесть и разрешения

Свежесть проверяется по дате обновления и заявленному расписанию. В учебном примере карточка A обновляется ежедневно в 09:00 UTC, а поле updated показывает 2026-01-02 09:00 UTC. Если ваш отчёт строится утром, а обновление ещё не прошло, вы возьмёте вчерашний срез. Контроль из примера: если updated старше согласованного SLA, загрузку блокируют. Это защищает отчёт от устаревших данных.

Разрешения проверяются отдельно от метаданных. Наличие email в карточке A означает присутствие персональных данных. Это не даёт права выгружать таблицу во внешнюю языковую модель. Доступ к активу идёт через владельца, и владелец же определяет, допустима ли такая выгрузка.

Порядок проверки перед использованием:

  1. Сверьте updated с вашим SLA.
  2. Проверьте расписание обновления и часовой пояс.
  3. Уточните у владельца правила фильтрации.
  4. Проверьте метки PII и ограничения на выгрузку.
  5. Запросите доступ, если его нет.

Пункт про часовой пояс важен: расписание в UTC и отчёт в локальном времени могут относить пограничные события к разным календарным дням.

Как поддерживать каталог

Поддержка каталога требует регулярной работы с владельцами после первоначальной загрузки. Документация AWS описывает автоматизацию: интеграции подтягивают метаданные из разных источников, и каталог остаётся актуальным, когда добавляются новые активы или обновляются существующие. Там же указано, что каталоги требуют полей, которые сотрудники заполняют при поступлении новых данных, а высокая полнота этих полей повышает качество управления.

Документация Microsoft предлагает маршрут внедрения: назначить администратора управления данными, просканировать активы через Data Map, построить домены и курировать продукты данных, связать данные с бизнес-концепциями и глоссарием, затем улучшать качество. Отдельно отмечено, что Unified Catalog и классические возможности управления данными проходят вывод из эксплуатации, поддержка сохраняется до 12 ноября 2027 года, а развитие сосредоточено в Microsoft Fabric.

Практический минимум поддержки: у каждого актива есть владелец; описание и grain заполнены; дата обновления отражает реальность; метки чувствительности проставлены; устаревшие активы помечены. Раз в квартал стоит проходить по активам без владельца и закрывать пробелы.

Границы автоматического сбора

Автоматический сбор снимает техническую часть метаданных и не назначает бизнес-смысл. Сканер способен снять имена и типы, но правильное значение показателя определяет владелец. Google Cloud Data Catalog приводится здесь как исторический пример: документация сообщает о прекращении сервиса в июне 2026 года и переходе на Knowledge Catalog. Запускать новый проект по прежнему руководству не следует. Эта документация описывает автоматическое каталогизирование активов в проекте и отдельно отмечает: каталог индексирует метаданные, описывающие актив, и не индексирует данные внутри актива. Для не-Google-систем там предусмотрены коннекторы сообщества и ручное построение записей через API.

Документация AWS показывает тот же принцип на примере сканеров: они сканируют хранилища, выводят схемы и структуру разделов, наполняют каталог определениями таблиц и статистикой. Расписание запусков поддерживает синхронизацию метаданных с данными. Ручное добавление и обновление остаётся доступным через консоль или API.

Что автоматика делает хорошо: находит новые таблицы, снимает схемы, отслеживает изменения структуры. Что остаётся человеку: описание бизнес-смысла, grain, правила фильтрации, метки чувствительности, назначение владельца. Сбор без курирования даёт длинный список имён и не отвечает на вопрос о пригодности актива.

Частые вопросы

Чем каталог данных отличается от хранилища?
Каталог хранит метаданные и ссылки на активы, а сами данные остаются в исходных системах. Документация Microsoft указывает, что все данные в Data Map и Unified Catalog — это метаданные, и роли каталога не дают доступа к исходным данным. Хранилище отвечает за хранение и выдачу строк. Каталог отвечает за понимание того, что в этих строках лежит.

Чем каталог отличается от data dictionary?
Databricks описывает словарь данных как ограниченное статичное хранилище, которое определяет структуру и смысл элементов внутри конкретных систем: имена полей, типы, ограничения. Каталог даёт более широкий и динамичный взгляд на множество систем, включает бизнес-контекст, отслеживает происхождение и поддерживает совместную работу. Словарь говорит, какие поля есть в таблице; каталог помогает понять, как таблица связана с другими активами.

Как найти нужную таблицу по бизнес-задаче?
Начните с глоссария: найдите определение показателя, затем подберите таблицы-кандидаты и отфильтруйте их по владельцу, домену и свежести. Документация AWS отмечает, что поиск в каталогах включает подсказки и фильтры, а IBM пишет о поддержке поиска на естественном языке. Сверьте смысл каждой карточки перед выбором, поскольку похожие имена могут означать разные периоды и правила.

Что делать, если дата обновления старше ожидаемой?
Сверьте поле updated с согласованным SLA и расписанием обновления. В учебном примере контроль такой: если updated старше SLA, загрузку блокируют. Проверьте часовой пояс расписания: запись в UTC и отчёт в локальном времени могут относиться к разным календарным дням. Если данные действительно устарели, обратитесь к владельцу актива за разъяснением и новым сроком.

Можно ли выгружать данные из каталога в языковую модель?
Доступ к каталогу и доступ к данным — разные вещи. Документация Microsoft прямо указывает, что разрешения каталога не предоставляют доступ к исходным данным. Если в карточке стоит метка о наличии email, это персональные данные, и выгрузка требует решения владельца. Запросите разрешение у владельца актива и уточните правила обработки персональных данных в вашей организации.

Читайте также

3 материала