Что такое каталог данных и как им пользоваться: начните с метаданных и проверьте пригодность актива. Каталог данных — это опись информационных активов организации с метаданными: описанием, владельцем, происхождением, свежестью и правами. Пользоваться им нужно так: найти подходящую таблицу по бизнес-термину, сверить её смысл, владельца, дату обновления и разрешения, и только затем брать в отчёт или модель. Ниже — порядок работы, учебный пример на двух таблицах и разбор типичных ошибок.
Метаданные вместо копии таблицы
Каталог хранит метаданные и ссылки на активы; сами данные могут оставаться в исходных системах. Это ключевое свойство, из которого вытекает вся практика. Документация AWS описывает каталог как инвентарь всех данных, которые организация собирает и обрабатывает, и делит метаданные на три класса. Бизнес-метаданные несут ценность для бизнеса: уровень конфиденциальности, описание, расположение, подразделение. Технические описывают структуру: связи, индексы, строки, столбцы, табличную форму. Операционные фиксируют происхождение, преобразования, обновления, кардинальность и права на редактирование.
IBM в своём обзоре добавляет четвёртый класс — административные метаданные, которые задают политики использования и хранения и применяются в управлении данными. Там же приведена аналогия с библиотечным каталогом: карточка книги содержит название, автора, тему, дату издания и полку, помогая читателю решить, стоит ли брать книгу. Смысл для читателя каталога тот же: вы оцениваете пригодность актива по его описанию, не открывая сам актив.
Практический вывод: каталог помогает выяснить смысл таблицы, её происхождение и условия использования. Если вам нужны строки, вы идёте в хранилище, к которому у вас есть доступ. Каталог лишь указывает путь и условия.
Поиск и бизнес-термины
Искать в каталоге стоит по бизнес-термину, а техническое имя таблицы использовать как уточнение. Документация AWS отмечает, что поиск в каталогах выходит за рамки простого совпадения по ключевым словам: он даёт подсказки и фильтры, а опыт похож на работу с современными поисковиками. IBM пишет, что многие каталоги поддерживают поиск на естественном языке, позволяя находить данные без написания SQL.
Отдельный инструмент — универсальный глоссарий. AWS описывает его как набор стандартизированных определений терминов и метрик, где у каждого термина одно ясное значение. Когда вы встречаете термин в каталоге, вы сверяетесь с глоссарием и получаете одинаковое понимание с другими командами. Databricks в своём глоссарии называет это бизнес-глоссарием, который обеспечивает единый язык при обсуждении данных.
Порядок поиска:
- Сформулируйте задачу словами бизнеса: «поступления за 1 января».
- Найдите в глоссарии определение показателя «поступления».
- По определению подберите таблицы-кандидаты.
- Отфильтруйте по владельцу, домену, свежести.
- Сверьте смысл каждой карточки перед выбором.
Такой порядок экономит время: вы начинаете с определения и сужаете список имён по смыслу.
Владелец и происхождение
Карточка актива должна называть владельца и показывать происхождение. Документация Google Cloud перечисляет вопросы, на которые отвечает каталог: кто использует данные и кто владелец, кто и какие процессы преобразуют данные, как один набор связан с другим. Databricks описывает происхождение как цифровую дорожную карту: где данные возникли, как изменялись и куда текут. Это нужно для анализа влияния — понять, какие отчёты пострадают от изменения источника.
Владелец — не формальность. Именно он подтверждает бизнес-смысл и выдаёт доступ. Документация Microsoft прямо указывает: все данные в Data Map и Unified Catalog — это метаданные, а роли и разрешения каталога не дают доступа к самим данным. Права на актив вы получаете отдельно, через владельца.
Проверка происхождения состоит из трёх шагов. Сначала посмотрите цепочку от источника до текущего актива. Затем найдите точку, где применяется бизнес-правило: фильтр возвратов, правило частичных оплат, часовой пояс. Наконец, убедитесь, что владелец подтверждает это правило. Происхождение показывает путь данных, а определение показателя живёт в глоссарии и у владельца.
Учебные карточки двух таблиц
Разберём учебный пример. Он вымышленный и не является данными Зерокодера. Задача: посчитать поступления за 1 января. В каталоге две похожие таблицы.
| Поле | Карточка A: sales.orders_paid | Карточка B: sales.orders_created |
|---|---|---|
| Владелец | финансы | продажи |
| Описание | оплаченные заказы без возвратов | созданные заказы, включая неоплаченные |
| Grain | одна оплата | одна запись заказа |
| Ключ | payment_id | order_id |
| Обновление | ежедневно 09:00 UTC | не указано в примере |
| Дата updated | 2026-01-02 09:00 UTC | не указано в примере |
| PII | есть email | не указано в примере |
| Доступ | через владельца | через владельца |
| Происхождение | CRM → payments → orders_paid | не указано в примере |
Карточка A ближе по смыслу к «поступлениям». Прежде чем брать её, сверьте дату платежа и правила частичных оплат: показатель «поступления» может считаться по дате оплаты, и тогда заказ, созданный в конце одного месяца и оплаченный в начале следующего, попадёт в другой период. Карточка B содержит неоплаченные заказы, поэтому для суммы поступлений она не подходит без дополнительной фильтрации.
Обратите внимание на grain: A — одна оплата, B — один заказ. При разных grain соединение таблиц может размножить строки и привести к двойному счёту. Ключи payment_id и order_id подсказывают, как правильно связывать записи.
Свежесть и разрешения
Свежесть проверяется по дате обновления и заявленному расписанию. В учебном примере карточка A обновляется ежедневно в 09:00 UTC, а поле updated показывает 2026-01-02 09:00 UTC. Если ваш отчёт строится утром, а обновление ещё не прошло, вы возьмёте вчерашний срез. Контроль из примера: если updated старше согласованного SLA, загрузку блокируют. Это защищает отчёт от устаревших данных.
Разрешения проверяются отдельно от метаданных. Наличие email в карточке A означает присутствие персональных данных. Это не даёт права выгружать таблицу во внешнюю языковую модель. Доступ к активу идёт через владельца, и владелец же определяет, допустима ли такая выгрузка.
Порядок проверки перед использованием:
- Сверьте updated с вашим SLA.
- Проверьте расписание обновления и часовой пояс.
- Уточните у владельца правила фильтрации.
- Проверьте метки PII и ограничения на выгрузку.
- Запросите доступ, если его нет.
Пункт про часовой пояс важен: расписание в UTC и отчёт в локальном времени могут относить пограничные события к разным календарным дням.
Как поддерживать каталог
Поддержка каталога требует регулярной работы с владельцами после первоначальной загрузки. Документация AWS описывает автоматизацию: интеграции подтягивают метаданные из разных источников, и каталог остаётся актуальным, когда добавляются новые активы или обновляются существующие. Там же указано, что каталоги требуют полей, которые сотрудники заполняют при поступлении новых данных, а высокая полнота этих полей повышает качество управления.
Документация Microsoft предлагает маршрут внедрения: назначить администратора управления данными, просканировать активы через Data Map, построить домены и курировать продукты данных, связать данные с бизнес-концепциями и глоссарием, затем улучшать качество. Отдельно отмечено, что Unified Catalog и классические возможности управления данными проходят вывод из эксплуатации, поддержка сохраняется до 12 ноября 2027 года, а развитие сосредоточено в Microsoft Fabric.
Практический минимум поддержки: у каждого актива есть владелец; описание и grain заполнены; дата обновления отражает реальность; метки чувствительности проставлены; устаревшие активы помечены. Раз в квартал стоит проходить по активам без владельца и закрывать пробелы.
Границы автоматического сбора
Автоматический сбор снимает техническую часть метаданных и не назначает бизнес-смысл. Сканер способен снять имена и типы, но правильное значение показателя определяет владелец. Google Cloud Data Catalog приводится здесь как исторический пример: документация сообщает о прекращении сервиса в июне 2026 года и переходе на Knowledge Catalog. Запускать новый проект по прежнему руководству не следует. Эта документация описывает автоматическое каталогизирование активов в проекте и отдельно отмечает: каталог индексирует метаданные, описывающие актив, и не индексирует данные внутри актива. Для не-Google-систем там предусмотрены коннекторы сообщества и ручное построение записей через API.
Документация AWS показывает тот же принцип на примере сканеров: они сканируют хранилища, выводят схемы и структуру разделов, наполняют каталог определениями таблиц и статистикой. Расписание запусков поддерживает синхронизацию метаданных с данными. Ручное добавление и обновление остаётся доступным через консоль или API.
Что автоматика делает хорошо: находит новые таблицы, снимает схемы, отслеживает изменения структуры. Что остаётся человеку: описание бизнес-смысла, grain, правила фильтрации, метки чувствительности, назначение владельца. Сбор без курирования даёт длинный список имён и не отвечает на вопрос о пригодности актива.
Частые вопросы
Чем каталог данных отличается от хранилища?
Каталог хранит метаданные и ссылки на активы, а сами данные остаются в исходных системах. Документация Microsoft указывает, что все данные в Data Map и Unified Catalog — это метаданные, и роли каталога не дают доступа к исходным данным. Хранилище отвечает за хранение и выдачу строк. Каталог отвечает за понимание того, что в этих строках лежит.
Чем каталог отличается от data dictionary?
Databricks описывает словарь данных как ограниченное статичное хранилище, которое определяет структуру и смысл элементов внутри конкретных систем: имена полей, типы, ограничения. Каталог даёт более широкий и динамичный взгляд на множество систем, включает бизнес-контекст, отслеживает происхождение и поддерживает совместную работу. Словарь говорит, какие поля есть в таблице; каталог помогает понять, как таблица связана с другими активами.
Как найти нужную таблицу по бизнес-задаче?
Начните с глоссария: найдите определение показателя, затем подберите таблицы-кандидаты и отфильтруйте их по владельцу, домену и свежести. Документация AWS отмечает, что поиск в каталогах включает подсказки и фильтры, а IBM пишет о поддержке поиска на естественном языке. Сверьте смысл каждой карточки перед выбором, поскольку похожие имена могут означать разные периоды и правила.
Что делать, если дата обновления старше ожидаемой?
Сверьте поле updated с согласованным SLA и расписанием обновления. В учебном примере контроль такой: если updated старше SLA, загрузку блокируют. Проверьте часовой пояс расписания: запись в UTC и отчёт в локальном времени могут относиться к разным календарным дням. Если данные действительно устарели, обратитесь к владельцу актива за разъяснением и новым сроком.
Можно ли выгружать данные из каталога в языковую модель?
Доступ к каталогу и доступ к данным — разные вещи. Документация Microsoft прямо указывает, что разрешения каталога не предоставляют доступ к исходным данным. Если в карточке стоит метка о наличии email, это персональные данные, и выгрузка требует решения владельца. Запросите разрешение у владельца актива и уточните правила обработки персональных данных в вашей организации.
