Что такое feature store: признаки для машинного обучения здесь описаны как управляемый слой между источниками данных и моделью. Feature store хранит определения признаков, отдаёт исторические значения для обучения и последние значения для предсказания. Документация Feast описывает его как открытый feature store, который помогает командам определять, проверять и отдавать признаки в batch- и real-time-средах.
Для чего нужен store
Feature store решает задачу повторного использования признаков и согласованности между обучением и предсказанием. Документация Feast описывает настраиваемую систему управления и отдачи признаков с использованием существующей инфраструктуры. В разделе Why Feast перечислены пять возможностей: согласованные признаки, point-in-time корректность, единый слой доступа, отдача с низкой задержкой и совместная работа через общий каталог определений.
Практический смысл — переиспользовать определение spend_7d и согласовать расчёт между обучением и предсказанием. Значения признака продолжают обновляться, а история и последние версии могут храниться в разных контурах. Одинаковую логику расчёта и своевременную загрузку настраивает команда. Документация Amazon SageMaker Feature Store называет это сокращением повторной обработки и курирования данных, а также снижением training-serving skew — расхождения между качеством модели на обучении и на отдаче.
Разберём на учебном примере. Для пользователя u1 есть три версии признака spend_7d: 1 января 10:00 — 100, 1 января 12:00 — 150, 2 января 09:00 — 300. Это условные числа для разбора логики. Для учебного примера выбираем TTL два часа и предполагаем, что значения доступны с указанного времени события. Тогда объект u1 с prediction_time 1 января 11:00 получает 100: версия 10:00 находится внутри выбранного окна. Версия 150 появилась позже момента предсказания, версия 300 — на следующий день. Без реестра и правила выбора версии легко взять «последнее, что есть в таблице», и модель увидит будущее.
Второй слой пользы — каталог. Документация Feast описывает централизованный каталог определений признаков как единый источник правды, из которого читают data scientists, ML-инженеры и data-инженеры. Документация Databricks Feature Store говорит о центральном реестре признаков для моделей ИИ и ML: при регистрации признаков и моделей в Unity Catalog появляются governance, lineage, point-in-time joins и кросс-воркспейсное обнаружение. Каталог отвечает на вопрос «какой признак уже посчитан и где его взять», и помогает найти существующее определение перед повторной разработкой.
Entity и время признака
Entity — это ключ, по которому признак привязывается к объекту. В документации Feast entity задаётся именем и join keys, например driver с ключом driver_id. В документации SageMaker аналог называется record identifier: запись — набор значений признаков, соответствующих уникальному идентификатору. Без entity признак превращается в безымянную колонку, которую нельзя соединить с метками.
Время признака — второй обязательный элемент. Документация Feast моделирует значения признаков как временные ряды: у каждой строки есть event timestamp. Документация SageMaker включает event time в метаданные feature group. Время отвечает на вопрос «когда это значение стало истинным», и от него зависит, какую версию признака увидит модель.
Вернёмся к u1. Строки выглядят так:
| entity | event_time | spend_7d |
|---|---|---|
| u1 | 1 января 10:00 | 100 |
| u1 | 1 января 12:00 | 150 |
| u1 | 2 января 09:00 | 300 |
Правило выбора: entity совпадает, event_time <= prediction_time, берётся последняя допустимая версия с учётом TTL. Для prediction_time 1 января 11:00 эталон — 100. Для 1 января 13:00 эталон — 150. Для online-запроса 2 января 10:00 хранилище может отдать 300, и это корректно для текущего момента. Значение 300 нельзя ретроспективно вставить во все строки обучения: для январских меток это будущее.
TTL ограничивает, насколько назад разрешено смотреть. Документация Feast уточняет важную деталь: TTL отсчитывается от каждого timestamp в entity dataframe. Текущий момент выполнения запроса эту точку отсчёта не заменяет. Строка, чей timestamp отстоит от признака дальше TTL, не соединяется.
Offline и online
Feature store обычно держит два хранилища с разными задачами. Документация Feast описывает offline store как слой для извлечения исторических признаков при обучении и batch-скоринге, а online store — как хранилище последних значений для real-time-отдачи. Документация SageMaker формулирует так: online store хранит только последние записи и рассчитан на чтение с задержкой в миллисекундах и высокую пропускную способность записи; offline store хранит все записи как историческую базу для исследования данных, обучения и batch-предсказаний.
| Критерий | Offline store | Online store |
|---|---|---|
| Что хранит | историю всех версий | последнее значение на entity |
| Для чего | обучение, batch-скоринг | предсказание в реальном времени |
| Формат и место | Parquet в S3, Athena-запросы (SageMaker) | key-value хранилище, например DynamoDB или Redis |
| Тип чтения | тяжёлые исторические выборки | точечное чтение по ключу |
Связывает их материализация. Документация Feast описывает batch materialization engine как компонент, который загружает признаки из offline в online. В quickstart команда materialize_incremental стартует от последней даты материализации feature view, а на первом запуске — от текущего времени минус TTL. Документация SageMaker добавляет два способа загрузки: потоковый через синхронный PutRecord и пакетный через processing job.
Практический вывод: offline store отвечает за воспроизводимость обучения, online store — за скорость предсказания. Рассинхрон между ними может стать одной из причин training-serving skew.
Point-in-time join
Point-in-time join — операция, которая присоединяет к строке метки ту версию признака, которая была актуальна на момент события. Документация Feast описывает её так: для каждой строки entity dataframe система ищет признаки в источнике, сканируя назад во времени от timestamp строки и не дальше TTL.
Порядок действий для учебного примера:
- Собрать entity dataframe с колонками
entity,prediction_time,label. - Указать feature view и набор признаков.
- Запустить историческое извлечение:
get_historical_features. - Получить таблицу, где к каждой строке присоединена версия признака, допустимая на её timestamp.
- Проверить результат: нет строк с
event_time > prediction_time.
Для u1 с prediction_time 1 января 11:00 join вернёт 100. Строка с 150 не проходит условие по времени, строка с 300 тоже. Документация Feast приводит пример, где часть строк entity dataframe не соединяется: одна строка оказалась старше самых ранних признаков, другая вышла за окно TTL.
Отдельная тонкость — доступность значения. Документация Feast отмечает, что по умолчанию point-in-time join ограничивает только event timestamp признака. Колонка created_timestamp используется для дедупликации строк с одинаковым event timestamp, и значение, дозаписанное или исправленное после timestamp строки, всё равно может быть возвращено. Чтобы ограничить выборку значениями, доступными на момент строки, применяют filter_by_created_timestamp=True; тогда в join добавляется условие created_timestamp <= entity_timestamp. Строки с пустым created timestamp при включённом флаге исключаются, и часть offline store этот флаг пока не поддерживает.
Учебная ошибка будущего
Утечка будущего — ситуация, когда в обучающую выборку попадает информация, недоступная на момент предсказания. Модель показывает высокое качество на валидации и разваливается в продакшене. Документация Feast называет генерацию point-in-time корректных наборов признаков способом не допустить попадания будущих данных в обучение.
Разберём ошибку на u1. Если собрать обучение «по последнему значению», все строки получат 300. Для метки от 1 января модель обучится на признаке, которого на ту дату не существовало. На обучении связь покажется сильной, на предсказании признак будет другим.
Проверки, которые ловят этот класс ошибок:
- нет строк, где
event_timeбольшеprediction_time; - нет дубликатов пары entity и event_time;
- известны freshness и TTL для каждого признака;
- логика расчёта признака совпадает при обучении и при отдаче;
- отдельно проверены event time и availability time.
Последний пункт важен: point-in-time join устраняет один вид утечки. Он не доказывает, что признак был реально доступен в указанное время события. Значение могло быть дозаписано позже, и тогда нужен контроль availability time.
Согласование training и serving
Training-serving skew — расхождение между признаками на обучении и на предсказании. Документация SageMaker называет это распространённой проблемой ML, при которой разница в работе на обучении и на отдаче влияет на точность модели. Документация Databricks описывает свой механизм: модель отслеживает lineage к признакам, использованным при обучении, а на предсказании автоматически подставляет последние значения и считает on-demand признаки.
Согласование держится на трёх вещах:
- Одно определение признака для обоих контуров. Документация Feast говорит о переиспользовании логики трансформаций между online- и offline-сценариями.
- Один код расчёта. Если обучение считает spend_7d в SQL, а отдача — в Python, эквивалентность формул нужно проверять отдельно.
- Один источник значений. В batch-схеме Feast online store наполняется материализацией из offline store. При другом пути загрузки согласованность расчёта проверяют отдельно.
Для проверки согласования сохраните значение, которое online-контур действительно отдал для конкретных entity и момента предсказания. Позже сравните его с историческим извлечением для этого момента, учитывая event time, доступность данных и задержку материализации. Обычный online store хранит последнее значение и не обязан отвечать на запрос о прошлом: такой запрос не заменяет журнал реально выданных признаков. Расхождение требует проверки логики и времени загрузки.
Когда достаточно простой таблицы
Feature store добавляет инфраструктуру, и она оправдана не всегда. Простая таблица может подойти, если расписание обновления, исторический выбор версий и задержка чтения удовлетворяют задаче. Число моделей и размер команды сами по себе этого не определяют. В простом варианте признаки можно рассчитывать SQL-запросом и хранить рядом с метками.
Признаки перерастают таблицу, когда:
- признаков десятки и их переиспользуют несколько команд;
- нужна отдача в реальном времени с задержкой в миллисекундах;
- обучение и предсказание должны читать одну логику;
- требуется point-in-time корректность на исторических данных;
- нужен каталог с описаниями, владельцами и версиями.
Документация Feast прямо очерчивает границы: Feast помогает управлять данными в других системах, таких как BigQuery, Snowflake, DynamoDB, Redis. Он не заменяет data warehouse и не является источником правды для всех преобразованных данных. Документация Databricks рекомендует Feature Views для новых проектов и feature tables для сценариев, где нужен Delta Sharing.
Практическое правило: сначала зафиксируйте требования к истории, свежести, задержке и переиспользованию. Затем проверьте, выполняет ли их простая таблица или нужен отдельный слой управления признаками. Стоимость и пользу выбранного решения оценивают на своей нагрузке.
Частые вопросы
Что такое feature store простыми словами?
Это слой между хранилищем данных и моделью. Он хранит определения признаков, отдаёт историю для обучения и последние значения для предсказания. Документация Feast описывает его как систему, которая переиспользует существующую инфраструктуру и отдаёт признаки в batch- и real-time-режимах.
Чем offline store отличается от online store?
Offline store хранит все версии признаков и используется для обучения и batch-скоринга. Online store хранит последнее значение на entity и рассчитан на чтение с задержкой в миллисекундах. Документация SageMaker описывает оба режима и их назначение.
Что такое point-in-time join?
Это присоединение к строке метки той версии признака, которая была актуальна на момент события. Система сканирует назад от timestamp строки и не дальше TTL. Так будущие значения не попадают в обучающую выборку.
Что такое утечка данных при обучении?
Это попадание в обучающую выборку информации, недоступной на момент предсказания. Модель показывает высокое качество на валидации и теряет его в продакшене. Point-in-time join устраняет один вид такой утечки.
Нужен ли feature store для одной модели?
Число моделей само по себе не определяет выбор. Таблицы может быть достаточно, если она обеспечивает нужные свежесть, задержку чтения и корректный выбор исторических версий. Эти требования проверяют до добавления отдельной инфраструктуры.
