Инструменты ИИ для синтетических данных решают одну задачу: обучить модель на реальной таблице и получить новый набор строк. Ниже — карта выбора между SDV, MOSTLY AI Synthetic Data SDK и Synthcity, учебный вход из четырёх строк, ручной эталон, проверки выхода и критерии приёмки. Числа и цитаты взяты из первичных README проектов.
Карта выбора под явные ограничения
Начните выбор с ограничений своего проекта. Зафиксируйте пять условий: где считается модель, какие типы данных в таблице, сколько таблиц связано, какие требования к приватности заявлены формально, кто будет сопровождать код. Дальше сравните три маршрута по документации.
SDV — Python-библиотека от DataCebo, описана в README как «one-stop shop for creating tabular synthetic data». Она обучается на паттернах реальных данных и воспроизводит их в синтетике. Поддерживает одиночные таблицы, несколько связанных таблиц и последовательные данные. Модели идут от классической статистики (GaussianCopula) до глубокого обучения (CTGAN). Есть оценка качества, визуализация, препроцессинг, анонимизация и логические ограничения. Лицензия — Business Source License, это условие использования.
MOSTLY AI Synthetic Data SDK — Python-инструмент. В README прямо сказано: LOCAL-режим обучает и генерирует данные на ваших вычислительных ресурсах и является режимом по умолчанию; CLIENT-режим подключается к удалённому endpoint. SDK оперирует тремя ресурсами: Generators, Synthetic Datasets, Connectors. Есть поддержка смешанных типов, одиночных и связанных таблиц, временных рядов, GPU и CPU, дифференциальной приватности, отчётов качества.
Synthcity — библиотека от van der Schaar Lab для генерации и оценки синтетических табличных данных. Архитектура плагинная, есть набор метрик корректности и приватности, десятки референсных моделей: GAN, VAE, нормализующие потоки, байесовские сети, диффузионные модели, LLM-based GReaT. Отдельно указано: библиотека не обрабатывает пропуски, их нужно импутировать заранее.
| Условие | SDV | MOSTLY AI SDK | Synthcity |
|---|---|---|---|
| Где считается модель | Локально, Python | LOCAL по умолчанию, CLIENT к remote | Локально, Python |
| Типы данных | Одиночные, связанные, последовательные таблицы | Смешанные типы, одиночные, связанные, временные ряды | Табличные, временные ряды, выживаемость, изображения |
| Оценка качества | evaluate_quality, отчёт | HTML-отчёты, метрики fidelity и privacy | Набор метрик и Benchmarks |
| Плагинность | Модели-синтезаторы | Generators, Datasets, Connectors | Плагины и evaluation toolkit |
| Лицензия | Business Source License | Fully permissive open-source license | Apache 2.0 |
Условия выбора не являются исключительным правом продукта. Каждый пилот подтверждает нужные операции на своей таблице.
Ручной эталон и фактический выход модели
Разделяйте две вещи. Ручной эталон — это строки, которые вы написали сами и точно знаете. Фактический выход модели — строки, которые она сгенерирует, и они заранее неизвестны. Смешивать их нельзя: иначе проверка превращается в подтверждение собственной догадки.
Учебный вход, все значения вымышлены:
customer_id | region | amount | paid
C1 | N | 10 | true
C2 | N | 20 | false
C3 | S | 15 | true
C4 | S | 25 | false
Контракт нового набора: 6 строк, уникальные customer_id, region в множестве {N, S}, amount — неотрицательное число, paid — boolean. Конкретные сгенерированные строки заранее неизвестны. Это и есть граница между эталоном и выходом.
Ручной эталон задаёт правила. Выход модели им подчиняется или нет — это выясняется после генерации. Четыре строки на входе не измеряют сходство распределений и не доказывают приватность. Малый набор годится для проверки контракта, для выводов о распределении нужен другой объём.
Практический порядок: сначала выпишите контракт словами, потом сгенерируйте набор, потом сравните с контрактом. Не наоборот. Если начать с выхода модели и подгонять под него правила, проверка теряет смысл.
Проверка положительного и отрицательного случаев
Для проверки используйте заранее заданный контракт. Для учебного набора ниже перечислены пять групп проверок.
Положительный случай: набор из 6 строк, все customer_id уникальны, все region в {N, S}, все amount неотрицательны, все paid имеют тип boolean. Такой набор проходит приёмку.
Отрицательный случай: строка с amount = -5. Она нарушает условие неотрицательности и должна быть отведена пост-валидацией. Важно: отвод делает валидатор, который вы написали. Автоматическая генерация сама по себе не гарантирует соблюдение ограничений.
| Проверка | Положительный случай | Отрицательный случай | Кто отводит |
|---|---|---|---|
| Число строк | 6 | 5 или 7 | Пост-валидация |
| Уникальность ID | C1…C6 | повтор C3 | Пост-валидация |
| Домен region | N, S | X | Пост-валидация |
| Тип paid | boolean | строка «true» | Пост-валидация |
| Знак amount | 0 и больше | -5 | Пост-валидация |
Проверка типов ловит частую ошибку: значение true приходит строкой. В таблице это выглядит как true, в коде это другой тип. Явная проверка типа закрывает этот случай.
Synthcity в README приводит метрику data_mismatch: среднее число колонок с несовпадением типа между реальными и синтетическими данными. Значение 0 означает отсутствие несовпадений. Это готовый ориентир для проверки типов.
Продуктовый путь, API и условия доступа
У каждого инструмента свой путь запуска. Ниже — команды и вызовы из первичных README.
SDV ставится через pip или conda, рекомендуется виртуальное окружение:
pip install sdv
Демо-набор загружается одной функцией, метаданные описывают типы колонок и первичный ключ:
from sdv.datasets.demo import download_demo
real_data, metadata = download_demo(modality='single_table', dataset_name='fake_hotel_guests')
Синтезатор обучается на реальных данных и генерирует строки:
from sdv.single_table import GaussianCopulaSynthesizer
synthesizer = GaussianCopulaSynthesizer(metadata)
synthesizer.fit(data=real_data)
synthetic_data = synthesizer.sample(num_rows=500)
Качество проверяется отчётом:
from sdv.evaluation import evaluate_quality
quality_report = evaluate_quality(real_data, synthetic_data, metadata)
MOSTLY AI SDK требует Python 3.11 или выше. LOCAL-режим ставится так:
uv pip install -U 'mostlyai[local]'
Основные вызовы: mostly.train(config) обучает генератор, mostly.generate(g, config) создаёт набор, mostly.probe(g, config) делает пробу, mostly.connect(config) подключается к источнику данных. Для CLIENT-режима установка легче: uv pip install -U mostlyai. Для GPU на Linux есть вариант mostlyai[local-gpu].
Synthcity ставится через pip:
pip install synthcity
Список доступных генераторов и обучение:
from synthcity.plugins import Plugins
Plugins(categories=["generic", "privacy"]).list()
syn_model = Plugins().get("adsgan")
syn_model.fit(X)
syn_model.generate(count=10)
Сравнение моделей идёт через Benchmarks.evaluate с указанием метрик и числа повторов.
Условия доступа различаются. SDV распространяется под Business Source License. MOSTLY AI SDK в README назван fully permissive open-source. Synthcity — Apache 2.0. Перед пилотом проверьте лицензию под свой сценарий.
Чего не обещают сами инструменты
Формальная приватность — отдельный выбор. Дифференциальная приватность требует поддержанного механизма и конкретных значений epsilon и delta. Эти значения берутся из документации выбранного метода, их нельзя назначать произвольно. Synthcity приводит отдельные privacy-метрики: k_anonymization, l_diversity, delta_presence, identifiability_score. Каждая считается на реальных и синтетических данных.
Само слово synthetic не обещает дифференциальной приватности и невозможности утечки. В Synthcity есть плагин dummy_sampler, который просто пересэмплирует точки из обучающего набора. Выбор генеративного пути сам по себе защиту не доказывает.
Качество зависит от данных и настроек. README MOSTLY AI прямо говорит: результаты зависят от размера, структуры и содержания обучающих данных, от доступных вычислений (CPU или GPU) и от выбранных конфигураций обучения. Рекомендован подход crawl / walk / run: начать с подмножества и ограниченного времени, затем постепенно масштабировать.
Скорость и юридическая достаточность не гарантируются ни одним из трёх инструментов. Соответствие требованиям регулятора требует отдельной оценки с учётом проекта и участия ответственных специалистов. Одно использование библиотеки его не устанавливает.
Согласование scope, схемы и критериев приёмки
Перед пилотом согласуйте четыре документа.
Scope. Что именно генерируем: одиночную таблицу, связанные таблицы, временной ряд. Какой объём. Где считается модель. Какие ограничения по приватности заявлены формально.
Схема данных. Список колонок, типы, домены значений, первичный ключ, связи между таблицами. Для учебного набора: customer_id, region, amount, paid.
Критерии приёмки. Проверяемый список. Для учебного набора он такой: 6 строк, уникальные customer_id, region в {N, S}, amount неотрицателен, paid — boolean. Каждый пункт проверяется кодом. Ручной просмотр дополняет эти проверки.
Отрицательные проверки. Отдельный список того, что должно быть отведено: отрицательный amount, дубль ID, значение вне домена, строка вместо boolean.
Промпт, чтобы получить черновик такого согласования под свою задачу:
Ты помогаешь согласовать пилот по синтетическим данным.
Контекст: [ваша предметная область].
Таблица: [список колонок с типами].
Ограничения: [где считается модель, требования к приватности].
Составь четыре раздела:
1) scope пилота;
2) схема данных с типами и доменами;
3) критерии приёмки в виде проверяемых пунктов;
4) список отрицательных случаев, которые должны быть отведены.
Каждый пункт формулируй так, чтобы его можно было проверить кодом.
Не добавляй обещаний качества, скорости или приватности.
Что менять под себя: предметную область, список колонок, ограничения по месту вычислений и приватности. Вариации той же задачи: согласование для связанных таблиц; согласование для временного ряда; согласование для набора с пропусками; согласование с явным требованием дифференциальной приватности; согласование для исследовательского сравнения нескольких генераторов.
Заполненная матрица выбора выглядит так. Команда уже использует DataCebo Metadata и одну таблицу — SDV кандидат для пилота. Нужен один SDK с resources Generators, Synthetic Datasets, Connectors, локальной работой и отдельным CLIENT remote режимом — MOSTLY AI кандидат. Нужно исследовательское сравнение разных generative plugins и его evaluation toolkit — Synthcity кандидат.
Частые вопросы
Какие инструменты ИИ для синтетических данных выбрать для одной таблицы?
Для одиночной таблицы подходит любой из трёх. SDV даёт готовый путь от метаданных до отчёта качества. MOSTLY AI SDK работает локально по умолчанию. Synthcity удобен, когда нужно сравнить несколько генераторов на одном наборе.
Чем ручной эталон отличается от выхода модели?
Ручной эталон вы пишете сами и точно знаете его значения. Выход модели заранее неизвестен, его получают после обучения. Проверка сравнивает выход с контрактом, который задан эталоном.
Как проверить, что генерация соблюдает ограничения?
Напишите пост-валидацию по контракту: число строк, уникальность ключа, домены значений, типы, знак числовых полей. Отрицательные случаи вроде amount = -5 должны отводиться валидатором.
Гарантирует ли синтетика приватность?
Само слово synthetic этого не обещает. Формальная дифференциальная приватность требует поддержанного механизма и конкретных значений epsilon и delta. В Synthcity есть плагин dummy_sampler, который пересэмплирует обучающие точки.
Можно ли назвать MOSTLY AI облачным сервисом?
В текущем README сказано: LOCAL-режим обучает и генерирует данные на ваших ресурсах и является режимом по умолчанию, CLIENT-режим подключается к удалённому endpoint. Описание только как облачного сервиса неполно.