Содержание
  1. Что пытается сохранять t-SNE
  2. Карта и исходные признаки
  3. Perplexity и размер выборки
  4. Две повторные проверки
  5. Локальные и глобальные выводы
  6. Новые точки
  7. Когда выбрать другой метод
  8. Частые вопросы
Справочник

Что такое t-SNE: как читать карту похожих объектов

16 ноября 2026 · 13 минут чтения

Вопрос «Что такое t-SNE: как читать карту похожих объектов» относится к методу нелинейного понижения размерности, который переводит попарные сходства точек в совместные вероятности и подбирает двумерную или трёхмерную карту так, чтобы распределение соседств на ней было близко к распределению в исходных данных. Читают такую карту по локальным соседствам, проверяя близость объектов по исходным признакам; сохранение всех пар не гарантировано. Документация scikit-learn описывает t-SNE как инструмент визуализации высокоразмерных данных, который минимизирует расхождение Кульбака — Лейблера между совместными вероятностями вложения и исходных данных.

Что пытается сохранять t-SNE

Алгоритм работает с матрицей попарных сходств. В исходном пространстве сходства задаются гауссовым распределением, а на карте — распределением с тяжёлыми хвостами; расхождение между двумя наборами вероятностей измеряется дивергенцией Кульбака — Лейблера. Документация openTSNE формулирует это прямо: сходства в исходном и вложенном пространстве моделируются как плотности вероятностей, а в исходном пространстве они задаются гауссовым распределением. Практический смысл для читателя: метод стремится удержать локальные соседства; точная геометрия исходного пространства на карту не переносится.

Отсюда первое правило чтения. Близость двух точек на карте — повод проверить, близки ли они и в исходных признаках. Калиброванную вероятность правильности этого вывода карта не сообщает. Если две точки далеко, это говорит о низком сходстве в модели, но не даёт числа — насколько далеко они в исходном пространстве. Документация scikit-learn отдельно предупреждает: глобальная структура явно не сохраняется. Поэтому карта отвечает на вопрос «кто с кем соседствует», а метрики расстояний и площадей нужно брать из исходной таблицы.

Разберём учебный пример. Возьмём таблицу из шести объектов с двумя признаками: A=(0,0), B=(0,0.1), C=(3,3), D=(3,3.1), E=(6,0), F=(6,0.1). По исходным евклидовым расстояниям ближайшие пары — A-B, C-D, E-F. Это аналитический эталон локальных соседств, который мы задаём до запуска. Он нужен как точка сверки: после построения карты мы смотрим, сохранились ли эти три пары как ближайшие. Такой эталон не является готовой картой t-SNE и не заменяет её.

Второй слой — что именно мы фиксируем перед прогоном. В учебном плане перечислены исходная таблица, масштабирование, seed, perplexity, бюджет итераций и версия реализации. Каждый из этих пунктов влияет на результат, и без их фиксации сравнение двух карт теряет смысл. Масштабирование признаков стоит до построения: если один признак измеряется в единицах, а другой в тысячах, вклад в расстояния будет неравным, и соседства сместятся ещё до того, как алгоритм начнёт работу.

Третий слой — что метод сохранять не пытается. Классы объектов, причинные связи и число групп в данных. Карта не является классификатором и не доказывает причинность; метки в учебном примере отсутствуют, поэтому объявлять найденные облака известными классами нельзя. Эти выводы требуют отдельного анализа за пределами визуализации.

Карта и исходные признаки

Карта — это производная структура. Она построена из попарных сходств, которые, в свою очередь, посчитаны по исходным признакам. Поэтому любая интерпретация карты проверяется возвратом к таблице: какие признаки дали близость, одинаково ли они масштабированы, нет ли пропусков, которые исказили расстояния.

Практический порядок проверки выглядит так:

  1. Зафиксировать исходную таблицу и её размер.
  2. Привести признаки к сопоставимому масштабу.
  3. Записать seed, perplexity, бюджет итераций и версию библиотеки.
  4. Построить карту.
  5. Для каждой пары, которая на карте выглядит соседней, посчитать расстояние в исходных признаках.
  6. Сравнить с эталоном ближайших пар, если он задан заранее.

Шестой шаг — ключевой. В учебном примере эталон известен: A-B, C-D, E-F. Если карта развела одну из этих пар, проверяют параметры, сходимость, исходную метрику и предобработку. Даже корректный запуск может исказить часть соседств. Возможные причины: признак не масштабирован, выбранная метрика не отражает предметную близость, в данных есть выброс, который тянет точки. Здесь перечислены возможные причины; их частота не измерялась.

Что смотрим Где источник истины Что карта даёт
Ближайшие соседи точки Исходная таблица признаков Визуальная группировка
Расстояние между группами Исходные метрики Положение облаков на плоскости
Размер облака Исходные данные и предобработка Площадь, занятая точками
Число групп Предметная разметка Визуальные сгущения
Причина близости Признаки и их смысл Ничего

Таблица фиксирует разделение ролей. Карта показывает, исходные признаки объясняют. Смешивать эти два источника — типичная ошибка чтения.

Отдельно про предобработку. Масштабирование, удаление выбросов и выбор метрики выполняются до t-SNE и влияют на все последующие шаги. Если поменять масштабирование и не записать это, две карты будут несравнимы, даже когда seed и perplexity совпадают. Поэтому журнал параметров ведут вместе с версией реализации: разные версии библиотеки могут давать разные вложения при одинаковых входных значениях.

Perplexity и размер выборки

Perplexity — параметр, который задаёт эффективное число соседей, учитываемых для каждой точки. Документация openTSNE называет его, пожалуй, самым важным параметром в t-SNE и отмечает, что он раскрывает разные аспекты данных. Малые значения подчёркивают мелкие локальные структуры, большие — более крупные сгущения.

Жёсткое ограничение: perplexity должна быть меньше числа объектов. Документация scikit-learn формулирует это как требование: значение perplexity обязано быть меньше количества образцов. Для учебной таблицы из шести строк это означает, что perplexity подбирается в полосе ниже шести. Универсальное значение 30 на шести точках неприменимо: оно превышает размер выборки и нарушает ограничение.

Отсюда практическое правило для маленьких наборов. Сначала проверяем, что perplexity меньше числа строк. Затем выбираем значение внутри допустимой полосы и фиксируем его. Для шести объектов рабочая полоса узкая, и это нормально: метод рассчитан на наборы, где соседей достаточно для устойчивой оценки.

Размер выборки влияет и на устойчивость карты. Чем меньше точек, тем сильнее каждая из них влияет на общую картину, и тем заметнее различия между прогонами. Сам по себе рост числа точек не гарантирует устойчивости: результат зависит от структуры данных, параметров, предобработки и сходимости оптимизации.

Размер выборки Допустимая perplexity Что ожидать
Маленькая (единицы объектов) Строго меньше числа объектов Мало возможных соседей; для вывода об устойчивых группах такой учебной проверки недостаточно
Средняя Ниже числа объектов Устойчивость проверяют повторными прогонами
Большая Ниже числа объектов Нужна проверка соседств и вычислительного бюджета; устойчивость не следует из размера

Во всех строках таблицы действует одно ограничение: размер выборки сам по себе не делает расстояния карты надёжной мерой исходных расстояний. Расстояния между далеко разнесёнными облаками остаются неинтерпретируемыми.

Две повторные проверки

Повторный прогон — основной способ отделить устойчивую структуру от артефакта инициализации. Документация scikit-learn указывает, что алгоритм стохастический и повторные запуски с разными seed могут давать разные вложения. Там же сказано, что разные инициализации могут приводить к разным локальным минимумам функции стоимости. Значит, одна карта — это один из возможных результатов, и её нужно проверять.

Учебный план задаёт две пробы.

Проба A: меняем только seed, остальные параметры фиксируем. Цель — проверить, сохраняются ли исходные ближайшие пары A-B, C-D, E-F. Если пары сохраняются при проверенных seed, зафиксируйте устойчивость этих соседств в проведённых прогонах; её проверяют вместе с исходными расстояниями. Если одна из пар распадается, смотрим исходные метрики и предобработку: возможно, пара была близка по одному признаку и далека по другому, и разные инициализации по-разному разрешают это противоречие.

Проба B: меняем perplexity в допустимой полосе, остальное фиксируем. Цель — увидеть, какие структуры появляются и исчезают при изменении числа учитываемых соседей. Если сгущение видно при нескольких значениях perplexity, отметьте его устойчивость к проверенным настройкам и сверьте соседства по исходным признакам. Появление только при одном значении показывает зависимость визуализации от параметра; само по себе ни одно из этих наблюдений не устанавливает класс или кластер в исходных данных.

Документация distill.pub в статье о типичных ошибках чтения t-SNE отмечает, что фиксированного числа шагов, дающего стабильный результат, нет: разным наборам данных требуются разные объёмы итераций для сходимости. Поэтому бюджет итераций входит в журнал параметров наравне с seed и perplexity.

Порядок двух проб:

  1. Зафиксировать исходную таблицу, масштабирование, perplexity, бюджет итераций, версию реализации.
  2. Прогнать с seed № 1, записать ближайшие пары на карте.
  3. Прогнать с seed № 2, сравнить ближайшие пары с эталоном.
  4. Вернуть первый seed, изменить perplexity в допустимой полосе.
  5. Сравнить, какие сгущения сохранились, а какие появились только при новом значении.
  6. Записать вывод: какие соседства устойчивы, какие зависят от настройки.

Шестой пункт — результат проверки. Он формулируется словами «устойчиво при изменении seed» или «зависит от perplexity». Наличие класса такая проверка не устанавливает.

Локальные и глобальные выводы

Разделение выводов на локальные и глобальные — главный навык чтения карты. Локальный вывод касается соседства конкретных точек: эти два объекта рядом, у них близкие признаки. Глобальный вывод касается отношений между группами: насколько они далеки, как соотносятся их размеры, сколько групп в данных.

Локальные выводы карта поддерживает. Если точки стоят рядом и в исходных признаках они тоже близки, вывод подтверждён. Если рядом стоят точки, далёкие в исходных признаках, это повод проверить предобработку и метрику.

Глобальные выводы карта не поддерживает. Документация openTSNE указывает, что во всех вложениях расстояния между группами точек могут быть полностью бессмысленными. Статья на distill.pub формулирует то же про размеры: относительные размеры кластеров на графике t-SNE увидеть нельзя. Там же сказано, что расстояния между хорошо разделёнными кластерами могут ничего не значить. Документация scikit-learn добавляет, что глобальная структура явно не сохраняется.

Вывод Опора Проверка
Эти точки — соседи Локальные соседства Расстояние в исходных признаках
Это сгущение устойчиво Повторные прогоны Совпадение при разных seed
Это облако занимает большую площадь Не доказывает больший разброс исходных признаков Разброс и плотность в исходных данных
Эти группы далеки Нет опоры Метрика в исходном пространстве
Это разные классы Нет опоры Разметка, которой у карты нет

Практический приём: перед формулировкой вывода назвать, какой источник его подтверждает. Если подтверждение берётся из карты, вывод остаётся визуальным наблюдением. Если из исходной таблицы, вывод становится утверждением о данных.

В учебном примере это выглядит так. Наблюдение «A и B рядом» проверяется расстоянием между A и B в исходных признаках. Наблюдение «облако из C и D дальше от облака A и B» остаётся описанием картинки: расстояние между группами на карте не даёт истинной межгрупповой дистанции. Если расстояние между группами или размер облака изменились после смены параметра, называть это изменением истинной межгрупповой дистанции или дисперсии нельзя.

Новые точки

Новый объект требует явной стратегии. Обычный t-SNE в scikit-learn не обещает универсального преобразования новых данных: метод строит вложение для того набора, который ему передали. У обычного sklearn TSNE нет метода transform для добавления G к готовому вложению; ниже отдельно рассмотрены другие реализации.

Возможные подходы:

  1. Пересчитать вложение на расширенном наборе, включив G в исходную таблицу.
  2. Использовать реализацию, которая поддерживает встраивание новых точек в существующее вложение.
  3. Обучить отдельную модель на признаках и использовать её для оценки близости G к существующим объектам.

Первый подход даёт новую карту целиком: положение всех точек может измениться, поэтому сравнивать её с прежней полезно по устойчивым соседствам; абсолютные координаты двух независимых карт напрямую не сопоставимы. Второй требует, чтобы API библиотеки поддерживал нужный режим. Документация openTSNE описывает работу с новыми данными и отмечает, что по умолчанию градиентное отсечение не применяется, а при встраивании новых точек в существующее вложение нужно следить, чтобы точки не «улетали»; отсечение градиента помогает с этим. Это утверждение относится к openTSNE и его настройкам.

Третий подход выносит задачу за пределы визуализации. Если нужно относить новые объекты к группам, работает классификатор на исходных признаках, а карта остаётся инструментом обзора.

Порядок действий для нового объекта G:

  1. Определить, нужна ли новая карта или достаточно оценки близости.
  2. Для новой карты — добавить G в исходную таблицу и пересчитать вложение с теми же зафиксированными параметрами.
  3. Для оценки близости — посчитать расстояния от G до существующих объектов в исходных признаках.
  4. Сравнить ближайших соседей G с положением G на новой карте.
  5. Записать, какие соседства G устойчивы при повторных прогонах.

Пятый пункт важен: положение одной новой точки на карте чувствительно к инициализации, и один прогон не даёт основания для вывода.

Когда выбрать другой метод

t-SNE решает задачу визуального обзора локальных соседств. Документация scikit-learn указывает, что основное назначение метода — визуализация высокоразмерных данных, и он лучше всего работает при вложении в две или три размерности. Если задача выходит за эти рамки, выбирают другой инструмент.

Задача Подходящий подход Почему t-SNE не подходит
Обзор локальных соседств t-SNE Это его основная задача
Сохранение глобальных расстояний Методы, сохраняющие метрику Глобальная структура явно не сохраняется
Сравнение разброса групп Метрики в исходных данных Площади облаков искажены; число показанных объектов при этом можно посчитать
Отнесение новых объектов к группам Классификатор на признаках Карта не является классификатором
Оценка причинных связей Планирование эксперимента Карта не доказывает причинность
Вложение в десятки измерений Методы для многомерного вложения Метод рассчитан на две или три размерности

Практическое правило выбора: если вопрос звучит как «кто с кем рядом», t-SNE подходит. Если вопрос звучит как «насколько далеко» или «сколько объектов в группе», ответ берётся из исходных данных. Если вопрос звучит как «к какому классу относится новый объект», нужен классификатор.

Отдельно про сравнение с другими методами понижения размерности. Выбор между ними определяется тем, какое свойство данных важно сохранить: локальные соседства, глобальные расстояния или линейные проекции. t-SNE занимает нишу локальных соседств, и в этой нише он остаётся рабочим инструментом визуального анализа.

Частые вопросы

Что такое t-SNE простыми словами?
Это метод, который строит плоскую карту объектов так, чтобы близкие в исходных признаках объекты оказались рядом на карте. Он переводит попарные сходства в вероятности и подбирает вложение, минимизируя расхождение между распределениями сходств. Документация scikit-learn описывает его как инструмент визуализации высокоразмерных данных.

Почему карта t-SNE меняется при повторном запуске?
Алгоритм стохастический. Документация scikit-learn указывает, что повторные запуски с разными seed могут давать разные вложения, а разные инициализации могут приводить к разным локальным минимумам функции стоимости. Для воспроизводимости передают целое число в параметр генератора случайных чисел. Одна карта — один из возможных результатов.

Какой perplexity выбрать?
Значение должно быть меньше числа объектов: документация scikit-learn формулирует это как требование. Для маленьких наборов полоса допустимых значений узкая, и универсальное значение 30 на шести точках неприменимо. Документация openTSNE называет perplexity, пожалуй, самым важным параметром и отмечает, что он раскрывает разные аспекты данных. Значение подбирают в допустимой полосе и фиксируют.

Можно ли судить о расстояниях между кластерами по карте?
Документация openTSNE указывает, что расстояния между группами точек могут быть полностью бессмысленными. Статья на distill.pub отмечает, что расстояния между хорошо разделёнными кластерами могут ничего не значить, а относительные размеры кластеров на графике увидеть нельзя. Расстояния и размеры берут из исходных данных.

Как добавить новую точку в готовую карту?
Обычный t-SNE в scikit-learn не обещает универсального преобразования новых данных. Новую точку добавляют в исходную таблицу и пересчитывают вложение целиком либо используют реализацию, которая поддерживает встраивание в существующее вложение. Документация openTSNE описывает работу с новыми данными и упоминает градиентное отсечение, помогающее точкам не «улетать».

Читайте также

3 материала