PCA (principal component analysis, метод главных компонент) — линейная ортогональная проекция центрированных данных на направления максимального разброса. Вопрос «Что такое PCA: главные компоненты и потеря информации» связывает новую ось с сохранённой и потерянной дисперсией.
Признаки и направления разброса
Метод главных компонент ищет оси, вдоль которых точки расположены наиболее широко. В документации scikit-learn сказано, что главные оси в пространстве признаков представляют направления максимального разброса в данных. Это определение задаёт геометрию: сначала выбирается направление с наибольшей дисперсией, затем следующее направление, ортогональное первому, и так далее.
IBM в своём обзоре формулирует ту же идею иначе: первая главная компонента (PC1) — это направление в пространстве, вдоль которого точки данных имеют наибольший разброс. Компоненты строятся как линейные комбинации исходных переменных. Из этого следует практический вывод: новая ось в общем случае объединяет несколько исходных признаков.
Разброс удобно представлять через дисперсию. Если точки лежат почти на одной прямой, большая часть дисперсии приходится на одно направление. Если облако точек изотропно, дисперсия распределена по многим осям примерно одинаково, и сокращение размерности даст заметную потерю. Поэтому перед выбором числа компонент полезно изучить распределение дисперсии по направлениям.
Направление задаётся вектором. В учебном примере ниже все точки лежат на прямой с направлением v=(1,2)/√5. Это означает, что перпендикулярное направление u=(-2,1)/√5 не несёт разброса: проекции на него равны нулю. Такая ситуация — удобный учебный случай, где одна компонента сохраняет весь разброс. В реальных данных перпендикулярная составляющая обычно не нулевая, и её вклад нужно измерять.
В классическом PCA выбранные оси ортогональны, а проекции обучающих данных на разные компоненты некоррелированы. Новая ось учитывает отдельное направление разброса, хотя при нулевой дисперсии она не добавляет информации. Документация scikit-learn описывает PCA как разложение набора данных на последовательные ортогональные компоненты, объясняющие максимальную долю дисперсии. Это и есть формальное описание того, как метод распределяет разброс по осям.
Полезно различать две величины: дисперсию вдоль оси и вклад оси в общую дисперсию. Первая измеряется в единицах признаков в квадрате, вторая — безразмерная доля. Для выбора числа компонент обычно используют вторую. Для интерпретации направления — первую и сам вектор нагрузки.
Ещё одно свойство: знак вектора компоненты не определён однозначно. Умножение вектора на −1 даёт ту же ось и ту же геометрию, меняется лишь знак проекций. Это важно при сравнении результатов двух запусков: расхождение знаков не означает расхождение метода.
Центрирование
Центрирование — обязательный шаг PCA. В документации scikit-learn прямо указано: входные данные центрируются, но не масштабируются по каждому признаку перед применением SVD. Это значит, что из каждого столбца вычитается его среднее, а деление на стандартное отклонение метод сам по себе не делает.
Среднее оценивается по обучающему набору. В той же документации сказано, что per-feature empirical mean оценивается из тренировочного набора. Отсюда следует важное правило: среднее, использованное при обучении, нужно сохранить и применять к новым данным. Если пересчитать среднее на тестовой выборке, проекция сместится.
Зачем центрировать? PCA ищет направления разброса вокруг центра облака. SVD без центрирования может выделить смещение облака от начала координат; это будет другое преобразование. Центрирование убирает этот эффект и делает оси независимыми от положения начала координат.
Сравнение с близким методом показывает роль центрирования. В документации scikit-learn отмечено, что TruncatedSVD очень похож на PCA, но отличается тем, что матрицу X не нужно центрировать. Это различие полезно держать в голове: там, где центрирование невозможно или нежелательно, применяют другой инструмент, и его результаты отличаются от PCA.
Проверка центрирования проста. После вычитания среднего сумма значений по каждому столбцу равна нулю. Если это не так, шаг выполнен неверно. В учебном примере ниже центр равен (2.5, 5), и после вычитания точки становятся симметричными относительно нуля.
Центрирование влияет и на обратное преобразование. Чтобы вернуть точку в исходные координаты, к проекции нужно прибавить сохранённое среднее. Формула обратной проекции в учебном примере: score·v + mean. Без сохранённого среднего восстановление даст смещённый результат.
Отдельно стоит сказать про пропуски. Центрирование требует числовых значений в каждом столбце. Если в данных есть пропуски, их нужно обработать до PCA: заполнить, удалить строки или использовать метод, устойчивый к пропускам. Способ обработки пропусков выбирают отдельно и также обучают только на train; обычный PCA scikit-learn требует подготовленного числового входа.
Полный пример на прямой
Разберём учебный пример, который показывает работу PCA от начала до конца. Четыре условные точки позволяют проверить шаги вручную; результаты не характеризуют реальные данные.
Исходная таблица: A=(1,2), B=(2,4), C=(3,6), D=(4,8). Центр равен (2.5, 5). Центрированные точки: A=(-1.5,-3), B=(-0.5,-1), C=(0.5,1), D=(1.5,3). Все они лежат на направлении v=(1,2)/√5, а перпендикулярное направление u=(-2,1)/√5 даёт нулевые проекции.
Проекции на v равны: -1.5√5, -0.5√5, 0.5√5, 1.5√5. Проекции на u равны нулю для всех четырёх точек. Одна компонента в этом условном безошибочном наборе сохраняет весь разброс. Это свойство конкретного примера, и оно не обещает такого же результата для реальных данных.
Обратная проекция score·v + mean восстанавливает исходную таблицу. Проверим на точке A: score = -1.5√5, умножаем на v=(1,2)/√5, получаем (-1.5,-3), прибавляем среднее (2.5,5), получаем (1,2). Совпадение с исходной точкой подтверждает, что при одной компоненте потери в этом наборе нет.
Знак вектора v может быть обратным: если взять -v, проекции сменят знак, а геометрия останется той же. Обратная проекция при этом тоже восстановит исходные точки. Это иллюстрирует неоднозначность знака, о которой говорилось выше.
Отдельная точка H=(5,9) в этом примере служит holdout. Она не включается в вычисление центра и компонент. Её проекция считается по уже найденным параметрам: сначала вычитается среднее (2.5,5), получается (2.5,4), затем берётся проекция на v. Так проверяют, что новые данные обрабатываются теми же параметрами, что и обучающие.
Если добавить шум во второй признак, перпендикулярная составляющая перестанет быть нулевой. Тогда потерянный разброс нужно проверять повторно: сравнить долю дисперсии, объяснённую выбранными компонентами, с полной дисперсией. В учебном примере такой проверки нет, потому что шум не добавлен.
Что означает explained_variance
В scikit-learn explained_variance_ — величина дисперсии по каждой выбранной компоненте. Долю общей дисперсии хранит отдельный атрибут explained_variance_ratio_. Эти величины нельзя путать: только доли складывают для оценки сохранённой части разброса. В документации scikit-learn PCA описан как разложение набора данных на последовательные ортогональные компоненты, объясняющие максимальную долю дисперсии. Отсюда и название атрибута: он показывает, сколько разброса приходится на каждую ось.
Сумма объяснённых долей по всем компонентам равна единице. Если оставить первые k компонент, их суммарная доля показывает, какую часть разброса сохранила проекция. Остаток — это потеря информации, о которой говорит заголовок статьи. Здесь потеря означает отброшенную дисперсию при выбранном масштабе признаков.
В учебном примере на прямой одна компонента объясняет весь разброс, потому что перпендикулярная составляющая нулевая. В реальных данных точное восстановление одной компонентой требует особой структуры; обычно остаётся разброс по другим направлениям. Практический ориентир — смотреть на кривую накопленной объяснённой дисперсии и выбирать число компонент там, где кривая выходит на плато.
Важно понимать, что explained_variance зависит от масштаба признаков. Признак с большой дисперсией может сильнее влиять на главные компоненты. Большой постоянный сдвиг значений удаляется центрированием, а направление оси также зависит от связей между признаками. Это следует из работы PCA с дисперсией в исходных единицах.
Ещё одно свойство: explained_variance не говорит о качестве модели для конкретной задачи. Высокая доля сохранённого разброса означает, что проекция хорошо приближает исходные данные геометрически. Она не означает, что признаки стали лучше разделять классы или что структура данных упростилась.
Для отчёта полезно приводить две величины: долю каждой компоненты и накопленную долю. Первая показывает вклад отдельной оси, вторая — итог по выбранному числу компонент. Вместе они дают читателю полную картину потери.
Атрибуты explained_variance_ и explained_variance_ratio_ оцениваются по обучающему набору. На новых данных фактическая доля сохранённого разброса может отличаться. Поэтому при переносе модели на другую выборку стоит пересчитать метрику и сравнить с обучающей.
Масштаб и standardization
Масштаб признаков напрямую влияет на результат PCA. В документации scikit-learn указано, что PCA центрирует, но не масштабирует входные данные по каждому признаку. Это значит, что решение о стандартизации принимает аналитик, и оно меняет проекцию.
Стандартизация приводит признаки к единому масштабу: из значения вычитается среднее и результат делится на стандартное отклонение. После этого дисперсия каждого признака равна единице, и ни один столбец не доминирует только за счёт единиц измерения.
Когда стандартизация нужна? Если признаки измеряются в разных единицах и их вклад должен быть сопоставим. В учебном примере отмечено: если второй столбец сменить с рублей на копейки, его масштаб изменится, и выбор standardization должен быть обоснован смыслом данных. Один и тот же набор, выраженный в разных единицах, даст разные компоненты.
Когда стандартизация не нужна? Если все признаки уже в одной шкале и их абсолютные различия важны. Тогда сохранение исходных дисперсий отражает реальную структуру данных. Решение обосновывают смыслом задачи.
Сравнение двух подходов удобно свести в таблицу.
| Аспект | Без стандартизации | Со стандартизацией |
|---|---|---|
| Подготовка и PCA | PCA центрирует каждый признак | Отдельный scaler центрирует и масштабирует; затем PCA строит компоненты |
| Влияние единиц | Большая дисперсия признака может усиливать его влияние на компоненты. | Масштаб каждого непостоянного признака выравнивается по его стандартному отклонению. |
| Когда применять | Признаки в одной шкале, важны абсолютные различия | Признаки в разных единицах, важен относительный вклад |
| Что меняется | Компоненты отражают исходные дисперсии | Компоненты отражают корреляции |
Из таблицы видно, что выбор влияет на интерпретацию компонент. Без стандартизации признак с большой дисперсией может сильно влиять на первую ось, хотя совпадение с исходным столбцом не обязательно. После стандартизации PCA работает с относительной структурой взаимосвязей признаков.
Практический порядок: сначала посмотреть на единицы и диапазоны признаков, затем решить, нужна ли стандартизация, и только после этого обучать PCA. Если стандартизация применена, её параметры (среднее и стандартное отклонение) сохраняются вместе с моделью и применяются к новым данным.
Fit только на train
Обучение PCA выполняется только на тренировочном наборе. В документации scikit-learn сказано, что per-feature empirical mean оценивается из тренировочного набора. Это правило защищает от утечки данных: параметры центрирования и компоненты не должны зависеть от тестовой выборки.
Порядок действий такой. Сначала данные делятся на train и test. Затем на train вызывается fit, который вычисляет среднее и главные оси. После этого transform применяется и к train, и к test с уже найденными параметрами. Тестовая выборка не участвует в вычислении среднего и компонент.
Почему это важно? Если вычислить среднее на всех данных, тестовая информация проникнет в обучение. Оценка на тесте может оказаться смещённой, потому что модель уже видела статистику тестовых точек. Это классическая ошибка, и она особенно заметна на малых выборках.
В учебном примере точка H=(5,9) служит holdout и не включается в fit центра и компонент. Её проекция считается по параметрам, найденным на A, B, C, D. Так проверяют, что новые данные обрабатываются корректно.
Тот же принцип действует при кросс-валидации. Внутри каждого фолда PCA обучается на тренировочной части и применяется к валидационной. Если обучать PCA на всём наборе до разбиения, оценка качества станет смещённой.
Отдельный вопрос — сохранение параметров. Среднее, компоненты и, при стандартизации, масштаб нужно сохранить вместе с моделью. При переносе на новые данные используются сохранённые при fit значения.
Чего PCA не доказывает
PCA — инструмент сокращения размерности. Он не доказывает наличие кластеров в данных. IBM в своём обзоре разграничивает задачи: PCA применяется для сокращения размерности данных, тогда как k-means группирует точки по схожести. Это разные цели, и результат PCA не заменяет результат кластеризации.
PCA не доказывает причинно-следственные связи. Направление максимального разброса — это геометрическая характеристика облака точек. Из того, что точка лежит на определённой проекции, не следует, что один признак вызывает другой. Для причинных выводов нужен отдельный дизайн исследования.
PCA не гарантирует, что компоненты имеют физический смысл. Каждая компонента — линейная комбинация исходных признаков, и её интерпретация требует отдельной работы. Иногда первая компонента совпадает с осмысленным фактором, иногда представляет смесь, которую трудно назвать.
PCA не восстанавливает исходные данные без потерь при сокращении размерности. Обратная проекция score·v + mean возвращает приближение. В учебном примере на прямой приближение точное, потому что перпендикулярная составляющая нулевая. В общем случае остаётся ошибка восстановления. Сумма отброшенных дисперсий характеризует среднюю квадратичную потерю на обучающих данных; доля сохранённого разброса читается из explained_variance_ratio_.
PCA не заменяет проверку качества модели для конкретной задачи. Сохранённый разброс — геометрическая метрика. Она не говорит, стала ли модель точнее в классификации или регрессии. Для этого нужны отдельные измерения на отложенной выборке.
Реализации PCA могут выбирать число компонент по заданному правилу: например, scikit-learn поддерживает порог доли дисперсии и режим mle при подходящем solver. Аналитик задаёт правило и проверяет его пригодность для задачи. Автоматический порог может дать как избыточное, так и недостаточное число осей.
Частые вопросы
Что делает метод главных компонент PCA?
Метод строит новые оси как линейные комбинации исходных признаков и упорядочивает их по доле объяснённой дисперсии. Первая ось указывает направление наибольшего разброса, каждая следующая ортогональна предыдущим. Проекция на первые k осей сокращает размерность, сохраняя максимально возможную долю разброса. Остаток дисперсии — это потеря информации при сокращении.
Нужно ли стандартизировать данные перед PCA?
PCA центрирует данные, но не масштабирует их по каждому признаку. Если признаки измеряются в разных единицах, стандартизация делает их вклад сопоставимым. Если все признаки в одной шкале и важны абсолютные различия, можно обойтись без неё. Решение обосновывают смыслом данных.
Как понять, сколько компонент оставить?
Смотрят на накопленную объяснённую дисперсию и выбирают число компонент там, где кривая выходит на плато. Дополнительно учитывают требования задачи и интерпретируемость осей. Автоматического порога, подходящего всем наборам, нет. Полезно сравнить несколько вариантов и оценить потерю разброса для каждого.
Можно ли обучать PCA на всех данных сразу?
Параметры центрирования и компоненты оцениваются по тренировочному набору. Если включить тестовые точки в fit, их статистика проникнет в обучение и оценка качества может оказаться смещённой. Правильный порядок: разделить данные, обучить PCA на train, применить transform к test с сохранёнными параметрами.
Доказывает ли PCA наличие кластеров?
PCA сокращает размерность и показывает направления разброса. Кластеризация — отдельная задача, которую решают другими методами, например k-means. Точки, близкие на проекции, могут принадлежать разным группам в исходном пространстве. Для выводов о кластерах нужен отдельный анализ.
