Eine lineare Methode zur Dimensionsreduktion, die orthogonale Richtungen (Hauptkomponenten) in den Daten identifiziert, die sukzessive maximale Varianz erfassen; üblicherweise berechnet durch Diagonalisierung der empirischen Kovarianzmatrix oder mittels singulärer Wertzerlegung der Datenmatrix.

Prinzip

Finde eine orthogonale Basis, die die projizierte Varianz in absteigender Reihenfolge maximiert, sodass eine niedrigdimensionale Projektion möglichst viel der zweiten Momentstruktur der Daten unter linearen Einschränkungen erhält.

Demonstration

Standardisiere einen multivariaten Datensatz, berechne seine Stichprobenkovarianzmatrix, diagonalisiere sie, um die Hauptachsen zu erhalten, und projiziere die Daten auf die ersten k Achsen zur Dimensionsreduktion bei Erhalt der dominanten Varianz.

Fehlanwendung

Die Methode auf Daten mit starker nichtlinearer Mannigfaltigkeit ohne Vorverarbeitung anzuwenden oder das Zentrieren der Variablen zu unterlassen, was zu irreführenden Komponenten führen kann, die die intrinsische Struktur nicht erfassen.

Konsequenz

Erzeugt unkorrelierte lineare Merkmale, geordnet nach erklärter Varianz, vereinfacht Visualisierung, Rauschunterdrückung und einige nachfolgende Aufgaben und macht Richtungen höchster Variabilität sichtbar.

Umkehrung

Nichtlineare Dimensionsreduktionstechniken (z. B. Manifold-Learning), die entworfen wurden, nichtlineare Strukturen und Beziehungen zu erfassen, die lineare Hauptkomponenten nicht darstellen können.

Abgrenzung

Eine lineare Methode, die auf Statistik des zweiten Moments beruht; sie modelliert latente generative Faktoren nicht explizit und ist gegenüber Skalierung und Ausreißern empfindlich, sofern keine Vorverarbeitung erfolgt.

Semantische Spannung

Wird oft gegenüber der Faktorenanalyse gestellt: PCA konzentriert sich auf Varianzmaximierung und orthogonale Projektionen, während Faktorenanalyse ein latentes Variablenmodell annimmt und Residualvarianz anders behandelt.

Synthese

PCA ist eine lineare Projektionstechnik, die ein orthogonales Koordinatensystem durch Diagonalisierung der empirischen Kovarianz (oder mittels SVD) ableitet, so dass niedrigdimensionale Projektionen unter Orthogonalitätsbedingungen maximale Varianz behalten.