Ein lineares Verfahren zur Dimensionsreduktion, das orthogonale Richtungen (Hauptkomponenten) im Datenraum findet, die sukzessive die Varianz maximieren; berechnet durch Eigenzerlegung der empirischen Kovarianz oder Singulärwertzerlegung der Datenmatrix.

Prinzip

Projektion der Daten auf eine Orthonormalbasis, die die Struktur des empirischen zweiten Moments diagonalisiert; das Beibehalten der Top-k-Komponenten liefert die beste k-dimensionale lineare Approximation im mittleren quadratischen Fehler unter orthogonalen Projektionen.

Demonstration

Für zentrierte Stichproben in R^d die Kovarianzmatrix berechnen, ihre dominanten Eigenvektoren finden und die Daten auf den von diesen Vektoren aufgespannten Raum projizieren, um zu komprimieren und Rauschen zu reduzieren bei maximaler Erhaltung linearer Varianz.

Fehlanwendung

Die Hauptkomponenten als kausale Faktoren zu interpretieren, PCA auf stark nichtlinearen Mannigfaltigkeiten ohne Vorverarbeitung anzuwenden oder PCA auf unzentrierten Daten zu verwenden, wodurch die Hauptachsen zur Mittelwertverschiebung tendieren.

Konsequenz

Erzeugt unkorellierte Koordinaten, geordnet nach erklärter Varianz, ermöglicht Kompression, Visualisierung und Rauschreduktion, wenn dominante Richtungen die Signalstruktur erfassen.

Umkehrung

Die Projektion auf niedrigvarianzige Komponenten erfasst wenig Varianz und betont oft Rauschen; probabilistische Faktormodelle kehren PCAs deterministische Varianzmaximierung um, indem sie latente Variablen mit Rauschmodell einführen.

Abgrenzung

Setzt lineare Beziehungen und Zweitmomentsuffizienz voraus; ist nicht optimal für nichtlineare struktur-erhaltende Reduktionen (Manifold Learning) oder für schwerverteilte Daten ohne robuste Kovarianzschätzung.

Semantische Spannung

Im Gegensatz zur Faktorenanalyse oder ICA: PCA maximiert orthogonal die Varianz ohne explizites generatives Rauschmodell, während konkurrierende Verfahren latente-Variablen- oder Unabhängigkeitsannahmen machen.

Synthese

Eine orthogonale Projektion, die die Kovarianz diagonalisiert, um geordnete lineare Modi maximaler Varianz zu extrahieren und damit eine k-dimensionale Least-Squares-optimale lineare Zusammenfassung für zentrierte Daten liefert.