Technique linéaire de réduction de dimension qui identifie des directions orthogonales (composantes principales) dans les données captant successivement la variance maximale ; calculée en diagonalisation de la matrice de covariance empirique ou par décomposition en valeurs singulières de la matrice de données.

Principe

Trouver une base orthogonale qui maximise la variance projetée dans l'ordre décroissant afin qu'une projection de faible dimension conserve autant que possible la structure du second moment des données sous contrainte linéaire.

Démonstration

Standardiser un jeu de données multivarié, calculer sa matrice de covariance empirique, la diagonaliser pour obtenir les axes principaux, et projeter les données sur les k premiers axes pour réduire la dimension tout en préservant la variance dominante.

Mauvaise application

Appliquer la méthode à des données présentant une structure non linéaire marquée sans prétraitement ou omettre de recentrer les variables, produisant des composantes trompeuses ne reflétant pas la structure intrinsèque.

Conséquence

Produit des caractéristiques linéaires non corrélées classées selon la variance expliquée, facilite la visualisation, la réduction de bruit et certaines tâches en aval tout en révélant les directions de plus grande variabilité.

Inversion

Techniques non linéaires de réduction de dimension (par ex. apprentissage de variété) conçues pour capturer des structures et relations non linéaires que les composantes principales linéaires ne peuvent représenter.

Limite

Méthode linéaire fondée sur les statistiques du second moment ; elle ne modélise pas explicitement des facteurs latents générateurs et est sensible à l'échelle et aux valeurs aberrantes si les données ne sont pas prétraitées.

Tension sémantique

Souvent mise en contraste avec l'analyse factorielle : la PCA privilégie la maximisation de la variance et les projections orthogonales, tandis que l'analyse factorielle postule un modèle de variables latentes et traite différemment la variance résiduelle.

Synthèse

La PCA est une technique de projection linéaire qui définit un système de coordonnées orthogonal en diagonalissant la covariance empirique (ou par SVD) afin que les projections de basse dimension conservent la variance maximale sous contrainte d'orthogonalité.