Fonction symétrique et semi‑définie positive k(x,y) sur un ensemble d'indices représentant la fonction de covariance d'un processus d'ordre deux ou le noyau de Mercer d'un opérateur intégral positif ; pour toute collection finie {x_i} la matrice [k(x_i,x_j)] est semi‑définie positive.

Principe

La semi‑définition positive caractérise la covariance : k est un noyau de covariance si et seulement si toutes les matrices de Gram finies sont semi‑définies positives, ce qui fournit un espace de Hilbert à noyau reproduisant (RKHS) et un opérateur intégral à spectre non négatif.

Démonstration

Le noyau gaussien k(x,y)=σ^2 exp(−||x−y||^2/(2ℓ^2)) est un noyau de covariance d'un processus gaussien stationnaire et définit un opérateur intégral compact et positif sur L2 d'un domaine borné, avec développement de Mercer en fonctions propres orthonormées.

Mauvaise application

Employer une mesure de similarité symétrique qui n'est pas semi‑définie positive comme si c'était un noyau de covariance, aboutissant à des matrices de Gram à valeurs propres négatives et des variances impossibles ou des inférences de processus gaussiens mal posées.

Conséquence

Un vrai noyau de covariance définit la structure de covariance des lois a priori gaussiennes, induit un RKHS de fonctions pour interpolation et régularisation, et garantit que les opérateurs intégraux associés ont des spectres non négatifs permettant des décompositions spectrales.

Inversion

Une fonction de similarité ou de distance symétrique générale dépourvue de semi‑définition positive ne peut servir de noyau de covariance ; elle reste utile pour des heuristiques mais ne garantit pas la cohérence probabiliste ni la structure RKHS.

Limite

S'applique aux fonctions symétriques en (x,y) et semi‑définies positives sur des échantillons finis ; exclut les noyaux dépendant de termes croisés non symétriques, les covariances signées sans semi‑définition positive, ou des objets nécessitant des notions non commutatives (noyaux à valeurs d'opérateurs).

Tension sémantique

Tension entre les noyaux de covariance pour modèles probabilistes (exigent PSD) et les mesures heuristiques de similarité en apprentissage qui privilégient discrimination ou localité sans garanties PSD.

Synthèse

Un noyau de covariance est une fonction symétrique semi‑définie positive dont les matrices de Gram finies le sont ; il encode la dépendance d'ordre deux, engendre une structure RKHS et fonde les opérateurs de covariance des processus gaussiens et leurs décompositions spectrales.