Méthode bayésienne non paramétrique de régression qui modélise une fonction inconnue comme un processus gaussien : une collection de variables aléatoires indexées par les points d'entrée avec des lois gaussiennes conjointes définies par une moyenne et une covariance (noyau).

Principe

Avec un a priori de processus gaussien et un bruit d'observation généralement gaussien, on calcule le processus gaussien a posteriori conditionné sur les données observées ; des formules fermées donnent la moyenne prédictive et la covariance en de nouveaux points.

Démonstration

Utiliser un noyau exponentiel quadratique en prior, observer des échantillons bruités d'une fonction unidimensionnelle, puis calculer la courbe moyenne a posteriori et l'écart-type prédictif ponctuel fournissant interpolation et bandes d'incertitude.

Mauvaise application

Employer un noyau stationnaire sans vérifier une structure non stationnaire dans les données, ou optimiser les hyperparamètres sans protection contre l'overfitting sur de petits jeux de données, conduisant à des bandes de confiance trompeuses.

Conséquence

Produit une distribution prédictive (moyenne et intervalles de crédibilité) reflétant données et hypothèses a priori, permet une quantification d'incertitude raisonnée et intègre l'apprentissage du noyau dans l'inférence bayésienne.

Inversion

La régression paramétrique impose une paramétrisation de dimension finie et fournit des estimations ponctuelles ; la RG avec processus gaussien conserve un a priori de dimension infinie et fournit des distributions prédictives complètes.

Limite

La régression par processus gaussien exacte suppose un bruit gaussien et coûte en temps cubique avec la taille des données ; les extensions et approximations (GPs creux, vraisemblances non gaussiennes avec inférence approximative) échappent au régime exact à forme fermée.

Tension sémantique

Étroitement liée à la régression par noyau (kernel ridge) et au lissage par splines (même moyenne prédictive sous certains a priori), mais s'en distingue par la fourniture d'un posterior bayésien complet et d'incertitudes raisonnées.

Synthèse

La régression par processus gaussien considère les fonctions comme des tirages aléatoires d'un a priori gaussien défini par une covariance et, via Bayes avec les données et le bruit, fournit des prédictions a posteriori en forme fermée et leurs incertitudes.