Un processus stochastique défini de telle sorte que toute collection finie de ses variables aléatoires possède une loi multivariée normale conjointe, entièrement déterminée par une fonction de moyenne et une fonction de covariance (noyau) définie positive.

Principe

Spécification complète par les statistiques d'ordre un et deux : la fonction de moyenne fixe la tendance centrale et la fonction de covariance encode similitude et régularité, déterminant toutes les marginales de dimension finie.

Démonstration

Utiliser un processus gaussien de moyenne nulle avec un noyau exponentiel carré comme loi a priori sur des fonctions en régression ; conditionner sur des paires entrée–sortie observées fournit des moyennes prédictives et des variances en de nouveaux points.

Mauvaise application

Supposer la gaussianité des résidus ou la stationnarité du noyau sans vérification ; ou choisir un noyau inadapté qui ne peut représenter la classe de fonctions, entraînant un biais systématique.

Conséquence

Fournit une estimation fonctionnelle non paramétrique et probabiliste avec des distributions prédictives a posteriori en forme fermée (moyenne et variance) sous hypothèses de vraisemblance gaussienne et pour opérations linéaires.

Inversion

Un modèle paramétrique déterministe (par exemple un modèle linéaire à bases fixes) donne des prédictions ponctuelles sans l'incertitude fonctionnelle quantifiée intrinsèquement qu'apporte un processus gaussien.

Limite

Nécessite un noyau de covariance défini positif et, pour l'inférence pratique, suppose souvent un bruit gaussien ou conjugué ; n'inclut pas les processus non gaussiens aux lois finies arbitraires.

Tension sémantique

Tension entre les processus gaussiens, en tant que lois a priori bayésiennes non paramétriques flexibles, et des modèles d'apprentissage comme les réseaux neuronaux profonds qui fournissent des approximations fonctionnelles à haute capacité mais typiquement non probabilistes.

Synthèse

Un processus gaussien est une loi gaussienne de dimension infinie sur des fonctions, entièrement caractérisée par une moyenne et un noyau de covariance, utilisée pour produire des prédictions probabilistes et quantifier l'incertitude sur les fonctions.