Eine nichtparametrische bayesianische Regressionsmethode, die eine unbekannte Funktion als Gaußschen Prozess modelliert: eine Sammlung von Zufallsvariablen, indiziert durch Eingabepunkte, mit gemeinsamen Gaußschen Verteilungen, spezifiziert durch Mittel- und Kovarianzfunktion (Kernel).

Prinzip

Bei gegebenem Gaußprozess-Prior und meist gaußschem Beobachtungsrauschen berechnet man den posteriori Gaußprozess konditioniert auf beobachtete Daten; geschlossene Ausdrücke liefern Vorhersagemittel und Kovarianz an neuen Stellen.

Demonstration

Verwende einen squared-exponential Kernel als Prior, beobachte verrauschte Stichproben einer eindimensionalen Funktion und berechne dann die Posterior-Mittelkurve und die punktweise prädiktive Standardabweichung, die Interpolation und Unsicherheitsbänder liefern.

Fehlanwendung

Einen stationären Kernel zu verwenden, ohne nichtstationäre Strukturen in den Daten zu prüfen, oder Hyperparameteroptimierung ohne Schutz vor Überanpassung bei kleinen Datensätzen, was zu irreführenden Konfidenzbändern führt.

Konsequenz

Erzeugt eine prädiktive Verteilung (Mittelwert und Glaubwürdigkeitsintervalle), die Daten und Prior widerspiegelt, ermöglicht prinzipielle Unsicherheitsquantifizierung und integriert Kernel-Lernen mit bayesianischer Inferenz.

Umkehrung

Parametrische Regression erzwingt eine endlich-dimensionale Parametrisierung und liefert Punktabschätzungen; GP-Regression hingegen behält einen unendlich-dimensionalen Prior bei und liefert vollständige prädiktive Verteilungen.

Abgrenzung

Exakte GP-Regression setzt gaußsches Rauschen voraus und skaliert mit kubischem Aufwand in der Datengröße; Erweiterungen und Approximationen (sparse GPs, nicht-gaussche Likelihoods mit approximativer Inferenz) liegen außerhalb des exakten geschlossenen Formbereichs.

Semantische Spannung

Eng verwandt mit Kernel-Ridge-Regression und Spline-Glättung (unter bestimmten Priors dieselbe prädiktive Mitte), unterscheidet sich jedoch durch Bereitstellung eines vollständigen bayesianischen Posteriors und prinzipieller Unsicherheiten.

Synthese

Gaussian process regression betrachtet Funktionen als Zufallszüge aus einem kovarianzdefinierten Gaußschen Prior und liefert durch Bayes' Regel mit Daten und Rauschanahmen geschlossene Posteriorvorhersagen samt Unsicherheiten.