Un método de regresión bayesiano no paramétrico que modela una función desconocida como un proceso gaussiano: una colección de variables aleatorias indexadas por puntos de entrada con distribuciones conjuntas gaussianas especificadas por una función media y una función de covarianza (kernel).

Principio

Dado un prior de proceso gaussiano y normalmente ruido gaussiano en las observaciones, se calcula el proceso gaussiano posterior condicionado a los datos observados; expresiones en forma cerrada proporcionan media predictiva y covarianza en entradas nuevas.

Demostración

Usar un kernel exponencial cuadrático como prior, observar muestras ruidosas de una función unidimensional y luego calcular la media posterior y la desviación estándar predictiva puntual para obtener interpolación y bandas de incertidumbre.

Aplicación incorrecta

Emplear un kernel estacionario sin comprobar estructura no estacionaria en los datos, o optimizar hiperparámetros sin protegerse contra sobreajuste en conjuntos pequeños, conduciendo a bandas de confianza engañosas.

Consecuencia

Produce una distribución predictiva (media e intervalos creíbles) que refleja datos y supuestos a priori, permite cuantificar incertidumbre de manera principiada e integra el aprendizaje del kernel con inferencia bayesiana.

Inversión

La regresión paramétrica impone una parametrización de dimensión finita y produce estimaciones puntuales; la regresión por procesos gaussianos mantiene un prior de dimensión infinita y ofrece distribuciones predictivas completas.

Límite

La regresión GP exacta asume ruido gaussiano y escala cúbicamente con el tamaño de los datos; las extensiones y aproximaciones (GP dispersos, verosimilitudes no gaussianas con inferencia aproximada) quedan fuera del régimen exacto de forma cerrada.

Tensión semántica

Estrechamente relacionada con la regresión de crestas kernel (kernel ridge) y el suavizado por splines (misma media predictiva bajo ciertos priors), pero se diferencia al proporcionar un posterior bayesiano completo y estimaciones de incertidumbre principadas.

Síntesis

La regresión por proceso gaussiano trata las funciones como realizaciones aleatorias de un prior gaussiano definido por una covarianza y, mediante Bayes con los datos y el ruido, produce predicciones posteriores en forma cerrada y sus incertidumbres.