La familia o curva de soluciones de un modelo parametrizada por un hiperparámetro de regularización (por ejemplo, la intensidad de la penalización); traza cómo cambian los parámetros estimados continuamente cuando la penalización varía de fuerte a débil regularización.

Principio

Tratando el peso de regularización como un parámetro de homotopía continuo se obtiene una trayectoria en el espacio de parámetros que revela los trade-offs entre ajuste y penalización, lo que con frecuencia permite algoritmos de inicio en caliente y selección de modelo siguiendo soluciones a lo largo de la trayectoria.

Demostración

En regresión Lasso, la trayectoria de regularización muestra los valores de los coeficientes cuando la penalización ℓ1 λ disminuye desde valores grandes (todos los coeficientes cero) hasta pequeños (solución de mínimos cuadrados); los solucionadores pieza-lineales explotan esta estructura para calcular la trayectoria completa eficientemente.

Aplicación incorrecta

Asumir continuidad, unicidad o suavidad por tramos de la trayectoria en penalizaciones no convexas o problemas mal condicionados donde múltiples mínimos locales producen bifurcaciones o saltos discontinuos en la trayectoria de soluciones.

Consecuencia

El acceso a la trayectoria de regularización permite una selección fundada de la fuerza de la penalización (validación cruzada a lo largo de la trayectoria), la interpretación de la evolución de características que entran en el modelo y el uso de métodos de homotopía para calcular soluciones eficientemente en un rango de penalizaciones.

Inversión

Fijar un único parámetro de regularización produce una estimación puntual del modelo sin información sobre la trayectoria de soluciones ni sobre los trade-offs en otros niveles de penalización.

Límite

Definida cuando el estimador es la solución de un problema de optimización parametrizado cuyos minimizadores varían con el parámetro de penalización; para métodos no paramétricos, regularización estocástica u objetivos fuertemente no convexos la noción de una única trayectoria bien definida puede fallar.

Tensión semántica

Tensión con el concepto de variedad de soluciones: la trayectoria de regularización es una traza unidimensional en el espacio de parámetros para un plan de penalización dado, mientras que una variedad de soluciones puede ser de dimensión mayor e incluir todos los minimizadores sobre múltiples hiperparámetros o restricciones.

Síntesis

Una trayectoria de regularización es la curva de valores optimizadores obtenida al variar de forma continua un parámetro de penalización; expone el trade-off entre fidelidad y regularidad, ayuda a la selección y respalda algoritmos de homotopía cuando existe regularidad del camino.