Procedimiento computacional basado en gradientes que aplica la regla de la cadena a un grafo computacional feedforward para calcular derivadas de una función de pérdida respecto a los parámetros del modelo propagando señales de error desde las salidas hacia las entradas.

Principio

Representar el modelo como composición de operaciones diferenciables; calcular derivadas locales en cada nodo y propagar gradientes hacia atrás usando la regla de la cadena (diferenciación automática en modo inverso) para obtener gradientes de parámetros eficientemente para un optimizador.

Demostración

En una red neuronal de tres capas, una pasada hacia adelante calcula salidas y una pérdida escalar; la retropropagación calcula gradientes de la pérdida respecto a los pesos de las capas ocultas multiplicando jacobianos locales hacia atrás a través de las capas de activación y lineales, permitiendo actualizaciones por descenso de gradiente.

Aplicación incorrecta

Aplicar retropropagación a operaciones no diferenciables o con gradientes discontinuos (sin relajación), o ignorar problemas numéricos (gradientes que se anulan o explotan, inicialización deficiente), lo que conduce a entrenamiento incorrecto o ineficaz.

Consecuencia

Proporciona un medio eficiente para calcular gradientes exactos en modelos paramétricos diferenciables con complejidad proporcional a un pequeño factor constante de la pasada hacia adelante, habilitando optimización basada en gradientes y entrenamiento a gran escala de redes neuronales.

Inversión

Diferenciación en modo directo (forward) o métodos sin derivadas: calcular derivadas direccionales hacia adelante a través del grafo o usar optimización caja negra evita la acumulación inversa pero suele ser menos eficiente cuando el número de entradas (parámetros) es grande.

Límite

Se aplica a modelos que pueden expresarse como grafos computacionales diferenciables y a pérdidas escalares o vectoriales; no resuelve por sí solo problemas de mínimos locales, mala generalización o estructuras de decisión discretas sin técnicas adicionales (relajaciones, pérdidas sustitutas). La estabilidad numérica y las compensaciones de memoria limitan la aplicabilidad en estructuras muy profundas o recurrentes sin modificaciones.

Tensión semántica

Tensión entre la retropropagación como implementación algorítmica de la diferenciación automática en modo inverso y su interpretación como modelo de aprendizaje biológico: la acumulación de gradientes matemáticamente precisa contrasta con reglas de aprendizaje heurísticas o biológicamente plausibles.

Síntesis

La retropropagación es la diferenciación automática en modo inverso aplicada a cálculos feedforward parametrizados: propaga gradientes de pérdida hacia atrás a través de operaciones diferenciables compuestas para producir gradientes de parámetros que los optimizadores usan para reducir la pérdida.