Procédure computationnelle basée sur le gradient qui applique la règle de dérivation en chaîne à un graphe computationnel feedforward pour calculer les dérivées d'une fonction de perte par rapport aux paramètres du modèle en propageant les signaux d'erreur des sorties vers les entrées.

Principe

Représenter le modèle comme une composition d'opérations différentiables ; calculer les dérivées locales à chaque nœud et propager les gradients vers l'arrière en utilisant la règle de la chaîne (différentiation automatique en mode inverse) afin d'obtenir efficacement les gradients des paramètres pour un optimiseurs.

Démonstration

Dans un réseau neuronal à trois couches, une passe avant calcule les sorties et une perte scalaire ; la rétropropagation calcule les gradients de la perte par rapport aux poids des couches cachées en multipliant les jacobiens locaux à rebours à travers les couches d'activation et linéaires, permettant des mises à jour par descente de gradient.

Mauvaise application

Appliquer la rétropropagation à des opérations non différentiables ou à gradients discontinus (sans relaxation), ou ignorer des problèmes numériques (vanishing/exploding gradients, mauvaise initialisation), conduisant à un entraînement incorrect ou inefficace.

Conséquence

Fournit un moyen efficace de calculer des gradients exacts pour des modèles paramétrés différentiables avec une complexité proportionnelle à un petit facteur constant de la passe avant, permettant l'optimisation par gradient et l'entraînement à grande échelle des réseaux neuronaux.

Inversion

Différenciation en mode direct (forward) ou méthodes sans dérivée : calculer des dérivées directionnelles en avant à travers le graphe ou utiliser l'optimisation boîte noire évite l'accumulation inverse mais est généralement moins efficace lorsque le nombre d'entrées (paramètres) est grand.

Limite

S'applique aux modèles exprimables comme graphes computationnels différentiables et aux pertes scalaires ou vectorielles ; ne résout pas en soi les problèmes de minima locaux, de mauvaise généralisation ou de structures de décision discrètes sans techniques additionnelles (relaxations, pertes substitutives). La stabilité numérique et les compromis mémoire limitent l'applicabilité dans des architectures très profondes ou récurrentes sans modifications.

Tension sémantique

Tension entre la rétropropagation en tant qu'instanciation algorithmique de la différentiation automatique en mode inverse et son interprétation comme modèle d'apprentissage biologique : l'accumulation de gradients mathématiquement précise contraste avec des règles d'apprentissage heuristiques ou biologiquement plausibles.

Synthèse

La rétropropagation est la différentiation automatique en mode inverse appliquée aux calculs feedforward paramétrés : elle propage les gradients de perte à rebours à travers des opérations différentiables composées pour produire les gradients de paramètres utilisés par les optimiseurs pour réduire la perte.