Une méthode d'optimisation itérative qui met à jour des paramètres en les déplaçant à l'opposé du gradient d'une fonction objectif, multiplié par un pas, afin de diminuer la valeur de la fonction.

Principe

À chaque itération, effectuer un pas proportionnel à la dérivée négative (ou au gradient) pour diminuer localement l'objectif ; la convergence dépend du pas, de la courbure et de la régularité.

Démonstration

Pour un coût quadratique f(x)=ax^2+bx+c avec a>0, l'itération x_{n+1}=x_n - η f'(x_n) converge vers le minimiseur pour un taux d'apprentissage η suffisamment petit, avec une convergence linéaire déterminée par a et η.

Mauvaise application

Choisir un pas fixe trop grand pour la courbure locale provoque des oscillations ou la divergence ; négliger le bruit du gradient en contexte stochastique peut empêcher la convergence.

Conséquence

Lorsque l'objectif est convexe et les pas choisis correctement, la descente de gradient converge vers un minimum global ; dans des problèmes non convexes elle trouve typiquement un minimum local ou une selle.

Inversion

Ascension du gradient : mettre à jour les paramètres dans la direction du gradient pour maximiser une fonction objective plutôt que la minimiser.

Limite

Nécessite la disponibilité de gradients ou sous-gradients ; non directement applicable à des objectifs non différentiables sans modification (p. ex. étapes proximales) ni à des domaines contraints sans projection ou méthodes de Lagrange.

Tension sémantique

Souvent comparée aux méthodes du second ordre : la descente de gradient n'utilise que les dérivées premières et a des itérations moins coûteuses mais une convergence locale plus lente que des méthodes de type Newton qui utilisent la courbure.

Synthèse

La descente de gradient est l'algorithme itératif d'ordre un qui réduit un objectif en effectuant des pas opposés au gradient ; sa performance équilibre le contrôle du pas, la courbure et le bruit pour produire des minimisateurs locaux ou globaux sous conditions appropriées.