##  [Descente de Gradient](/fr/node/57677) 

 Définition

Une méthode d'optimisation itérative qui met à jour des paramètres en les déplaçant à l'opposé du gradient d'une fonction objectif, multiplié par un pas, afin de diminuer la valeur de la fonction.

 

 

 

 

 

 





## Principe

Principe

À chaque itération, effectuer un pas proportionnel à la dérivée négative (ou au gradient) pour diminuer localement l'objectif ; la convergence dépend du pas, de la courbure et de la régularité.

 

 

 

 

 





## Démonstration

Démonstration

Pour un coût quadratique f(x)=ax^2+bx+c avec a>0, l'itération x_{n+1}=x_n - η f'(x_n) converge vers le minimiseur pour un taux d'apprentissage η suffisamment petit, avec une convergence linéaire déterminée par a et η.

 

 

 

 

## Mauvaise application

Mauvaise application

Choisir un pas fixe trop grand pour la courbure locale provoque des oscillations ou la divergence ; négliger le bruit du gradient en contexte stochastique peut empêcher la convergence.

 

 

 

 

 





## Conséquence

Conséquence

Lorsque l'objectif est convexe et les pas choisis correctement, la descente de gradient converge vers un minimum global ; dans des problèmes non convexes elle trouve typiquement un minimum local ou une selle.

 

 

 

 

## Inversion

Inversion

Ascension du gradient : mettre à jour les paramètres dans la direction du gradient pour maximiser une fonction objective plutôt que la minimiser.

 

 

 

 

 





## Limite

Limite

Nécessite la disponibilité de gradients ou sous-gradients ; non directement applicable à des objectifs non différentiables sans modification (p. ex. étapes proximales) ni à des domaines contraints sans projection ou méthodes de Lagrange.

 

 

 

 

 





## Tension sémantique

Tension sémantique

Souvent comparée aux méthodes du second ordre : la descente de gradient n'utilise que les dérivées premières et a des itérations moins coûteuses mais une convergence locale plus lente que des méthodes de type Newton qui utilisent la courbure.

 

 

 

 

 





## Synthèse

Synthèse

La descente de gradient est l'algorithme itératif d'ordre un qui réduit un objectif en effectuant des pas opposés au gradient ; sa performance équilibre le contrôle du pas, la courbure et le bruit pour produire des minimisateurs locaux ou globaux sous conditions appropriées.