##  [Descente de Gradient (Méthode du Plus Raide)](/fr/node/58060) 

 Définition

Algorithme d'optimisation itératif qui met à jour des paramètres en les déplaçant dans la direction opposée au gradient d'une fonction objectif (ou à une estimation de celui-ci) pour diminuer la valeur de la fonction et rechercher un minimum local.

 

 

 

 

 

 





## Principe

Principe

On utilise l'approximation de Taylor d'ordre un : le gradient négatif est la direction de la plus forte décroissance locale ; la longueur du pas (taux d'apprentissage) et la courbure déterminent le comportement et la vitesse de convergence.

 

 

 

 

 





## Démonstration

Démonstration

Pour minimiser un quadratique convexe f(x)=x^T A x avec A définie positive, la descente de gradient avec un pas choisi de façon appropriée converge linéairement vers le minimiseur unique, le taux étant gouverné par le nombre de conditionnement de A.

 

 

 

 

## Mauvaise application

Mauvaise application

Utiliser un pas fixe trop grand sur un objectif mal conditionné ou non convexe conduisant à la divergence, ou présumer l'optimalité globale dans des paysages multimodaux sans garanties supplémentaires.

 

 

 

 

 





## Conséquence

Conséquence

Fournit une base simple et montée en échelle pour de nombreuses procédures numériques et d'apprentissage : avec des variantes appropriées (momentum, taux adaptatifs, échantillonnage stochastique) il traite efficacement les problèmes à grande échelle et bruités.

 

 

 

 

## Inversion

Inversion

La montée de gradient suit le gradient pour augmenter la fonction objectif et trouve des maxima locaux ; les méthodes d'ordre deux utilisent l'information de courbure (hessien) pour ajuster direction et pas et accélérer la convergence.

 

 

 

 

 





## Limite

Limite

Nécessite la différentiabilité (ou l'information de sous-gradient) de l'objectif ; les performances dépendent de la régularité, de la convexité, de la politique de pas et du bruit : n'assure pas l'optimum global en problèmes non convexes.

 

 

 

 

 





## Tension sémantique

Tension sémantique

Souvent confondue avec la descente de gradient stochastique ou les méthodes quasi-Newton ; la distinction porte sur l'usage de gradients exacts versus bruyants et l'exploitation d'informations de courbure d'ordre supérieur.

 

 

 

 

 





## Synthèse

Synthèse

La descente de gradient déplace itérativement les paramètres en sens opposé au gradient local en contrôlant la longueur de pas pour diminuer l'objectif; c'est une méthode d'optimisation du premier ordre dont le comportement dépend de la régularité et de la courbure.