Algorithme d'optimisation itératif qui met à jour des paramètres en les déplaçant dans la direction opposée au gradient d'une fonction objectif (ou à une estimation de celui-ci) pour diminuer la valeur de la fonction et rechercher un minimum local.

Principe

On utilise l'approximation de Taylor d'ordre un : le gradient négatif est la direction de la plus forte décroissance locale ; la longueur du pas (taux d'apprentissage) et la courbure déterminent le comportement et la vitesse de convergence.

Démonstration

Pour minimiser un quadratique convexe f(x)=x^T A x avec A définie positive, la descente de gradient avec un pas choisi de façon appropriée converge linéairement vers le minimiseur unique, le taux étant gouverné par le nombre de conditionnement de A.

Mauvaise application

Utiliser un pas fixe trop grand sur un objectif mal conditionné ou non convexe conduisant à la divergence, ou présumer l'optimalité globale dans des paysages multimodaux sans garanties supplémentaires.

Conséquence

Fournit une base simple et montée en échelle pour de nombreuses procédures numériques et d'apprentissage : avec des variantes appropriées (momentum, taux adaptatifs, échantillonnage stochastique) il traite efficacement les problèmes à grande échelle et bruités.

Inversion

La montée de gradient suit le gradient pour augmenter la fonction objectif et trouve des maxima locaux ; les méthodes d'ordre deux utilisent l'information de courbure (hessien) pour ajuster direction et pas et accélérer la convergence.

Limite

Nécessite la différentiabilité (ou l'information de sous-gradient) de l'objectif ; les performances dépendent de la régularité, de la convexité, de la politique de pas et du bruit : n'assure pas l'optimum global en problèmes non convexes.

Tension sémantique

Souvent confondue avec la descente de gradient stochastique ou les méthodes quasi-Newton ; la distinction porte sur l'usage de gradients exacts versus bruyants et l'exploitation d'informations de courbure d'ordre supérieur.

Synthèse

La descente de gradient déplace itérativement les paramètres en sens opposé au gradient local en contrôlant la longueur de pas pour diminuer l'objectif; c'est une méthode d'optimisation du premier ordre dont le comportement dépend de la régularité et de la courbure.