Un vecteur qui généralise le gradient pour une fonction convexe (éventuellement non différentiable) en un point : un sous-gradient g en x satisfait f(y) ≥ f(x) + g·(y−x) pour tout y du domaine ; l'ensemble de ces g est le sous‑différentiel.

Principe

Les sous-gradients définissent des hyperplans de support à l'épigraphe d'une fonction convexe et fournissent des conditions d'optimalité du premier ordre et des directions de descente lorsque les dérivées classiques n'existent pas.

Démonstration

Pour f(t)=|t| en t=0 le sous-différentiel est l'intervalle [−1,1] ; tout g dans [−1,1] satisfait |y| ≥ 0 + g·(y−0) pour tout y, illustrant la prise en charge de la nondifférentiabilité par un ensemble de sous-gradients valides.

Mauvaise application

Employer des algorithmes basés sur le sous-gradient sans hypothèse de convexité ou interpréter n'importe quelle pente unilatérale en un point nondifférentiable comme un sous-gradient valide pour des fonctions non convexes conduit à des affirmations de descente erronées.

Conséquence

Appliqués correctement en optimisation convexe, les sous-gradients fournissent des critères d'optimalité nécessaires et suffisants (0 dans le sous-différentiel) et soutiennent des méthodes itératives (descente par sous-gradient) qui convergent sous règles d'étape adaptées.

Inversion

Le gradient classique est le sous-gradient unique en un point lorsque la fonction y est différentiable ; inversement, un sous-différentiel singleton implique la différentiabilité d'une fonction convexe en ce point.

Limite

Formulé principalement pour les fonctions convexes sur des domaines convexes ; des notions généralisées (Clarke, sous-gradients limites) s'étendent à certains cadres non convexes mais avec des règles de calcul et des interprétations différentes.

Tension sémantique

Tension entre le sous-gradient convexe et les gradients généralisés pour fonctions non convexes (Clarke, Mordukhovich) : ils coïncident dans le cas convexe mais diffèrent par la structure des ensembles et les propriétés de calcul en analyse non convexe.

Synthèse

Un sous-gradient est un vecteur de support remplaçant le gradient pour les fonctions convexes nondifférentiables, constituant un sous-différentiel qui fournit conditions d'optimalité et méthodes du premier ordre pour l'optimisation convexe nonsmooth.