Famille à un paramètre de mesures d'entropie pour une distribution de probabilité discrète p, définie pour l'ordre α≥0, α≠1 par S_α = (1/(1−α)) log(∑_i p_i^α), qui interpole entre mesures de taille de support et de concentration lorsque α varie.

Principe

Le paramètre α rééquilibre les probabilités : les α faibles mettent l'accent sur le nombre d'issues non nulles, les α élevés accentuent les événements les plus probables ; la limite α→1 retrouve l'entropie d'information usuelle.

Démonstration

Pour une pièce biaisée de probabilités p et 1−p, l'entropie de Rényi S_α(p) décroît monotoniquement avec α ; S_0 vaut le logarithme de la taille du support (log 2 pour une pièce équitable), tandis que S_∞ vaut −log(max(p,1−p)).

Mauvaise application

Appliquer la formule discrète directement à des mesures non normalisées ou interpréter l'entropie de Rényi comme un fonctionnel linéaire sous mélange, ce qu'elle n'est pas pour α≠1.

Conséquence

Les entropies de Rényi fournissent des indices de diversité ajustables et sont utiles pour comparer la concentration entre distributions, caractériser des spectres multifractals et définir des grandeurs entropiques généralisées dans des tâches d'information.

Inversion

La limite α→0 met l'accent sur le dénombrement des issues (entropie de type Hartley), tandis que α→∞ se concentre exclusivement sur l'événement le plus probable (min-entropie).

Limite

Définie pour des mesures de probabilité (discrètes ou via généralisations par densité) et pour les valeurs de paramètre α pour lesquelles la somme converge ; ce n'est pas une distance ni une divergence sans construction supplémentaire et elle est sensible au support et à la normalisation.

Tension sémantique

Souvent mise en regard des entropies de Tsallis : les deux sont des généralisations à un paramètre mais diffèrent par la forme fonctionnelle (logarithmique vs combinaison puissance) et par leurs propriétés d'additivité.

Synthèse

L'entropie de Rényi est la mesure logarithmique paramétrée qui, en faisant varier α, interpole continûment entre le comptage effectif du support, l'incertitude liée à l'événement typique et la concentration au pire cas, offrant un spectre flexible de mesures d'information.