Une mesure quantitative de l'incertitude ou du contenu moyen en information d'une distribution de probabilité discrète, définie par H = -Σ p(x) log p(x).

Principe

Le contenu en information d'un événement est son surprisal (−log p) ; l'entropie de Shannon est le surprisal attendu et fixe des limites fondamentales au codage sans perte et à la longueur moyenne de description.

Démonstration

Une pièce équilibrée {0,5, 0,5} donne H = 1 bit ; une pièce biaisée avec p(face)=0,9 donne H ≈ 0,47 bits, reflétant une incertitude moyenne plus faible.

Mauvaise application

Équivaloir directement l'entropie de Shannon à l'entropie thermodynamique sans tenir compte des ensembles et des interprétations physiques différents, ou appliquer la formule discrète sans distinction aux variables continues sans utiliser l'entropie différentielle.

Conséquence

L'entropie de Shannon borne le nombre moyen minimal de bits nécessaires pour un codage sans perte et sous-tend les formules de capacité de canal et les théorèmes de codage source.

Inversion

Ordre maximal ou prédictibilité complète (entropie nulle), où une issue a probabilité un et aucune information n'est obtenue par l'observation.

Limite

S'applique aux distributions de probabilité sur des variables aléatoires discrètes pour une base de logarithme spécifiée ; des extensions existent (entropie conditionnelle, conjointe, différentielle) mais les notions thermodynamiques et algorithmiques d'entropie relèvent de cadres connexes mais distincts.

Tension sémantique

Souvent confondue avec l'entropie physique ; l'entropie de Shannon est une espérance informationnelle sur des probabilités, tandis que l'entropie thermodynamique porte sur le nombre d'états microscopiques et des considérations énergétiques.

Synthèse

L'entropie de Shannon quantifie l'information attendue (surprisal) d'une distribution de probabilité et fournit des limites opérationnelles pour la compression de données et la communication dans des modèles probabilistes.