Una medida cuantitativa de la incertidumbre o del contenido promedio de información de una distribución de probabilidad discreta, definida como H = -Σ p(x) log p(x).

Principio

El contenido informativo de un evento es su sorpresa (−log p); la entropía de Shannon es la sorpresa esperada y fija límites fundamentales sobre la codificación sin pérdidas y la longitud media de descripción.

Demostración

Una moneda justa {0,5, 0,5} produce H = 1 bit; una moneda sesgada con p(cara)=0,9 da H ≈ 0,47 bits, reflejando una incertidumbre media menor.

Aplicación incorrecta

Igualar directamente la entropía de Shannon con la entropía termodinámica sin tener en cuenta los distintos ensambles e interpretaciones físicas, o aplicar la fórmula discreta indiscriminadamente a variables continuas sin usar entropía diferencial.

Consecuencia

La entropía de Shannon limita el número mínimo promedio de bits necesarios para codificación sin pérdidas y subyace en las fórmulas de capacidad de canal y en los teoremas de codificación de fuente.

Inversión

Orden máximo o predictibilidad completa (entropía cero), donde un resultado tiene probabilidad uno y la observación no aporta información.

Límite

Se aplica a distribuciones de probabilidad sobre variables aleatorias discretas para una base de logaritmo especificada; existen extensiones (entropía condicional, conjunta, diferencial) pero las nociones termodinámicas y algorítmicas de entropía pertenecen a marcos relacionados pero distintos.

Tensión semántica

A menudo se confunde con la entropía física; la entropía de Shannon es una esperanza teórica de información sobre probabilidades, mientras que la entropía termodinámica trata del conteo de microestados y consideraciones energéticas.

Síntesis

La entropía de Shannon cuantifica la información esperada (sorpresa) en una distribución de probabilidad y proporciona límites operativos para la compresión de datos y la comunicación en modelos probabilísticos.