Familia uniparamétrica de medidas de entropía para una distribución de probabilidad discreta p, definida para orden α≥0, α≠1 por S_α = (1/(1−α)) log(∑_i p_i^α), que interpola entre medidas de tamaño de soporte y de concentración al variar α.

Principio

El parámetro α repondera las probabilidades: α pequeños enfatizan el número de resultados no nulos, α grandes acentúan los eventos más probables; el límite α→1 recupera la entropía de información estándar.

Demostración

Para una moneda sesgada con probabilidades p y 1−p, la entropía de Rényi S_α(p) decrece monótonamente con α; S_0 es el logaritmo del tamaño del soporte (log 2 para moneda justa), mientras que S_∞ = −log(max(p,1−p)).

Aplicación incorrecta

Aplicar la fórmula discreta directamente a medidas no normalizadas o interpretar la entropía de Rényi como un funcional lineal bajo mezclas, lo cual no es cierto para α≠1.

Consecuencia

Las entropías de Rényi proporcionan índices de diversidad ajustables y son útiles para comparar concentración entre distribuciones, caracterizar espectros multifractales y definir cantidades entrópicas generalizadas en tareas de información.

Inversión

Tomar α→0 enfatiza el recuento de resultados (entropía tipo Hartley), mientras que α→∞ se centra exclusivamente en el evento más probable (min-entropía).

Límite

Definida para medidas de probabilidad (discretas o mediante generalizaciones por densidad) y para valores de α para los que la suma converge; no es una distancia ni una divergencia sin construcción adicional y es sensible al soporte y a la normalización.

Tensión semántica

A menudo se contrasta con las entropías de Tsallis: ambas son generalizaciones uniparamétricas pero difieren en la forma funcional (logarítmica frente a combinación en potencias) y en las propiedades de aditividad resultantes.

Síntesis

La entropía de Rényi es la medida logarítmica parametrizada que, al variar α, interpola continuamente entre el conteo efectivo del soporte, la incertidumbre del evento típico y la concentración en el peor caso, ofreciendo un espectro flexible de medidas de información.