Escalar no negativo que cuantifica la dependencia estadística entre dos variables aleatorias midiendo cuánto reduce conocer una la incertidumbre sobre la otra.

Principio

Expresar la información compartida como la reducción de incertidumbre sobre una variable dada la información de la otra, sin suponer relaciones lineales.

Demostración

Dos variables binarias idénticas tienen información mutua máxima igual al contenido informacional de la variable; si son independientes, la información mutua es cero.

Aplicación incorrecta

Interpretar un valor alto de información mutua como prueba de influencia causal confunde dependencia con direccionalidad y puede ser engañoso sin datos temporales o de intervención.

Consecuencia

Sirve como criterio independiente del modelo para selección de características, agrupamiento de variables y detección de asociaciones no lineales.

Inversión

La independencia es la situación inversa: información mutua cero implica ausencia de dependencia estadística bajo el modelo de probabilidad elegido.

Límite

Requiere una distribución conjunta; para variables continuas la estimación práctica exige métodos de densidad o discretización y está limitada por el tamaño de muestra.

Tensión semántica

Frente a los coeficientes de correlación: la información mutua captura dependencias arbitrarias incluidas las no lineales, mientras la correlación mide solo asociación lineal.

Síntesis

Medida escalar de dependencia que cuantifica cuánto una variable reduce la incertidumbre sobre otra, aplicable a variables discretas o continuas con estimación adecuada.