Scalaire non négatif qui quantifie le degré de dépendance statistique entre deux variables aléatoires en mesurant combien la connaissance de l'une réduit l'incertitude sur l'autre.

Principe

Exprimer l'information partagée comme la réduction d'incertitude sur une variable donnée la connaissance de l'autre, sans présupposer des relations linéaires.

Démonstration

Deux variables binaires identiques ont une information mutuelle maximale égale au contenu informationnel de la variable ; si elles sont indépendantes, l'information mutuelle est nulle.

Mauvaise application

Interpréter une valeur élevée d'information mutuelle comme preuve d'influence causale confond dépendance et directionnalité et peut induire en erreur sans données temporelles ou d'intervention.

Conséquence

Constitue un critère indépendant du modèle pour la sélection de caractéristiques, le regroupement de variables et la détection d'associations non linéaires entre variables.

Inversion

L'indépendance est la situation inverse : une information mutuelle nulle implique l'absence de dépendance statistique sous le modèle de probabilité choisi.

Limite

Nécessite une distribution conjointe ; pour des variables continues, l'estimation pratique demande des méthodes de densité ou de discrétisation et souffre de limites liées à la taille d'échantillon.

Tension sémantique

Par rapport aux coefficients de corrélation : l'information mutuelle saisit toute dépendance, y compris non linéaire, alors que la corrélation mesure seulement l'association linéaire.

Synthèse

Mesure scalaire de dépendance quantifiant combien une variable réduit l'incertitude sur une autre, applicable aux variables discrètes ou continues avec estimation adaptée.