##  [Information Mutuelle](/fr/node/57787) 

 Définition

Scalaire non négatif qui quantifie le degré de dépendance statistique entre deux variables aléatoires en mesurant combien la connaissance de l'une réduit l'incertitude sur l'autre.

 

 

 

 

 

 





## Principe

Principe

Exprimer l'information partagée comme la réduction d'incertitude sur une variable donnée la connaissance de l'autre, sans présupposer des relations linéaires.

 

 

 

 

 





## Démonstration

Démonstration

Deux variables binaires identiques ont une information mutuelle maximale égale au contenu informationnel de la variable ; si elles sont indépendantes, l'information mutuelle est nulle.

 

 

 

 

## Mauvaise application

Mauvaise application

Interpréter une valeur élevée d'information mutuelle comme preuve d'influence causale confond dépendance et directionnalité et peut induire en erreur sans données temporelles ou d'intervention.

 

 

 

 

 





## Conséquence

Conséquence

Constitue un critère indépendant du modèle pour la sélection de caractéristiques, le regroupement de variables et la détection d'associations non linéaires entre variables.

 

 

 

 

## Inversion

Inversion

L'indépendance est la situation inverse : une information mutuelle nulle implique l'absence de dépendance statistique sous le modèle de probabilité choisi.

 

 

 

 

 





## Limite

Limite

Nécessite une distribution conjointe ; pour des variables continues, l'estimation pratique demande des méthodes de densité ou de discrétisation et souffre de limites liées à la taille d'échantillon.

 

 

 

 

 





## Tension sémantique

Tension sémantique

Par rapport aux coefficients de corrélation : l'information mutuelle saisit toute dépendance, y compris non linéaire, alors que la corrélation mesure seulement l'association linéaire.

 

 

 

 

 





## Synthèse

Synthèse

Mesure scalaire de dépendance quantifiant combien une variable réduit l'incertitude sur une autre, applicable aux variables discrètes ou continues avec estimation adaptée.