Information mutuelle

Carte Commune · n° 234781

Dans la théorie des probabilités et la théorie de l'information, l'information mutuelle de deux variables aléatoires est une quantité mesurant la dépendance statistique de ces variables. Elle se mesure souvent en bit. L'information mutuelle d'un couple ( X , Y ) {\displaystyle (X,Y)} de variables représente leur degré de dépendance au sens probabiliste. Ce concept de dépendance logique ne doit pas être confondu avec celui de causalité physique, bien qu'en pratique l'un implique souvent l'autre. Informellement, on dit que deux variables sont indépendantes si la réalisation de l'une n'apporte aucune information sur la réalisation de l'autre. Le coefficient de corrélation est une mesure du cas particulier de dépendance dans lequel la relation entre les deux variables est strictement linéaire. L'information mutuelle est nulle si et seulement si les variables sont indépendantes, et croît lorsque la dépendance augmente.

Lire sur Wikipédia · Image KonradVoelkel, Public domain