Entropie

Définition

L'entropie est la valeur moyenne de l'information ajoutée par la réalisation d'un événement aléatoire.

Le contexte à considérer est un ensemble fini et exhaustif d'événements indépendants (s'excluant mutuellement) et de probabilités définies.

L'entropie peut être assimilée à une mesure du désordre.

entropie

entropy

mean information content

average information content

negentropy

Source : ISI