Entropie

Définition

L'entropie est la valeur moyenne de l'information ajoutée par la réalisation d'un événement aléatoire.

Le contexte à considérer est un ensemble fini et exhaustif d'événements indépendants (s'excluant mutuellement) et de probabilités définies.

<-- qui est une mesure du désordre. À quel point l’erreur observée est le fruit du hasard. -->

entropie

entropy

mean information content

average information content

negentropy

Source : ISI