Fonction de distance de Kullback-Leibler

Définition

En statistiques mathématiques, la divergence de Kullback-Leibler (également appelée entropie relative et divergence) est une mesure de dissimilarité entre deux distributions de probabilités.

Bien qu'il s'agisse d'une distance, ce n'est pas une métrique, le type de distance le plus familier : elle n'est pas symétrique dans les deux distributions (contrairement à la variation de l'information) et ne satisfait pas à l'inégalité triangulaire.

En revanche, en termes de géométrie de l'information, il s'agit d'un type de divergence, d'une généralisation de la distance au carré et, pour certaines classes de distributions (notamment une famille exponentielle), elle satisfait à un théorème de Pythagore généralisé.

Français

fonction de distance de Kullback-Leibler

Anglais

Kullback-Leibler distance function

Source : ISI

Source : Wikipedia

Glossaire de la statistique DataFranca