« Fonction de distance de Kullback-Leibler » : différence entre les versions
m (Remplacement de texte — « © Glossaire » par « Glossaire ») |
m (Remplacement de texte : « [http://isi.cbs.nl/glossary/ » par « [https://www.isi-web.org/glossary?language=2 Source : ISI Glossaire ] [https://isi.cbs.nl/glossary/ ») |
||
| (9 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
En statistiques mathématiques, la divergence de Kullback-Leibler (également appelée entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités. | |||
Bien qu'il s'agisse d'une distance, ce n'est pas une [[métriques|métrique]], le type de distance le plus familier : elle n'est pas symétrique dans les deux distributions (contrairement à la variation de l'information) et ne satisfait pas à l'inégalité triangulaire. | |||
En revanche, en termes de géométrie de l'information, il s'agit d'un type de [[divergence]], d'une généralisation de la distance au carré et, pour certaines classes de distributions (notamment une famille exponentielle), elle satisfait à un théorème de Pythagore généralisé. | |||
== Français == | == Français == | ||
''' | '''divergence de Kullback-Leibler''' | ||
'''entropie relative''' | |||
== Anglais == | == Anglais == | ||
''' | '''Kullback–Leibler divergence''' | ||
'''relative entropy''' | |||
'''I-divergence''' | |||
==Sources== | |||
[https://www.isi-web.org/glossary?language=2 Source : ISI Glossaire ] | |||
[https://isi.cbs.nl/glossary/term1807.htm Source : ISI ] | |||
[https://fr.wikipedia.org/wiki/Divergence_de_Kullback-Leibler Source : Wikipedia ] | |||
{{Modèle:Statistiques}} | |||
[[Catégorie:Statistiques]] | [[Catégorie:Statistiques]] | ||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 11 février 2024 à 21:48
Définition
En statistiques mathématiques, la divergence de Kullback-Leibler (également appelée entropie relative) est une mesure de dissimilarité entre deux distributions de probabilités.
Bien qu'il s'agisse d'une distance, ce n'est pas une métrique, le type de distance le plus familier : elle n'est pas symétrique dans les deux distributions (contrairement à la variation de l'information) et ne satisfait pas à l'inégalité triangulaire.
En revanche, en termes de géométrie de l'information, il s'agit d'un type de divergence, d'une généralisation de la distance au carré et, pour certaines classes de distributions (notamment une famille exponentielle), elle satisfait à un théorème de Pythagore généralisé.
Français
divergence de Kullback-Leibler
entropie relative
Anglais
Kullback–Leibler divergence
relative entropy
I-divergence
Sources
Contributeurs: Maya Pentsch, wiki
