« Principe d'entropie maximale » : différence entre les versions
(Page créée avec « == Domaine == category:Vocabulaire Catégorie:Wikipedia-IA Catégorie:Intelligence artificielle Catégorie:Apprentissage automatique [[Catégorie:scotty]... ») Balise : Éditeur de wikicode 2017 |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Domaine == | ==Domaine== | ||
[[category:Vocabulaire]] | [[category:Vocabulaire]] | ||
[[Catégorie:Wikipedia-IA]] | [[Catégorie:Wikipedia-IA]] | ||
| Ligne 8 : | Ligne 8 : | ||
<br> | <br> | ||
== Définition == | ==Définition== | ||
Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : | Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à : | ||
* identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; | *identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ; | ||
* choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. | *choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon. | ||
Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser. | Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser. | ||
| Ligne 20 : | Ligne 20 : | ||
==Français== | |||
== Français == | '''principe d'entropie maximale''' n.m. | ||
''' | |||
== Anglais == | ==Anglais== | ||
''' | '''Principle of maximum entropy''' | ||
[https://fr.wikipedia.org/wiki/Principe_d%27entropie_maximale | [https://fr.wikipedia.org/wiki/Principe_d%27entropie_maximale Source : Wikipedia IA] | ||
Version du 24 mai 2019 à 19:44
Domaine
Définition
Le principe d'entropie maximale consiste, lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à :
- identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc) ;
- choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon.
Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.
La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne.
Français
principe d'entropie maximale n.m.
Anglais
Principle of maximum entropy
Contributeurs: Jacques Barolet, wiki
