« Entropie de Shannon » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications Balise : Éditeur de wikicode 2017 |
||
| Ligne 6 : | Ligne 6 : | ||
[[Catégorie:Réseau de neurones artificiels]] | [[Catégorie:Réseau de neurones artificiels]] | ||
[[Catégorie:scotty]] | [[Catégorie:scotty]] | ||
[[Catégorie:9]] | |||
<br> | <br> | ||
| Ligne 11 : | Ligne 12 : | ||
==Définition== | ==Définition== | ||
L | L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets). | ||
Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre | Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre «a»', alors son entropie est ''nulle'', c'est-à-dire minimale. Par contre, si la source envoie un «a» la moitié du temps et un «b» l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir. <br> | ||
<br> | <br> | ||
| Ligne 26 : | Ligne 27 : | ||
<br> | <br> | ||
<br> | <br> | ||
[https://fr.wikipedia.org/wiki/ | [https://fr.wikipedia.org/wiki/Entropie_de_Shannon Source : Wikipedia IA] | ||
<br> | <br> | ||
<br> | <br> | ||
Version du 27 mai 2019 à 15:12
Domaine
Définition
L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets).
Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre «a»', alors son entropie est nulle, c'est-à-dire minimale. Par contre, si la source envoie un «a» la moitié du temps et un «b» l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir.
Français
entropie de Shannon n.m.
Anglais
Shannon entropy
Source : Wikipedia IA
Contributeurs: Jacques Barolet, wiki
