« Entropie de Shannon » : différence entre les versions


Aucun résumé des modifications
Balise : Éditeur de wikicode 2017
m (Remplacement de texte : « ↵↵↵==Sources== » par «  ==Sources== »)
 
(15 versions intermédiaires par le même utilisateur non affichées)
Ligne 1 : Ligne 1 :
==Domaine==
[[category:Vocabulaire2]]
[[Catégorie:Wikipedia-IA]]
[[Catégorie:Apprentissage automatique]]
[[Category:GRAND LEXIQUE FRANÇAIS]]
[[Catégorie:Réseau de neurones artificiels]]
[[Catégorie:scotty2]]
<br>
<br>
==Définition==
==Définition==
L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets).
L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets).


Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre «a», alors son entropie est ''nulle'', c'est-à-dire minimale. Par contre, si la source envoie un «a» la moitié du temps et un «b» l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir. <br>
Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre «a», alors son entropie est ''nulle'', c'est-à-dire minimale. Par contre, si la source envoie un «a» la moitié du temps et un «b» l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir.  
<br>


==Français==
==Français==
'''entropie de Shannon''' n.f.
'''entropie de Shannon'''  
<br />


==Anglais==
==Anglais==
'''Shannon entropy'''
'''Shannon entropy'''
<br>
 
<br>
==Sources==
 
[https://fr.wikipedia.org/wiki/Entropie_de_Shannon Source : Wikipedia IA]
[https://fr.wikipedia.org/wiki/Entropie_de_Shannon Source : Wikipedia IA]
<br>
 
<br>
 
[[Catégorie:Apprentissage automatique]]
[[Category:GRAND LEXIQUE FRANÇAIS]]

Dernière version du 31 janvier 2024 à 11:10

Définition

L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets).

Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre «a», alors son entropie est nulle, c'est-à-dire minimale. Par contre, si la source envoie un «a» la moitié du temps et un «b» l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir.

Français

entropie de Shannon

Anglais

Shannon entropy

Sources

Source : Wikipedia IA



Contributeurs: Jacques Barolet, wiki