« Entropie de Shannon » : différence entre les versions

Version du 27 mai 2019 à 16:09

Domaine

Définition

L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets).

Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre 'a', alors son entropie est nulle, c'est-à-dire minimale. Par contre, si la source envoie un 'a' la moitié du temps et un 'b' l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir.

Français

entropie de Shannon n.m.

Anglais

Shannon entropy

Source : Wikipedia IA

@@ Ligne 2 : / Ligne 2 : @@
 [[category:Vocabulaire2]]
 [[Catégorie:Wikipedia-IA]]
-[[Catégorie:Apprentissage automatique]][[Category:GRAND LEXIQUE FRANÇAIS]]
+[[Catégorie:Apprentissage automatique]]
+[[Category:GRAND LEXIQUE FRANÇAIS]]
 [[Catégorie:Réseau de neurones artificiels]]
 [[Catégorie:scotty]]
@@ Ligne 10 : / Ligne 11 : @@
 ==Définition==
-Adaline (''Adaptive Linear Neuron'' ou plus tard ''Adaptive Linear Element'') est un réseau de neurones artificiels simple-couche.
+L''''entropie de Shannon''', due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d'information contenue ou délivrée par une source d'information. Cette source peut être un texte écrit dans une langue donnée, un signal électrique ou encore un fichier informatique quelconque (collection d'octets).
-Il a été développé par le professeur Bernard Widrow et un de ses étudiants, Ted Hoff, de l'université Stanford en 1960. Adaline s'appuie sur le neurone formel de McCulloch et Pitts. Il se compose d'un poids synaptique, d'un biais (une constante qu'on ajoute à l'entrée) et d'une fonction de sommation.
+Du point de vue d'un récepteur, plus la source émet d'informations différentes, plus l'entropie (ou incertitude sur ce que la source émet) est grande. Ainsi, si une source envoie toujours le même symbole, par exemple la lettre 'a', alors son entropie est ''nulle'', c'est-à-dire minimale. Par contre, si la source envoie un 'a' la moitié du temps et un 'b' l'autre moitié, le récepteur est incertain de la prochaine lettre à recevoir. <br>
-<br>
 <br>
 ==Français==
-'''Adaline''' n.m.
+'''entropie de Shannon''' n.m.
 <br>
@@ Ligne 23 : / Ligne 23 : @@
 ==Anglais==
-'''ADALINE'''
+'''Shannon entropy'''
 <br>
 <br>