« Unité linéaire rectifiée » : différence entre les versions

Dernière version du 14 avril 2024 à 23:19

Définition

Fonction d'activation utilisée dans les réseau de neurones profonds correspondant à la fonction ${\displaystyle f(x)=x^{+}=\max(0,x)}$ .

Français

unité linéaire rectifiée

ULR acronyme.

redresseur simple alternance

redresseur demi-onde

Anglais

rectified linear unit

ReLU

Sources

Source : Amidi, Shervine et Afshine Amidi, Pense-bête de réseaux de neurones convolutionnels.

Source : Wikipedia, Rectifier (neural networks)

Source : Termino

@@ Ligne 1 : / Ligne 1 : @@
-== Domaine ==
+==Définition==
-[[Category:Vocabulary]]  Vocabulary
+Fonction d'activation utilisée dans les réseau de neurones profonds correspondant à la fonction <math>{\displaystyle f(x)=x^{+}=\max(0,x)}</math>.
-[[Catégorie:Apprentissage profond]] Apprentissage profond
-== Définition ==
+==Français==
+'''unité linéaire rectifiée'''
+'''ULR''' <small>acronyme.  </small>
-== Termes privilégiés ==
+'''redresseur simple alternance'''
+'''redresseur demi-onde'''
-== Anglais ==
+==Anglais==
+'''rectified linear unit'''
 '''ReLU'''
-Short for Rectified Linear Unit(s). ReLUs are often used as activation functions in Deep Neural Networks. They are defined by f(x) = max(0, x). The advantages of ReLUs over functions like tanhinclude that they tend to be sparse (their activation easily be set to 0), and that they suffer less from the vanishing gradient problem. ReLUs are the most commonly used activation function in Convolutional Neural Networks. There exist several variations of ReLUs, such as Leaky ReLUs, Parametric ReLU (PReLU) or a smoother softplusapproximation.
+==Sources==
-•	Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification
+[https://stanford.edu/~shervine/l/fr/teaching/cs-230/pense-bete-reseaux-neurones-convolutionnels,   Source : Amidi, Shervine et Afshine Amidi, ''Pense-bête de réseaux de neurones convolutionnels''.]
+[https://en.Wikipedia.org/wiki/Rectifier_(neural_networks)   Source : Wikipedia, ''Rectifier (neural networks)'']
-•	Rectifier Nonlinearities Improve Neural Network Acoustic Models
+[[Utilisateur:Patrickdrouin  |   Source : Termino]]
+[[Category:GRAND LEXIQUE FRANÇAIS]]
-•	Rectified Linear Units Improve Restricted Boltzmann Machines
+[[Category:Termino 2019]]