« Réseau récurrent à longue mémoire court terme » : différence entre les versions

Dernière version du 31 mars 2024 à 19:41

Définition

Un réseau de neurones récurrent (RNR) à longue mémoire court terme (LMCT) comporte plusieurs mécanismes internes (une cellule mémoire, une porte d'entrée, une porte de sortie et une porte d'oubli) permettant de tenir compte à la fois des dépendances courtes et longues dans les séquences de données. Ces mécanismes de portes sont aussi conçus pour atténuer le problème de la disparition du gradient.

Compléments

En principe, un réseau de neurones récurrent LMCT essaie de "se souvenir" des informations importantes que le réseau a vues jusqu'à présent et à "oublier" les informations non pertinentes. Cela se fait en introduisant différents circuits de fonction d'activation appelées "portes" que l'on peut concevoir comme de petits robinets. Les paramètres associés aux différentes portes sont appris par entraînement sur des données.

Puisqu'il s'agit d'un mécanisme de longue mémoire à court terme, il faut éviter les formes suivantes :

réseau de neurone récurrent à mémoire court et long terme
réseau de neurone récurrent à long/court terme

Français

réseau récurrent à longue mémoire court-terme

réseau récurrent LMCT

réseau de neurones récurrent à longue mémoire court-terme

RNR à longue mémoire court-terme

réseau récurrent à longue mémoire court terme

RNR à longue mémoire court terme

réseau de neurones récurrent LMCT

réseau LMCT

RNR LMCT

LMCT

réseau récurrent à mémoire long terme et court terme (déconseillé)

réseau récurrent à mémoire court terme et long terme (déconseillé)

Anglais

long short term memory neural network

long short term memory memory network

long short-term memory

LSTM

Sources

Source : Goodfellow, Bengio, Courville L'apprentissage profond, Éditeur Florent Massot 2018

Source : Claude Coulombe - thèse

Source : Claude Coulombe, Datafranca.org

Source : Termino Categorie:Publication

@@ Ligne 1 : / Ligne 1 : @@
-== Domaine ==
+==Définition==
-[[Category:Vocabulary]]  Vocabulary<br />
+Un '''[[Réseau récurrent|réseau de neurones récurrent (RNR)]]''' à longue mémoire court terme (LMCT) comporte plusieurs mécanismes internes (une cellule mémoire, une porte d'entrée, une porte de sortie et une porte d'oubli) permettant de tenir compte à la fois des dépendances courtes et longues dans les séquences de données. Ces mécanismes de portes sont aussi conçus pour atténuer le  '''[[problème de la disparition du gradient]]'''.
-[[Category:Claude]]Claude<br />
-[[Catégorie:Apprentissage profond]] Apprentissage profond
-[[Category: scotty]]
-== Définition ==
+== Compléments ==
-Le terme Long Short-Term Memory, abrégé par LSTM [Hochreiter & Schmidhuber, 1997], désigne une architecture de réseau de neurones récurrent capable d'apprendre et de mémoriser de courtes et de longues séquences de symboles.
+En principe, un réseau de neurones récurrent LMCT essaie de "se souvenir" des informations importantes que le réseau a vues jusqu'à présent et à "oublier" les informations non pertinentes. Cela se fait en introduisant différents circuits de fonction d'activation appelées "portes" que l'on peut concevoir comme de petits robinets. Les paramètres associés aux différentes portes sont appris par entraînement sur des données.
+<hr/>
+Puisqu'il s'agit d'un mécanisme de longue mémoire à court terme, il faut éviter les formes suivantes :
-Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735‑1780, http://web.eecs.utk.edu/~itamar/courses/ECE-692/Bobby_paper1.pdf
+*réseau de neurone récurrent à mémoire court et long terme
+*réseau de neurone récurrent à long/court terme
-== Français ==
+==Français==
-<h4>
+'''réseau récurrent à longue mémoire court-terme'''
-Réseau récurrent ou réseau de neurones récurrent
-<poll>
-Choisissez parmi ces termes proposés :
-mémoire à long terme et courte séquence
+'''réseau récurrent LMCT'''
-à longue mémoire de court terme
-à mémoire courte et longue portée
-à mémoire longue de courte portée
-à longue mémoire de courte portée
-à mémoire de courtes et longues séquences
-à mémoire de longues et courtes séquences
-à longue mémoire de courtes séquences
-</poll></h4>
-<h4>Discussion:</h4>
-Conceptuellement, on peut voir les séquences d'un point de vue temporel (court et long terme) ou spatial (portée). On a également le choix de respecter l'ordre original qui est «long court» ou de l'inverser pour retrouver des expressions plus familières comme «à court et à long terme».<br/>
-Nous avions pensé à «réseau récurrent à mémoire court et long terme» mais semblerait que ce soit plutôt une longue mémoire à court terme. L'acronyme serait LMCT qui respecte l'ordre original en anglais LSTM (long short-term memory).
-Note: À voir avec un linguiste / terminologue: à mémoire pour, à mémoire de, à mémoire à, à mémoire.
-== Anglais ==
+'''réseau de neurones récurrent à longue mémoire court-terme'''
-'''Long Short-Term Memory'''
+'''RNR à longue mémoire court-terme'''
+'''réseau récurrent à longue mémoire court terme'''
+'''RNR à longue mémoire court terme'''
+'''réseau de neurones récurrent LMCT'''
+'''réseau LMCT'''
+'''RNR LMCT'''
+'''LMCT'''
+'''réseau récurrent à mémoire long terme et court terme''' <small>(déconseillé)</small>
+'''réseau récurrent à mémoire court terme et long terme''' <small>(déconseillé)</small>
+==Anglais==
+'''long short term memory neural network'''
+'''long short term memory memory network'''
+'''long short-term memory'''
 '''LSTM'''
-Long Short-Term Memory networks were invented to prevent the vanishing gradient problem in Recurrent Neural Networks by using a memory gating mechanism. Using LSTM units to calculate the hidden state in an RNN we help to the network to efficiently propagate gradients and learn long-range dependencies.
+==Sources==
-•	Long Short-Term Memory
-•	Understanding LSTM Networks
+[https://datafranca.org/wiki/Cat%C3%A9gorie:App-profond-livre Source :  Goodfellow, Bengio, Courville'' L'apprentissage profond'',   Éditeur Florent Massot  2018]
-•	Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano
+[https://r-libre.teluq.ca/1894/1/Th%C3%A8se_Coulombe.pdf Source : Claude Coulombe - thèse]
+[[Utilisateur:Claude COULOMBE | Source : Claude Coulombe, Datafranca.org]]
+[[Utilisateur:Patrickdrouin  | Source : Termino]]
+[[Catégorie:Apprentissage profond]]
+[[Category:GRAND LEXIQUE FRANÇAIS]]
+[[Category:Termino 2019]]
+[[Categorie:Publication]]

« Réseau récurrent à longue mémoire court terme » : différence entre les versions