Réseau récurrent à longue mémoire court terme

Domaine

Vocabulary
Claude
Apprentissage profond

Définition

Le terme Long Short-Term Memory, abrégé par LSTM [Hochreiter & Schmidhuber, 1997], désigne une architecture de réseau de neurones récurrent capable d'apprendre et de mémoriser de courtes et de longues séquences de symboles.

Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735‑1780, http://web.eecs.utk.edu/~itamar/courses/ECE-692/Bobby_paper1.pdf

Français

Discussion:

Conceptuellement, on peut voir les séquences d'un point de vue temporel (court et long terme) ou spatial (portée). On a également le choix de respecter l'ordre original qui est «long court» ou de l'inverser pour retrouver des expressions plus familières comme «à court et à long terme».
Nous avions pensé à «réseau récurrent à mémoire court et long terme» mais semblerait que ce soit plutôt une longue mémoire à court terme. L'acronyme serait LMCT qui respecte l'ordre original en anglais LSTM (long short-term memory). Note: À voir avec un linguiste / terminologue: à mémoire pour, à mémoire de, à mémoire à, à mémoire.

Anglais

LSTM

Long Short-Term Memory networks were invented to prevent the vanishing gradient problem in Recurrent Neural Networks by using a memory gating mechanism. Using LSTM units to calculate the hidden state in an RNN we help to the network to efficiently propagate gradients and learn long-range dependencies. • Long Short-Term Memory • Understanding LSTM Networks • Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano