Réseau récurrent à longue mémoire court terme

Domaine

Vocabulary
Apprentissage profond

Termes privilégiés

Réseau récurrent ou réseau de neurones récurrent Notez: C'est le réseau qui est récurrent, pas les neurones. <poll> Choisissez parmi ces termes proposés : à mémoire court et long terme à mémoire long et court terme à mémoire courte et longue portée à mémoire longue et courte portée à mémoire de courtes et longues séquences à mémoire pour courtes et longues séquences </poll>

Explications: Le terme Long Short-Term Memory, abrégé par LSTM [Hochreiter & Schmidhuber, 1997], désigne une architecture de réseau de neurones récurrent capable d'apprendre et de mémoriser de courtes et de longues séquences de symboles. Conceptuellement, on peut voir ces séquences d'un point de vue temporel (court et long terme) ou spatial (portée). On a également le choix de respecter l'ordre long et court ou de l'inverser pour retrouver des expressions plus familières comme «à long et court terme».

Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735‑1780, http://web.eecs.utk.edu/~itamar/courses/ECE-692/Bobby_paper1.pdf

Anglais

LSTM

Long Short-Term Memory networks were invented to prevent the vanishing gradient problem in Recurrent Neural Networks by using a memory gating mechanism. Using LSTM units to calculate the hidden state in an RNN we help to the network to efficiently propagate gradients and learn long-range dependencies. • Long Short-Term Memory • Understanding LSTM Networks • Recurrent Neural Network Tutorial, Part 4 – Implementing a GRU/LSTM RNN with Python and Theano