« Réseau récurrent à longue mémoire court terme » : différence entre les versions
Aucun résumé des modifications |
m (Remplacement de texte : « Category:Termino 2019 » par « ») |
||
| (9 versions intermédiaires par 3 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Un [[Réseau récurrent|réseau de neurones récurrent (RNR)]] à longue mémoire court terme (LMCT) comporte plusieurs mécanismes internes (une cellule mémoire, une porte d'entrée, une porte de sortie et une porte d'oubli) permettant de tenir compte à la fois des dépendances courtes et longues dans les séquences de données. Ces mécanismes sont aussi conçus pour atténuer le [[problème de la disparition du gradient]]. | Un '''[[Réseau récurrent|réseau de neurones récurrent (RNR)]]''' à longue mémoire court terme (LMCT) comporte plusieurs mécanismes internes (une cellule mémoire, une porte d'entrée, une porte de sortie et une porte d'oubli) permettant de tenir compte à la fois des dépendances courtes et longues dans les séquences de données. Ces mécanismes de portes sont aussi conçus pour atténuer le '''[[problème de la disparition du gradient]]'''. | ||
== Compléments == | == Compléments == | ||
En principe, | En principe, un réseau de neurones récurrent LMCT essaie de "se souvenir" des informations importantes que le réseau a vues jusqu'à présent et à "oublier" les informations non pertinentes. Cela se fait en introduisant différents circuits de fonction d'activation appelées "portes" que l'on peut concevoir comme de petits robinets. Les paramètres associés aux différentes portes sont appris par entraînement sur des données. | ||
<hr/> | <hr/> | ||
Puisqu'il s'agit d'un mécanisme de longue mémoire à court terme | Puisqu'il s'agit d'un mécanisme de longue mémoire à court terme, il faut éviter les formes suivantes : | ||
*réseau de neurone récurrent à mémoire court et long terme | *réseau de neurone récurrent à mémoire court et long terme | ||
| Ligne 11 : | Ligne 11 : | ||
==Français== | ==Français== | ||
'''réseau récurrent à longue mémoire court-terme''' | '''réseau récurrent à longue mémoire court-terme''' | ||
'''réseau récurrent LMCT''' | '''réseau récurrent LMCT''' | ||
'''réseau de neurones récurrent à longue mémoire | '''réseau de neurones récurrent à longue mémoire court-terme''' | ||
'''RNR à longue mémoire court-terme''' | '''RNR à longue mémoire court-terme''' | ||
'''réseau récurrent à longue mémoire court terme''' | '''réseau récurrent à longue mémoire court terme''' | ||
'''RNR à longue mémoire court terme''' | '''RNR à longue mémoire court terme''' | ||
| Ligne 33 : | Ligne 30 : | ||
'''LMCT''' | '''LMCT''' | ||
'''réseau récurrent à mémoire long terme et court terme''' <small>(déconseillé)</small> | |||
'''réseau récurrent à mémoire court terme et long terme''' <small>(déconseillé)</small> | |||
==Anglais== | ==Anglais== | ||
| Ligne 43 : | Ligne 44 : | ||
'''LSTM''' | '''LSTM''' | ||
==Sources== | |||
[https://datafranca.org/wiki/Cat%C3%A9gorie:App-profond-livre Source : Goodfellow, Bengio, Courville'' L'apprentissage profond'', Éditeur Florent Massot 2018] | |||
[https://datafranca.org/wiki/Cat%C3%A9gorie:App-profond-livre Source: Goodfellow, Bengio, Courville'' L'apprentissage profond'', Éditeur Florent Massot 2018 | |||
[ | [https://r-libre.teluq.ca/1894/1/Th%C3%A8se_Coulombe.pdf Source : Claude Coulombe - thèse] | ||
[[Utilisateur: | [[Utilisateur:Claude COULOMBE | Source : Claude Coulombe, Datafranca.org]] | ||
[[Utilisateur:Patrickdrouin | Source : Termino]] | |||
[[Catégorie:Apprentissage profond]] | [[Catégorie:Apprentissage profond]] | ||
[[Category:GRAND LEXIQUE FRANÇAIS]] | [[Category:GRAND LEXIQUE FRANÇAIS]] | ||
[[ | |||
[[Categorie:Publication]] | |||
Dernière version du 11 octobre 2024 à 08:32
Définition
Un réseau de neurones récurrent (RNR) à longue mémoire court terme (LMCT) comporte plusieurs mécanismes internes (une cellule mémoire, une porte d'entrée, une porte de sortie et une porte d'oubli) permettant de tenir compte à la fois des dépendances courtes et longues dans les séquences de données. Ces mécanismes de portes sont aussi conçus pour atténuer le problème de la disparition du gradient.
Compléments
En principe, un réseau de neurones récurrent LMCT essaie de "se souvenir" des informations importantes que le réseau a vues jusqu'à présent et à "oublier" les informations non pertinentes. Cela se fait en introduisant différents circuits de fonction d'activation appelées "portes" que l'on peut concevoir comme de petits robinets. Les paramètres associés aux différentes portes sont appris par entraînement sur des données.
Puisqu'il s'agit d'un mécanisme de longue mémoire à court terme, il faut éviter les formes suivantes :
- réseau de neurone récurrent à mémoire court et long terme
- réseau de neurone récurrent à long/court terme
Français
réseau récurrent à longue mémoire court-terme
réseau récurrent LMCT
réseau de neurones récurrent à longue mémoire court-terme
RNR à longue mémoire court-terme
réseau récurrent à longue mémoire court terme
RNR à longue mémoire court terme
réseau de neurones récurrent LMCT
réseau LMCT
RNR LMCT
LMCT
réseau récurrent à mémoire long terme et court terme (déconseillé)
réseau récurrent à mémoire court terme et long terme (déconseillé)
Anglais
long short term memory neural network
long short term memory memory network
long short-term memory
LSTM
Sources
Source : Goodfellow, Bengio, Courville L'apprentissage profond, Éditeur Florent Massot 2018
Source : Claude Coulombe - thèse
Contributeurs: Evan Brach, Claude Coulombe, Jacques Barolet, Patrick Drouin, wiki
