Echo state network

Définition

La connectivité et le poids des neurones cachés sont fixés et répartis au hasard. Les poids des neurones de sortie peuvent être appris afin que le réseau puisse (re) produire des modèles temporels spécifiques. L’intérêt principal de ce réseau est que, bien que son comportement soit non linéaire, les seuls poids modifiés pendant l’entraînement concernent les synapses qui connectent les neurones cachés aux neurones de sortie.

Ainsi, la fonction d'erreur est quadratique par rapport au paramètre vector et peut être facilement différenciée en un système linéaire.

---

Un Echo State Network est un exemple du concept plus général de Reservoir Computing . L'idée de base derrière l'ESN est d'obtenir les avantages d'un RNN (traiter une séquence d'entrées qui dépendent les unes des autres, c'est-à-dire des dépendances temporelles comme un signal) mais sans les problèmes de formation d'un RNN traditionnel comme le problème du gradient de fuite .

---

Français

Echo state network

Anglais

Echo state network

Source : L'apprentissage profond, Ian Goodfellow, Yoshua Bengio et Aaron Courville Éd. Massot 2018 page 377

Source : Wikipedia

Source : 24pm academie

Source : qastack.fr