Réseau à états échoïques
en construction
Définition
La connectivité et le poids des neurones cachés sont fixés et répartis au hasard. Les poids des neurones de sortie peuvent être appris afin que le réseau puisse (re) produire des modèles temporels spécifiques. L’intérêt principal de ce réseau est que, bien que son comportement soit non linéaire, les seuls poids modifiés pendant l’entraînement concernent les synapses qui connectent les neurones cachés aux neurones de sortie.
Ainsi, la fonction d'erreur est quadratique par rapport au paramètre vector et peut être facilement différenciée en un système linéaire.
Un Echo State Network est un exemple du concept plus général de Reservoir Computing . L'idée de base derrière l'ESN est d'obtenir les avantages d'un RNN (traiter une séquence d'entrées qui dépendent les unes des autres, c'est-à-dire des dépendances temporelles comme un signal) mais sans les problèmes de formation d'un RNN traditionnel comme le problème du gradient de fuite .
Français
réseau à états échoïques
Anglais
echo state network
Source : L'apprentissage profond, Ian Goodfellow, Yoshua Bengio et Aaron Courville Éd. Massot 2018
Contributeurs: Imane Meziani, Jacques Barolet, wiki
