Balise : Éditeur de wikicode 2017 |
Balise : Éditeur de wikicode 2017 |
| Ligne 1 : |
Ligne 1 : |
| ==en construction==
| | Définition |
| == Définition ==
| | En ce qui concerne les réseaux de neurones, c'est un état dans lequel un réseau de neurones d'apprentissage entre parfois, où les ajustements de poids pour un ou plusieurs modèles d'entraînement compensent simplement les ajustements effectués pour un modèle précédemment formé. |
| | |
| | |
| ----------------
| |
| La formation au réseau de neurones est un processus complexe. Heureusement, nous n'avons pas besoin de le comprendre parfaitement pour en bénéficier: les architectures de réseau et les procédures de formation que nous utilisons aboutissent vraiment à des systèmes fonctionnels qui atteignent une précision de classification très élevée. Cependant, il y a un aspect théorique de la formation qui, en dépit d'être quelque peu abstrus, mérite notre attention. «'''le problème des minima locaux'''».
| |
| | |
| | |
| ----------------
| |
| | |
| Il y a beaucoup d'intérêt pour essayer de caractériser la surface d'erreur des modèles profonds. Cela découle d'une question de longue date.
| |
| | |
| Étant donné que les réseaux profonds sont des systèmes hautement non linéaires optimisés par des méthodes de gradient local, pourquoi ne semblent-ils pas être affectés par de mauvais minima locaux? Il est largement admis que la formation de modèles profonds à l'aide de méthodes de gradient fonctionne si bien parce que la surface d'erreur n'a pas de minima locaux, ou s'ils existent, ils doivent avoir une valeur proche du minimum global.
| |
| | |
| Il est connu que ces résultats reposent sur des hypothèses très fortes qui ne sont pas satisfaites par des modèles réels. Dans cet article, nous présentons des exemples montrant que pour qu'un tel théorème soit vrai, des hypothèses supplémentaires sur les données, des schémas d'initialisation et / ou les classes de modèle doivent être faites. Nous examinons le cas particulier des ensembles de données de taille finie. Nous démontrons que dans ce scénario, on peut construire des contre-exemples (ensembles de données ou schémas d'initialisation) lorsque le réseau devient sensible à de mauvais minima locaux sur l'espace de poids.
| |
| | |
| | |
| ---------------------
| |
| La compréhension de ce terme dépend dans une certaine mesure de la métaphore de la surface d'erreur.
| |
| | |
| Lorsqu'un algorithme d'apprentissage de réseau neuronal artificiel fait descendre l'erreur totale du réseau dans une vallée de la surface d'erreur, cette vallée peut ou non conduire au point le plus bas sur toute la surface d'erreur. Si ce n'est pas le cas, le minimum dans lequel l'erreur totale finira par tomber est appelé minimum local. L'algorithme d'apprentissage est parfois appelé dans ce cas «piégé dans un minimum local».
| |
| | |
| Dans de tels cas, il est généralement utile de redémarrer l'algorithme avec un nouvel ensemble initial de poids choisi au hasard - c'est-à-dire à un nouveau point aléatoire dans l'espace de poids. Comme cela signifie un nouveau point de départ sur la surface d'erreur, il est susceptible de conduire dans une vallée différente, et nous espérons que celle-ci conduira à la véritable erreur minimale (absolue), ou au moins à une meilleure erreur minimale.
| |
|
| |
|
| | Le modèle précédemment formé ne se trouve pas dans son mappage de sortie souhaité idéal, mais est coincé dans un mappage de réponse "local" moins qu'idéal, appelé minimum local. Cet état peut parfois être évité en faisant un jogging aléatoire des poids de connexion (jogging de poids). |
|
| |
|
| | Le concept sous-jacent d'un minimum local est souvent évoqué au pluriel: minima locaux. |
|
| |
|
| | Il est généralement affirmé qu’abaisser est préférable. C'est-à-dire que plus bas représente la solution la plus correcte ou l'état le plus souhaité ou idéal. Bien sûr, cela laisse beaucoup de points à régler, car les systèmes adaptatifs ont tendance à être très entrelacés avec des problèmes philosophiquement instables lorsque vous commencez à considérer des choses comme la correctio |
|
| |
|
|
| |
|
| Ligne 36 : |
Ligne 18 : |
|
| |
|
| <small> | | <small> |
| | |
| | [http://standoutpublishing.com/g/local-minimum.html Source : Standoutpublishing ] |
|
| |
|
| https://www.allaboutcircuits.com/technical-articles/understanding-local-minima-in-neural-network-training/ | | https://www.allaboutcircuits.com/technical-articles/understanding-local-minima-in-neural-network-training/ |
Version du 28 mai 2020 à 19:34
Définition
En ce qui concerne les réseaux de neurones, c'est un état dans lequel un réseau de neurones d'apprentissage entre parfois, où les ajustements de poids pour un ou plusieurs modèles d'entraînement compensent simplement les ajustements effectués pour un modèle précédemment formé.
Le modèle précédemment formé ne se trouve pas dans son mappage de sortie souhaité idéal, mais est coincé dans un mappage de réponse "local" moins qu'idéal, appelé minimum local. Cet état peut parfois être évité en faisant un jogging aléatoire des poids de connexion (jogging de poids).
Le concept sous-jacent d'un minimum local est souvent évoqué au pluriel: minima locaux.
Il est généralement affirmé qu’abaisser est préférable. C'est-à-dire que plus bas représente la solution la plus correcte ou l'état le plus souhaité ou idéal. Bien sûr, cela laisse beaucoup de points à régler, car les systèmes adaptatifs ont tendance à être très entrelacés avec des problèmes philosophiquement instables lorsque vous commencez à considérer des choses comme la correctio
Français
Minimum local masculin
Anglais
Local minimum
Source : Standoutpublishing
https://www.allaboutcircuits.com/technical-articles/understanding-local-minima-in-neural-network-training/
Source : Cornell University
Source : UNWS machine learning dictionary
