« Règle delta généralisée » : différence entre les versions

Dernière version du 28 janvier 2024 à 12:14

Définition

Formule dérivée mathématiquement, utilisée pour déterminer comment mettre à jour un réseau de neurones au cours d'une étape de formation (rétropropagation).

La règle delta généralisée est utilisée à plusieurs reprises au cours de la formation pour modifier les poids entre les connexions de nœuds.

Avant l'entraînement, le réseau a des poids de connexion initialisés avec de petits nombres aléatoires. Le but des modifications de poids est de réduire l'erreur globale du réseau, ce qui signifie réduire la différence entre la sortie réelle et attendue.

Français

Règle delta généralisée

Anglais

Generalized delta rule

Sources

Source : DeepAI

Source : INWS machine learning dictionary ]

@@ Ligne 1 : / Ligne 1 : @@
+== Définition ==
+Formule dérivée mathématiquement, utilisée pour déterminer comment mettre à jour un réseau de neurones au cours d'une étape de formation (rétropropagation).
-== en construction ==
+La règle delta généralisée est utilisée à plusieurs reprises au cours de la formation pour modifier les poids entre les connexions de nœuds.
-[[Catégorie:Vocabulary]]
-[[Catégorie:Apprentissage machine]]
-[[Catégorie:UNSW]]
+Avant l'entraînement, le réseau a des poids de connexion initialisés avec de petits nombres aléatoires.  Le but des modifications de poids est de réduire l'erreur globale du réseau, ce qui signifie réduire la différence entre la sortie réelle et attendue.
-== Définition ==
-xxxxxxx
 == Français ==
-xxxxxxx
+'''Règle delta généralisée'''
 == Anglais ==
-'''generalized delta rule'''
+'''Generalized delta rule'''
-An improvement on the in error backpropagation learning. If the learning rate (often denoted by η) is small, the backprop algorithm proceeds slowly, but accurately follows the path of steepest descent on the error surface. If η is too large, the algorithm may "bounce off the canyon walls of the error surface" - i.e. not work well. This can be largely avoided by modifying the delta rule to include a momentum term:
-Δ''w<sub>ji</sub>''(''n'') = α Δ''w<sub>ji</sub>''(''n''–1) + η δ<sub>''j''</sub>(''n'') ''y<sub>i</sub>''(''n'')
+==Sources==
-in the notation of Haykin's text (''Neural networks - a comprehensive foundation''). The constant α is a termed the momentum constant and can be adjusted to achieve the best effect. The second summand corresponds to the standard delta rule, while the first summand says "add α × the previous change to this weight."
+[https://deepai.org/machine-learning-glossary-and-terms/generalized-delta-rule  Source : DeepAI]
-This new rule is called the generalized delta rule. The effect is that if the basic delta rule would be consistently pushing a weight in the same direction, then it gradually gathers "momentum" in that direction.
+[http://www.cse.unsw.edu.au/~billw/dictionaries/mldict.html      Source : INWS machine learning dictionary]  ]
-<small>
+[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
-[http://www.cse.unsw.edu.au/~billw/dictionaries/mldict.html      Source : INWS machine learning dictionary]  ]

« Règle delta généralisée » : différence entre les versions