Descente de gradient stochastique asynchrone - Historique des versions

Pitpitt le 3 décembre 2024 à 23:02

2024-12-03T23:02:26Z

← Version précédente		Version du 3 décembre 2024 à 19:02
Ligne 28 :		Ligne 28 :
	[https://www.ijcai.org/Proceedings/16/Papers/335.pdf Source : IJCAI-16]		[https://www.ijcai.org/Proceedings/16/Papers/335.pdf Source : IJCAI-16]

	[[Catégorie:~~publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Arianne le 30 novembre 2024 à 18:06

2024-11-30T18:06:09Z

← Version précédente		Version du 30 novembre 2024 à 14:06
Ligne 1 :		Ligne 1 :
	~~== en construction ==~~

	== Définition ==		== Définition ==
	La descente de gradient stochastique asynchrone est une approche qui vise à améliorer l'efficacité de la formation des réseaux profonds à grande échelle en l'accélérant dans un environnement informatique distribué. Elle permet d'atteindre une vitesse plus rapide puisqu'aucun travailleur n'a besoin d'attendre après les autres et ils ajoutent directement le gradient local au modèle global.		La descente de gradient stochastique asynchrone est une approche qui vise à améliorer l'efficacité de la formation des réseaux profonds à grande échelle en l'accélérant dans un environnement informatique distribué. Elle permet d'atteindre une vitesse plus rapide puisqu'aucun travailleur n'a besoin d'attendre après les autres et ils ajoutent directement le gradient local au modèle global.
Ligne 11 :		Ligne 9 :
	== Français ==		== Français ==

	''' ~~Descente~~ de gradient stochastique asynchrone'''		''' descente de gradient stochastique asynchrone'''

	== Anglais ==		== Anglais ==

	''' ~~Asynchronous Stochastic Gradient Descent~~'''		''' asynchronous stochastic gradient descent'''

	''' ~~Asynchronous~~ SGD'''		''' asynchronous SGD'''

	''' ASGD'''		''' ASGD'''

	''Asynchronous ~~Stochastic Gradient Descent~~ (ASGD) is an approach that aims to improve training efficiency of large-scale deep network by accelerating it in a distributed computing environment. It can achieve faster speed due to the fact that no worker need to wait for other and these workers directly add the local gradient to the global model.''		''Asynchronous stochastic gradient descent (ASGD) is an approach that aims to improve training efficiency of large-scale deep network by accelerating it in a distributed computing environment. It can achieve faster speed due to the fact that no worker need to wait for other and these workers directly add the local gradient to the global model.''

	''It is difficult to tune the hyperparameters, to achieve convergence and linear speedup since the stability of the optimization algorithm is strongly influenced by the asynchronous nature of parameter uptade. ASGD also costs more iterations to converge than sequential SGD and cannot reach accuracy parity of sequential SGD especially when the number of workers is large.''		''It is difficult to tune the hyperparameters, to achieve convergence and linear speedup since the stability of the optimization algorithm is strongly influenced by the asynchronous nature of parameter uptade. ASGD also costs more iterations to converge than sequential SGD and cannot reach accuracy parity of sequential SGD especially when the number of workers is large.''
Ligne 30 :		Ligne 28 :
	[https://www.ijcai.org/Proceedings/16/Papers/335.pdf Source : IJCAI-16]		[https://www.ijcai.org/Proceedings/16/Papers/335.pdf Source : IJCAI-16]

	[[Catégorie:~~vocabulary~~]]		[[Catégorie:publication]]

Arianne : Arianne a déplacé la page Asynchronous Stochastic Gradient Descent vers Descente de gradient stochastique asynchrone

2024-11-30T18:05:06Z

Arianne a déplacé la page Asynchronous Stochastic Gradient Descent vers Descente de gradient stochastique asynchrone

← Version précédente	Version du 30 novembre 2024 à 14:05
(Aucune différence)

Arianne le 29 novembre 2024 à 17:36

2024-11-29T17:36:59Z

← Version précédente		Version du 29 novembre 2024 à 13:36
Ligne 2 :		Ligne 2 :

	== Définition ==		== Définition ==
	~~XXXXXXX~~		La descente de gradient stochastique asynchrone est une approche qui vise à améliorer l'efficacité de la formation des réseaux profonds à grande échelle en l'accélérant dans un environnement informatique distribué. Elle permet d'atteindre une vitesse plus rapide puisqu'aucun travailleur n'a besoin d'attendre après les autres et ils ajoutent directement le gradient local au modèle global.

	Voir aussi '''[[descente de gradient stochastique]]''' et '''[[réseau de neurones artificiels]]'''		Voir aussi '''[[descente de gradient stochastique]]''' et '''[[réseau de neurones artificiels]]'''

			== Compléments ==
			Il est cependant difficile d'ajuster les hyperparamètres pour obtenir une convergence et une accélération linéaire, puisque la stabilité de l'algorithme d'optimisation est fortement influencée par la nature asynchrone de l'évolution des paramètres. La descente de gradient stochastique asynchrone coûte également plus d'itérations pour converger que le SGD séquentiel et ne peut pas atteindre la parité de précision du SGD séquentiel, en particulier lorsque le nombre de travailleurs est élevé.

	== Français ==		== Français ==
Ligne 18 :		Ligne 21 :
	''' ASGD'''		''' ASGD'''

	''~~Deep neural networks have been shown to achieve state-of-the-art performance in several machine learning tasks.~~ Stochastic Gradient Descent (~~SGD~~) is ~~the preferred optimization algorithm for training these networks and asynchronous SGD (ASGD) has been widely adopted for accelerating the~~ training of large-scale deep ~~networks~~ in a distributed computing environment.''		''Asynchronous Stochastic Gradient Descent (ASGD) is an approach that aims to improve training efficiency of large-scale deep network by accelerating it in a distributed computing environment. It can achieve faster speed due to the fact that no worker need to wait for other and these workers directly add the local gradient to the global model.''

			''It is difficult to tune the hyperparameters, to achieve convergence and linear speedup since the stability of the optimization algorithm is strongly influenced by the asynchronous nature of parameter uptade. ASGD also costs more iterations to converge than sequential SGD and cannot reach accuracy parity of sequential SGD especially when the number of workers is large.''

	== Source ==		== Source ==

Arianne : Page créée avec « == en construction == == Définition == XXXXXXX Voir aussi '''descente de gradient stochastique''' et '''réseau de neurones artificiels''' == Français == ''' Descente de gradient stochastique asynchrone''' == Anglais == ''' Asynchronous Stochastic Gradient Descent''' ''' Asynchronous SGD''' ''' ASGD''' ''Deep neural networks have been shown to achieve state-of-the-art performance in several machine learning tasks. Stochastic Gradient Descent (S... »

2024-11-27T00:36:32Z

Page créée avec « == en construction == == Définition == XXXXXXX Voir aussi '''descente de gradient stochastique''' et '''réseau de neurones artificiels''' == Français == ''' Descente de gradient stochastique asynchrone''' == Anglais == ''' Asynchronous Stochastic Gradient Descent''' ''' Asynchronous SGD''' ''' ASGD''' ''Deep neural networks have been shown to achieve state-of-the-art performance in several machine learning tasks. Stochastic Gradient Descent (S... »

Nouvelle page

== en construction ==

== Définition ==
XXXXXXX

Voir aussi '''[[descente de gradient stochastique]]''' et '''[[réseau de neurones artificiels]]'''

== Français ==

''' Descente de gradient stochastique asynchrone'''

== Anglais ==

''' Asynchronous Stochastic Gradient Descent'''

''' Asynchronous SGD'''

''' ASGD'''

''Deep neural networks have been shown to achieve state-of-the-art performance in several machine learning tasks. Stochastic Gradient Descent (SGD) is the preferred optimization algorithm for training these networks and asynchronous SGD (ASGD) has been widely adopted for accelerating the training of large-scale deep networks in a distributed computing environment.''

== Source ==
[https://arxiv.org/abs/1609.08326 Source : arxiv]

[https://www.ijcai.org/Proceedings/16/Papers/335.pdf Source : IJCAI-16]

[[Catégorie:vocabulary]]

Descente de gradient stochastique asynchrone - Historique des versions

Pitpitt le 3 décembre 2024 à 23:02

Arianne le 30 novembre 2024 à 18:06

Arianne : Arianne a déplacé la page Asynchronous Stochastic Gradient Descent vers Descente de gradient stochastique asynchrone

Arianne le 29 novembre 2024 à 17:36

Arianne : Arianne a déplacé la page Asynchronous Stochastic Gradient Descent vers Descente de gradient stochastique asynchrone