Convergence

Domaine

Vocabulaire
Google
Apprentissage profond

Définition

Désigne familièrement un état atteint pendant l'apprentissage, dans lequel la perte d'apprentissage et la perte de validation varient peu ou pas du tout entre chaque itération, passé un certain nombre d'itérations. Autrement dit, un modèle atteint la convergence lorsque la poursuite de l'apprentissage sur les données actuelles n'améliore pas le modèle. Dans le deep learning, les valeurs de perte restent parfois constantes ou presque pendant de nombreuses itérations avant de finalement diminuer, faisant croire à tort, temporairement, que la convergence a été atteinte.

Voir aussi arrêt prématuré.

Voir aussi le livre de Stephen Boyd et Lieven Vandenberghe, Convex Optimization (en anglais).

Anglais

convergence

Source: Google machine learning glossary