« Généralisation tardive » : différence entre les versions
Aucun résumé des modifications |
|||
Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, le | Dans le contexte du processus d'[[entraînement]] d'un [[modèle d'apprentissage]], le grokkage correspond au phénomène selon lequel un modèle se met soudainement et inhabituellement à généraliser correctement longtemps après le [[surajustement]] des [[données d'entraînement]]. | ||
== Compléments == | == Compléments == |
Version du 29 août 2023 à 14:18
Définition
Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, le grokkage correspond au phénomène selon lequel un modèle se met soudainement et inhabituellement à généraliser correctement longtemps après le surajustement des données d'entraînement.
Compléments
« Grokking » est un mot qui signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, En terre étrangère (Stranger in a Strange Land).
Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Groker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.
En français on pourrait traduire le terme par « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendu du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en -ing.
Français
grokking
grokkage
sagacité
émergence
Anglais
grokking
Contributeurs: Claude Coulombe, Patrick Drouin, wiki