Généralisation tardive

Définition

Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, le grokking correspond au moment où le modèle se met soudainement et de façon inhabituelle à généraliser correctement longtemps après le surajustement des données d'entraînement.

Compléments

"Grokking" est un mot qui signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, « En terre étrangère » (« Stranger in a Strange Land »).

Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Groker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.

Français

grokking

grokkage

sagacité

Anglais

grokking

Source : withgoogle.com/

Source : Wikipedia

Source : Liu et al. 2023