« Généralisation tardive » : différence entre les versions
(Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Grokking ''' A set of models that suddenly flipped from memorizin... ») |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== | == Définition == | ||
Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, le grokking correspond au moment où le modèle se met soudainement et de façon inhabituelle à généraliser correctement longtemps après le surajustement des données d'entraînement. | |||
== | == Compléments == | ||
"Grokking" est un mot qui signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, « En terre étrangère » (« Stranger in a Strange Land »). | |||
Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Groker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même. | |||
== Français == | == Français == | ||
''' | ''' grokking ''' | ||
''' grokkage ''' | |||
'''sagacité''' | |||
== Anglais == | == Anglais == | ||
''' | ''' grokking ''' | ||
<!-- A set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest --> | |||
<small> | <small> | ||
[https://pair.withgoogle.com/explorables/grokking/ Source : withgoogle.com/] | [https://pair.withgoogle.com/explorables/grokking/ Source : withgoogle.com/] | ||
[https://fr.wikipedia.org/wiki/Grok Source : Wikipedia] | |||
[https://arxiv.org/pdf/2210.01117.pdf Source : Liu et al. 2023] | |||
[[Catégorie: | [[Catégorie:Publication]] | ||
Version du 29 août 2023 à 14:00
Définition
Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, le grokking correspond au moment où le modèle se met soudainement et de façon inhabituelle à généraliser correctement longtemps après le surajustement des données d'entraînement.
Compléments
"Grokking" est un mot qui signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, « En terre étrangère » (« Stranger in a Strange Land »).
Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Groker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.
Français
grokking
grokkage
sagacité
Anglais
grokking
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
