« Généralisation tardive » : différence entre les versions

Dernière version du 12 novembre 2024 à 20:37

Définition

Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, la généralisation tardive correspond au phénomène où un modèle se met soudainement et inhabituellement à généraliser correctement longtemps après le surajustement des données d'entraînement.

Compléments

Le mot anglais « Grokking » signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, En terre étrangère (Stranger in a Strange Land).

Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.

En français on pourrait traduire le terme « grokking » par « généralisation tardive » / « généralisation à retardement » ou encore « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile, et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en -ing.

Français

généralisation tardive

généralisation à retardement

grokkage

sagacité

émergence

grokking

Anglais

grokking

Sources

source: Science étonnante - David Louapre

Source : withgoogle.com/

Source : Wikipedia

Source : Liu et al. 2023

@@ Ligne 1 : / Ligne 1 : @@
 == Définition ==
-Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, le grokking correspond au phénomène selon lequel un modèle se met soudainement et inhabituellement à généraliser correctement longtemps après le surajustement des données d'entraînement.
+Dans le contexte du processus d'entraînement d'un [[modèle d'apprentissage]], la [[généralisation]] tardive correspond au phénomène où un modèle se met soudainement et inhabituellement à généraliser correctement longtemps après le [[surajustement]] des [[données d'entraînement]].
 == Compléments ==
-« Grokking » est un mot qui signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, « En terre étrangère »  (« Stranger in a Strange Land »).
+Le mot anglais « Grokking » signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, ''En terre étrangère''  (''Stranger in a Strange Land'').
-Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Groker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.
+Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.
-En français on pourrait traduire le terme par « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendu du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en ''-ing''.
+En français on pourrait traduire le terme « grokking » par « généralisation tardive » / « généralisation à retardement » ou encore « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile, et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en ''-ing''.
 == Français ==
-''' grokking '''
+'''généralisation tardive'''
+'''généralisation à retardement'''
 ''' grokkage '''
@@ Ligne 17 : / Ligne 19 : @@
 '''émergence'''
+''' grokking '''
 == Anglais ==
 ''' grokking '''
+<!--  A set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest -->
-<!--  A set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest -->
+==Sources==
-<small>
+[https://scienceetonnante.substack.com/p/grokking-les-modeles-dia-sont-ils source: Science étonnante - David Louapre]
 [https://pair.withgoogle.com/explorables/grokking/     Source : withgoogle.com/]
@@ Ligne 32 : / Ligne 37 : @@
 [https://arxiv.org/pdf/2210.01117.pdf   Source : Liu et al. 2023]
+[[Catégorie:GRAND LEXIQUE FRANÇAIS]]
-[[Catégorie:Publication]]

« Généralisation tardive » : différence entre les versions