« Généralisation tardive » : différence entre les versions
m (Remplacement de texte : « ↵<small> » par « ==Sources== ») |
m (Claude COULOMBE a déplacé la page Grokkage vers Généralisation tardive) |
||
| (Une version intermédiaire par le même utilisateur non affichée) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Dans le contexte du processus d'entraînement d'un [[modèle d'apprentissage]], | Dans le contexte du processus d'entraînement d'un [[modèle d'apprentissage]], la [[généralisation]] tardive correspond au phénomène où un modèle se met soudainement et inhabituellement à généraliser correctement longtemps après le [[surajustement]] des [[données d'entraînement]]. | ||
== Compléments == | == Compléments == | ||
| Ligne 7 : | Ligne 7 : | ||
Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même. | Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même. | ||
En français on pourrait traduire le terme « grokking » par « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en ''-ing''. | En français on pourrait traduire le terme « grokking » par « généralisation tardive » / « généralisation à retardement » ou encore « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile, et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en ''-ing''. | ||
== Français == | == Français == | ||
'''généralisation tardive''' | |||
'''généralisation à retardement''' | |||
''' grokkage ''' | ''' grokkage ''' | ||
| Ligne 20 : | Ligne 24 : | ||
== Anglais == | == Anglais == | ||
''' grokking ''' | ''' grokking ''' | ||
<!-- A set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest --> | <!-- A set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest --> | ||
==Sources== | |||
[https://scienceetonnante.substack.com/p/grokking-les-modeles-dia-sont-ils source: Science étonnante - David Louapre] | |||
[https://pair.withgoogle.com/explorables/grokking/ Source : withgoogle.com/] | [https://pair.withgoogle.com/explorables/grokking/ Source : withgoogle.com/] | ||
| Ligne 32 : | Ligne 36 : | ||
[https://arxiv.org/pdf/2210.01117.pdf Source : Liu et al. 2023] | [https://arxiv.org/pdf/2210.01117.pdf Source : Liu et al. 2023] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 12 novembre 2024 à 20:37
Définition
Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, la généralisation tardive correspond au phénomène où un modèle se met soudainement et inhabituellement à généraliser correctement longtemps après le surajustement des données d'entraînement.
Compléments
Le mot anglais « Grokking » signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, En terre étrangère (Stranger in a Strange Land).
Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.
En français on pourrait traduire le terme « grokking » par « généralisation tardive » / « généralisation à retardement » ou encore « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile, et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en -ing.
Français
généralisation tardive
généralisation à retardement
grokkage
sagacité
émergence
grokking
Anglais
grokking
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
