« Généralisation tardive » : différence entre les versions
m (Remplacement de texte : « ↵<small> » par « ==Sources== ») |
Aucun résumé des modifications |
||
| (3 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
Dans le contexte du processus d'entraînement d'un [[modèle d'apprentissage]], | Dans le contexte du processus d'entraînement d'un [[modèle d'apprentissage]], la généralisation tardive correspond au phénomène où un modèle, longtemps après le [[surajustement]] des [[données d'entraînement]], se met soudainement et inhabituellement à généraliser correctement. | ||
Voir aussi [[généralisation]] | |||
== Compléments == | == Compléments == | ||
| Ligne 7 : | Ligne 9 : | ||
Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même. | Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même. | ||
En français on pourrait traduire le terme « grokking » par « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en ''-ing''. | En français on pourrait traduire le terme « grokking » par « généralisation tardive » / « généralisation à retardement » ou encore « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile, et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en ''-ing''. | ||
== Français == | == Français == | ||
'''généralisation tardive''' | |||
'''généralisation à retardement''' | |||
''' grokkage ''' | ''' grokkage ''' | ||
| Ligne 20 : | Ligne 26 : | ||
== Anglais == | == Anglais == | ||
''' grokking ''' | ''' grokking ''' | ||
<!-- A set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest --> | <!-- A set of models that suddenly flipped from memorizing their training data to correctly generalizing on unseen inputs after training for much longer. This phenomenon – where generalization seems to happen abruptly and long after fitting the training data – is called grokking and has sparked a flurry of interest --> | ||
==Sources== | |||
[https://scienceetonnante.substack.com/p/grokking-les-modeles-dia-sont-ils source: Science étonnante - David Louapre] | |||
[https://pair.withgoogle.com/explorables/grokking/ Source : withgoogle.com/] | [https://pair.withgoogle.com/explorables/grokking/ Source : withgoogle.com/] | ||
| Ligne 32 : | Ligne 38 : | ||
[https://arxiv.org/pdf/2210.01117.pdf Source : Liu et al. 2023] | [https://arxiv.org/pdf/2210.01117.pdf Source : Liu et al. 2023] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
https://datafranca.org/wiki/G%C3%A9n%C3%A9ralisation_tardive | |||
Dernière version du 15 janvier 2025 à 20:26
Définition
Dans le contexte du processus d'entraînement d'un modèle d'apprentissage, la généralisation tardive correspond au phénomène où un modèle, longtemps après le surajustement des données d'entraînement, se met soudainement et inhabituellement à généraliser correctement.
Voir aussi généralisation
Compléments
Le mot anglais « Grokking » signifie comprendre quelque chose de manière approfondie et intuitive. Le mot « grok » vient du roman de science-fiction de Robert A. Heinlein publié en 1961, En terre étrangère (Stranger in a Strange Land).
Dans le roman, « grok » est un mot martien qui suggère une compréhension profonde et intuitive ou une profonde empathie avec quelque chose ou quelqu'un. « Grokker » quelque chose signifie non seulement le comprendre, mais le comprendre si pleinement qu'il devient une partie de soi-même.
En français on pourrait traduire le terme « grokking » par « généralisation tardive » / « généralisation à retardement » ou encore « sagacité » quand on veut faire référence à la capacité de généraliser d'un modèle dans un contexte difficile, et par « émergence » pour faire référence au fait que cette capacité apparaît de façon soudaine et inattendue du point de vue de la théorie établie de l'apprentissage. Une autre proposition serait le terme « grokkage » qui correspond à une façon habituelle de franciser un terme anglais en -ing.
Français
généralisation tardive
généralisation à retardement
grokkage
sagacité
émergence
grokking
Anglais
grokking
Sources
source: Science étonnante - David Louapre
Source : Liu et al. 2023 https://datafranca.org/wiki/G%C3%A9n%C3%A9ralisation_tardive
Contributeurs: Arianne , Claude Coulombe, Patrick Drouin, wiki
