« Loi d’échelle » : différence entre les versions
(Page créée avec « ==Définition== Dans le domaine de l'apprentissage automatique, une loi d'échelle est une loi empirique qui décrit comment les performances d'un modèle d'apprentissage, typiquement un réseau neuronal, s'améliorent en fonction de l'augmentation de facteurs clés comme le nombre de paramètres et la taille de l'ensemble de données d'entraînement. ==Français== '''loi de montée en échelle''' '''loi de passage à... ») |
(Aucune différence)
|
Version du 7 janvier 2025 à 15:16
Définition
Dans le domaine de l'apprentissage automatique, une loi d'échelle est une loi empirique qui décrit comment les performances d'un modèle d'apprentissage, typiquement un réseau neuronal, s'améliorent en fonction de l'augmentation de facteurs clés comme le nombre de paramètres et la taille de l'ensemble de données d'entraînement.
Français
loi de montée en échelle
loi de passage à l'échelle
loi d’échelle
Anglais
neural scaling law
model scaling law
LLM scaling law
Sources
Kaplan et McCandlish (2024), Scaling Laws for Neural Language Models
Contributeurs: Patrick Drouin, wiki
