Loi d’échelle

Définition

Dans le domaine de l'apprentissage automatique, une loi d'échelle est une loi empirique qui décrit comment les performances d'un modèle d'apprentissage, typiquement un réseau neuronal, s'améliorent en fonction de l'augmentation de facteurs clés comme le nombre de paramètres et la taille de l'ensemble de données d'entraînement.

Français

loi de montée en échelle

loi de passage à l'échelle

loi d’échelle

Anglais

neural scaling law

model scaling law

LLM scaling law

Sources

Kaplan et McCandlish (2024), Scaling Laws for Neural Language Models