Régularisation L2

Définition

Régularisation qui ajuste à la baisse les poids au sein d'un modèle proportionnellement à la somme des carrés de leurs valeurs afin de contrer le surajustement.

Remarque : la régularisation L2 vise à ce que les poids dont la valeur est marginale (valeur positive ou négative très élevée ou très faible) se rapprochent le plus possible de 0 (sans jamais l'atteindre).

Robotique - Ajouter une pénalité proportionnelle au carré de la magnitude des poids du modèle à la fonction de perte, décourageant les poids importants et réduisant le surapprentissage. La régularisation L2 (weight decay) est appliquée à presque tous les entraînements de réseaux de neurones. En apprentissage robotique, une décroissance de poids appropriée empêche la politique d'apprendre par cœur les trajectoires de démonstration spécifiques.

Compléments

En français le mot ridge se traduit par crête ou arête.

Français

régularisation L2

régression ridge

régularisation ridge

régularisation de Tikhonov

régression de crête

Anglais

L2 regularization

ridge regularization

Sources

Livre - Ian Goodfellow, Yoshua Bengio, Aaron Courville - L'apprentissage profond - régularisation L2, régression ridge, régularisation de Tikhonov

Livre - Aurélien Géron, trad. Anne Bohy - Machine Learning avec Scikit-Learn - Mise en oeuvre et cas concrets - régression ridge, régularisation ridge, régularisation de Tikhonov, régression de crête

Google Glossaire IA - régularisation L2

Termino Source : Robotic Center

---

LEXIQUE DE LA ROBOTIQUE