Liaison de paramètre

Définition

GOOGLE TRANSLATE La liaison de paramètres est une méthode de régularisation dans laquelle les paramètres (poids) d'un modèle d'apprentissage automatique sont partitionnés en groupes en tirant parti des connaissances préalables et tous les paramètres de chaque groupe sont contraints de prendre la même valeur. Dans cet article, nous considérons le problème de l'apprentissage des paramètres dans les réseaux de Markov et proposons une nouvelle approche appelée liaison automatique des paramètres (APT) qui utilise la liaison automatique au lieu a priori et douce au lieu de la liaison dure des paramètres comme méthode de régularisation pour atténuer le sur-ajustement. L'idée clé derrière APT est de configurer le problème d'apprentissage comme la tâche de trouver des paramètres et des regroupements de paramètres de telle sorte que la probabilité plus un terme de régularisation soit maximisée. Le terme de régularisation pénalise les modèles où les valeurs des paramètres s'écartent de leur valeur moyenne des paramètres de groupe. Nous proposons et utilisons un algorithme de remontée de coordonnées de bloc pour résoudre la tâche d'optimisation. Nous analysons la complexité de l'échantillon de notre nouvel algorithme d'apprentissage et montrons qu'il donne des paramètres optimaux avec une forte probabilité lorsque les groupes sont bien séparés. Expérimentalement, nous montrons que notre méthode améliore la régularisation L2 et suggérons plusieurs techniques pragmatiques pour de bonnes performances pratiques.

Français

liaison de paramètre

Anglais

parameter tying

Source : L'apprentissage profond, Ian Goodfellow, Yoshua Bengio et Aaron Courville Éd. Massot 2018

https://www.aaai.org/ocs/index.php/AAAI/AAAI18/paper/view/17156