Adaptation par modèle auxiliaire

Définition

Peaufinage des résultats d'un grand modèle de données en utilisant une matrice de rang inférieur auxiliaire au modèle.

Compléments

Dans de processus de peaufinage, un modèle de taille inférieure (matrice de rang inférieur) est entraîné avec des données spécifiques à l’application alors que le grand modèle associé demeure inchangé. Ce petit modèle aura une influence sur les performances du grand modèle.

Français

adaptation par matrice de rang inférieur

AMARI

adaptation de rangs faibles

adaptation par petit modèle auxiliaire

APPMA

LoRA

Anglais

LoRA

low-rank adaptation

Source : ML6

Source : TechTalks