« Adaptation par modèle auxiliaire » : différence entre les versions
m (Patrickdrouin a déplacé la page LoRA vers Adaptation par petit modèle auxiliaire) |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
[[Peaufinage]] des résultats d'un grand modèle de données en utilisant une matrice de rang inférieur | [[Peaufinage]] des résultats d'un grand modèle de données en utilisant un modèle auxiliaire de petite taille. Le plus souvent, ce modèle auxiliaire est une matrice de rang inférieur. | ||
== Compléments == | == Compléments == | ||
Dans de processus de [[peaufinage]], un modèle de taille | Dans de processus de [[peaufinage]], un modèle de petite taille (matrice de rang inférieur) est entraîné avec des données spécifiques à l’application alors que le grand modèle associé demeure inchangé. Ce petit modèle auxiliaire aura une influence sur les performances du grand modèle. | ||
== Français == | == Français == | ||
'''adaptation par | '''adaptation par modèle auxiliaire''' | ||
''' | '''APMA''' | ||
'''adaptation par matrice de rang inférieur''' | '''adaptation par matrice de rang inférieur''' | ||
| Ligne 23 : | Ligne 23 : | ||
'''low-rank adaptation''' | '''low-rank adaptation''' | ||
<small> | <small> | ||
Version du 19 septembre 2023 à 15:49
Définition
Peaufinage des résultats d'un grand modèle de données en utilisant un modèle auxiliaire de petite taille. Le plus souvent, ce modèle auxiliaire est une matrice de rang inférieur.
Compléments
Dans de processus de peaufinage, un modèle de petite taille (matrice de rang inférieur) est entraîné avec des données spécifiques à l’application alors que le grand modèle associé demeure inchangé. Ce petit modèle auxiliaire aura une influence sur les performances du grand modèle.
Français
adaptation par modèle auxiliaire
APMA
adaptation par matrice de rang inférieur
AMARI
adaptation de rangs faibles
LoRA
Anglais
LoRA
low-rank adaptation
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
