« Adaptation par modèle auxiliaire » : différence entre les versions
m (Claude COULOMBE a déplacé la page Adaptation par petit modèle auxiliaire vers Adaptation par modèle auxiliaire) |
m (Remplacement de texte : « ↵↵↵ » par « ») |
||
(12 versions intermédiaires par 2 utilisateurs non affichées) | |||
Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
[[ | Technique d'adaptation ou [[peaufinage]] des résultats d'un grand [[modèle préentraîné]] en utilisant un modèle auxiliaire de petite taille. Le plus souvent, ce modèle auxiliaire est une matrice de rang inférieur. | ||
Cette technique peut s'appliquer à la fois aux [[grand modèle de langues|grands modèles de langues]] et aux grands modèles en [[vision artificielle]]. | |||
== Compléments == | == Compléments == | ||
L'idée est celle de l'[[apprentissage par transfert]], c.-à-d. qu'une fois que vous avez appris la tâche générale avec la pré-entraînement, on peut faire le [[peaufinage]] avec beaucoup moins de données. | |||
Dans de processus de [[peaufinage]], un modèle de petite taille (matrice de rang inférieur) est entraîné avec des données spécifiques à l’application alors que le grand modèle associé demeure inchangé. Ce petit modèle auxiliaire aura une influence sur les performances du grand modèle. | Dans de processus de [[peaufinage]], un modèle de petite taille (matrice de rang inférieur) est entraîné avec des données spécifiques à l’application alors que le grand modèle associé demeure inchangé. Ce petit modèle auxiliaire aura une influence sur les performances du grand modèle. | ||
Note: Comme dans le cas de « [[blockchain]] » maladroitement traduit par « chaîne de blocs », on a créé en anglais un terme « low-rank adaptation » à partir d'un détail d'implémentation informatique. Nous pensons que le concept de modèle auxiliaire est plus compréhensible et d'emploi plus général. | |||
Voir aussi: [[Génération augmentée d'information contextuelle]] | |||
== Français == | == Français == | ||
'''adaptation par modèle auxiliaire''' | '''adaptation par modèle auxiliaire''' | ||
'''APMA''' | '''APMA''' | ||
'''peaufinage par modèle auxiliaire''' | |||
'''adaptation par matrice de rang inférieur''' | '''adaptation par matrice de rang inférieur''' | ||
Ligne 18 : | Ligne 27 : | ||
'''LoRA''' | '''LoRA''' | ||
== Anglais == | |||
'''low-rank adaptation''' | |||
'''LoRA''' | '''LoRA''' | ||
==Sources== | |||
[https://fr.ml6.eu/blogpost/harnessing-the-power-of-foundation-models-for-your-business-with-lora Source : ML6] | [https://fr.ml6.eu/blogpost/harnessing-the-power-of-foundation-models-for-your-business-with-lora Source : ML6] | ||
Ligne 30 : | Ligne 38 : | ||
[https://bdtechtalks.com/2023/05/22/what-is-lora/ Source : TechTalks] | [https://bdtechtalks.com/2023/05/22/what-is-lora/ Source : TechTalks] | ||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] |
Version du 29 janvier 2024 à 11:25
Définition
Technique d'adaptation ou peaufinage des résultats d'un grand modèle préentraîné en utilisant un modèle auxiliaire de petite taille. Le plus souvent, ce modèle auxiliaire est une matrice de rang inférieur.
Cette technique peut s'appliquer à la fois aux grands modèles de langues et aux grands modèles en vision artificielle.
Compléments
L'idée est celle de l'apprentissage par transfert, c.-à-d. qu'une fois que vous avez appris la tâche générale avec la pré-entraînement, on peut faire le peaufinage avec beaucoup moins de données.
Dans de processus de peaufinage, un modèle de petite taille (matrice de rang inférieur) est entraîné avec des données spécifiques à l’application alors que le grand modèle associé demeure inchangé. Ce petit modèle auxiliaire aura une influence sur les performances du grand modèle.
Note: Comme dans le cas de « blockchain » maladroitement traduit par « chaîne de blocs », on a créé en anglais un terme « low-rank adaptation » à partir d'un détail d'implémentation informatique. Nous pensons que le concept de modèle auxiliaire est plus compréhensible et d'emploi plus général.
Voir aussi: Génération augmentée d'information contextuelle
Français
adaptation par modèle auxiliaire
APMA
peaufinage par modèle auxiliaire
adaptation par matrice de rang inférieur
AMARI
adaptation de rangs faibles
LoRA
Anglais
low-rank adaptation
LoRA
Sources
Contributeurs: Claude Coulombe, Patrick Drouin, wiki