« Peaufinage de l'espace latent » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 3 : | Ligne 3 : | ||
== Définition == | == Définition == | ||
Technique de [[Peaufinage d'un grand modèle de langues|peaufinage d'un grand modèle de langues]] qui consiste à | Technique de [[Peaufinage d'un grand modèle de langues|peaufinage d'un grand modèle de langues]] qui consiste à faire une intervention « ciblée » sur une petite partie de l'[[espace latent]] ou de la représentation cachée du [[grand modèle de langues]] à la manière de l'APMA ([[adaptation par modèle auxiliaire]]). | ||
== Compléments == | |||
L'intervention « ciblée » vise typiquement une amélioration sémantique du comportement du [[grand modèle de langues]]. | |||
== Français == | == Français == | ||
''' peaufinage de l'espace latent ''' | '''peaufinage de l'espace latent''' | ||
''' peaufinage de représentations ''' | ''' peaufinage de représentations ''' | ||
| Ligne 12 : | Ligne 16 : | ||
== Anglais == | == Anglais == | ||
''' representation fine-tuning ''' | ''' representation fine-tuning ''' | ||
'''ReFT''' | |||
<!-- PYREFT, a representation fine-tuning (ReFT) library that supports adapting internal language model representations via trainable interventions. With fewer fine-tuning parameters and more robust performance, pyreft can boost fine-tuning efficiency, decrease fine-tuning cost, while opening the doors to study the interpretability of adapting parameters. --> | <!-- PYREFT, a representation fine-tuning (ReFT) library that supports adapting internal language model representations via trainable interventions. With fewer fine-tuning parameters and more robust performance, pyreft can boost fine-tuning efficiency, decrease fine-tuning cost, while opening the doors to study the interpretability of adapting parameters. --> | ||
| Ligne 23 : | Ligne 29 : | ||
[https://github.com/stanfordnlp/pyreft Github - PYREFT] | [https://github.com/stanfordnlp/pyreft Github - PYREFT] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Version du 18 juin 2024 à 14:31
En chantier
Définition
Technique de peaufinage d'un grand modèle de langues qui consiste à faire une intervention « ciblée » sur une petite partie de l'espace latent ou de la représentation cachée du grand modèle de langues à la manière de l'APMA (adaptation par modèle auxiliaire).
Compléments
L'intervention « ciblée » vise typiquement une amélioration sémantique du comportement du grand modèle de langues.
Français
peaufinage de l'espace latent
peaufinage de représentations
Anglais
representation fine-tuning
ReFT
Source
ReFT: Representation Finetuning for Language Models, Wu et al. (2024)
ReFT: Representation Finetuning for Language Models, Shaoni Mukherjee (2024)
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
