Peaufinage de l'espace latent

Définition

Technique de peaufinage d'un grand modèle de langues qui consiste à intervenir « chirurgicalement » sur une petite partie de l'espace latent ou représentation cachée du grand modèle de langues à la manière de l'APMA (adaptation par modèle auxiliaire).

Français

peaufinage de l'espace latent

peaufinage de représentations

Anglais

representation fine-tuning

Source

ReFT: Representation Finetuning for Language Models, Wu et al. (2024)

ReFT: Representation Finetuning for Language Models, Shaoni Mukherjee (2024)

Representation fine-tuning (ReFT): A Powerful Parameter-Efficient Way to Fine-tune Language Models, Sachin Mukar

Github - PYREFT