Sondage d'un grand modèle de langue
Définition
Technique utilisée en interprétabilité de l'IA pour analyser les états cachés (latents) des grands modèles de langues (GML).
Compléments
L'objectif est de comprendre comment ces modèles encodent les connaissances linguistiques, sémantiques et factuelles.
Cette méthode consiste à entraîner de petits modèles auxiliaires ou classificateurs légers nommés sondes sur les vecteurs d'activation du modèle afin de prédire des caractéristiques spécifiques (par exemple, la syntaxe ou la logique).
Français
sondage d'un grand modèle de langue
sondage d'un GML
sonder un grand modèle de langue
sonder un GML
Anglais
LLM probing
Sources
Contributeurs: Patrick Drouin
