Intervention en temps d'inférence

Définition

L'Invention du Temps d'Inférence (ITI) est une technique conçue pour améliorer la véracité des grands modèles de langage. 

L'ITI fonctionne en déplaçant les activations du modèle pendant l'inférence, en suivant un ensemble de directions à travers un nombre limité de têtes d'attention (Un ensemble composé des matrices).

Français

Invention du Temps d'Inférence

ITI

Anglais

Inference-time Intervention

ITI

Source : arXiv.org