« Intervention en temps d'inférence » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 7 : Ligne 7 :
'''Invention du Temps d'Inférence'''  ?????
'''Invention du Temps d'Inférence'''  ?????


'''Intervention en temps d'inférence'''
'''Intervention en temps d'inférence'''   mieux





Version du 28 juillet 2023 à 08:11

Définition

L'Invention du Temps d'Inférence (ITI) est une technique conçue pour améliorer la véracité des grands modèles de langage. 

L'ITI fonctionne en déplaçant les activations du modèle pendant l'inférence, en suivant un ensemble de directions à travers un nombre limité de têtes d'attention (Un ensemble composé des matrices).

Français

Invention du Temps d'Inférence  ?????

Intervention en temps d'inférence mieux


Anglais

Inference-time Intervention

ITI


Source : arXiv.org

Contributeurs: Maya Pentsch, wiki