QLoRA


Révision datée du 28 janvier 2024 à 12:43 par Pitpitt (discussion | contributions) (Remplacement de texte : « ↵<small> » par «  ==Sources== »)
(diff) ← Version précédente | Voir la version actuelle (diff) | Version suivante → (diff)

Définition

Quantification des matrices de rang inférieur (voir adaptation par modèle auxiliaire ou LoRa) par un encodage avec des nombres de plus faible précision.

Compléments

Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits.

Français

adaptation par modèle auxiliaire quantifiée

QLoRA


Anglais

quantized low-rank adaptation

QLoRA


Sources

Sources

Source : arxiv

Source : TensorFlow

Contributeurs: Patrick Drouin, wiki