« QLoRA » : différence entre les versions

Version du 9 janvier 2024 à 15:11

Quantification des matrices de rang inférieur (voir adaptation par modèle auxiliaire ou LoRa) par un encodage avec des nombres de plus faible précision.

adaptation par modèle auxiliaire quantifiée

QLoRA

Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits.

quantized low-rank adaptation

QLoRA

@@ Ligne 1 : / Ligne 1 : @@
 == Définition ==
-[[Quantification]] des matrices de rang inférieur ([[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire]] ou [[Adaptation par modèle auxiliaire|LoRa]]) par un encodage avec des nombres de plus faible précision.
+[[Quantification]] des matrices de rang inférieur (voir [[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire]] ou [[Adaptation par modèle auxiliaire|LoRa]]) par un encodage avec des nombres de plus faible précision.
 == Français ==