« QLoRA » : différence entre les versions
(Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' QLoRA ''' == Anglais == ''' QLoRA''' QLoRA stands for quantized LoRA (low-rank adaptation). The standard LoRA method modifies a pretrained LLM by adding low-rank matrices to the weights of the model's layers. These matrices are smaller and, therefore, require fewer resources to update during finetuning. In QLoRA, these low-rank matrices are quantized, meaning their numerical precision is... ») |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
[[Quantification]] des matrices de rang inférieur ([[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire]] ou [[Adaptation par modèle auxiliaire|LoRa]]) par un encodage avec des nombres de plus faible précision. | |||
== Français == | == Français == | ||
''' adaptation par modèle auxiliaire quantifiée ''' | |||
''' QLoRA ''' | ''' QLoRA ''' | ||
== Compléments == | |||
Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits. | |||
== Anglais == | == Anglais == | ||
'''quantized low-rank adaptation''' | |||
''' QLoRA''' | ''' QLoRA''' | ||
<!-- | |||
QLoRA stands for quantized LoRA (low-rank adaptation). The standard LoRA method modifies a pretrained LLM by adding low-rank matrices to the weights of the model's layers. These matrices are smaller and, therefore, require fewer resources to update during finetuning. | QLoRA stands for quantized LoRA (low-rank adaptation). The standard LoRA method modifies a pretrained LLM by adding low-rank matrices to the weights of the model's layers. These matrices are smaller and, therefore, require fewer resources to update during finetuning. | ||
In QLoRA, these low-rank matrices are quantized, meaning their numerical precision is reduced. This is done by mapping the continuous range of values in these matrices to a limited set of discrete levels. This process reduces the model's memory footprint and computational demands, as operations on lower-precision numbers are less memory-intensive. | In QLoRA, these low-rank matrices are quantized, meaning their numerical precision is reduced. This is done by mapping the continuous range of values in these matrices to a limited set of discrete levels. This process reduces the model's memory footprint and computational demands, as operations on lower-precision numbers are less memory-intensive. | ||
--> | |||
<small> | <small> | ||
Version du 9 janvier 2024 à 14:30
Définition
Quantification des matrices de rang inférieur (adaptation par modèle auxiliaire ou LoRa) par un encodage avec des nombres de plus faible précision.
Français
adaptation par modèle auxiliaire quantifiée
QLoRA
Compléments
Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits.
Anglais
quantized low-rank adaptation
QLoRA
Contributeurs: Patrick Drouin, wiki
