« QLoRA » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
[[Quantification]] des matrices de rang inférieur (voir [[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire]] ou [[Adaptation par modèle auxiliaire|LoRa]]) par un encodage avec des nombres de plus faible précision. | [[Quantification]] des matrices de rang inférieur (voir [[Adaptation par modèle auxiliaire|adaptation par modèle auxiliaire]] ou [[Adaptation par modèle auxiliaire|LoRa]]) par un encodage avec des nombres de plus faible précision. | ||
== Compléments == | |||
Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits. | |||
== Français == | == Français == | ||
| Ligne 7 : | Ligne 10 : | ||
''' QLoRA ''' | ''' QLoRA ''' | ||
== Anglais == | == Anglais == | ||
| Ligne 28 : | Ligne 29 : | ||
[https://www.tensorflow.org/model_optimization/guide?hl=fr Source : TensorFlow] | [https://www.tensorflow.org/model_optimization/guide?hl=fr Source : TensorFlow] | ||
[[Catégorie:ENGLISH]] | |||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
[[Catégorie: | |||
Version du 9 janvier 2024 à 20:27
Définition
Quantification des matrices de rang inférieur (voir adaptation par modèle auxiliaire ou LoRa) par un encodage avec des nombres de plus faible précision.
Compléments
Par exemple, l'encodage peut se faire avec des entiers à 16 bits ou 8 bits au lieu de 32 bits.
Français
adaptation par modèle auxiliaire quantifiée
QLoRA
Anglais
quantized low-rank adaptation
QLoRA
Sources
Contributeurs: Patrick Drouin, wiki
