« Quantification » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
La quantification nous permet de réduire la taille de nos réseaux neuronaux en convertissant les poids et les biais du réseau de leur format original en virgule flottante (par exemple 32 bits) à un format de moindre précision (par exemple 8 bits). Le format original en virgule flottante peut varier en fonction de plusieurs facteurs tels que l'architecture du modèle et les processus de formation. L'objectif ultime de la quantification est de réduire la taille de notre modèle, ce qui permet de réduire la mémoire et les besoins de calcul pour exécuter l'inférence et former notre modèle. La quantification peut très vite devenir compliquée si vous essayez de quantifier les modèles vous-même. | La quantification nous permet de réduire la taille de nos réseaux neuronaux en convertissant les poids et les biais du réseau de leur format original en virgule flottante (par exemple 32 bits) à un format de moindre précision (par exemple 8 bits). Le format original en virgule flottante peut varier en fonction de plusieurs facteurs tels que l'architecture du modèle et les processus de formation. L'objectif ultime de la quantification est de réduire la taille de notre modèle, ce qui permet de réduire la mémoire et les besoins de calcul pour exécuter l'inférence et former notre modèle. La quantification peut très vite devenir compliquée si vous essayez de quantifier les modèles vous-même. | ||
== Français == | == Français == | ||
| Ligne 9 : | Ligne 8 : | ||
''' Quantisation''' | ''' Quantisation''' | ||
[https://towardsdatascience.com/quantisation-and-co-reducing-inference-times-on-llms-by-80-671db9349bdb Source : towardsdatascience] | [https://towardsdatascience.com/quantisation-and-co-reducing-inference-times-on-llms-by-80-671db9349bdb Source : towardsdatascience] | ||
| Ligne 15 : | Ligne 13 : | ||
[https://www.mathworks.com/discovery/quantization.html Source : mathworks] | [https://www.mathworks.com/discovery/quantization.html Source : mathworks] | ||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Version du 17 novembre 2023 à 21:14
Définition
La quantification nous permet de réduire la taille de nos réseaux neuronaux en convertissant les poids et les biais du réseau de leur format original en virgule flottante (par exemple 32 bits) à un format de moindre précision (par exemple 8 bits). Le format original en virgule flottante peut varier en fonction de plusieurs facteurs tels que l'architecture du modèle et les processus de formation. L'objectif ultime de la quantification est de réduire la taille de notre modèle, ce qui permet de réduire la mémoire et les besoins de calcul pour exécuter l'inférence et former notre modèle. La quantification peut très vite devenir compliquée si vous essayez de quantifier les modèles vous-même.
Français
Quantification
Anglais
Quantisation
Contributeurs: Claude Coulombe, Marie Alfaro, wiki
