« Quantification de modèle » : différence entre les versions
m (Patrickdrouin a déplacé la page Model quantization vers Quantification de modèle) |
m (Remplacement de texte : « ↵<small> » par « ==Sources== ») |
||
| (5 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un [[réseau de neurones artificiels]]) en représentant les paramètres (les poids et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits). | Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un [[réseau de neurones artificiels]]) en représentant les paramètres (les [[Pondération|poids]] et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits). | ||
== Compléments == | == Compléments == | ||
Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow | Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow et PyTorch comportent des outils d'optimisation de modèle pour minimiser l'espace mémoire requis. | ||
Il existe principalement trois techniques: | |||
* La réduction de la précision, qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle; | |||
La | * L'élagage, qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions; | ||
L'élagage qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions; | * Le regroupement, qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres. | ||
Le regroupement qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres | |||
==Français== | ==Français== | ||
'''quantification de modèle''' | '''quantification de modèle''' | ||
==Anglais== | ==Anglais== | ||
'''model quantization''' | '''model quantization''' | ||
==Sources== | |||
[https://arxiv.org/pdf/2004.09602.pdf Source: Wu et al. (2020)] | |||
[https://arxiv.org/pdf/2103.13630.pdf Source: Gholami et al. (2021)] | |||
[https://www.theses.fr/2021UCFAC086.pdf Source: Anthony Berthelier (2021)] | |||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 28 janvier 2024 à 11:34
Définition
Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un réseau de neurones artificiels) en représentant les paramètres (les poids et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits).
Compléments
Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow et PyTorch comportent des outils d'optimisation de modèle pour minimiser l'espace mémoire requis.
Il existe principalement trois techniques:
- La réduction de la précision, qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle;
- L'élagage, qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions;
- Le regroupement, qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres.
Français
quantification de modèle
Anglais
model quantization
Sources
Contributeurs: Patrick Drouin, wiki
