Quantification de modèle

Définition

Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un réseau de neurones artificiels) en représentant les paramètres (les poids et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits).

Compléments

Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow et PyTorch comportent des outils d'optimisation de modèle pour minimiser l'espace mémoire requis.

Il existe principalement trois techniques:

• La réduction de la précision, qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle;
• L'élagage, qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions;
• Le regroupement, qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres.

Français

quantification de modèle

Anglais

model quantization

Source

Source: Wu et al. (2020)

Source: Gholami et al. (2021)

Source: Anthony Berthelier (2021)