Quantification de modèle

Définition

Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un réseau de neurones artificiels) en représentant les paramètres (les poids et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits).

Compléments

Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow comporte un outil d'optimisation de modèle pour minimiser l'espace mémoire requis et réduire le temps de calcul de l'inférence.

TensorFlow optimise un modèle en utilisant principalement trois techniques:

La quantification qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle; L'élagage qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions; Le regroupement qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres.

La réduction du nombre de bits signifie que le modèle résultant nécessite moins d'espace mémoire, consomme moins d'énergie (en théorie) et que des opérations telles que la multiplication matricielle peuvent être effectuées beaucoup plus rapidement avec l'arithmétique entière. Il permet également d'exécuter des modèles sur des appareils embarqués, qui ne prennent parfois en charge que les types de données entiers.

La quantification est une technique couramment utilisée pour réduire la taille du modèle, même si elle peut parfois entraîner une réduction de la taille du modèle.

Français

quantification de modèle'

Anglais

model quantization