Quantification de modèle - Historique des versions

Pitpitt : Remplacement de texte : « ↵ » par «  ==Sources== »

2024-01-28T16:34:26Z

Remplacement de texte : « ↵<small> » par «  ==Sources== »

← Version précédente		Version du 28 janvier 2024 à 12:34
Ligne 16 :		Ligne 16 :
	'''model quantization'''		'''model quantization'''

	~~<small>~~		==Sources==

	[https://arxiv.org/pdf/2004.09602.pdf Source: Wu et al. (2020)]		[https://arxiv.org/pdf/2004.09602.pdf Source: Wu et al. (2020)]

Pitpitt le 25 octobre 2023 à 02:03

2023-10-25T02:03:41Z

← Version précédente		Version du 24 octobre 2023 à 22:03
Ligne 24 :		Ligne 24 :
	[https://www.theses.fr/2021UCFAC086.pdf Source: Anthony Berthelier (2021)]		[https://www.theses.fr/2021UCFAC086.pdf Source: Anthony Berthelier (2021)]

	[[Catégorie:~~Publication~~]]		[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Patrickdrouin le 24 octobre 2023 à 18:20

2023-10-24T18:20:25Z

← Version précédente		Version du 24 octobre 2023 à 14:20
Ligne 16 :		Ligne 16 :
	'''model quantization'''		'''model quantization'''

	~~==Source==~~
	<small>		<small>

Patrickdrouin le 24 octobre 2023 à 18:20

2023-10-24T18:20:04Z

← Version précédente		Version du 24 octobre 2023 à 14:20
Ligne 16 :		Ligne 16 :
	'''model quantization'''		'''model quantization'''

			==Source==
	<small>		<small>

Patrickdrouin le 24 octobre 2023 à 18:19

2023-10-24T18:19:15Z

← Version précédente		Version du 24 octobre 2023 à 14:19
Ligne 11 :		Ligne 11 :

	==Français==		==Français==
	'''quantification de modèle''''		'''quantification de modèle'''

	==Anglais==		==Anglais==
Ligne 17 :		Ligne 17 :

	<small>		<small>

			[https://arxiv.org/pdf/2004.09602.pdf Source: Wu et al. (2020)]

			[https://arxiv.org/pdf/2103.13630.pdf Source: Gholami et al. (2021)]

			[https://www.theses.fr/2021UCFAC086.pdf Source: Anthony Berthelier (2021)]

	[[Catégorie:Publication]]		[[Catégorie:Publication]]

Patrickdrouin le 24 octobre 2023 à 18:15

2023-10-24T18:15:47Z

← Version précédente		Version du 24 octobre 2023 à 14:15
Ligne 1 :		Ligne 1 :
	==Définition==		==Définition==
	Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un [[réseau de neurones artificiels]]) en représentant les paramètres (les poids et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits).		Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un [[réseau de neurones artificiels]]) en représentant les paramètres (les [[Pondération\|poids]] et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits).

	== Compléments ==		== Compléments ==
	Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow ~~comporte un outil~~ d'optimisation de modèle pour minimiser l'espace mémoire requis ~~et réduire le temps de calcul de l'inférence~~.		Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow et PyTorch comportent des outils d'optimisation de modèle pour minimiser l'espace mémoire requis.

	~~TensorFlow optimise un modèle en utilisant~~ principalement trois techniques:		Il existe principalement trois techniques:
			* La réduction de la précision, qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle;
	La ~~quantification~~ qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle;		* L'élagage, qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions;
	L'élagage qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions;		* Le regroupement, qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres.
	Le regroupement qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres.



	La réduction du nombre de bits signifie que le modèle résultant nécessite moins d'espace mémoire, consomme moins d'énergie (en théorie) et que des opérations telles que la multiplication matricielle peuvent être effectuées beaucoup plus rapidement avec l'arithmétique entière. Il permet également d'exécuter des modèles sur des appareils embarqués, qui ne prennent parfois en charge que les types de données entiers.


	~~La quantification est une technique couramment utilisée pour réduire la taille du modèle, même si elle peut parfois entraîner une réduction de la taille du modèle~~.

	==Français==		==Français==
	'''quantification de modèle''''		'''quantification de modèle''''


	==Anglais==		==Anglais==
	'''model quantization'''		'''model quantization'''


	<small>		<small>

	[[Catégorie:Publication]]		[[Catégorie:Publication]]

Patrickdrouin : Patrickdrouin a déplacé la page Model quantization vers Quantification de modèle

2023-10-24T18:02:56Z

Patrickdrouin a déplacé la page Model quantization vers Quantification de modèle

← Version précédente	Version du 24 octobre 2023 à 14:02
(Aucune différence)

Patrickdrouin : Page créée avec « ==Définition== Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un réseau de neurones arti... »

2023-10-24T18:02:38Z

Page créée avec « ==Définition== Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un réseau de neurones arti... »

Nouvelle page

==Définition==
Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un [[réseau de neurones artificiels]]) en représentant les paramètres (les poids et les activations) dans une représentation à haute précision (nombres réels à 32 bits) vers une représentation de plus faible précision (entier de 16 ou 8 bits).

== Compléments ==
Il existe des techniques pour compresser un modèle pour qu'il puisse être déployé sur un téléphone intelligent ou des systèmes embarqués sans trop perdre en performance. TensorFlow comporte un outil d'optimisation de modèle pour minimiser l'espace mémoire requis et réduire le temps de calcul de l'inférence.

TensorFlow optimise un modèle en utilisant principalement trois techniques:

La quantification qui consiste à réduire la précision des nombres utilisés pour représenter les paramètres d'un modèle;
L'élagage qui supprime les paramètres d'un modèle qui ont un impact mineur sur ses prédictions;
Le regroupement qui fusionne les paramètres de chaque couche d'un modèle en un nombre réduit de paramètres.

La réduction du nombre de bits signifie que le modèle résultant nécessite moins d'espace mémoire, consomme moins d'énergie (en théorie) et que des opérations telles que la multiplication matricielle peuvent être effectuées beaucoup plus rapidement avec l'arithmétique entière. Il permet également d'exécuter des modèles sur des appareils embarqués, qui ne prennent parfois en charge que les types de données entiers.

La quantification est une technique couramment utilisée pour réduire la taille du modèle, même si elle peut parfois entraîner une réduction de la taille du modèle.

==Français==
'''quantification de modèle''''

==Anglais==
'''model quantization'''

<small>

[[Catégorie:Publication]]

Quantification de modèle - Historique des versions

Pitpitt : Remplacement de texte : « ↵ » par « ==Sources== »

Pitpitt le 25 octobre 2023 à 02:03

Patrickdrouin le 24 octobre 2023 à 18:20

Patrickdrouin le 24 octobre 2023 à 18:20

Patrickdrouin le 24 octobre 2023 à 18:19

Patrickdrouin le 24 octobre 2023 à 18:15

Patrickdrouin : Patrickdrouin a déplacé la page Model quantization vers Quantification de modèle

Patrickdrouin : Page créée avec « ==Définition== Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un réseau de neurones arti... »

Pitpitt : Remplacement de texte : « ↵ » par «  ==Sources== »

Patrickdrouin : Patrickdrouin a déplacé la page Model quantization vers Quantification de modèle

Patrickdrouin : Page créée avec « ==Définition== Technique permettant de réduire l'espace mémoire liés à l'exécution en inférence d'un modèle d'apprentissage (c.-à-d. un réseau de neurones arti... »