« MatMul » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (Une version intermédiaire par un autre utilisateur non affichée) | |||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
La multiplication matricielle (MatMul) est l'opération dominante dans la plupart des réseaux neuronaux et elle domine généralement le coût de calcul global des grands modèles de langues, consommant souvent la majorité du temps d'exécution et de l'accès à la mémoire pendant les phases d''''[[apprentissage]]''' et d''''[[inférence]]'''. La prédominance de MatMul est principalement due au fait que les unités de traitement graphique (GPU) sont optimisées pour les opérations MatMul. | La multiplication matricielle (MatMul) est l'opération dominante dans la plupart des réseaux neuronaux et elle domine généralement le coût de calcul global des grands modèles de langues, consommant souvent la majorité du temps d'exécution et de l'accès à la mémoire pendant les phases d''''[[apprentissage]]''' et d''''[[inférence]]'''. La prédominance de MatMul est principalement due au fait que les unités de traitement graphique (GPU) sont optimisées pour les opérations MatMul. | ||
| Ligne 8 : | Ligne 6 : | ||
== Français == | == Français == | ||
''' MatMul''' | ''' MatMul''' | ||
''' multiplication de matrices''' | |||
''' multiplication matricielle ''' | ''' multiplication matricielle ''' | ||
== Anglais == | == Anglais == | ||
''' MatMul ''' | ''' MatMul ''' | ||
''' | ''' matrix multiplication''' | ||
''Matrix Multiplication (MatMul) is the dominant operation in most neural network and it typically dominates the overall computational cost of Large Language Models, often consuming the majority of the execution time and memory access during both training and inference phases. The prevalence of MatMul is primarily due to Graphics Processing Units (GPUs) being optimized for MatMul operations.'' | ''Matrix Multiplication (MatMul) is the dominant operation in most neural network and it typically dominates the overall computational cost of Large Language Models, often consuming the majority of the execution time and memory access during both training and inference phases. The prevalence of MatMul is primarily due to Graphics Processing Units (GPUs) being optimized for MatMul operations.'' | ||
| Ligne 27 : | Ligne 25 : | ||
[[Catégorie: | [[Catégorie:ENGLISH]] | ||
[[Catégorie:GRAND LEXIQUE FRANÇAIS]] | |||
Dernière version du 30 septembre 2024 à 16:31
Définition
La multiplication matricielle (MatMul) est l'opération dominante dans la plupart des réseaux neuronaux et elle domine généralement le coût de calcul global des grands modèles de langues, consommant souvent la majorité du temps d'exécution et de l'accès à la mémoire pendant les phases d'apprentissage et d'inférence. La prédominance de MatMul est principalement due au fait que les unités de traitement graphique (GPU) sont optimisées pour les opérations MatMul.
Voir aussi grand modèle de langues, réseau neuronal et unité de traitement graphique
Français
MatMul
multiplication de matrices
multiplication matricielle
Anglais
MatMul
matrix multiplication
Matrix Multiplication (MatMul) is the dominant operation in most neural network and it typically dominates the overall computational cost of Large Language Models, often consuming the majority of the execution time and memory access during both training and inference phases. The prevalence of MatMul is primarily due to Graphics Processing Units (GPUs) being optimized for MatMul operations.
Source
