« Modèle sans MatMul » : différence entre les versions
(Page créée avec « == en construction == == Définition == xxxxx == Français == ''' XXXXXX''' == Anglais == ''' MatMul free models''' ==Sources== [https://arxiv.org/abs/2406.02528 Source : arxiv] Catégorie:vocabulary ») |
Aucun résumé des modifications |
||
| (3 versions intermédiaires par un autre utilisateur non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
== | == Définition == | ||
Les modèles sans MatMul désignent des grands modèles de langues dans lesquels les opérations '''[[MatMul]]''' sont complètement éliminées. Elles sont remplacées par des opérations plus simples, soit l'addition et la soustraction. Ceci rend ces modèles plus efficaces et ils consomment peu de ressources, un peu comme les réseaux neuronaux biologiques. | |||
Voir aussi '''[[grand modèle de langues]]''' | |||
== Français == | == Français == | ||
''' | ''' modèles sans MatMul''' | ||
''' modèles sans multiplication matricielle''' | |||
''' modèles sans multiplication de matrices''' | |||
== Anglais == | == Anglais == | ||
''' MatMul free models''' | ''' MatMul free models''' | ||
''' MatMul-free language models''' | |||
''' Matmul-free LM''' | |||
''MatMul free models are large language models in wich MatMul operations are completly eliminated. These models are both effective and ressource-efficient, almost like biological neural networks, since the replacement of multiplication-heavy operations with simpler additions and substraction enabled by ternary weight.'' | |||
==Sources== | ==Sources== | ||
[https://arxiv.org/abs/2406.02528 | [https://arxiv.org/abs/2406.02528 Source : arxiv] | ||
[https://www.datacamp.com/blog/matmul-free-language-models Source : datacamp] | |||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 24 octobre 2024 à 20:29
Définition
Les modèles sans MatMul désignent des grands modèles de langues dans lesquels les opérations MatMul sont complètement éliminées. Elles sont remplacées par des opérations plus simples, soit l'addition et la soustraction. Ceci rend ces modèles plus efficaces et ils consomment peu de ressources, un peu comme les réseaux neuronaux biologiques.
Voir aussi grand modèle de langues
Français
modèles sans MatMul
modèles sans multiplication matricielle
modèles sans multiplication de matrices
Anglais
MatMul free models
MatMul-free language models
Matmul-free LM
MatMul free models are large language models in wich MatMul operations are completly eliminated. These models are both effective and ressource-efficient, almost like biological neural networks, since the replacement of multiplication-heavy operations with simpler additions and substraction enabled by ternary weight.
Sources
