Modèle sans MatMul
Définition
Les modèles sans MatMul désignent des grands modèles de langues dans lesquels les opérations MatMul sont complètement éliminées. Elles sont remplacées par des opérations plus simples, soit l'addition et la soustraction. Ceci rend ces modèles plus efficaces et ils consomment peu de ressources, un peu comme les réseaux neuronaux biologiques.
Voir aussi grand modèle de langues
Français
modèles sans MatMul
modèles sans multiplication matricielle
modèles sans multiplication de matrices
Anglais
MatMul free models
MatMul-free language models
Matmul-free LM
MatMul free models are large language models in wich MatMul operations are completly eliminated. These models are both effective and ressource-efficient, almost like biological neural networks, since the replacement of multiplication-heavy operations with simpler additions and substraction enabled by ternary weight.
Sources
