Modèle sans MatMul

Définition

Les modèles sans MatMul désignent des grands modèles de langues dans lesquels les opérations MatMul sont complètement éliminées. Elles sont remplacées par des opérations plus simples, soit l'addition et la soustraction. Ceci rend ces modèles plus efficaces et ils consomment peu de ressources, un peu comme les réseaux neuronaux biologiques.

Voir aussi grand modèle de langues

Français

modèles sans MatMul

modèles sans multiplication matricielle

modèles sans multiplication de matrices

Anglais

MatMul free models

MatMul-free language models

Matmul-free LM

MatMul free models are large language models in wich MatMul operations are completly eliminated. These models are both effective and ressource-efficient, almost like biological neural networks, since the replacement of multiplication-heavy operations with simpler additions and substraction enabled by ternary weight.

Sources

Source : arxiv

Source : datacamp