« MatMul » : historique des versions


Sélection du diff : cochez les boutons radio des versions à comparer et appuyez sur entrée ou sur le bouton en bas.
Légende : (actu) = différence avec la dernière version, (diff) = différence avec la version précédente, m = modification mineure.

5 juillet 2024

  • actudiff 18:095 juillet 2024 à 18:09‎ Pitpitt discussion contributions‎ 640 octets +29‎ Aucun résumé des modifications
  • actudiff 18:095 juillet 2024 à 18:09‎ Pitpitt discussion contributions‎ 611 octets +611‎ Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Scalable MatMul-free Language Modeling ''' Matrix multiplication (MatMul) typically dominates the overall computational cost of large language models (LLMs). This cost only grows as LLMs scale to larger embedding dimensions and context lengths. In this work, we show that MatMul operations can be completely eliminated from LLMs while maintaining strong perform... »
Récupérée de « https://datafranca.org/wiki/MatMul »