« Mixture-of-Depths » : différence entre les versions
(Page créée avec « == en construction == == Définition == xxxxxxx == Français == '''XXXXXXX''' == Anglais == ''' Mixture-of-Depths''' ''' MoD''' == Sources == [https://arxiv.org/abs/2404.02258 Source : Arxiv] [https://www.emergentmind.com/topics/mixture-of-depths-mod Source : Emergent Mind] [https://medium.com/@simeon.emanuilov/mixture-of-depths-a-new-approach-to-efficiently-allocate-compute-in-transformer-language-models-15b0d32ff501 Source : Medium] Catégorie:v... ») |
Aucun résumé des modifications |
||
| Ligne 2 : | Ligne 2 : | ||
== Définition == | == Définition == | ||
Technique d’'''[[apprentissage automatique]]''' inspirée de la '''[[mixture d'experts]]''', mais qui se distingue de cette dernière par le déploiement d’un seul expert au lieu de plusieurs. | |||
La mixture de profondeurs fait référence à des architectures qui, à chaque '''[[Couche de neurones|couche]]''' du '''[[modèle]]''', sélectionnent un sous-ensemble de '''[[données]]''' d'entrées à traiter intégralement, tandis que les autres sont soit ignorées, soit transmises sans modification. Ceci permet donc au modèle de distribuer les ressources de calcul de façon dynamique en fonction de leur importance. | |||
== Français == | == Français == | ||
''' | '''Mixture de profondeurs''' | ||
== Anglais == | == Anglais == | ||
Version du 11 novembre 2025 à 14:25
en construction
Définition
Technique d’apprentissage automatique inspirée de la mixture d'experts, mais qui se distingue de cette dernière par le déploiement d’un seul expert au lieu de plusieurs.
La mixture de profondeurs fait référence à des architectures qui, à chaque couche du modèle, sélectionnent un sous-ensemble de données d'entrées à traiter intégralement, tandis que les autres sont soit ignorées, soit transmises sans modification. Ceci permet donc au modèle de distribuer les ressources de calcul de façon dynamique en fonction de leur importance.
Français
Mixture de profondeurs
Anglais
Mixture-of-Depths
MoD
Sources
Contributeurs: Arianne Arel
