« Transformateur Switch » : différence entre les versions


(Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Switch transformer''' A new neural net which goal was facilitating... »)
 
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
==en construction==
== Définition ==
== Définition ==
XXXXXXXXX
Modèle d'IA (intelligence artificielle) de traitement du langage naturel. Le modèle met à l'échelle jusqu'à 1,6 trillion (T) de paramètres et améliorerait le temps de formation jusqu'à 7x par rapport au modèle T5 de Google, avec une précision comparable.


== Français ==
== Français ==
''' XXXXXXXXX '''
''' transformateur Switch '''


== Anglais ==
== Anglais ==
''' Switch transformer'''
''' Switch transformer'''
A new neural net which goal was facilitating the creation of larger models without increasing computational costs.
The feature that distinguishes this model from previous ones is a simplification of the Mixture of Experts algorithm. Mixture of Experts (MoE) consist of a system by which tokens (elemental parts of the input) entering the model are sent to be processed by different parts of the neural net (experts). Thus, to process a given token, only a subsection of the model is active; we have a sparse model. This reduces the computational costs, allowing them to reach the trillion-parameter mark.




Ligne 20 : Ligne 15 :




[[Catégorie:vocabulary]]
[https://intelligence-artificielle.developpez.com/actu/312707/Google-publie-en-open-source-Switch-Transformer-un-modele-d-IA-de-traitement-du-langage-naturel-avec-un-trillion-de-parametres/  Source : Developpez.com]
 
 
[[Catégorie:publication]]

Version du 21 février 2023 à 08:33

Définition

Modèle d'IA (intelligence artificielle) de traitement du langage naturel. Le modèle met à l'échelle jusqu'à 1,6 trillion (T) de paramètres et améliorerait le temps de formation jusqu'à 7x par rapport au modèle T5 de Google, avec une précision comparable.

Français

transformateur Switch

Anglais

Switch transformer


[https://towardsdatascience.com/top-5-gpt-3-successors-you-should-know-in-2021-42ffe94cbbf 

  Source : towardsdatascience]


Source : Developpez.com

Récupérée de « https://datafranca.org/wiki/index.php?title=Transformateur_Switch&oldid=70131 »


Contributeurs: Imane Meziani, wiki