« Transformateur Switch » : différence entre les versions


(Page créée avec « ==en construction== == Définition == XXXXXXXXX == Français == ''' XXXXXXXXX ''' == Anglais == ''' Switch transformer''' A new neural net which goal was facilitating... »)
 
m (Remplacement de texte : « ↵<small> » par «  ==Sources== »)
 
(5 versions intermédiaires par 2 utilisateurs non affichées)
Ligne 1 : Ligne 1 :
==en construction==
== Définition ==
== Définition ==
XXXXXXXXX
Modèle d'IA (intelligence artificielle) de traitement du langage naturel. Le modèle met à l'échelle jusqu'à 1,6 trillion (T) de paramètres et améliorerait le temps de formation jusqu'à 7x par rapport au modèle T5 de Google, avec une précision comparable.


== Français ==
== Français ==
''' XXXXXXXXX '''
''' transformateur Switch '''


== Anglais ==
== Anglais ==
''' Switch transformer'''
''' Switch transformer'''
A new neural net which goal was facilitating the creation of larger models without increasing computational costs.
The feature that distinguishes this model from previous ones is a simplification of the Mixture of Experts algorithm. Mixture of Experts (MoE) consist of a system by which tokens (elemental parts of the input) entering the model are sent to be processed by different parts of the neural net (experts). Thus, to process a given token, only a subsection of the model is active; we have a sparse model. This reduces the computational costs, allowing them to reach the trillion-parameter mark.


==Sources==


<small>
[https://towardsdatascience.com/understanding-googles-switch-transformer-904b8bf29f66 Source : towardsdatascience]


[https://towardsdatascience.com/top-5-gpt-3-successors-you-should-know-in-2021-42ffe94cbbf
[https://intelligence-artificielle.developpez.com/actu/312707/Google-publie-en-open-source-Switch-Transformer-un-modele-d-IA-de-traitement-du-langage-naturel-avec-un-trillion-de-parametres/  Source : Developpez.com]
  Source : towardsdatascience]




[[Catégorie:vocabulary]]
[[Catégorie:GRAND LEXIQUE FRANÇAIS]]

Dernière version du 28 janvier 2024 à 13:58

Définition

Modèle d'IA (intelligence artificielle) de traitement du langage naturel. Le modèle met à l'échelle jusqu'à 1,6 trillion (T) de paramètres et améliorerait le temps de formation jusqu'à 7x par rapport au modèle T5 de Google, avec une précision comparable.

Français

transformateur Switch

Anglais

Switch transformer

Sources

Source : towardsdatascience

Source : Developpez.com

Récupérée de « https://datafranca.org/wiki/index.php?title=Transformateur_Switch&oldid=92884 »

Contributeurs: Imane Meziani, wiki