« FlauBERT » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
FlauBERT, acronyme de ''French Language Understanding via Bidirectional Encoder Representations from Transformers'', est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que '''[[BERT]]''' et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de '''[[RoBERTa]]'''. | FlauBERT, acronyme de ''French Language Understanding via Bidirectional Encoder Representations from Transformers'', est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que '''[[BERT]]''' et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de '''[[RoBERTa]]'''. | ||
Ligne 19 : | Ligne 17 : | ||
[https://huggingface.co/docs/transformers/model_doc/flaubert Source : Huggingface] | [https://huggingface.co/docs/transformers/model_doc/flaubert Source : Huggingface] | ||
[[Catégorie: | [[Catégorie:publication]] |
Version du 30 novembre 2024 à 13:20
Définition
FlauBERT, acronyme de French Language Understanding via Bidirectional Encoder Representations from Transformers, est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que BERT et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de RoBERTa.
Français
FlauBERT
Anglais
FlauBERT
FlauBERT is a pre-trained language for French and it stands for French Language Understanding via Bidirectional Encoder Representations from Transformers. It has the same model architecture as BERT and it learned on a very large and heterogenous French corpus. It does not have the sentence ordering prediction of RoBERTa.