« FlauBERT » : différence entre les versions


Aucun résumé des modifications
Aucun résumé des modifications
Ligne 1 : Ligne 1 :
== en construction ==
== Définition ==
== Définition ==
FlauBERT, acronyme de ''French Language Understanding via Bidirectional Encoder Representations from Transformers'', est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que '''[[BERT]]''' et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de '''[[RoBERTa]]'''.
FlauBERT, acronyme de ''French Language Understanding via Bidirectional Encoder Representations from Transformers'', est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que '''[[BERT]]''' et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de '''[[RoBERTa]]'''.
Ligne 19 : Ligne 17 :
[https://huggingface.co/docs/transformers/model_doc/flaubert  Source : Huggingface]
[https://huggingface.co/docs/transformers/model_doc/flaubert  Source : Huggingface]


[[Catégorie:vocabulary]]
[[Catégorie:publication]]

Version du 30 novembre 2024 à 13:20

Définition

FlauBERT, acronyme de French Language Understanding via Bidirectional Encoder Representations from Transformers, est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que BERT et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de RoBERTa.

Français

FlauBERT

Anglais

FlauBERT

FlauBERT is a pre-trained language for French and it stands for French Language Understanding via Bidirectional Encoder Representations from Transformers. It has the same model architecture as BERT and it learned on a very large and heterogenous French corpus. It does not have the sentence ordering prediction of RoBERTa.

Source

source : arxiv

Source : HAL Science

Source : Huggingface

Contributeurs: Arianne , wiki