FlauBERT

Définition

FlauBERT, acronyme de French Language Understanding via Bidirectional Encoder Representations from Transformers, est un langage pré-entraîné pour le français. Il possède la même architecture de modèle que BERT et il a appris sur un corpus français très large et hétérogène. Il ne dispose pas de la prédiction de l'ordre des phrases de RoBERTa.

Français

FlauBERT

Anglais

FlauBERT

FlauBERT is a pre-trained language for French and it stands for French Language Understanding via Bidirectional Encoder Representations from Transformers. It has the same model architecture as BERT and it learned on a very large and heterogenous French corpus. It does not have the sentence ordering prediction of RoBERTa.

Source

source : arxiv

Source : HAL Science

Source : Huggingface