RoBERTa

Définition

RoBERTa (Robustly Optimized BERT Approach) est un modèle basé sur BERT. Il utilise l'auto-attention pour traiter les séquences d'entrée et générer des représentations contextualisées des mots dans une phrase. RoBERTa dispose d'un ensemble de données d'entraînement plus important que BERT et surpasse ce dernier ainsi que d'autres modèles à la fine pointe de la technologie sur une variété de tâches de taitement automatique de la langue naturelle.

Voir aussi BERT et FlauBERT

Français

RoBERTa

Anglais

RoBERTa

RoBERTa is short for Robustly Optimized BERT Approach, and it is built on BERT. It uses self-attention to process input sequences and generate contextualized representations of words in a sentence. RoBERTa has a larger training dataset then BERT and outperforms it and other SOTA models on a variety of natural language processing tasks.

Source

Source : Geeks for Geeks

Source : Huggingface