RoBERTa
Définition
RoBERTa (Robustly Optimized BERT Approach) est un modèle basé sur BERT. Il utilise l'auto-attention pour traiter les séquences d'entrée et générer des représentations contextualisées des mots dans une phrase. RoBERTa dispose d'un ensemble de données d'entraînement plus important que BERT et surpasse ce dernier ainsi que d'autres modèles à la fine pointe de la technologie sur une variété de tâches de taitement automatique de la langue naturelle.
Français
RoBERTa
Anglais
RoBERTa
RoBERTa is short for Robustly Optimized BERT Approach, and it is built on BERT. It uses self-attention to process input sequences and generate contextualized representations of words in a sentence. RoBERTa has a larger training dataset then BERT and outperforms it and other SOTA models on a variety of natural language processing tasks.
Source
