« RoBERTa » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
== Définition == | == Définition == | ||
RoBERTa (''Robustly Optimized BERT Approach'') est un modèle basé sur '''[[BERT]]'''. Il utilise l'auto-attention pour traiter les séquences d'entrée et générer des représentations contextualisées des mots dans une phrase. RoBERTa dispose d'un ensemble de données d'entraînement plus important que BERT et surpasse ce dernier ainsi que d'autres modèles à la fine pointe de la technologie sur une variété de tâches de '''[[taitement automatique de la langue naturelle]]'''. | RoBERTa (''Robustly Optimized BERT Approach'') est un modèle basé sur '''[[BERT]]'''. Il utilise l'auto-attention pour traiter les séquences d'entrée et générer des représentations contextualisées des mots dans une phrase. RoBERTa dispose d'un ensemble de données d'entraînement plus important que BERT et surpasse ce dernier ainsi que d'autres modèles à la fine pointe de la technologie sur une variété de tâches de '''[[taitement automatique de la langue naturelle]]'''. | ||
| Ligne 19 : | Ligne 17 : | ||
[https://huggingface.co/docs/transformers/model_doc/roberta Source : Huggingface] | [https://huggingface.co/docs/transformers/model_doc/roberta Source : Huggingface] | ||
[[Catégorie: | [[Catégorie:publication]] | ||
Version du 30 novembre 2024 à 13:25
Définition
RoBERTa (Robustly Optimized BERT Approach) est un modèle basé sur BERT. Il utilise l'auto-attention pour traiter les séquences d'entrée et générer des représentations contextualisées des mots dans une phrase. RoBERTa dispose d'un ensemble de données d'entraînement plus important que BERT et surpasse ce dernier ainsi que d'autres modèles à la fine pointe de la technologie sur une variété de tâches de taitement automatique de la langue naturelle.
Français
RoBERTa
Anglais
RoBERTa
RoBERTa is short for Robustly Optimized BERT Approach, and it is built on BERT. It uses self-attention to process input sequences and generate contextualized representations of words in a sentence. RoBERTa has a larger training dataset then BERT and outperforms it and other SOTA models on a variety of natural language processing tasks.
Source
