Modèle préentraîné
Définition
Un modèle préentraîné est un modèle d'apprentissage, typiquement un grand réseau de neurones profond, entraîné pour une tâche générique sur un immense jeu de données.
Le modèle préentraîné est ensuite sauvegardé et utilisé grâce à l'apprentissage par transfert pour résoudre un problème similaire.
Compléments
Un grand modèle préentraîné pour un problème générique apprend toutes sortes de régularités statistiques propres au type de données (images, voix, textes) sur lequel il est entraîné. Une fois entraîné, un grand modèle peut être utilisé pour résoudre d’autres problèmes faisant appel au même type de données. Un peaufinage du modèle est habituellement nécessaire en l'entraînant avec des données spécifiques à une nouvelle tâche.
Des exemples de grands modèles préentraînés sont MobileNet (pour la vision artificielle), BERT, la série des grands modèles de langues GPT-x et LLaMA.
Étant donnée la taille importante de ces modèles, l'étape de préentrainement est généralement réalisée par un nombre restreint d’entreprises possédant des fermes de serveurs infonuagiques, essentiellement des processeurs graphiques.
Français
modèle préentraîné
modèle pré-entraîné forme déconseillée
Anglais
pre-trained model
pretrained model
Sources
Contributeurs: Claire Gorjux, Claude Coulombe, Imane Meziani, Jacques Barolet, Patrick Drouin, wiki, Robert Meloche
