Apprentissage par transfert

Définition

L’apprentissage par transfert consiste à exploiter les connaissances d’un modèle d’apprentissage entraîné sur un jeu de données pour l’appliquer et l’adapter dans le cadre d’un apprentissage sur un jeu de données différent. Il peut aussi être vu comme la capacité d’un système à reconnaître et à appliquer des connaissances et des compétences, apprises à partir de tâches antérieures, sur de nouvelles tâches ou domaines partageant des similitudes.

Compléments

Bien qu’il s’agisse plutôt d’un transfert d’apprentissage, on préférera le terme « apprentissage par transfert » pour des questions de continuité avec les termes « apprentissage supervisé », « apprentissage non supervisé » et « apprentissage par renforcement ».

---

Dans la pratique courante, l’apprentissage par transfert consiste à exploiter les connaissances d’un modèle préentraîné (en anglais, pretrained model) pour l’appliquer et l’adapter par peaufinage sur un un jeu de données différent, ce qu’on nomme en anglais le fine-tuning.

---

L’idée sous-jacente à l’apprentissage par transfert est assez simple. On prend un grand modèle préentraîné sur un immense jeu de données dans le cadre d’une tâche générique et on l’applique à une nouvelle tâche en adaptant ce modèle avec des données typiques de cette nouvelle tâche. Comme plusieurs chercheurs l’ont démontré, la puissance prédictive de ces modèles augmente avec leur taille.

Ainsi, les grands modèles préentraînés pour un problème générique apprennent toutes sortes de régularités statistiques propres au type de données (images, voix, textes) sur lequel ils ont été entraînés. Une fois entraînés, ces grands modèles peuvent être utilisés pour résoudre d’autres problèmes faisant appel au même type de données. Un peaufinage du modèle est habituellement nécessaire par entraînement avec des données propres à la nouvelle tâche.

Par exemple, un modèle neuronal qui permet de générer des textes peut être facilement adapté à la génération d’une forme plus précise de textes. Il suffirait de peaufiner un grand modèle de langue préentraîné avec quelques oeuvres du poète Émile Nelligan pour qu’il soit en mesure de générer automatiquement des poèmes à la manière de Nelligan.

Français

apprentissage par transfert

transfert d'apprentissage

Anglais

transfer learning

Sources

Source : Google, Machine learning glossary.

---

101 MOTS DE L' IA
Ce terme est sélectionné pour le livre « Les 101 mots de l'intelligence artificielle »

Source : Termino