« Apprentissage par transfert » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
L’apprentissage par transfert consiste à exploiter les connaissances d’un modèle d’apprentissage entraîné sur un jeu de données pour l’appliquer et | L’apprentissage par transfert consiste à exploiter les connaissances d’un modèle d’apprentissage entraîné sur un jeu de données pour l’appliquer et l’adapter dans le cadre d’un apprentissage sur un jeu de données différent. Il peut aussi être vu comme la capacité d’un système à reconnaître et à appliquer des connaissances et des compétences, apprises à partir de tâches antérieures, sur de nouvelles tâches ou domaines partageant des similitudes. | ||
==Compléments== | ==Compléments== | ||
Bien qu’il s’agisse plutôt d’un transfert d’apprentissage, on préférera le terme « apprentissage par transfert » pour des questions de continuité avec les termes « [[apprentissage supervisé]] », « [[apprentissage non supervisé]] » et « [[apprentissage par renforcement]] ». | |||
Dans la pratique courante, l’apprentissage par transfert consiste à exploiter les connaissances d’un modèle préentraîné (en anglais, pretrained model) pour l’appliquer et l’adapter par peaufinage sur un un jeu de données différent, ce qu’on nomme en anglais le ''fine-tuning''. | <hr/> | ||
Dans la pratique courante, l’apprentissage par transfert consiste à exploiter les connaissances d’un [[modèle préentraîné]] (en anglais, pretrained model) pour l’appliquer et l’adapter par peaufinage sur un un jeu de données différent, ce qu’on nomme en anglais le ''fine-tuning''. | |||
<hr /> | <hr/> | ||
L’idée sous-jacente à l’apprentissage par transfert est assez simple. On prend un grand [[modèle préentraîné]] sur un immense jeu de données dans le cadre d’une tâche générique et on l’applique à une nouvelle tâche en adaptant ce modèle avec des données typiques de cette nouvelle tâche. Comme plusieurs chercheurs l’ont démontré, la puissance prédictive de ces modèles augmente avec leur taille. | |||
L’idée sous-jacente à l’apprentissage par transfert est assez simple. On prend un | |||
Ainsi, les | Ainsi, les grands [[modèle préentraîné|modèles préentraînés]] pour un problème générique apprennent toutes sortes de régularités statistiques propres au type de données (images, voix, textes) sur lequel ils ont été entraînés. Une fois entraînés, ces grands modèles peuvent être utilisés pour résoudre d’autres problèmes faisant appel au même type de données. Un peaufinage du modèle est habituellement nécessaire par entraînement avec des données propres à la nouvelle tâche. | ||
Par exemple, un modèle neuronal qui permet de générer des textes peut être facilement adapté à la génération d’une forme plus précise de textes. | Par exemple, un modèle neuronal qui permet de générer des textes peut être facilement adapté à la génération d’une forme plus précise de textes. Il suffirait de peaufiner un [[grand modèle de langue]] préentraîné avec quelques oeuvres du poète Émile Nelligan pour qu’il soit en mesure de générer automatiquement des poèmes à la manière de Nelligan. | ||
==Français== | ==Français== | ||
Version du 3 avril 2023 à 01:03
Définition
L’apprentissage par transfert consiste à exploiter les connaissances d’un modèle d’apprentissage entraîné sur un jeu de données pour l’appliquer et l’adapter dans le cadre d’un apprentissage sur un jeu de données différent. Il peut aussi être vu comme la capacité d’un système à reconnaître et à appliquer des connaissances et des compétences, apprises à partir de tâches antérieures, sur de nouvelles tâches ou domaines partageant des similitudes.
Compléments
Bien qu’il s’agisse plutôt d’un transfert d’apprentissage, on préférera le terme « apprentissage par transfert » pour des questions de continuité avec les termes « apprentissage supervisé », « apprentissage non supervisé » et « apprentissage par renforcement ».
Dans la pratique courante, l’apprentissage par transfert consiste à exploiter les connaissances d’un modèle préentraîné (en anglais, pretrained model) pour l’appliquer et l’adapter par peaufinage sur un un jeu de données différent, ce qu’on nomme en anglais le fine-tuning.
L’idée sous-jacente à l’apprentissage par transfert est assez simple. On prend un grand modèle préentraîné sur un immense jeu de données dans le cadre d’une tâche générique et on l’applique à une nouvelle tâche en adaptant ce modèle avec des données typiques de cette nouvelle tâche. Comme plusieurs chercheurs l’ont démontré, la puissance prédictive de ces modèles augmente avec leur taille.
Ainsi, les grands modèles préentraînés pour un problème générique apprennent toutes sortes de régularités statistiques propres au type de données (images, voix, textes) sur lequel ils ont été entraînés. Une fois entraînés, ces grands modèles peuvent être utilisés pour résoudre d’autres problèmes faisant appel au même type de données. Un peaufinage du modèle est habituellement nécessaire par entraînement avec des données propres à la nouvelle tâche.
Par exemple, un modèle neuronal qui permet de générer des textes peut être facilement adapté à la génération d’une forme plus précise de textes. Il suffirait de peaufiner un grand modèle de langue préentraîné avec quelques oeuvres du poète Émile Nelligan pour qu’il soit en mesure de générer automatiquement des poèmes à la manière de Nelligan.
Français
apprentissage par transfert
transfert d'apprentissage
Anglais
transfer learning
Complément audio
Qu’est-ce que l’apprentissage par transfert?
Compléments vidéos
- Qu'est-ce que l'apprentissage par transfert? - Cours VIARENA
- Comprendre le "transfert learning" - FORMASYS
Contributeurs: Evan Brach, Claire Gorjux, Claude Coulombe, Jacques Barolet, Julie Roy, Patrick Drouin, wiki, Robert Meloche
