Modèle génératif

Définition

Un modèle génératif est un modèle issu de l'apprentissage automatique qui permet à la fois de générer de nouveaux exemples à partir des données d'entraînement et d'évaluer la probabilité qu'un nouvel exemple provienne ou ait été généré à partir des données d'entraînement.

Dit autrement, un modèle génératif « apprend » une distribution de probabilité à partir d’un jeu de données, pour ensuite être capable de générer de nouveaux exemples « originaux » de données.

Compléments

On distingue deux types de modèles génératif: les modèles conditionnels et les modèles inconditionnels.

Un modèle génératif inconditionnel est entraîné sans aucune entrée à part des données d'un seul type. Le modèle génératif inconditionnel apprendra à générer de nouvelles données de ce type.

Par exemple, un modèle génératif inconditionnel pourra servir à enrichir ou augmenter un jeu de données. Entraîné sur des images de visages, un modèle génératif inconditionnel sera capable de générer de nouvelles images de visages. Un autre exemple de modèle de génération inconditionnel est la super-résolution, qui est capable d'améliorer les images de faible qualité.

Un modèle génératif conditionnel est entraîné en combinant deux entrées de données différentes mais appariées. Par exemple, une image et une entrée textuelle qui décrit cette image et conditionne au sens statistique la génération de l'image à du texte.

Par exemple, un modèle génératif conditionnel donne des choses comme la génération texte-à-image où nous pouvons générer une image à partir d'une requête textuelle, également la repeinte d'image et la retouche guidée par le texte où l'on peut supprimer, ajouter modifier des éléments dans une image à partir de commandes textuelles.

Il existe un grand nombre de modèles génératifs différents selon leurs données d'entrées, l'architecture du modèle d'apprentissage sous-jacent et leurs sorties. Par exemple: des modèles génératif texte-à-texte qui se basent sur des modèles de langue comme BERT, GPT-3 ou Cédille, et des modèles génératifs texte-à-image comme Dall-E 2 .

Par exemple, suite à l'entraînement d'un modèle sur un ensemble de phrases représentatives de la langue française, un modèle génératif de textes sera capable de « synthétiser » un nouveau texte semblable aux textes avec lesquels il a été entraînés ou « calculer la probabilité » qu'une nouvelle phrase soit une phrase française correcte.

Un bon exemple de modèle génératif est un modèle de Bayes naïf mais on utilise également des réseaux autoattentifs (Transformers), des réseaux antagonistes génératifs (RAG) et des modèles de diffusion.

Français

modèle génératif

modèle de génération

Anglais

generative model

Source: Ahmed, Faruk (2017). Generative models for natural images, mémoire de maitrise, Université de Montréal, 88 pages.

Source: Wikipedia, Réseaux antagonistes génératifs.