Modèle de diffusion

Définition

Modèle génératif fondé sur un processus de diffusion visant à générer des images à partir d'un espace latent d'images bruitées et compressées.

Ils sont le plus souvent interrogés en langue naturelle au moyen d'un texte descriptif de l'image à générer.

Compléments

Dans un premier le processus de diffusion direct consiste à transformer l'image en bruit en ajoutant graduellement un peu de bruit gaussien dans l'image de départ, ce qui conduit à une représentation latente "bruitée".

Dans un second temps, avec comme point de départ l'espace latent bruité, le processus de diffusion inverse consiste à retirer le bruit gaussien pour générer une nouvelle image de même nature que l'image qui a servi à l’entrainement.

Par exemple, une série d'images de chats sera soumise à un processus de diffusion afin de générer un espace latent bruité typique des images de chats. Par la suite, l'espace sera échantillonné et "débruité" par diffusion inverse pour générer des images de chats différentes des images avec lesquelles le modèle a été initialement entraîné.
Pour obtenir une image à partir de texte, on combine un modèle de diffusion avec un modèle associatif texte-image.

Voir aussi synthèse texte-à-image.

Français

modèle de diffusion

Anglais

diffusion model

diffusion probabilistic model

denoising diffusion probabilistic model

Sources

Source : Wikipedia