Effondrement postérieur

Définition

Phénomène dans lequel la distribution variationnelle postérieure correspond à la distribution variationnelle antérieure, réduisant ainsi la capacité du modèle génératif. Ce phénomène survient lorsque le modèle ne voit pas ou arrête d'apprendre de la structure latente. L'effondrement postérieur se produit principalement dans les autoencodeurs variationnels, mais il se produit aussi dans les encodeurs linéraires, parfois appelés encodeurs faibles.

Voir aussi autoencodeur variationnel et effondrement du modèle

Français

effondrement postérieur

Anglais

posterior collapse

latent variable collapse

The phenomenon where the variational posterior distribution matches the prior distribution, thus reducing the capacity of the generative model. It happens mostly in variational autoencoders, but it can happen in weak (linear) encoders as well.

Source

Source : Open Review

Source : Paper with code

Source : Proceedings neurips