Préentraînement contrastif langue-image

Définition

Approche qui prend en entrée une image et une description textuelle de l'image et qui apprend à représenter les l'image et le texte dans un même espace latent selon une distribution de probabilité conjointe.

Compléments

CLIP est un algorithme en code source ouvert, multimodal et à apprentissage à zéro-coup. À partir d'une image et de descriptions textuelles, le modèle peut prédire la description textuelle la plus pertinente pour cette image, sans optimisation pour cette tâche particulière.

Français

préentraînement contrastif langue-image

pré-entraînement contrastif langue-image

CLIP

Anglais

CLIP

Constastive Language-Image Pretraining

Sources

Denis, Nicholas (2023) - Révolution : Une nouvelle approche de pré-entraînement d'apprentissage par transfert voit le jour!- Statistique Canada

- Introduction au contrastive learning : une forme d’apprentissage auto supervisé Medium