Modèle multimodal

Définition

Modèle d'apprentissage qui admet plusieurs modalités de représentation des données (texte, son, image, vidéo, données issues de capteurs, etc.) en entrée et en sortie.

Compléments

La frontière entre multimodal et multimédia est floue. On parle davantage de 'mutimodal' quand il est question de communication, d'interaction, de transmission de renseignement. Le terme 'multimédia' est plutôt utilisé pour décrire l'aspect statique de l'information (image, vidéo, son, texte).

En IA, la tendance est plutôt d'utiliser l'adjectif multimodal que multimedia. On utilise 'grand modèle de langues multimodal' quand le modèle de langues est la partie prépondérante du système d'IA. Le cas échéant, on parle plutôt de grand modèle multimodal.

Français

modèle multimodal

Anglais

multimodal model

Source : bdtechtalks

Source : Huang et al. (2023)

Source: Developpez.com