Grand modèle de langues multimodal

Définition

Grand modèle de langue qui admet plusieurs modes de représentation de l'information des données (texte, son, image, vidéo, données issues de capteurs, etc.) en entrée et en sortie.

Compléments

La frontière entre multimodal et multimédia est floue. On parle de multimédia quand il est question de médias bien établis (image, vidéo, son, texte) alors qu'on parle de multimodal pour tout ce qui peut éventuellement se représenter sous forme binaire.

En IA, la tendance est plutôt d'utiliser l'adjectif multimodal que multimedia. On utilise 'grand modèle de langue multimodal' quand le modèle de langue est la partie prépondérante du système d'IA. Le cas échéant, on parle plutôt de grand modèle multimodal.

Français

grand modèle de langue multimodal

grand modèle de langue multimédia

grand modèle de langage multimodal

GMLM

Anglais

multimodal large language model

MLLM

Source : bdtechtalks

Source : Huang et al. (2023)

Source: Developpez.com