Modèle fondateur

Définition

Des chercheurs de l'Université Stanford ont proposé le terme modèle fondateur (« foundation model ») pour définir un ensemble de grands modèles de langue basés sur des architectures de réseau autoattentif pré-entraînées sur de vastes corpus parfois selon plusieurs modalités (textes, voix, images, etc.).

Les modèles fondateurs comme BERT, GPT-3, DALL-E peuvent être adaptés à un large éventail de tâches.

Compléments

Les modèles fondateurs constituent un changement radical de paradigme en IA. Ils représentent une augmentation spectaculaire des capacités en termes de précision, de qualité et d'extrapolation à de nouvelles tâches.

Les modèles fondateurs présentent également des problèmes évidents d'utilisation à des fins de désinformation, l'exacerbation des biais et le risque d'oligopole de l'intelligence artificielle entre les mains de quelques entreprises.

Français

modèle fondateur

Anglais

foundation model

Source : arxiv.org

Source : youtube