Perroquet stochastique

Définition

Le perroquet stochastique est une métaphore reliée à l'apprentissage automatique qui illustre deux limites importantes des modèles de langue et des grands modèles de langues. Premièrement, ils sont limités par leurs données d'entraînement et ils ne font que répéter stochastiquement le contenu de ces jeux de données. Deuxièmement, ils génèrent une production linguistique plausible, comme le ferait un perroquet, sans pour autant en comprendre son sens.

Voir aussi grand modèle de langues, jeu de données et modèle de langue

Français

perroquet stochastique

Anglais

stochastic parrot

The stochastic parrot is a metaphor in machine learning that illustrates two important limitations of language models and large language models. First, the LM or LLM are limited by the data they are trained by and they are simply stochastically repeating contents of datasets. Second, they generate plausible language, as a parrot, but does not understand the meaning of it.

Sources

Source : ACM Digital Library

Source : Wikipédia