Empoisonnement de données

Définition

L'empoisonnement de données consiste à contaminer un ensemble de données d'apprentissage avec des données conçues pour augmenter les erreurs dans les résultats des algorithmes d'apprentissage.

Compléments

Étant donné que les algorithmes d'apprentissage sont façonnés par les données d'apprentissage, on peut ainsi insérer des pixels dans une image afin que le modèle apprenne une image déformée ou même une image qui cachée dans l'image d'origine.

En clair, un logiciel (par exemple Nightshade) peut ajouter aux images une couche de données, invisible pour l’œil humain, mais qui va transformer la perception qu’en ont les modèles d’entraînement.

Français

empoisonnement de données

Anglais

data poisoning

Sources

Intelligences artificielles, les mille et une façons de les faire dérailler, Le Monde

Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models, Shan et al. 2024