Empoisonnement de données

Définition

L'empoisonnement de données consiste à contaminer un ensemble de données d'apprentissage avec des données conçues pour augmenter les erreurs dans les résultats des algorithmes d'apprentissage.

Compléments

Étant donné que les algorithmes d'apprentissage sont façonnés par les données d'apprentissage, on peut ainsi insérer des pixels dans une image afin que le modèle apprenne une image déformée ou même une image qui cachée dans l'image d'origine.

En clair, un logiciel (par exemple Nightshade) peut ajouter aux images une couche de données, invisible pour l’œil humain, mais qui va transformer la perception qu’en ont les modèles d’entraînement.

Il existe deux approches à l'empoisonnement de données, la première est défensive (par exemple celle utilisée par le logiciel Glaze) et consiste à éviter qu'une image soit intégrée à un modèle. Pour ce faire, l'image sera brouillée ou masquée partiellement. La seconde, l'approche offensive, consiste à intégrer une image problématique cachée dans le jeu de données et, par le fait même, dans le modèle qui en résulte (voir empoisonnement de modèle).

Français

empoisonnement de données

Anglais

data poisoning

Sources

Petite taxonomie des attaques des systèmes d’IA, Fabien Valet (2022)

Législation sur l'intelligence artificielle, Parlement européen (2023)

Intelligences artificielles, les mille et une façons de les faire dérailler, Le Monde

Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models, Shan et al. 2024