Attaque adverse

Définition

Les attaques adverses visent à soumettre des données (requêtes) sournoises ou corrompues à système d'IA en phase de production.

Compléments

Les attaques adverses concernent autant les images, les textes ou la voix.

On pourrait maquiller un arrêt obligatoire pour qu'il ne soit pas reconnu par un système de vision d'une voiture autonome.

Astucieusement manipulé, un robot conversationnel peut déraper, écrire des faussetés et donner accès à des informations autrement interdites.

En échantillonnant et en utilisant un système de synthèse vocale, il est possible de gagner l'accès à un système protégé par une système de reconnaissance vocale.

Une variante d'attaque adverse consiste en une modification imperceptible de l'entrée d’un algorithme, spécifiquement conçue pour provoquer un dysfonctionnement de celui-ci.

Français

attaque adverse

attaque par entrées malicieuses

attaque par exemples contradictoires

Anglais

adversarial attack

Sources

CNIL

Les scientifiques ont contourné les défenses des chatbots ChatGPT et Bard et les ont forcés à générer des contenus nuisibles, gagadget.com

Attaques Adverses de l’Apprentissage Profond : Fonctionnement et Menace, Maina et Moumen 2021

On the impact of randomization on robustness in machine learning, Pinot 2020