« Attaque adverse » : différence entre les versions
Aucun résumé des modifications |
Aucun résumé des modifications |
||
| (4 versions intermédiaires par 2 utilisateurs non affichées) | |||
| Ligne 1 : | Ligne 1 : | ||
==Définition== | ==Définition== | ||
Les attaques adverses visent à soumettre des données (requêtes) sournoises ou corrompues à système d'IA en phase de production. | Les attaques adverses visent à soumettre des données (requêtes) sournoises ou corrompues à système d'IA, typiquement un modèle basé sur un [[réseau de neurones profonds]], en phase de production pour qu'il se comporte d'une manière fautive. | ||
Voir [[débridage]]. | |||
== Compléments == | == Compléments == | ||
Les attaques adverses concernent autant les images, les textes et la voix. | Les attaques adverses concernent autant les images, les textes et la voix. Ainsi, on pourrait maquiller un arrêt obligatoire pour qu'il ne soit pas reconnu par le système de vision d'un [[véhicule autonome]] et provoquer un accident. De même manière, un individu pourrait porter un masque, un macaron ou une coiffure qui entraverait le fonctionnement d'un système de reconnaissance faciale. un Astucieusement manipulé, un robot conversationnel peut fabuler, écrire des faussetés ou donner accès à des informations autrement interdites. En exploitant un système de [[synthèse vocale]], il est possible de gagner accès à une ressource protégée par un système de [[reconnaissance vocale]]. | ||
<hr/> | |||
Une variante d'attaque adverse consiste en une modification imperceptible de l'entrée d’un algorithme, spécifiquement conçue pour provoquer un dysfonctionnement de celui-ci. | Une variante d'attaque adverse consiste en une modification imperceptible de l'entrée d’un algorithme, spécifiquement conçue pour provoquer un dysfonctionnement de celui-ci. | ||
| Ligne 15 : | Ligne 17 : | ||
'''attaque par exemples contradictoires''' | '''attaque par exemples contradictoires''' | ||
'''débridage''' | |||
==Anglais== | ==Anglais== | ||
'''adversarial attack''' | '''adversarial attack''' | ||
'''jailbreaking''' | |||
==Sources== | ==Sources== | ||
| Ligne 29 : | Ligne 35 : | ||
[https://theses.hal.science/tel-03121555v1, ''On the impact of randomization on robustness in machine learning'', Pinot 2020] | [https://theses.hal.science/tel-03121555v1, ''On the impact of randomization on robustness in machine learning'', Pinot 2020] | ||
[[Catégorie: | [[Catégorie:GRAND LEXIQUE FRANÇAIS]] | ||
Dernière version du 12 novembre 2024 à 20:17
Définition
Les attaques adverses visent à soumettre des données (requêtes) sournoises ou corrompues à système d'IA, typiquement un modèle basé sur un réseau de neurones profonds, en phase de production pour qu'il se comporte d'une manière fautive.
Voir débridage.
Compléments
Les attaques adverses concernent autant les images, les textes et la voix. Ainsi, on pourrait maquiller un arrêt obligatoire pour qu'il ne soit pas reconnu par le système de vision d'un véhicule autonome et provoquer un accident. De même manière, un individu pourrait porter un masque, un macaron ou une coiffure qui entraverait le fonctionnement d'un système de reconnaissance faciale. un Astucieusement manipulé, un robot conversationnel peut fabuler, écrire des faussetés ou donner accès à des informations autrement interdites. En exploitant un système de synthèse vocale, il est possible de gagner accès à une ressource protégée par un système de reconnaissance vocale.
Une variante d'attaque adverse consiste en une modification imperceptible de l'entrée d’un algorithme, spécifiquement conçue pour provoquer un dysfonctionnement de celui-ci.
Français
attaque adverse
attaque par entrées malicieuses
attaque par exemples contradictoires
débridage
Anglais
adversarial attack
jailbreaking
Sources
Attaques Adverses de l’Apprentissage Profond : Fonctionnement et Menace, Maina et Moumen 2021
On the impact of randomization on robustness in machine learning, Pinot 2020
Contributeurs: Claude Coulombe, Patrick Drouin, wiki
