Exemples contradictoires

Les exemples adverses sont des entrées dans un système logiciel qui lui font commettre des erreurs. Ces erreurs peuvent être provoquées par des données soigneusement élaborées, généralement destinées à exploiter la vulnérabilité du système ou une catégorie spécifique de vulnérabilité. L'objectif des exemples adverses est d'identifier les faiblesses potentielles d'un système ou de démontrer à un utilisateur ou à un développeur que de telles faiblesses peuvent exister.

Les exemples adverses sont généralement élaborés en sélectionnant des valeurs d'entrée très proches de la limite de décision du système, dans le but de contourner la logique de décision d'un classificateur. Le système logiciel cible peut être un algorithme de vision artificielle ou un algorithme d'apprentissage automatique. Les exemples adverses peuvent également être élaborés en recherchant des entrées inhabituelles qui s'écartent de la distribution attendue des entrées du système.

Les exemples d'adversaires présentent un intérêt dans le domaine de la cybersécurité car ils constituent un moyen potentiel de contourner les systèmes de détection ou de classification standard. Par exemple, un attaquant peut présenter un courriel contenant un code malveillant, mais ce code est déguisé pour ressembler à un contenu normal aux yeux d'un système de détection automatisé basé sur des signatures.

Les chercheurs peuvent également utiliser des exemples contradictoires pour identifier les problèmes potentiels d'un classificateur d'apprentissage automatique. En présentant une série de données d'entrée créées de toutes pièces, les chercheurs peuvent déterminer si un classificateur se comporte comme prévu.

Les exemples adverses sont également considérés comme un outil potentiel pour l'apprentissage automatique contradictoire - l'utilisation de techniques d'apprentissage automatique pour attaquer de manière contradictoire un système d'apprentissage automatique ou pour approfondir la compréhension d'un système (ou d'un ensemble de données) afin de le renforcer.

Les exemples adverses ont suscité l'attention et l'intérêt en grande partie en raison de leurs implications potentielles en matière de cybersécurité, de confidentialité des données et de sécurité de l'information. Ils sont également considérés comme une voie possible dans le développement de systèmes d'apprentissage automatique sécurisés, en aidant à montrer que ces systèmes restent robustes face à des entrées malveillantes.