Exemplos de adversários

Exemplos adversários são entradas em um sistema de software que fazem com que ele cometa erros. Esses erros podem ser causados por entradas cuidadosamente elaboradas, geralmente destinadas a explorar a vulnerabilidade do sistema ou uma classe específica de vulnerabilidade. O objetivo dos exemplos contraditórios é identificar possíveis pontos fracos em um sistema ou demonstrar a um usuário ou desenvolvedor que tais pontos fracos podem existir.

Os exemplos adversários geralmente são criados selecionando-se valores de entrada muito próximos do limite de decisão do sistema, com a intenção de contornar a lógica de decisão de um classificador. O sistema de software alvo pode ser um algoritmo de visão computacional ou um algoritmo de aprendizado de máquina. Os exemplos adversários também podem ser criados procurando entradas incomuns que se desviam da distribuição de entrada esperada do sistema.

Os exemplos adversários são de interesse no campo da segurança cibernética porque são uma maneira possível de contornar os sistemas de detecção ou classificação padrão. Por exemplo, um invasor pode apresentar um e-mail contendo código mal-intencionado, mas esse código é disfarçado para parecer um conteúdo normal para um sistema de detecção automatizado baseado em assinatura.

Os exemplos contraditórios também podem ser usados pelos pesquisadores para identificar possíveis problemas em um classificador de aprendizado de máquina. Ao apresentar uma série de entradas criadas, os pesquisadores podem determinar se um classificador se comporta como esperado.

Os exemplos contraditórios também são vistos como uma ferramenta em potencial no aprendizado de máquina contraditório - o uso de técnicas de aprendizado de máquina para atacar contraditoriamente um sistema de aprendizado de máquina ou para aprofundar a compreensão de um sistema (ou conjunto de dados) a fim de fortalecê-lo.

Os exemplos adversários têm atraído atenção e interesse em grande parte devido às suas possíveis implicações na segurança cibernética, na privacidade de dados e na segurança da informação. Eles também são vistos como um caminho possível no desenvolvimento de sistemas seguros de aprendizado de máquina, ajudando a mostrar que esses sistemas permanecem robustos contra entradas maliciosas.