Ejemplos contenciosos

Los Ejemplos Adversarios son entradas a un sistema de software que le hacen cometer errores. Estos errores pueden ser causados por entradas cuidadosamente elaboradas, generalmente destinadas a explotar la vulnerabilidad del sistema o una clase específica de vulnerabilidad. El propósito de los ejemplos adversarios es identificar debilidades potenciales en un sistema, o demostrar a un usuario o desarrollador que tales debilidades pueden existir.

Los ejemplos adversarios suelen crearse seleccionando valores de entrada muy cercanos al límite de decisión del sistema, con la intención de eludir la lógica de decisión de un clasificador. El sistema de software objetivo puede ser un algoritmo de visión por ordenador o un algoritmo de aprendizaje automático. Los ejemplos adversos también pueden crearse buscando entradas inusuales que se desvíen de la distribución de entrada esperada del sistema.

Los ejemplos de adversarios son de interés en el campo de la ciberseguridad porque son una forma potencial de eludir los sistemas estándar de detección o clasificación. Por ejemplo, un atacante puede presentar un correo electrónico que contenga código malicioso, pero ese código se disfraza para parecer contenido normal a un sistema de detección automatizado basado en firmas.

Los investigadores también pueden utilizar ejemplos adversarios para identificar posibles problemas en un clasificador de aprendizaje automático. Presentando una serie de entradas manipuladas, los investigadores pueden determinar si un clasificador se comporta como se espera.

Los ejemplos adversarios también se consideran una herramienta potencial en el aprendizaje automático adversario, es decir, el uso de técnicas de aprendizaje automático para atacar adversariamente un sistema de aprendizaje automático o para profundizar en la comprensión de un sistema (o conjunto de datos) con el fin de reforzarlo.

Los ejemplos adversariales han suscitado atención e interés debido en gran parte a sus posibles implicaciones en ciberseguridad, privacidad de datos y seguridad de la información. También se consideran una posible vía para el desarrollo de sistemas de aprendizaje automático seguros, ya que ayudan a demostrar que dichos sistemas siguen siendo robustos frente a entradas maliciosas.