Состязательные примеры

Неприятельские примеры - это входные воздействия на программную систему, приводящие к ее ошибкам. Эти ошибки могут быть вызваны тщательно продуманными входными данными, как правило, предназначенными для использования уязвимости системы или определенного класса уязвимостей. Целью использования неблагоприятных примеров является выявление потенциальных слабых мест в системе или демонстрация пользователю или разработчику возможности существования таких слабых мест.

Недоброжелательные примеры обычно создаются путем выбора входных значений, очень близких к границе принятия решения системой, с целью обойти логику принятия решения классификатором. В качестве целевой программной системы может выступать алгоритм компьютерного зрения или алгоритм машинного обучения. Вредоносные примеры также могут быть созданы путем поиска необычных входных данных, отклоняющихся от ожидаемого распределения входных данных системы.

В области кибербезопасности состязательные примеры представляют интерес, поскольку являются потенциальным способом обойти стандартные системы обнаружения или классификации. Например, злоумышленник может представить электронное письмо, содержащее вредоносный код, но для автоматизированной системы обнаружения на основе сигнатур этот код будет замаскирован под обычное содержимое.

Адверсивные примеры также могут использоваться исследователями для выявления потенциальных проблем в классификаторе машинного обучения. Представляя серию поддельных входных данных, исследователи могут определить, ведет ли классификатор себя так, как ожидалось.

Адверсивные примеры также рассматриваются как потенциальный инструмент в адверсивном машинном обучении - использовании методов машинного обучения для адверсивной атаки на систему машинного обучения или для углубления понимания системы (или набора данных) с целью ее усиления.

Состязательные примеры привлекли внимание и интерес в основном из-за их потенциальных последствий для кибербезопасности, конфиденциальности данных и информационной безопасности. Они также рассматриваются как один из возможных путей развития безопасных систем машинного обучения, помогая показать, что такие системы остаются устойчивыми к вредоносным входным данным.