Ví dụ đối lập

Các ví dụ đối nghịch là đầu vào của một hệ thống phần mềm khiến nó mắc lỗi. Những lỗi này có thể do các đầu vào được chế tạo cẩn thận, thường nhằm mục đích khai thác lỗ hổng của hệ thống hoặc một loại lỗ hổng cụ thể. Mục đích của các ví dụ đối nghịch là xác định những điểm yếu tiềm ẩn trong hệ thống hoặc để chứng minh cho người dùng hoặc nhà phát triển rằng những điểm yếu đó có thể tồn tại.

Các ví dụ đối nghịch thường được tạo ra bằng cách chọn các giá trị đầu vào rất gần với ranh giới quyết định của hệ thống, với mục đích phá vỡ logic quyết định của bộ phân loại. Hệ thống phần mềm mục tiêu có thể là thuật toán thị giác máy tính hoặc thuật toán học máy. Các ví dụ đối nghịch cũng có thể được tạo ra bằng cách tìm kiếm các đầu vào bất thường khác với phân phối đầu vào dự kiến của hệ thống.

Các ví dụ đối nghịch được quan tâm trong lĩnh vực an ninh mạng vì chúng là một cách tiềm năng để vượt qua các hệ thống phát hiện hoặc phân loại tiêu chuẩn. Ví dụ: kẻ tấn công có thể hiển thị một email chứa mã độc nhưng mã đó được ngụy trang trông giống như nội dung bình thường trước hệ thống phát hiện dựa trên chữ ký tự động.

Các ví dụ đối nghịch cũng có thể được các nhà nghiên cứu sử dụng để xác định các vấn đề tiềm ẩn trong bộ phân loại học máy. Bằng cách trình bày một loạt thông tin đầu vào được tạo thủ công, các nhà nghiên cứu có thể xác định liệu bộ phân loại có hoạt động như mong đợi hay không.

Các ví dụ đối nghịch cũng được coi là một công cụ tiềm năng trong học máy đối nghịch - việc sử dụng các kỹ thuật học máy để tấn công đối nghịch hệ thống học máy hoặc để hiểu sâu hơn về hệ thống (hoặc tập dữ liệu) nhằm củng cố nó.

Các ví dụ đối nghịch đã thu hút được sự chú ý và quan tâm phần lớn do những tác động tiềm tàng của chúng đối với an ninh mạng, quyền riêng tư dữ liệu và bảo mật thông tin. Chúng cũng được coi là một con đường khả thi trong việc phát triển các hệ thống máy học an toàn, giúp chứng tỏ rằng các hệ thống như vậy vẫn mạnh mẽ trước các đầu vào độc hại.