Làm mịn nhãn

Làm mịn nhãn là một kỹ thuật được sử dụng trong học sâu để chuẩn hóa quá trình đào tạo của mạng lưới thần kinh. Kỹ thuật này được sử dụng để tránh trang bị quá mức bằng cách giảm sự phụ thuộc của mô hình vào các nhãn chính xác trong quá trình đào tạo. Nó hoạt động bằng cách tăng độ tin cậy của mô hình đối với các nhãn “sai”.

Trong quá trình đào tạo, mạng nơ-ron sẽ tạo ra phân phối xác suất trên các nhãn chính xác cho một đầu vào nhất định. Làm mịn nhãn sẽ gây ra một chút nhầm lẫn cho đầu ra của mạng. Sự nhầm lẫn này cũng khuyến khích mô hình xem xét các nhãn "không chính xác", làm giảm khả năng trang bị quá mức.

Làm mịn nhãn đặc biệt hữu ích khi huấn luyện mạng về dữ liệu có sự khác biệt lớn giữa các lớp. Ví dụ: một mạng được huấn luyện trên một tập dữ liệu có 100 mẫu dương tính và 1 mẫu âm tính sẽ có khả năng trở nên quá phù hợp với mẫu dương tính sau một vài lần huấn luyện. Việc áp dụng làm mịn nhãn sẽ làm giảm độ chắc chắn mà mô hình chọn nhãn tích cực, làm tăng tính tổng quát của nó.

Làm mịn nhãn có thể được áp dụng theo hai cách. Đầu tiên là áp dụng một lượng làm mịn không đổi trên mỗi nhãn. Điều này đạt được bằng cách thêm một phần nhỏ phân bố đồng đều trên mỗi nhãn. Một cách khác là áp dụng các mức độ làm mịn khác nhau trên mỗi nhãn, tùy thuộc vào mức độ chắc chắn của mạng đối với việc phân loại chính xác. Ví dụ: một nhãn rất chắc chắn sẽ có mức độ làm mịn cao, trong khi nhãn không chắc chắn hơn sẽ có mức độ làm mịn kém hơn.

Làm mịn nhãn là một kỹ thuật thường được sử dụng để cải thiện hiệu suất của các mô hình học sâu. Việc sử dụng nó kết hợp với các kỹ thuật chính quy hóa khác, như dừng sớm và bỏ học, có thể giúp giảm hơn nữa việc trang bị quá mức và cải thiện khả năng khái quát hóa mô hình.