Chính quy hóa (L1, L2)

Chính quy hóa (L1, L2)

Chính quy hóa là một loại tối ưu hóa mô hình được sử dụng trong học máy giúp ngăn ngừa tình trạng quá khớp. Quá khớp là một vấn đề trong đó một mô hình trở nên quá phù hợp với các đặc thù của tập dữ liệu huấn luyện, thay vì khái quát hóa dữ liệu mới, chưa được nhìn thấy. Việc chính quy hóa giúp chống lại điều này và có thể giúp các mô hình đưa ra dự đoán chính xác.

Hai loại chính quy hóa phổ biến là L1 và L2.

Chính quy hóa L1

Còn được gọi là hồi quy LASSO, chính quy hóa L1 là một kỹ thuật được sử dụng để giảm độ phức tạp của mô hình. Nó thực hiện điều này bằng cách thu nhỏ các trọng số liên quan đến một số tham số, từ đó loại bỏ các đặc điểm không thường xuyên, nhiễu hoặc không liên quan khỏi mô hình. Điều này giúp mô hình trở nên tổng quát hơn và ít bị quá khớp. Ngoài ra, việc chuẩn hóa L1 còn giúp việc lựa chọn tính năng dễ dàng hơn.

Chính quy hóa L2

Không giống như chính quy hóa L1, chính quy hóa L2 không làm giảm trọng số của một số tham số. Thay vào đó, nó bổ sung thêm một thời hạn phạt nhằm xử phạt những trọng số lớn. Bằng cách này, việc chính quy hóa L2 khuyến khích các trọng số ở mức nhỏ nhất có thể, điều này giúp giảm độ phức tạp của mô hình. Ngoài ra, do thời hạn phạt chỉ xử phạt các trọng số lớn nên nó cho phép áp dụng cho các mô hình phi tuyến tính, điều mà việc chuẩn hóa L1 không cho phép.

Phần kết luận

Chính quy hóa giúp tối ưu hóa các mô hình học máy bằng cách ngăn chặn tình trạng khớp quá mức và giúp việc lựa chọn tính năng trở nên dễ dàng hơn. Hai loại chính quy hóa phổ biến nhất là L1 và L2, có các cách tiếp cận hơi khác nhau để giảm độ phức tạp của mô hình. Sử dụng các kỹ thuật chính quy hóa có thể giúp cải thiện độ chính xác và độ tin cậy của các mô hình học máy.