Chu kỳGAN

CycleGAN, tên viết tắt của “Mạng đối thủ nhất quán theo chu kỳ”, là một kỹ thuật chuyển hình ảnh sang hình ảnh được phát triển bởi Jun-Yan Zhu, Taesung Park, Phillip Isola và Alexei A. Efros. Nó được trình bày lần đầu tiên vào năm 2017 và là một loại mạng đối thủ tổng quát (GAN) được thiết kế để tìm hiểu ánh xạ từ miền hình ảnh này sang miền hình ảnh khác.

Trong một GAN điển hình, mạng máy phát tạo ra các hình ảnh mới từ một miền đầu vào nhất định, ví dụ: ảnh của mèo. Nhưng CycleGAN khác ở chỗ chúng không yêu cầu hình ảnh ghép nối. Điều này có nghĩa là, thay vì học từ tập dữ liệu ảnh mèo và ảnh chó, các hình ảnh có thể không được ghép nối. Vì vậy, trong ví dụ này, một phần của mạng có thể được huấn luyện về ảnh mèo và phần còn lại về hình vẽ mèo.

Mạng được huấn luyện bằng cách sử dụng sự mất mát nhất quán theo chu kỳ, trong đó cả hai bộ tạo đều cố gắng ước tính đầu ra của nhau. Sự mất tính nhất quán theo chu kỳ này có hai phần - một phần đảm bảo rằng hình ảnh của một con mèo sẽ được chuyển đổi trở lại cùng một hình ảnh sau khi đi qua hai mạng và phần còn lại đảm bảo rằng hình ảnh của một bức vẽ sẽ được chuyển đổi trở lại hình ảnh đó. cùng một hình ảnh sau khi đi qua hai mạng.

CycleGAN đặc biệt hữu ích trong các không gian có vấn đề có các lớp không cân bằng như hình ảnh ngày và đêm, tranh và ảnh, v.v. Mô hình này cũng được sử dụng trong các tác vụ như dịch từ hình ảnh sang hình ảnh và điều chỉnh miền. Nó thậm chí còn được sử dụng để tạo ra các phong cách nghệ thuật mới cho hình ảnh được gọi là “siêu độ phân giải”, có thể được sử dụng cho các tác vụ như nhận dạng khuôn mặt và phát hiện vật thể.

CycleGAN đã được chứng minh là đặc biệt hiệu quả đối với nhiều tác vụ như siêu phân giải hình ảnh đơn không được giám sát, tô màu hình ảnh, chuyển kiểu hình ảnh, nội suy khung hình video, tổng hợp hình ảnh trên không và dịch từ hình ảnh sang hình ảnh.

Cuối cùng, CycleGAN là một công cụ mạnh mẽ để dịch từ hình ảnh sang hình ảnh vì chúng không được giám sát, không yêu cầu mô hình được đào tạo trước và tương đối nhanh khi áp dụng cho các tác vụ khác nhau. Hạn chế chính của CycleGAN là chúng không nhất thiết phải ổn định cả về chất lượng hình ảnh và tốc độ.