CycleGAN

CycleGAN, аббревиатура от "Cycle-Consistent Adversarial Networks", - это метод переноса изображения на изображение, разработанный Чжун-Янь Чжу, Тэсунг Парком, Филиппом Изолой и Алексеем А. Эфросом. Она была впервые представлена в 2017 году и представляет собой разновидность генеративной адверсивной сети (GAN), предназначенной для изучения отображений из одной области изображений в другую.

В типичном GAN генераторная сеть создает новые изображения из заданного входного домена, например, фотографии кошек. Но CycleGAN отличаются тем, что им не требуются парные изображения. Это означает, что вместо обучения на базе данных, состоящих из фотографий кошек и фотографий собак, изображения могут быть непарными. Так, в данном примере одна часть сети может быть обучена на фотографиях кошек, а другая - на рисунках кошек.

Сеть обучается с помощью потери согласованности циклов, при этом оба генератора пытаются аппроксимировать выходы друг друга. Эта потеря согласованности циклов состоит из двух частей: одна часть гарантирует, что изображение кошки должно быть преобразовано обратно в то же изображение после прохождения через две сети, а другая часть гарантирует, что изображение рисунка должно быть преобразовано обратно в то же изображение после прохождения через две сети.

Модель CycleGAN особенно полезна в проблемных пространствах с несбалансированными классами, такими как ночные и дневные изображения, живопись и фотографии и т.д. Эта модель также используется в таких задачах, как перевод изображений и адаптация домена. Она даже использовалась для создания новых художественных стилей изображений под названием "суперразрешение", которые могут быть использованы для таких задач, как распознавание лиц и обнаружение объектов.

CycleGAN показали свою эффективность при решении многочисленных задач, таких как неконтролируемое сверхразрешение одиночных изображений, колоризация изображений, передача стиля изображения, интерполяция видеокадров, синтез аэрофотоснимков и перевод изображений в изображения.

В конечном счете, CycleGAN являются мощным инструментом для перевода изображений, поскольку они не требуют предварительного обучения моделей и относительно быстры при применении к различным задачам. Основным ограничением CycleGANs является то, что они не всегда стабильны как в отношении качества изображения, так и в отношении скорости.