CycleGAN

CycleGAN, uma abreviação de "Cycle-Consistent Adversarial Networks", é uma técnica de transferência de imagem para imagem desenvolvida por Jun-Yan Zhu, Taesung Park, Phillip Isola e Alexei A. Efros. Ela foi apresentada pela primeira vez em 2017 e é um tipo de rede adversária generativa (GAN) projetada para aprender mapeamentos de um domínio de imagem para outro.

Em um GAN típico, uma rede geradora cria novas imagens a partir de um determinado domínio de entrada, por exemplo, fotografias de gatos. Mas os CycleGANs são diferentes porque não exigem imagens emparelhadas. Isso significa que, em vez de aprender com um conjunto de dados de fotos de gatos e fotos de cachorros, as imagens podem ser desemparelhadas. Portanto, neste exemplo, uma parte da rede pode ser treinada em fotografias de gatos e a outra parte em desenhos de gatos.

A rede é treinada usando uma perda de consistência de ciclo, com os dois geradores tentando se aproximar dos resultados um do outro. Essa perda de consistência de ciclo tem duas partes: uma parte garante que a imagem de um gato seja convertida de volta para a mesma imagem depois de passar pelas duas redes, e a outra parte garante que a imagem de um desenho seja convertida de volta para a mesma imagem depois de passar pelas duas redes.

O CycleGAN é particularmente útil em espaços de problemas que têm classes desequilibradas, como imagens noturnas e diurnas, pinturas e fotos etc. Esse modelo também é usado em tarefas como tradução de imagem para imagem e adaptação de domínio. Ele foi usado até mesmo para gerar novos estilos artísticos de imagens chamados de "super-resolução", que podem ser usados em tarefas como reconhecimento facial e detecção de objetos.

Os CycleGANs demonstraram ser particularmente eficazes para várias tarefas, como super-resolução de uma única imagem sem supervisão, colorização de imagens, transferência de estilo de imagem, interpolação de quadros de vídeo, síntese de imagens aéreas e tradução de imagem para imagem.

Em última análise, os CycleGANs são uma ferramenta poderosa para a tradução de imagem para imagem, pois não são supervisionados, não exigem modelos pré-treinados e são relativamente rápidos quando aplicados a diferentes tarefas. A principal limitação dos CycleGANs é que eles não são necessariamente estáveis em relação à qualidade e à velocidade da imagem.