CycleGAN

CycleGAN, abréviation de "Cycle-Consistent Adversarial Networks", est une technique de transfert d'image à image développée par Jun-Yan Zhu, Taesung Park, Phillip Isola et Alexei A. Efros. Présenté pour la première fois en 2017, il s'agit d'un type de réseau accusatoire génératif (GAN) conçu pour apprendre les correspondances d'un domaine d'image à un autre.

Dans un GAN classique, un réseau générateur crée de nouvelles images à partir d'un domaine d'entrée donné, par exemple des photographies de chats. Mais les CycleGAN sont différents en ce sens qu'ils n'ont pas besoin d'images appariées. Cela signifie qu'au lieu d'apprendre à partir d'un ensemble de données composé de photos de chats et de photos de chiens, les images peuvent être non appariées. Ainsi, dans cet exemple, une partie du réseau pourrait être entraînée sur des photographies de chats et l'autre partie sur des dessins de chats.

Le réseau est entraîné à l'aide d'une perte de cohérence de cycle, les deux générateurs essayant d'approcher les résultats de l'autre. Cette perte de cohérence de cycle comporte deux parties : l'une garantit que l'image d'un chat sera convertie en la même image après avoir traversé les deux réseaux, et l'autre garantit que l'image d'un dessin sera convertie en la même image après avoir traversé les deux réseaux.

Le CycleGAN est particulièrement utile dans les espaces de problèmes qui ont des classes déséquilibrées telles que les images de nuit et de jour, les peintures et les photos, etc. Ce modèle est également utilisé dans des tâches telles que la traduction d'image à image et l'adaptation de domaine. Il a même été utilisé pour générer de nouveaux styles artistiques d'images appelés "super-résolution", qui peuvent être utilisés pour des tâches telles que la reconnaissance faciale et la détection d'objets.

Les CycleGAN se sont révélés particulièrement efficaces pour de nombreuses tâches telles que la super-résolution non supervisée d'une seule image, la colorisation d'images, le transfert de style d'image, l'interpolation d'images vidéo, la synthèse d'images aériennes et la traduction d'une image à l'autre.

En fin de compte, les CycleGANs sont un outil puissant pour la traduction d'image à image, car ils ne sont pas supervisés, ne nécessitent pas de modèles pré-entraînés, et sont relativement rapides lorsqu'ils sont appliqués à différentes tâches. La principale limite des CycleGANs est qu'ils ne sont pas nécessairement stables en ce qui concerne la qualité de l'image et la vitesse.