CycleGAN

CycleGAN, een afkorting voor "Cycle-Consistent Adversarial Networks", is een techniek voor de overdracht van beeld naar beeld, ontwikkeld door Jun-Yan Zhu, Taesung Park, Phillip Isola en Alexei A. Efros. Het werd voor het eerst gepresenteerd in 2017 en is een type generatief adversair netwerk (GAN) dat is ontworpen om mappings te leren van het ene beelddomein naar het andere.

In een typisch GAN creëert een generatornetwerk nieuwe beelden van een bepaald inputdomein, bijvoorbeeld foto's van katten. Maar CycleGANs zijn anders omdat ze geen gekoppelde afbeeldingen nodig hebben. Dit betekent dat, in plaats van te leren van een dataset van foto's van katten en foto's van honden, de afbeeldingen ongepaard kunnen zijn. In dit voorbeeld kan dus een deel van het netwerk worden getraind op foto's van katten en het andere deel op tekeningen van katten.

Het netwerk wordt getraind met behulp van een cycle-consistency loss, waarbij beide generatoren elkaars uitvoer proberen te benaderen. Dit cycle-consistency verlies bestaat uit twee delen - het ene deel zorgt ervoor dat een afbeelding van een kat terug moet worden geconverteerd naar dezelfde afbeelding nadat het door de twee netwerken is gegaan, en het andere deel zorgt ervoor dat een afbeelding van een tekening terug moet worden geconverteerd naar dezelfde afbeelding nadat het door de twee netwerken is gegaan.

De CycleGAN is vooral nuttig in probleemruimten met onevenwichtige klassen, zoals nacht- en dagbeelden, schilderijen en foto's, enz. Dit model wordt ook gebruikt in taken zoals beeld-naar-beeld vertaling en domeinaanpassing. Het is zelfs gebruikt voor het genereren van nieuwe artistieke stijlen van afbeeldingen genaamd "super-resolutie", die kunnen worden gebruikt voor taken zoals gezichtsherkenning en objectdetectie.

CycleGANs hebben aangetoond bijzonder effectief te zijn voor talrijke taken zoals superresolutie zonder supervisie van afzonderlijke beelden, inkleuren van beelden, overdracht van beeldstijlen, interpolatie van videoframes, synthese van luchtbeelden en vertaling van beeld naar beeld.

Uiteindelijk zijn CycleGANs een krachtig hulpmiddel voor beeld-naar-beeld vertaling, omdat ze niet gesuperviseerd zijn, geen vooraf getrainde modellen vereisen en relatief snel zijn wanneer ze worden toegepast op verschillende taken. De belangrijkste beperking van CycleGANs is dat ze niet noodzakelijk stabiel zijn met betrekking tot zowel beeldkwaliteit als snelheid.