CycleGAN

CycleGAN, eine Abkürzung für „Cycle-Consistent Adversarial Networks“, ist eine Bild-zu-Bild-Übertragungstechnik, die von Jun-Yan Zhu, Taesung Park, Phillip Isola und Alexei A. Efros entwickelt wurde. Sie wurde erstmals 2017 vorgestellt und ist eine Art generatives kontradiktorisches Netzwerk (GAN), das darauf ausgelegt ist, Zuordnungen von einer Bilddomäne zu einer anderen zu lernen.

In einem typischen GAN erstellt ein Generatornetzwerk neue Bilder aus einem vorgegebenen Eingabebereich, beispielsweise Katzenfotos. CycleGANs unterscheiden sich jedoch dadurch, dass sie keine gepaarten Bilder erfordern. Das bedeutet, dass die Bilder nicht aus einem Datensatz mit Katzenfotos und Hundefotos gelernt werden, sondern entpaart werden können. In diesem Beispiel könnte also ein Teil des Netzwerks anhand von Katzenfotos und der andere Teil anhand von Katzenzeichnungen trainiert werden.

Das Netzwerk wird mit einem Zykluskonsistenzverlust trainiert, wobei beide Generatoren versuchen, die Ausgaben des jeweils anderen zu approximieren. Dieser Zykluskonsistenzverlust besteht aus zwei Teilen – ein Teil stellt sicher, dass ein Katzenbild nach dem Durchlaufen der beiden Netzwerke wieder in dasselbe Bild umgewandelt wird, und der andere Teil stellt sicher, dass ein Bild einer Zeichnung nach dem Durchlaufen der beiden Netzwerke wieder in dasselbe Bild umgewandelt wird.

CycleGAN ist besonders nützlich in Problembereichen mit unausgewogenen Klassen wie Tag- und Nachtbildern, Gemälden und Fotos usw. Dieses Modell wird auch für Aufgaben wie Bild-zu-Bild-Übersetzung und Domänenanpassung verwendet. Es wurde sogar verwendet, um neue künstlerische Bildstile namens „Superauflösung“ zu generieren, die für Aufgaben wie Gesichtserkennung und Objekterkennung verwendet werden können.

CycleGANs haben sich für zahlreiche Aufgaben als besonders effektiv erwiesen, etwa für die unbeaufsichtigte Superauflösung einzelner Bilder, die Bildkolorierung, die Bildstilübertragung, die Videobild-Interpolation, die Luftbildsynthese und die Bild-zu-Bild-Übersetzung.

Letztendlich sind CycleGANs ein leistungsstarkes Werkzeug für die Bild-zu-Bild-Übersetzung, da sie unbeaufsichtigt sind, keine vorab trainierten Modelle erfordern und bei der Anwendung auf unterschiedliche Aufgaben relativ schnell sind. Die Hauptbeschränkung von CycleGANs besteht darin, dass sie in Bezug auf Bildqualität und Geschwindigkeit nicht unbedingt stabil sind.