Dass beim automatischen Übersetzen von Texten, wie zum Beispiel dem “Google Translator”, neuronale Netze zum Einsatz kommen, ist schon eine geläufige Tatsache. Was soll man sich aber unter dem Übersetzen von Bildern vorstellen?
Ein Artikel von Phillip Isola, Jun-Yan Zhu, Tinghui Zhou und Alexei A. Efros (https://arxiv.org/abs/1611.07004) hat im Jahr 2016 eine interessante Anwendung neuronaler Netze vorgestellt, mit der Bilder in andere übersetzt werden können. Sehen wir uns an was hinter dieser abstrakt klingenden Aussage konkret steckt, und wie sie gemeint ist.
So eine Bildübersetzung kann zum Beispiel dafür eingesetzt werden, ein Foto einer Szene am Tag zeigt, in die Nacht-Version zu überführen:
(Fotos: aus dem Artikel https://arxiv.org/abs/1611.07004)
Oder aber eine abstrakte Strichzeichnung einer Handtasche in des Foto einer Handtasche verwandeln, die nie existiert hat, und schon gar nicht fotografiert wurde:
Das neuronale Netz hinter der “Handtaschentransformatieion” wurde dabei mit 137.000 Handtaschenbildern trainiert, die von Amazon heruntergeladen wurden. Das zeigt auch, welche großen Mengen an Bildmaterial für das Trainieren selbst von einfachen Bildverarbeitungs-Modellen nötig sind. Die für das Training benötigten Strichzeichnungen wurden automatisiert aus den Fotos erzeugt.
Christopher Hesse hat unter https://affinelayer.com/pixsrv/ eine sehr nette Webanwendung erstellt, mit der Sie selbst mit einigen solcher Modelle spielen können, indem Sie aus eigenen Strichzeichnungen zum Beispiel Katzenfotos generieren lassen. Auf seiner Website finden sich auch Informationen über die Implementierung mit Googles Framework Tensorflow (www.tensorflow.org) und Verweise auf den Quellcode.
