AI-United » Allgemein » FaceStyleGAN: das Neuronennetz von Snapchat zur Erzeugung von Porträts

FaceStyleGAN: das Neuronennetz von Snapchat zur Erzeugung von Porträts

FaceStyleGAN: das Neuronennetz von Snapchat zur Erzeugung von Porträts

Die Forscher aus Snap Inc. und der Tschechischen Technischen Universität Prag haben das Neuronennetz gelehrt, das die Porträts aus dem Bild des Benutzers generiert, basierend auf dem Stil, den der Benutzer auswählt. Der Nutzer wählt das Bild des Porträts aus, auf das sich das Neuronennetz bei der Übertragung des Stils (style transfer) stützt. Das Netzwerk generiert das Porträt des Benutzers im Echtzeitmodus. Die Ergebnisse von FaceStyleGan sind vergleichbar mit den Ergebnissen von modernsten Methoden zur Erzeugung von Porträts.

Die Architektur des Neuronennetzes

Die Idee liegt darin, dass das neue Modell des bedingten generativen Neuronennetzes dem bestehenden Algorithmus zur Erzeugung von Porträts (FaceStyle) hinzugefügt wird. Diese Modifizierung bewahrt und in manchen Fällen steigert die Qualität der erzeugten  Porträts. Die Forscher sagen, dass ihre Methode eine höhere generalisierende Fähigkeit als FaceStyle aufweist. Das steigert die Stabilität des Modells gegenüber den neuen Eingangsbildern. 

Das erzeugende gegnerische Netzwerk besteht aus Generator und Diskriminator. Als Generator modifizierten die Wissenschaftler das Modell von Stanford (Perceptual Loss). Als Diskriminator nutzten sie die Architektur PatchGAN.

Die Architektur des modifizierten Generators

Der Vergleich der Arbeit von FaceStyleGAN mit hochmodernen Methoden

Im Rahmen der Experimente verglichen die Forscher das Neuronennetz mit den aktuellen hochmodernen Methoden zur Stilisierung der Bilder: FaceStyle, Liao et al., starGAN, Selim et al., Gatys et al., pix2pixHD und pix2pix.

194 Probanden wurden gefragt, wie gut die von FaceStyle und FaceStyleGAN generierten Porträts den Stil des Eingangsporträts übertragen. Die Punktzahl lag zwischen 1 und 10, wobei 1 sehr schlecht und 10 sehr gut war. Die Forscher verglichen die Ergebnisse mit einem statistischen Test. Dieser Test zeigte, dass beide Algorithmen ähnliche Ergebnisse erreichten (die durchschnittliche Einschätzung für beide Methoden betrug 6,8).

Quelle

AI-United-Redaktion

Kommentar hinzufügen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.