AI-United » Allgemein » Das Neuronennetz steigert die Bildauflösung um das Achtfache

Das Neuronennetz steigert die Bildauflösung um das Achtfache

Forscher aus Korea haben ein Neuronennetz trainiert, das die Auflösung von Gesichtsbildern um das Achtfache steigert. Diese Methode übertrifft die fortgeschrittenen Lösungen sowohl in quantitativen als auch in qualitativen Metriken. Er bewältigt die Aufgabe, das Gesicht eines Menschen (auf Fotos mit niedriger Auflösung) zu rekonstruieren.

Die Erhöhung der Gesichtsauflösung (Face Super-Resolution) ist ein Teilgebiet der Aufgabe, die Bildauflösung zu steigern. Diese Aufgabe konzentriert sich auf die Gesichtswiederherstellung. Das Hauptproblem liegt darin, das Gesicht eines Menschen verzerrungsfrei wiederherzustellen. Die Methode, die von den Forschern vorgeschlagen wurde, liefert realistische Resultate und steigert die Auflösung des Bildes um das Achtfache. 

Das Modell basiert auf der Methode des progressiven Lernens. Das lässt das Modell stabil trainieren und fragmentieren. Jeder Teil erhält am Input das Ergebnis des vorangehenden Neuronennetzes und liefert am Output die genauere Gesichtsrekonstruktion. Das Bild wird allmählich wiederhergestellt. Die Forscher haben eine neue Fehlerfunktion vorgeschlagen, um die Präzision der Gesichtswiederherstellung einzuschätzen. 

Die Verlustfunktion wird in jeder Trainingsphase eingesetzt. Sie hilft, die Verzerrung der Gesichtszüge zu minimieren. Darüberhinaus veröffentlichten die Forscher die komprimierte Version face alignment network (FAN). Dieses Neuronennetz liefert Wärmebilder von Gesichtern und markiert die Schlüsselpunkte des Gesichts. Das Hinzufügen von FAN zu der vorgeschlagenen Methode lässt  zuverlässigere Bilder generieren.

Die Architektur des Modells

Die Wissenschaftler verwenden drei Ansätze, um glaubwürdige Gesichtsbilder zu generieren, die die Gesichtszüge widerspiegeln. Die Ansätze umfassen progressives Lernen, die Verlustfunktion (zum Wiederherstellen der Gesichtszüge) und ein modifiziertes Netzwerk FAN.

Die Architektur besteht aus zwei Hauptkomponenten: einem Generator und einem Diskriminator. Damit der Generator und der Diskriminator stabil lernen können, sind beide Teile in Schritte unterteilt. Der Generator besteht aus 3 residual Blöcken (mit Batchnormalisierung), transponierten Faltungsschichten und ReLU. Der Diskriminator hat eine ähnliche Architektur: die Faltungsschichten, average pooling Schichten und Leaky ReLU.

Die Visualisierung der Komponenten des Neuronennetzes 

Die Bewertung der Arbeit des Neuronennetzes

Die Forscher verglichen die Modellergebnisse mit fortgeschrittenen Lösungen. Unten sieht man, dass das vorgeschlagene Neuronennetz für fast alle Metriken präzisere Resultate liefert.

Der Vergleich der konkurrierenden Architekturen anhand quantitativer Metriken 
Die ausgewählten Beispiele für Ergebnisse, die von den Modellen generiert wurden. Target bedeutet das Zielbild
Quelle
AI-United-Redaktion

Kommentar hinzufügen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.