AI-United » Allgemein » PIFu: das Neuronennetz modelliert eine menschliche Figur in 3D

PIFu: das Neuronennetz modelliert eine menschliche Figur in 3D

PIFu ist ein End-to-End Algorithmus, der ein 3D-Modell eines gekleideten Menschen aus einem Foto wiederherstellt. Diese Methode übertrifft die vorhandenen Lösungen zur Generierung eines 3D-Modells eines Menschen aus einem Bild.

Die Methode stellt ein hochauflösendes 3D-Modell eines Menschen wieder her. Der Ansatz kann Menschen in verschiedenen Arten von Kleidung wiederherstellen: die faltige Kleidung, die komplexe Frisur oder Schuhe mit hohem Absatz. Die Form und die Textur werden zusammen mit den Körperteilen (z. B. dem Rücken) komplett wiederhergestellt. PIFu generiert menschliche Modelle aus einigen Fotos.

Das Neuronennetz ordnet die Pixel aus dem 2D-Bild lokal dem globalen Kontext des Objekts in 3D zu. Im Vergleich zu vorhandenen Methoden liefert PIFu ein hochauflösendes menschliches Modell. Frühere Ansätze wurden entwickelt, um ein Modell entweder aus einem einzelnen Bild oder aus einigen Bildern zu generieren. PIFu löst beide Aufgaben besser als fortgeschrittene Methoden.

Wie funktioniert es?

Das Modell erhält am Input ein oder mehrere Bilder. Das Ziel liegt darin, die 3D-Geometrie und die Textur des gekleideten Menschen wiederherzustellen und die Bilddetails zu speichern. Der vorgeschlagene Algorithmus besteht aus dem vollständig faltungsorientierten Bildkodierer und einer stetigen Funktion, die die Bildeinbettung in die 3D-Oberfläche umsetzt. Diese Funktion basiert auf MultiLayer Perceptronen. Mit der PIFu-Kontinuität kann man detaillierte Geometrie mit wahlloser Topologie generieren und man benötigt einen minimalen Speicherverbrauch.

Basierend auf dem Eingangsbild sagt das Modell den kontinuierlichen internen / externen Wahrscheinlichkeitsraum eines gekleideten Menschen vorher. PIFu verteilt RGB-Werte auf die Daten des 3D-Punkts der Objektgeometrie, um die Textur wiederherzustellen.

Die Pipeline der Arbeit des Modells

Das Testen des Algorithmus

Das Modell und bisherige Ansätze wurden an einigen Datensätzen bewertet: RenderPeople, BUFF und DeepFashion. Als quantitative Metrik zur Einschätzung wurde die durchschnittliche euklidische Distanz von einem Punkt zu einer Oberfläche (P2S) (in Zentimetern) (von der Spitze des generierten Modells zum realen Modell) ausgewählt. Die Wissenschaftler verwendeten auch Chamfer distance zwischen rekonstruierten und realen Oberflächen und die normale Fehlerwiedergabe. Die letzte Metrik misst die Qualität von Vorhersagen des Modells.

Quantitative Metriken der Qualität von Modellen zum Generieren des menschlichen Modells aus einigen Bildern
Die ausgewählten Beispiele für generierte 3D-Modelle aus einem einzelnen Bild
Quelle
AI-United-Redaktion

Kommentar hinzufügen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.