AI-United » Allgemein » PIFu: das Neuronennetz modelliert eine menschliche Figur in 3D

PIFu: das Neuronennetz modelliert eine menschliche Figur in 3D

PIFu ist ein End-to-End Algorithmus, der ein 3D-Modell eines gekleideten Menschen aus einem Foto wiederherstellt. Diese Methode übertrifft die vorhandenen Lösungen zur Generierung eines 3D-Modells eines Menschen aus einem Bild.

Die Methode stellt ein hochauflösendes 3D-Modell eines Menschen wieder her. Der Ansatz kann Menschen in verschiedenen Arten von Kleidung wiederherstellen: die faltige Kleidung, die komplexe Frisur oder Schuhe mit hohem Absatz. Die Form und die Textur werden zusammen mit den Körperteilen (z. B. dem Rücken) komplett wiederhergestellt. PIFu generiert menschliche Modelle aus einigen Fotos.

Das Neuronennetz ordnet die Pixel aus dem 2D-Bild lokal dem globalen Kontext des Objekts in 3D zu. Im Vergleich zu vorhandenen Methoden liefert PIFu ein hochauflösendes menschliches Modell. Frühere Ansätze wurden entwickelt, um ein Modell entweder aus einem einzelnen Bild oder aus einigen Bildern zu generieren. PIFu löst beide Aufgaben besser als fortgeschrittene Methoden.

Wie funktioniert es?

Das Modell erhält am Input ein oder mehrere Bilder. Das Ziel liegt darin, die 3D-Geometrie und die Textur des gekleideten Menschen wiederherzustellen und die Bilddetails zu speichern. Der vorgeschlagene Algorithmus besteht aus dem vollständig faltungsorientierten Bildkodierer und einer stetigen Funktion, die die Bildeinbettung in die 3D-Oberfläche umsetzt. Diese Funktion basiert auf MultiLayer Perceptronen. Mit der PIFu-Kontinuität kann man detaillierte Geometrie mit wahlloser Topologie generieren und man benötigt einen minimalen Speicherverbrauch.

Basierend auf dem Eingangsbild sagt das Modell den kontinuierlichen internen / externen Wahrscheinlichkeitsraum eines gekleideten Menschen vorher. PIFu verteilt RGB-Werte auf die Daten des 3D-Punkts der Objektgeometrie, um die Textur wiederherzustellen.

Die Pipeline der Arbeit des Modells

Das Testen des Algorithmus

Das Modell und bisherige Ansätze wurden an einigen Datensätzen bewertet: RenderPeople, BUFF und DeepFashion. Als quantitative Metrik zur Einschätzung wurde die durchschnittliche euklidische Distanz von einem Punkt zu einer Oberfläche (P2S) (in Zentimetern) (von der Spitze des generierten Modells zum realen Modell) ausgewählt. Die Wissenschaftler verwendeten auch Chamfer distance zwischen rekonstruierten und realen Oberflächen und die normale Fehlerwiedergabe. Die letzte Metrik misst die Qualität von Vorhersagen des Modells.

Quantitative Metriken der Qualität von Modellen zum Generieren des menschlichen Modells aus einigen Bildern
Die ausgewählten Beispiele für generierte 3D-Modelle aus einem einzelnen Bild
Quelle
AI-United-Redaktion

Kommentar hinzufügen

Your email address will not be published. Required fields are marked *

300-101   400-101   300-320   300-070   300-206   200-310   300-135   300-208   810-403   400-050   640-916   642-997   300-209   400-201   200-355   352-001   642-999   350-080   MB2-712   400-051   C2150-606   1Z0-434   1Z0-146   C2090-919   C9560-655   642-64   100-101   CQE   CSSLP   200-125   210-060   210-065   210-260   220-801   220-802   220-901   220-902   2V0-620   2V0-621   2V0-621D   300-075   300-115   AWS-SYSOPS   640-692   640-911   1Z0-144   1z0-434   1Z0-803   1Z0-804   000-089   000-105   70-246   70-270   70-346   70-347   70-410