AI-United » Allgemein » Open source Neuronennetz Monkey-Net animiert beliebige Objekte unüberwacht

Open source Neuronennetz Monkey-Net animiert beliebige Objekte unüberwacht

Italienische Wissenschaftler haben eine Animationsmethode vorgeschlagen, bei der Bewegungen aus einem Video auf ein Zielbild übertragen werden. 

Im Unterschied zu bisherigen Motion transfer Methoden ist der Ansatz Monkey-Net für bestimmte Kategorien nicht geeignet. Die Methode bewältigt effektiv die Aufgabe, beliebige Objekte zu animieren. 

Das Netzwerk Monkey-Net lernt unüberwacht. Um eine Animation zu erstellen, benötigt es nur das Eingangsvideo und das Bild, auf das die Bewegungen übertragen werden. 

Das Kernmerkmal dieser Entwicklung liegt in der Anwendung der verdünnten Schlüsselpunkte, die bewegungsorientiert sind. Dies ist erforderlich, um die Information über Bewegung zu modellieren und zu übermitteln. Nur die Punkte, die für die Bewegung zuständig sind, werden auf das Zielbild übertragen.

Die Architektur des Neuronennetzes besteht aus drei Modulen: 

  • Der Detektor, der unüberwacht lernt, extrahiert die Schlüsselpunkte eines Objekts; 
  • Das Netzwerk zur Vorhersage Dense Motion zum Schaffen von Wärmebildern und zum Kodieren der Information über die Bewegung; 
  • Das Netzwerk der Bewegungsübertragung (Motion Transfer Generator) mit der Architektur Kodierer-Dekodierer, das die Wärmebilder der Bewegung und ein Eingangsbild verwendet, um Ausgangsbilder zu synthetisieren. 
Das Schema der vorgeschlagenen Methode

Die Ergebnisse

Die Arbeit der Methode wurde an den Datensätzen Tai-Chi, the BAIR robot pushing, UvA-NEMO Smile und MGIF getestet. Die Resultate zeigen, dass man mit der vorgeschlagenen Animationsmethode eine hochwertige Animation für verschiedene Objekte erhalten kann.

Sie können weitere Informationen auf der Website des Projekts finden. Open Source ist auf GitHub verfügbar.

Quelle
AI-United-Redaktion

Kommentar hinzufügen

Your email address will not be published. Required fields are marked *

300-101   400-101   300-320   300-070   300-206   200-310   300-135   300-208   810-403   400-050   640-916   642-997   300-209   400-201   200-355   352-001   642-999   350-080   MB2-712   400-051   C2150-606   1Z0-434   1Z0-146   C2090-919   C9560-655   642-64   100-101   CQE   CSSLP   200-125   210-060   210-065   210-260   220-801   220-802   220-901   220-902   2V0-620   2V0-621   2V0-621D   300-075   300-115   AWS-SYSOPS   640-692   640-911   1Z0-144   1z0-434   1Z0-803   1Z0-804   000-089   000-105   70-246   70-270   70-346   70-347   70-410