3D-Bewegungsskulpturen aus 2D-Videos

Dass manche Sportler so gut sind, mag auch daran liegen, dass sie unzählige Stunden vor den Videos der Konkurrenz zubringen. Dabei ist das Potenzial der Bewegungsanalyse noch längst nicht ausgereizt.

Alle Lebewesen müssen Bewegungen verstehen können, sei es beim Werfen eines Balls oder in der Bewegungsanalyse von Räuber und Beute. Aber simple Videos bieten noch lange kein vollständiges Bild. Das liegt an der Zweidimensionalität von Videos und Fotos, die für Bewegungsstudien gedacht sind. Denn die zugrunde liegende 3D-Struktur von Personen oder Gegenständen im Bild zeigen sie nicht. Ohne vollständige Geometrie lassen sich jedoch die kleinen und fast unmerklichen Bewegungen kaum erfassen, die es braucht, sich schneller zu bewegen oder die sportliche Präzision zu perfektionieren.

Kürzlich haben Wissenschaftler vom Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT daher eine Lösung vorgestellt, mit der sie das Verständnis komplexer Bewegungen verbessern helfen wollen. Das System setzt auf einen Algorithmus, der aus 2D-Videos 3D-gedruckte „Bewegungsskulpturen“ erstehen lässt. Diese zeigen die Bewegung des menschlichen Körpers im Raum. Über diese ästhetisch fesselnde Visualisierung von Form und Zeit hinaus wollen die Forscher ihre Lösung namens „MoSculp“ für weit detailliertere Bewegungsstudien im Leistungssport, im Tanz oder überhaupt in der Optimierung körperlicher Fähigkeiten angewandt wissen.

Habe man etwa ein Video von Roger Federers Tennis-Aufschlag und eines von den entsprechenden eigenen Versuchen, so PhD Student Xiuming Zhang, Hauptautor eines neuen Papers über das System, so könne man Bewegungsskulpturen beider Szenarien bauen, um zu vergleichen und den Verbesserungsbedarf genauer zu verorten.

Dank der 3D-Natur der Bewegungsskulpturen können Anwender am Rechner um diese Strukturen herum navigieren und sie von unterschiedlichen Standorten aus betrachten, was all jene bewegungsbezogenen Informationen enthüllt, die vom ursprünglichen Standort aus nicht wahrzunehmen gewesen wären.

Zhang verfasste das Paper gemeinsam mit MIT-Professoren William Freeman und Stefanie Mueller, PhD student Jiajun Wu, den Google-Wissenschaftlern Qiurui He und Tali Dekel, sowie Andrew Owens, UC Berkeley postdoc und früher CSAIL PhD.

Wie es funktioniert

Künstler und Wissenschaftler haben lange um bessere Einblicke in die Bewegung gerungen, dabei eingeschränkt von den Fähigkeiten ihrer Kamera-Objektive. Frühere Arbeiten haben sich meist so genannter stroboskopischer Fototechniken bedient, was dann so aussieht wie ein zusammengebasteltes Daumenkino. Aber weil diese Fotos nur Schnappschüsse von Bewegungen zeigen, würde man beispielsweise von der Ausholbewegung beim Golfspiel nicht sehr viel sehen. Mehr noch: diese Fotos erfordern eine aufwendige Vorbereitung des Shootings, etwa einen klaren Hintergrund, eine besondere Beleuchtung oder spezielle Tiefenkameras. Dagegen basiert MoSculp allein auf einer Videosequenz.

Im eingespielten Video erkennt das System automatisch wichtige 2D-Punkte am Körper der Person wie Hüfte, Knie und Knöchel einer Ballerina in einer schwierigen Figurenfolge. Dann nimmt es die besten möglichen Posen aus diesen Punkten, um sie in ein 3D-Skelett zu verwandeln.

Nach dem Zusammenfügen des Skeletts erzeugt die Lösung eine Bewegungsskulptur, die sich in 3D drucken lässt und einen kontinuierlichen, ruckelfreien Bewegungspfad zeigt, wie er von der Person ausgeführt wurde. Anwender können ihre Figuren anpassen, etwa um sich auf bestimmte Körperteile zu konzentrieren, unterschiedliche Materialien für die Teile zuzuweisen oder sogar die Beleuchtung auf ihre eigenen Bedürfnisse hin maßzuschneidern.

In Tests konstatierten mehr als drei Viertel der Teilnehmer eine detailliertere Visualisierung für die Analyse von Bewegungen, die so nicht mit fotografischen Standardmitteln möglich gewesen wäre.

Die Lösung funktioniert mit größeren Bewegungen am besten, wie dem Ballwurf oder einem raumgreifenden Schritt in einer Tanzfigurenfolge. Aber auch verdeckte Bewegungen bei weiter Kleidung oder wenn Personen Gegenstände in der Hand tragen, lassen sich nachbilden. Derzeit lässt das System nur Einpersonenszenarien zu, aber die Wissenschaftler hoffen es bald auf mehrere Personen erweitern zu können, was dann wiederum Anwendungsgebiete wie soziale Störungen, interpersonale Interaktionen und Teamdynamiken erschließen könnte.

Das Team wird sein Paper im Oktober an der User Interface Software and Technology (UIST) -Konferenz in Berlin präsentieren.