03.08.2016 – Kategorie: IT, Kommunikation

Objekte in Videos interaktiv machen

idv-vibration-modes-mit-csail_2

Objekte in Videos erreichen und berühren mit „Interactive Dynamic Video“: Das Verfahren des Computer Science and Artificial Intelligence Lab am Massachusetts Institute of Technology MIT könnte Augmented Reality verbessern und die Abhängigkeit von CGI-Greenscreens reduzieren.

Objekte in Videos erreichen und berühren mit „Interactive Dynamic Video“: Das Verfahren des Computer Science and Artificial Intelligence Lab am Massachusetts Institute of Technology MIT könnte Augmented Reality verbessern und die Abhängigkeit von CGI-Greenscreens reduzieren.

Wir lernen viel, indem wir Objekte manipulieren: herumschieben, stoßen, anstupsen, um dann zu sehen, wie sie reagieren. Offensichtlich ist das mit Videos nicht möglich. Forscher am Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT haben ein Bildbearbeitungsverfahren namens Interactive Dynamic Video (IDV) entwickelt, mit dem der Betrachter nach den Objekten in Videos greifen und sie virtuell berühren kann. IDV nutzt herkömmliche Kameras und Algorithmen und betrachtet die winzigen, fast unsichtbaren Vibrationen eines Objekts, um Video-Simulationen zu erzeugen, mit denen die Anwender interagieren können.

„Dieses Verfahren lässt uns das physische Verhalten von Objekten erfassen, was uns eine Möglichkeit eröffnet, mit ihnen im virtuellen Raum zu spielen“, sagt CSAIL PhD-Student Abe Davis, der die Ergebnisse der Arbeit noch in diesem Monat für die finale Dissertation veröffentlichen wird. „Indem wir Videos interaktiv machen, können wir vorhersagen, wie Objekte auf unbekannte Kräfte antworten und neue Wege erkunden, sich mit Videos zu beschäftigen.“

Davis sieht viele mögliche Anwendungsfälle für IDV, von neuen visuellen Effekten, die von Filmemachern genutzt werden, bis zu Architekten, die die strukturelle Stabilität ihrer Werke bestimmen wollen. Als Beispiel führt er die Pokemon Go-App an. Hier könne man virtuelle Charaktere in die reale Welt verpflanzen. IDV gehe noch einen Schritt weiter, indem es virtuelle Objekte mit der Fähigkeit versieht, mit ihrer Umgebung in angepasster, realistischer Weise zu interagieren, etwa vom Blattwerk eines Strauchs abzuprallen.

 

Wie es geht

Die verbreitetste Methode, Bewegungen eines Objekts zu simulieren führt über ein 3D-Modell. Doch 3D-Modellierung ist teuer und kann sich für viele Objekte als nicht möglich herausstellen. Während es Algorithmen gibt, Bewegungen in Videos zu tracken und sie zu vergrößern, gibt es keine entsprechenden, die Objekte in unbekannten Umgebungen verlässlich simulieren können. Die Arbeit von Davis zeigt, dass selbst fünf Sekunden eines Videos ausreichend Informationen für realistische Simulationen bereitstellen können.

Um die Objekte zu simulieren, hat das Team Video-Clips analysiert, um Vibrationsmodi bei unterschiedlichen Frequenzen zu finden, wobei jeder dieser Modi eine bestimmte Bewegungsweise eines Objekts repräsentiert. Durch die Identifikation der Gestalt dieser Modi können die Wissenschaftler mit der Vorhersage beginnen, wie sich diese Objekte in neuen Situationen bewegen.

„Die Computergrafik ermöglicht uns, 3D-Modelle für interaktive Simulationen zu verwenden, aber die Verfahren können sehr schwierig sein“, sagt Doug James, Professor of Computer Science an der Stanford University, der nicht in die Forschungsarbeit involviert war. Davis und dessen Kollegen hätten eine einfache und clevere Möglichkeit gefunden, ein brauchbares dynamisches Modell aus sehr kleinen Vibrationen im Video herzuleiten, und gezeigt, wie es sich einsetzen lasse, um ein Bild zu animieren.

Davis nutzte IDV in Videos mit einer Vielfalt an Objekten, wie einer Brücke einem Klettergerüst oder einer Ukulele. Mit einigen Mausklicks zeigte er, dass das Bild stoßen und ziehen kann, es beugen und in unterschiedliche Richtungen bewegen. Er konnte sogar seine eigene Hand wie telekinetisch die Blätter eines Strauchs steuern lassen.

„Wenn man modellieren will, wie sich ein Objekt verhält und auf unterschiedliche Kräfte reagiert, zeigen wir, dass man die Reaktionen des Objekts auf vorhandene Kräfte beobachten und davon ausgehen kann, dass sie in ähnlicher Weise auf neu auftauchende Kräfte reagieren“, erklärt Davis, der auch herausgefunden hat, dass das Verfahren mit einigen vorhandenen Youtube-Videos funktioniert.

Mögliche Anwendungen

Die Forscher versprechen sich von dem Verfahren viele mögliche Anwendungen unter anderem im Engineering und der Unterhaltungsbranche, gilt es etwa, CGI-Charaktere realistisch mit ihrer wirklichen Umgebung interagieren zu lassen. Das erfordert den Einsatz von Greenscreens und detaillierte Modelle der virtuellen Objekte, die mit der Live-Performance synchronisiert werden können. Ingenieure könnten die Lösung nutzen, um das Verhalten eines alten Bauwerks bei Sturm oder bei einem Erdbeben zu simulieren.

Davis resümiert: „Wenn Sie sich VR-Unternehmen wie Oculus anschauen, dann simulieren die virtuelle Objekte in realen Räumen. Diese Arbeit stellt das auf den Kopf und erlaubt uns, zu sehen, wie weit wir mit dem Erfassen und Manipulieren von echten Objekten im virtuellen Raum gehen können.“

Bild: Um die Objekte zu simulieren, hat das Team Video-Clips analysiert, um Vibrationsmodi bei unterschiedlichen Frequenzen zu finden, wobei jeder dieser Modi eine bestimmte Bewegungsweise eines Objekts repräsentiert. Durch die Identifikation der Gestalt dieser Modi können die Wissenschaftler mit der Vorhersage beginnen, wie sich diese Objekte in neuen Situationen bewegen. Bildquelle: Abe Davis/MIT CSAIL


Teilen Sie die Meldung „Objekte in Videos interaktiv machen“ mit Ihren Kontakten:


Scroll to Top