Forschungspreis: 4D-Rekonstruktion echter Szenen

Um reale Szenen in virtuelle dreidimensionale Welten zu übertragen, wird heute hoher Aufwand betrieben. Der Saarbrücker Informatik-Professor Christian Theobalt will dies vereinfachen und stark beschleunigen. Mit Hilfe von nur einer Kamera sollen sich Computer künftig selbstständig Rechenverfahren erarbeiten und diese optimieren, um damit Szenen realitätsgetreu räumlich und zeitlich zu erfassen.

Dafür erhielt Theobalt jetzt den mit zwei Mio Euro dotierten „ERC Consolidator Grant“ des EU-Forschungsrates. Von seiner Forschung werden nicht nur autonome Systeme und Roboter sowie Anwendungen der virtuellen und erweiterten Realität profitieren, sondern auch Medizin und Ingenieurwissenschaften.

Als amerikanische Forscher ein 3D-Druck-Porträt des früheren US-Präsidenten Barack Obama anfertigen wollten, mussten sie eine Vorrichtung bauen, die aus 50 LED-Lichtern und 14 Spezial-Kameras bestand. Zusätzlich montierten sie zehn verschiedene Blitzlichter und entwickelten für die Produktion Lichtscanner, um das Gesicht Obamas in ein digitales Ebenbild zu überführen. Christian Theobalt, Leiter Forschungsgruppe Graphics, Vision & Video am Max-Planck-Institut für Informatik in Saarbrücken und Informatik-Professor an der Universität des Saarlandes, will das in Zukunft mit nur einer Kamera schaffen. „Niemand will für solche 3D-Anwendungen ein Multi-Kamera-System mit sich herumtragen, das ist illusorisch“, erklärt er. In der Forschung habe man in den vergangenen Jahren erhebliche Fortschritte gemacht. „Jedoch bezogen sich diese vor allem auf sehr spezifische Anwendungen, etwa um Gesichtsausdrücke oder Handbewegungen zu erfassen. Dabei wurden auch meist optimale Bedingungen und spezielle Kamerasysteme vorausgesetzt“, führt Theobalt weiter aus. 

Um komplexe Szenen mit viel Bewegung aus der realen Welt dreidimensional zu erfassen und auch die zeitliche Komponente als so genannte vierte Dimension hinzuzufügen, reichten die aktuellen Verfahren nicht aus. „Am Beispiel von Alltagsszenen lässt sich das gut beschreiben: In vielen realen Umgebungen bewegen sich Menschen auf komplexe Art und Weise, verdecken sich, interagieren in oft feinster Weise mit vielen Objekten in der Szene. Ähnlich im Straßenverkehr: Auf einer Straßenkreuzung passieren im Sekundentakt Fahrzeuge die Fahrbahn, sie verdecken sich gegenseitig und biegen unvermittelt in verschiedene Richtungen ab. Autonome Roboter, die mit Menschen effizient und sicher kooperieren sollen, sowie autonome Fahrzeuge müssen mit solchen Situation umgehen und sie im Detail rekonstruieren können. 4D Rekonstruktion ist also die Grundlage für deren Wahrnehmungsfähigkeiten, das Problem ist aber sehr komplex“, erläutert Theobalt.

Modellbasierte Methoden und maschinelles Lernen

Um dies dennoch zu ermöglichen, will der Saarbrücker Informatiker zwei Spezialfelder auf methodisch neue Art und Weise miteinander verbinden. Das sind zum einen so genannte modellbasierte Methoden, die in der Vergangenheit bei spezifischen Szenen, beispielsweise beim Erfassen von Gesichtern, zum Einsatz kamen. Zum anderen setzt Theobalt auf das maschinelle Lernen und dabei insbesondere auf das so genannte Deep Learning. Das auf neuronalen Netzen beruhende Lernverfahren sorgt schon seit einiger Zeit in der Wissenschaft für Furore. Allerdings müssen diese neuronalen Netze auch trainiert werden und dazu in der Trainingsphase überwacht werden. „Das setzt wiederum eine Menge von Trainingsdaten voraus, für welche die korrekte Lösung, also die korrekte 4D Rekonstruktion bekannt ist. Bei komplexen Alltagsszenen ist das jedoch nicht machbar“, so Theobalt.

Daher will er mit seiner Gruppe die Grundlagen erarbeiten, damit in Zukunft Computer selbstständig aus vielen Bilddaten das Modell wählen, auf dem das digitale Abbild in punkto Geometrie, Bewegung sowie Material- und Beleuchtungseigenschaften der sichtbaren Oberfläche beruht. Sie sollen dann auch die Methode bestimmen, mit der sie die Szene rekonstruieren, und diese stets auf Grundlage neuer gefilmten Daten automatisch verbessern. Auf diese Weise müsste man künftig Roboter nicht mehr programmieren, sondern man könnte ihnen die von ihnen zu bewerkstelligenden Vorgänge einfach vorführen. Sie würden beobachten und dadurch lernen. „Jede Anwendung, die auf der Analyse realer Szenen beruht, wird von unseren Ergebnissen profitieren“, so Theobalt, „also nicht nur autonome Systeme und die erweiterte, virtuelle Realität, sondern auch Anwendungen im Sport, in der Biomechanik, in der Medizin, der Mensch-Maschine-Interaktion und in den Ingenieurwissenschaften." 

Christian Theobalt wird damit nach seinem ERC Starting Grant im Jahr 2013 bereits zum zweiten Mal vom Europäischen Forschungsrat, kurz ERC, ausgezeichnet. Mit den Fördermitteln der Europäischen Union in Höhe von zwei Millionen Euro wird der Forscher am Max-Planck-Institut für Informatik Stellen für Doktoranden und promovierte Wissenschaftler schaffen. Das ist das Ziel des Europäischen Forschungsrates, der mit seinen Forschungspreisen herausragende Wissenschaftler allein auf Basis der wissenschaftlichen Exzellenz des Antragstellers und der Vorreiterrolle des Forschungsantrags fördert. Sie werden beim Ausbau ihrer Forschungsgruppen unterstützt und können eigene Forschungsvorhaben vorantreiben. 

Bild: Im Videolabor. Quelle: UdS / ODietze

0
RSS Feed

Hat Ihnen der Artikel gefallen?
Abonnieren Sie doch unseren Newsletter und verpassen Sie keinen Artikel mehr.

Mit einem * gekennzeichnete Felder sind Pflichtfelder!

Neuen Kommentar schreiben

Entdecken Sie die Printmagazine des WIN-Verlags