Mit neuronalem Netz und Deep Learning zur Holografie in Echtzeit

Share on facebook
Share on twitter
Share on linkedin
Share on xing
Share on whatsapp
Share on email
Share on print

Mit neuronalem Netz und Deep Learning zur Holografie in Echtzeit

Share on facebook
Share on twitter
Share on linkedin
Share on xing
Share on whatsapp
Share on email
Share on print
Holografie in Echtzeit könnte einige derzeit gefragte Anwendungen optimieren helfen, von der virtuellen Realität bis zum 3D-Druck. Forschende am MIT haben dafür ein neues Verfahren namens Tensor-Holografie entwickelt, das auf einem neuronalen Netz und Deep Learning basiert.
Holografie in Echtzeit

Quelle: MIT News, mit Bildern von iStockphoto

  • VR-Headsets haben den Fernseher oder den Computermonitor bislang nicht ersetzen können.
  • Ein Grund: VR kann kann Schwindel und Übelkeit auslösen.
  • Für eine bessere 3D-Darstellung könnte ausgerechnet ein schon vor vielen Jahren entwickeltes Verfahren sorgen: die Holografie.
  • Eine neue Methode namens Tensor-Holografie könnte 3D-Hologramme für Virtual Reality, 3D-Druck, medizinische Bildgebung breiter nutzbar machen – und sie kann sogar auf einem Smartphone laufen.

Virtual-Reality-Headsets haben den Fernseher oder den Computerbildschirm noch nicht als bevorzugtes Gerät für das Betrachten von Videos abgelöst. Ein Grund dafür: VR kann die Nutzer krank machen. Übelkeit und Überanstrengung der Augen können daraus resultieren, dass VR die Illusion einer 3D-Darstellung erzeugt, obwohl der Benutzer in Wirklichkeit auf ein 2D-Display mit festem Abstand blickt. Die Lösung für eine bessere 3D-Darstellung könnte in einer Technologie liegen, die für die digitale Welt neu aufgelegt wurde: der Holografie.

Hologramme liefern eine außergewöhnliche Darstellung der 3D-Welt um uns herum. Sie bieten eine wechselnde Perspektive, die von der Position des Betrachters abhängt, und sie erlauben dem Auge, die Schärfentiefe anzupassen, um sich abwechselnd auf Vorder- und Hintergrund zu konzentrieren.

Forscher versuchen schon seit langem, computergenerierte Hologramme zu erstellen. Doch der Prozess erforderte bisher eine enorme Rechenleistung für die Physiksimulationen, was sich als zeitaufwändig erwies und zu unbefriedigenden Ergebnissen führen konnte. Jetzt haben Forschende am MIT ein Verfahren entwickelt, mit dem sich Hologramme fast augenblicklich erzeugen lassen. Die auf Deep Learning basierende Methode soll so effizient sein, dass sie in einem Wimpernschlag auf einem Laptop laufen könne, so die Entwickler. „Bisher dachte man, dass es mit bestehender Hardware für Verbraucher unmöglich sei, 3D-Holografie-Berechnungen in Echtzeit durchzuführen“, sagt Liang Shi, Hauptautor der Studie und Doktorand am MIT Department of Electrical Engineering and Computer Science (EECS). „Es wird oft gesagt, dass es in zehn Jahren kommerziell verfügbare holografische Displays geben wird, aber diese Aussage hört man seit Jahrzehnten.“

Shi glaubt, der neue Ansatz, den das Team „Tensor-Holografie“ nennt, werde dieses schwer fassbare 10-Jahres-Ziel endlich in Reichweite rücken. Der Fortschritt könnte für die Holografie auch Bereiche wie VR und 3D-Druck erschließen. Shi arbeitete an der in der Zeitschrift Nature publizierten Studie mit seinem Berater und Co-Autor Wojciech Matusik. Weitere Co-Autoren sind Beichen Li vom EECS und dem Computer Science and Artificial Intelligence Laboratory am MIT sowie die ehemaligen MIT-Forschenden Changil Kim (jetzt bei Facebook) und Petr Kellnhofer (jetzt an der Stanford University).

Die Suche nach besserem 3D

Ein typisches Foto kodiert die Helligkeit jeder Lichtwelle — ein Foto kann die Farben einer Szene originalgetreu wiedergeben, aber es liefert letztendlich ein flaches Bild. Im Gegensatz dazu kodiert ein Hologramm sowohl die Helligkeit als auch die Phase der einzelnen Lichtwellen. Diese Kombination liefert eine wahrheitsgetreuere Darstellung der Parallaxe und Tiefe einer Szene. Während also ein Foto von Monets „Seerosen“ die Farbpalette des Gemäldes hervorheben kann, kann ein Hologramm das Werk zum Leben erwecken und die einzigartige 3D-Textur jedes Pinselstrichs wiedergeben. Doch es ist eine komplexe Aufgabe, Hologramme herzustellen und weiterzugeben.

Die ersten Hologramme, die Mitte des 19. Jahrhunderts entwickelt wurden, wurden optisch aufgezeichnet. Dazu musste ein Laserstrahl geteilt werden, wobei die Hälfte des Strahls zur Beleuchtung des Objekts und die andere Hälfte als Referenz für die Phase der Lichtwellen verwendet wurde. Diese Referenz erzeugt den einzigartigen Tiefeneindruck eines Hologramms.  Die resultierenden Bilder waren statisch, konnten also keine Bewegung einfangen. Außerdem waren sie nur als Hardcopy erhältlich, was ihre Reproduktion und Weitergabe erschwerte.

Ein anderer Ansatz

Die computergenerierte Holografie umgeht diese Herausforderungen, indem sie den optischen Aufbau simuliert. Aber der Prozess kann ein rechnerischer Kraftakt sein. „Weil jeder Punkt in der Szene eine andere Tiefe hat, kann man nicht die gleichen Operationen für alle anwenden“, sagt Shi. „Das erhöht die Komplexität erheblich.“ Ein Computercluster anzuweisen, diese physikbasierten Simulationen auszuführen, könnte Sekunden oder Minuten für ein einziges holografisches Bild dauern. Außerdem modellieren die vorhandenen Algorithmen die Okklusion nicht mit fotorealistischer Präzision. Daher wählte das Team von Shi einen anderen Ansatz: Es ließ den Computer die Physik selbst lernen.

Sie nutzten Deep Learning, um die computergenerierte Holografie zu beschleunigen und so Hologramme in Echtzeit erzeugen zu können. Das Team entwickelte ein konvolutionales neuronales Netz — eine Verarbeitungstechnik, die eine Kette trainierbarer Tensoren verwendet, um in etwa nachzubilden, wie Menschen visuelle Informationen verarbeiten. Das Training eines neuronalen Netzes erfordert normalerweise einen großen, hochwertigen Datensatz, den es bisher für 3D-Hologramme nicht gab.

Diese Abbildung zeigt die experimentelle Demonstration der holografischen 2D- und 3D-Projektion. Das linke Foto ist auf das Mausspielzeug (im gelben Kasten) fokussiert, das sich der Kamera nähert, und das rechte Foto ist auf den ewigen Tischkalender (im blauen Kasten) fokussiert. Credits: Mit freundlicher Genehmigung der Forschenden

Deep Learning beschleunigt Holografie am Computer

Das Team erstellte eine benutzerdefinierte Datenbank mit 4’000 Paaren von computergenerierten Bildern. Jedes Paar glich ein Bild — einschließlich Farb- und Tiefeninformationen für jedes Pixel — mit seinem entsprechenden Hologramm ab. Um die Hologramme in der neuen Datenbank zu erstellen, verwendeten die Forscher Szenen mit komplexen und variablen Formen und Farben, bei denen die Tiefe der Pixel gleichmäßig vom Hintergrund zum Vordergrund verteilt war, und mit einem neuen Satz physikalisch basierter Berechnungen, um Okklusion zu behandeln. Dieser Ansatz führte zu fotorealistischen Trainingsdaten. Im nächsten Schritt machte sich der Algorithmus an die Arbeit.

Indem das Tensornetz von jedem Bildpaar lernte, optimierte es die Parameter seiner eigenen Berechnungen und verbesserte so sukzessive seine Fähigkeit, Hologramme zu erzeugen. Das vollständig optimierte Netz arbeitete um Größenordnungen schneller als physikalisch basierte Berechnungen. Diese Effizienz überraschte das Team selbst.

„Wir sind erstaunt, wie gut es funktioniert“, sagt Matusik. In nur wenigen Millisekunden kann die Tensor-Holografie Hologramme aus Bildern mit Tiefeninformationen erstellen — diese werden von typischen computergenerierten Bildern geliefert und können von einem Multikamera-System oder einem Lidar-Sensor berechnet werden (beides vorhanden in einigen neuen Smartphones). Dieser Fortschritt ebnet den Weg für die 3D-Holografie in Echtzeit. Darüber hinaus benötigt das kompakte Tensornetzwerk weniger als 1 MByte Speicherplatz. „Das ist vernachlässigbar, wenn man bedenkt, dass auf den neuesten Mobiltelefonen Dutzende und Hunderte von Gigabyte verfügbar sind“, sagt er.

Holografie in Echtzeit: „Ein beachtlicher Sprung“

Holografie in Echtzeit würde einige derzeit gefragte Anwendungen optimieren helfen, von Virtual Reality bis zum 3D-Druck. Das Team sagt, dass das neue System dabei helfen könnte, VR-Zuschauer in realistischere Landschaften eintauchen zu lassen und gleichzeitig die Belastung der Augen und andere Nebenwirkungen der langfristigen VR-Nutzung zu eliminieren. Die Technologie ließe sich leicht auf Displays einsetzen, welche die Phase von Lichtwellen modulieren. Derzeit modulieren die meisten erschwinglichen Displays für Verbraucher nur die Helligkeit, obwohl die Kosten für phasenmodulierende Displays sinken würden, wären sie denn weit verbreitet.

Die 3D-Holografie könnte auch die Entwicklung des volumetrischen 3D-Drucks vorantreiben, sagen die Forscher. Diese Technologie könnte sich als schneller und präziser erweisen als der traditionelle schichtweise 3D-Druck, da der volumetrische 3D-Druck die gleichzeitige Projektion des gesamten 3D-Musters ermöglicht. Weitere Anwendungen sind die Mikroskopie, die Visualisierung medizinischer Daten und das Design von Oberflächen mit einzigartigen optischen Eigenschaften.

„Das ist ein beträchtlicher Sprung, der die Einstellung der Menschen zur Holografie völlig verändern könnte“, sagt Matusik. „Wir haben das Gefühl, dass neuronale Netze für diese Aufgabe wie geschaffen sind.“

Die Arbeit wurde zum Teil von Sony unterstützt.

Paper: Towards real-time photorealistic 3D holography with deep neural networks
https://www.nature.com/articles/s41586-020-03152-0

Bild oben: MIT-Forschende haben einen Weg entwickelt, um Hologramme fast augenblicklich zu erzeugen. Die auf Deep Learning basierende Methode soll so effizient sein, dass sie auf einem Smartphone laufen könnte. Bild: MIT News, mit Bildern von iStockphoto

Erfahren Sie hier mehr über den ersten Hologramm-Drucker für den Desktop.

Lesen Sie auch: „AR-Technologie für Planung und Bau von Hyperscale-Rechenzentrum“

Share on facebook
Facebook
Share on twitter
Twitter
Share on linkedin
LinkedIn
Share on xing
XING
Share on whatsapp
WhatsApp
Share on email
E-Mail
Share on print
Drucken

Ihre Meinung zum Artikel

Abonnieren
Benachrichtige mich bei
guest
0 Comments
Inline Feedbacks
View all comments

Andere Leser haben sich auch für die folgenden Artikel interessiert

Tragen Sie sich jetzt kostenlos und unverbindlich ein, um keinen Artikel mehr zu verpassen!

    * Jederzeit kündbar

    Entdecken Sie weitere Magazine

    Schön, dass Sie sich auch für weitere Fachmagazine unseres Verlages interessieren.

    Unsere Fachtitel beleuchten viele Aspekte der Digitalen Transformation entlang der Wertschöpfungskette und sprechen damit unterschiedliche Leserzielgruppen an.