Augmented-Reality-Headset: So ermöglicht es den Röntgenblick

Anbieter zum Thema

MPDV Mikrolab GmbH

Schneider Digital Josef J. Schneider e.K.

Forschende am MIT haben ein Augmented-Reality-Headset entwickelt, das den Trägern ermöglicht, versteckte Objekte zu sehen.

• Ein von Forschenden des MIT entwickeltes Augmented-Reality-Headset ermöglicht es Benutzern, versteckte Objekte zu sehen.

• Das System könnte Arbeitern helfen, Objekte für die Abwicklung von E-Commerce-Bestellungen zu finden oder Teile für die Montage von Produkten zu identifizieren.

Das Augmented-Reality-Headset namens X-AR kombiniert Computervision und drahtlose Erkennungstechnologie. Somit lässt sich automatisch ein bestimmter Gegenstand lokalisieren, der nicht sichtbar ist, beispielsweise in einer Kiste oder unter einem Stapel, und der Benutzer dann dorthin führen, um den Gegenstand zu holen.

Das System nutzt Hochfrequenzsignale (RF), die gängige Materialien wie Kartons, Kunststoffbehälter oder Holztrennwände passieren können. So sind versteckte, mit RFID-Tags ausgezeichnete Gegenstände auffindbar, die von einer HF-Antenne gesendete Signale reflektieren.

Das Headset leitet den Träger beim Gehen durch einen Raum zum Standort des Gegenstands, der als transparente Kugel in der Augmented Reality (AR)-Schnittstelle angezeigt wird. Sobald sich der Gegenstand in der Hand des Benutzers befindet, überprüft das Headset, ob er den richtigen Gegenstand aufgenommen hat.

Als die Forschenden X-AR in einer lagerähnlichen Umgebung testeten, konnte das Augmented-Reality-Headset versteckte Gegenstände auf durchschnittlich 9,8 Zentimeter genau lokalisieren. Und es bestätigte sich, dass die Benutzer den richtigen Artikel mit einer Genauigkeit von 96 Prozent ergriffen haben.

In überfüllten Regalen und Kisten verborgene Artikel schneller finden

Das Augmented-Reality-Headset könnte E-Commerce-Lagerarbeitern dabei helfen, Artikel, die in überfüllten Regalen oder in Kisten vergraben liegen, schnell zu finden oder den genauen Artikel für eine Bestellung zu identifizieren, wenn sich viele ähnliche Objekte im selben Behälter befinden. Das Augmented-Reality-Headset könnte auch in einer Produktionsstätte zum Einsatz kommen. Dort könnte es Technikern dabei helfen, die richtigen Teile für die Montage eines Produkts zu finden.

Das Ziel bei diesem Projekt sei es, ein Augmented-Reality-System zu bauen, mit dem sich Dinge erkennen lassen, die unsichtbar seien – Dinge, die sich in Kisten oder um Ecken befinden. Dabei könne es die Nutzer zu diesen Objekten führen und es ihnen wirklich ermöglichen, die physische Welt auf eine Weise zu sehen, die ihnen vorher verschlossen gewesen sei, sagt Fadel Adib, außerordentlicher Professor an der Fakultät für Elektrotechnik und Informatik, Direktor der Signalkinetik-Gruppe im Medienlabor und leitender Autor des Artikels über X-AR.

Adibs Co-Autoren sind die wissenschaftliche Mitarbeiterin Tara Boroushaki, die Hauptautorin der Arbeit; Maisy Lam; Laura Dodds; und ehemalige Postdoc Aline Eid, die jetzt Assistenzprofessorin an der University of Michigan ist. Die Forschungsergebnisse werden auf dem USENIX Symposium on Networked Systems Design and Implementation präsentiert.

Augmented-Reality-Headset mit nochmals erweiterter Realität

Um ein Augmented-Reality-Headset mit Röntgenblick zu entwickeln, mussten die Forscher zunächst ein vorhandenes Headset umrüsten. Sie mussten es mit einer Antenne ausstatten, die mit RFID-markierten Gegenständen kommunizieren konnte. Die meisten RFID-Lokalisierungssysteme verwenden mehrere Antennen, die mehrere Meter voneinander entfernt sind. Die Forschenden hingegen benötigten eine leichte Antenne, die eine ausreichend hohe Bandbreite erreichen konnte, um mit den Tags zu kommunizieren.

Eine große Herausforderung habe darin bestanden, eine Antenne zu entwickeln, die auf das Headset passe, ohne die Kameras abzudecken oder deren Betrieb zu behindern. Das sei sehr wichtig, da man alle Spezifikationen des Visiers verwenden müsse, so Eid.

Das Team nahm eine einfache, leichte Schleifenantenne und erhöhte mit einigen Abänderungen die Bandbreite. Da Antennen normalerweise im Freien betrieben werden, optimierten die Forscher sie für das Senden und Empfangen von Signalen, wenn sie am Visier des Headsets befestigt sind.

Nachdem das Team eine effektive Antenne gebaut hatte, konzentrierte es sich darauf, sie zur Lokalisierung von Gegenständen mit RFID-Tags zu verwenden.

Messungen aus verschiedenen Blickwinkeln, wenn sich Benutzer im Raum bewegen

Die Forschenden nutzten eine Technik, die als Radar mit synthetischer Apertur (SAR) bekannt ist. Sie ähnelt jener, mit der Flugzeuge Objekte am Boden abbilden. X-AR nimmt mit seiner Antenne Messungen aus verschiedenen Blickwinkeln vor, während sich der Benutzer im Raum bewegt, und kombiniert diese Messungen. Auf diese Weise wirkt es wie ein Antennenarray, bei dem Messungen von mehreren Antennen kombiniert werden, um ein Gerät zu lokalisieren.

X-AR verwendet visuelle Daten aus der Selbstverfolgungsfunktion des Headsets, um eine Karte der Umgebung zu erstellen und seinen Standort innerhalb dieser Umgebung zu bestimmen. Während der Benutzer geht, berechnet es die Wahrscheinlichkeit des RFID-Tags an jedem Ort. Die Wahrscheinlichkeit ist an der genauen Position des Tags am höchsten. Daher verwendet es diese Informationen, um das versteckte Objekt zu lokalisieren.

Mit den Experimenten habe man festgestellt, dass das System tatsächlich gut mit natürlichen menschlichen Bewegungen funktioniere. Da sich Menschen viel bewegen, lassen sich Messungen an vielen verschiedenen Orten vornehmen und ein Gegenstand genau lokalisieren, sagt Dodds.

Sicherstellen, dass es sich um das richtige Objekt handelt

Sobald X-AR das Objekt lokalisiert hat und der Benutzer es aufhebt, muss das Headset überprüfen, ob sie das richtige Objekt ergriffen haben. Aber jetzt steht der Benutzer still und die Headset-Antenne bewegt sich nicht. Somit ist SAR nicht zu verwenden, um das Tag zu lokalisieren.

Wenn der Benutzer jedoch den Artikel aufnimmt, bewegt sich der RFID-Tag mit. X-AR kann die Bewegung des RFID-Tags messen und die Hand-Tracking-Funktion des Headsets nutzen, um den Gegenstand in der Hand des Benutzers zu lokalisieren. Dann prüft es, ob das Tag die richtigen HF-Signale sendet, um sicherzustellen, dass es sich um das richtige Objekt handelt.

Die Forschenden nutzten die holografischen Visualisierungsmöglichkeiten des Headsets, um diese Informationen für den Benutzer auf einfache Weise anzuzeigen. Sobald der Benutzer das Augmented-Reality-Headset aufsetzt, verwendet er Menüs, um ein Objekt aus einer Datenbank mit markierten Elementen auszuwählen. Nach der Lokalisierung des Objekts erscheint dieses in einer transparenten Kugel. Somit kann der Benutzer sehen, wo es sich im Raum befindet. Dann projiziert das Gerät die Trajektorie zu diesem Gegenstand in Form von Schritten auf dem Boden,. Diese aktualisieren sich dynamisch, wenn der Benutzer geht.

Augmented-Reality-Headset im Tesst

Um X-AR zu testen, erstellten die Forschenden ein simuliertes Lager. Dort füllten sie Regale mit Kartons und Plastikbehältern und platzierten darin mit RFID-Tags versehene Gegenstände.

Dabei fanden sie heraus, dass X-AR den Benutzer mit weniger als zehn Zentimetern Fehler zu einem Zielobjekt führen kann. Das bedeutet, dass sich das Objekt im Durchschnitt weniger als zehn Zentimeter von der Stelle entfernt befand, an der X-AR den Benutzer geleitet hat. Die getesteten Basismethoden hatten einen mittleren Fehler von 25 bis 35 Zentimetern.

Zudem hatten die Benutzer in 98,9 Prozent der Fälle den richtigen Artikel genommen. Die Lösung war sogar zu 91,9 Prozent genau, wenn sich der Artikel noch in einer Schachtel befand.

Nachdem sie nun den Erfolg von X-AR demonstriert haben, planen die Forschenden weitere Untersuchungen. Dazu gehört, zu analysieren, wie sich verschiedene Sensormodalitäten wie WiFi, mmWave-Technologie oder Terahertz-Wellen verwenden lassen, um die Visualisierungs- und Interaktionsfähigkeiten zu verbessern. Auch die Antenne ließe sich so verbessern, dass ihre Reichweite mehr als 3 Meter beträgt. Das System könnte zudem für die Verwendung durch mehrere koordinierte Headsets erweitert werden.

Bild oben: Ein Augmented-Reality-Headset kombiniert Computervision und drahtlose Wahrnehmung, um automatisch einen bestimmten Gegenstand zu lokalisieren, der vielleicht in einer Kiste oder unter einem Stapel verborgen ist, und den Benutzer dann dorthin zu führen, ihn zu holen. Bild: Courtesy of the researchers, edited by MIT News

Video: https://youtu.be/bdUN21ft7G0

Weitere Informationen: https://web.mit.edu/

Lesen Sie auch: "Via AR- und VR-Brille in die Bedienung von Maschinen und Anlagen eintauchen"