16.03.2016 – Kategorie: Technik, eCommerce

Finger-Tracking per Schall

fingerio_phone1
Das von Wissenschaftlern der University of Washington entwickelte Verfahren namens FingerIO ermöglicht es, mit mobilen Geräten…

Das Verfahren namens FingerIO ermöglicht es, mit mobilen Geräten durch Schreiben oder Gestikulieren auf jeglichen Oberflächen zu kommunizieren, indem Smartphone oder Smartwatch in aktive Sonargeräte verwandelt werden. Weil mobile und tragbare Geräte wie Smartwatches eher kleiner werden, gestaltet es sich schwieriger, auf den Bildschirmen so klein wie ein Notizblock zu interagieren. Das könnt sich nun mit der neuartigen Sonartechnik ändern, die von Wissenschaftlern und Ingenieuren der University of Washington entwickelt wurde. Sie erlaubt es, mit mobilen Geräten durch Schreiben oder Gesten auf einer Oberfläche in der näheren Umgebung zu interagieren. Dabei kann es sich um die Tischplatte oder ein Blatt Papier und sogar den Luftraum handeln. FingerIO verfolgt sehr granulare Fingerbewegungen, indem es das Smartphone oder die Smartwatch durch Nutzung der eingebauten Mikrofone und Lautsprecher in aktive Sonargeräte verwandelt. Dabei emittieren die Lautsprecher unhörbare Schallwellen. Das Signal wird an den Fingern reflektiert und das Mikrofon nimmt diese „Echos“ auf. Diese dienen dazu, die Position der Finger im Raum zu berechnen. Da die Schallwellen Stoffe durchdringen, können die Anwender selbst mit einem Telefon in der Jackentasche oder einer Smartwatch unter dem Ärmel kommunizieren.

In einem Papier, das im Mai an der Konferenz der Association for Computing Machinery’s CHI 2016 in San Jose präsentiert wird, zeigt das Team, dass FingerIO zweidimensionale Fingerbewegungen in der Größenordnung von 8 Millimetern akkurat erfasst, eine Genauigkeit, die ausreichen würde, um mit aktuellen Mobilgeräten zu interagieren. Lead-Autor Rajalakshmi Nandakumar erklärt, dass es nicht sehr einfach sehr, auf einem Smartwatch-Display zu schreiben. „Wir wollten einen Schreibtisch oder irgendeinen Bereich in der Umgebung des Geräts in eine Eingabefläche verwandeln“.

Mit FingerIO kann man mit einem Fingerstrich zum Beispiel die Lautstärke erhöhen, einen Button drücken oder durch Menüs auf dem Smartphone scrollen, ohne das Display zu berühren oder eben auch Befehle oder Text in die Luft schreiben. Die Nutzung der Schallwellen anstelle von Kameras habe mehrere Vorteile, wie die Forscher betonen. Kameras nutzten nichts, wenn sie sich nicht in der Sichtlinie befinden oder hinter Stoff oder anderen Barrieren versteckt sind. Anderer Verfahren wie Radar erforderten dagegen angepasste Sensoren und mehr Rechenleistung. Hinzu kommen die Kosten: fast jedes Mobilgerät verfüge über Lautsprecher und Mikrofon, so dass keine spezielle Hardware benötigt werde.

Andererseits sind die sonaren Echos schwach und typischerweise nicht genau genug, um die Fingerbewegung in einer hohen Auflösung abzubilden. Fehler von wenigen Zentimetern machen es schon unmöglich, zwischen dem Schreiben eines Buchstaben oder einer intrikaten Geste zu unterscheiden. Die Forscher verwenden einen Übertragungsverfahren, das in der drahtlosen Kommunikation häufig zum Einsatz kommt, das Orthogonale Frequenzmultiplexverfahren (OFDM), und konnten zeigen, dass es sich einsetzen lässt, um mittels Schall ein hochaufgelöstes Finger-Tracking zu gewährleisten. Die Eigenschaften von OFDEM werden genutzt, um Phasenverschiebungen der Echos zu verfolgen und mögliche Fehler in der Position der Finger zu korrigieren, um damit eine Genauigkeit im Millimeterbereich zu erzielen.

Um das Konzept zu testen, haben die Forscher eine FingerIO-App für Android-Systeme entwickelt und diese auf ein handelsübliches Samsung Galaxy S4-Smartphone und eine Smartwatch, angepasst mit zwei Mikrofonen, geladen. Zwei Mikrofone sind notwendig, um die Fingerbewegung in zwei Dimensionen zu erfassen, was mit nur mit dem einen Mikrofon der aktuellen Smartwatches nicht möglich wäre.  Die Versuchspersonen haben Formen wie Sterne, Schnörkel oder Figuren auf ein Touchpad in der Umgebung von Smartphone oder Smartwatch gezeichnet. Dann wurden die Linienzüge am Touchpad mit den über FingerIO entstandenen Formen verglichen. Die durchschnittliche Abweichung bewegte sich zwischen 0,8 Zentimetern für das Telefon und 1,2 Zentimetern für die Uhr. Da der Finger schon rund eine Zentimeter dick sei, reiche dies aus, um akkurat mit den Geräten zu kommunizieren, sagt Co-Autor und Electrical Engineering Graduate Vikram Iyer.

Als nächsten Schritt plant das Team, zu zeigen, wie sich FingerIO verwenden lässt, um die gleichzeitige Bewegung mehrere Finger zu erfassen. Zudem sollen die Tracking-Fähigkeiten durch zusätzliche Mikrofone in die dritte Dimension ausgeweitet werden.

Die Arbeit wurde unterstützt von der National Science Foundation und von Google.

 

Bild: FingerIO ermöglicht das Interagieren mit mobilen Geräten durch Schreiben und Gesten auf umgebenden Oberflächen oder gar in der Luft. Foto: Dennis Wise, University of Washington


Teilen Sie die Meldung „Finger-Tracking per Schall“ mit Ihren Kontakten:


Scroll to Top