Datenhandschuh verwandelt Gebärdensprache in Text

Wissenschaftler an der University of California San Diego haben einen intelligenten Handschuh entwickelt, der das Alphabet der amerikanischen Gebärdensprache drahtlos in Text verwandelt. Zudem vermag er eine virtuelle Hand zu steuern, um die Gesten der Gebärdensprache nachzubilden. Die Lösung entstand für weniger als 100 US-Dollar aus dehn- und druckbaren Elektronikbauteilen, die kostengünstig, im Handel erhältlich und leicht zusammenzubauen sind. Die Arbeit wurde am 12. Juli im Journal PLOS ONE publiziert.

Die Forscher entwickeln den Handschuh nicht nur für die Entschlüsselung der Gesten der Gebärdensprache, sondern auch für die Nutzung in einer Reihe weiterer Anwendungen, die von Virtual  und Augmented Reality bis hin zur Telechirurgie, dem technischen Training und dem militärischen Einsatz reichen.

Die Gestenerkennung sei nur eine Demonstration der Fähigkeiten des Handschuhs unter vielen mögilchen, so Timothy O’Connor,  Ph.D. Student im Bereich Nano-Engineering an der UC San Diego und Hauptautor der Studie. Das Endziel bestehe darin, den Handschuh intelligent zu machen, so dass man mit ihm die Hände in der virtuellen Realität einsetzen können, statt eines Joysticks oder anderer Steuerungsgeräte, was wesentlich intuitiver sei. Als Anwendungsmöglichkeiten sieht O’Connor nicht nur Spiele und Unterhaltung, sondern vielmehr virtuelle Trainingsszenarien in der Medizin, in denen es beispielsweise erforderlich sei, den Gebrauch der Hände realitätsnah nachzubilden.

Was den Handschuh einzigartig macht sind der Einsatz von Sensoren aus dehnbaren Material und seine kostengünstige und einfache Herstellung. Darren Lipomi, Professor für Nano-Engineering an der UC San Diego und einer der Autoren der Studie führt aus: „Wir haben ein kostengünstiges und geradliniges Design für intelligente tragbare Geräte erfunden, indem wie Komponenten aus dem Regal verwenden. Unsere Arbeit könnte es anderen Forschern ermöglichen, ähnliche Technologien ohne kostspielige Werkstoffe oder komplexe Fertigungsmethoden zu entwickeln“

Die Sprache des Handschuhs

Das Team hat die Lösung auf der Grundlage eines Lederhandschuhs für Sportler entwickelt und neun dehnbare Sensoren auf die Rückseite der Knöchel angebracht, zwei für jeden Finger und einen für den Daumen. Die Sensoren bestehen aus dünnen Streifen eines siliziumbasierten Polymers überzogen mit einem leitfähigen Karbonanstrich. Gesichert werden sie am Handschuh mittels Kupferband. Jeder Sensor ist über rostfreie Stahlkontakte mit einer Platine auf dem Handrücken verbunden.

Der elektrische Widerstand der Sensoren ändert sich, wenn sie gestreckt oder gebogen werden. Damit können sie verschiedene Zeichen des Alphabets der amerikanischen Gebärdensprache basierend auf den neun Positionen an den Knöcheln kodieren. Ein gerade oder entspannter Knöchel wird mit „0“ verschlüsselt, ein angewinkelter mit „1“. So lautet der Code für den Buchstaben „A“ (Daumen gerade, alle anderen Finger eingerollt) „011111111“, während der Code für „B“ (Daumen angewinkelt, alle andern Finger gerade) als  “100000000” ausgedrückt wird. Die Entwickler haben den Handschuh mit einem Beschleunigungsmesser und einem Drucksensor ausgestattet, damit er zwischen Buchstaben wie „I“ oder „J“ unterscheiden kann, deren entsprechende Gesten sich zwar unterscheiden, die aber denselben neunstelligen Code generieren würden.

Das PCB auf dem Handschuh konvertiert den neunstelligen Schlüssel in einen Buchstaben und übermittelt die Signale via Bluetooth zum Smartphone oder den Computerbildschirm. Der Handschuh kann drahtlos alle 26 Buchstaben der amerikanischen Gebärdensprache in Text übersetzen. Die Forscher haben den Handschuh außerdem dazu genutzt, eine virtuelle Hand zu steuern, die Buchstaben in die Gesten der Gebärdensprache verwandelte.

Die nächste Version des Handschuh soll mit Tastsinn ausgestattet werden. Auf diese Weise soll er entweder eine virtuelle oder eine robotische Hand steuern können und dann die taktile Wahrnehmung zur Hand des Anwenders weiterleiten können.

Paper: “The Language of Glove: Wireless gesture decoder with low-power and stretchable hybrid electronics” by Timothy F. O’Connor, Mathew Fach, Rachel Miller, Samuel E. Root, Patrick P. Mercier and Darren J. Lipomi, all at UC San Diego.

Bild: „The Language of Glove“: ein intelligenter Handschuh übersetzt das Alphabet der amerikanischen Gebärdensprache (ASL) in Text und steuert eine virtuelle Hand, um ASL-Gesten zu imitieren. 

Credit: Timothy O’Connor/UC San Diego Jacobs School of Engineering