Wie ein bio-inspiriertes KI-System Handgesten viel genauer erkennt

Anbieter zum Thema

MPDV Mikrolab GmbH

a.b.jödden gmbh

aPriori Deutschland

An der Nanyang Technological University, Singapur (NTU Singapur) haben Forschende ein KI-System für die hochpräzise Erkennung von Handgesten entwickelt.

• Das Erkennen von Handgesten gewinnt unter anderem in der Robotik oder im Gesundheitswesen an Bedeutung.

• Doch die bisher angewandten Verfahren der Gestenerkennung haben mehrere Schwächen.

• Forschende der Nanyang Technological University, Singapur (NTU Singapur) haben nun ein KI-System (künstliche Intelligenz) entwickelt, das Handgesten mit hoher Präzision erkennt.

Forschende der Nanyang Technological University, Singapur (NTU Singapur) haben ein KI-System entwickelt, das Handgesten erkennt, indem es eine hautähnliche Sensoren mit Computer-Vision kombiniert.

Die Erkennung menschlicher Handgesten durch KI-Systeme ist eine nicht zu unterschätzende Entwicklung des letzten Jahrzehnts. Sie fand Eingang in hochpräzise Operationsroboter, Geräte zur Gesundheitsüberwachung und in Spiele.

Hürden für die Gestenerkennung

KI-Gestenerkennungssysteme, die anfänglich nur visuell arbeiteten, wurden durch den Input tragbarer Sensoren verbessert, ein Ansatz, der als Datenfusion bekannt ist. Die tragbaren Sensoren imitieren die sensorischen Fähigkeiten der Haut, unter anderem die somatosensorische Körperwahrnehmung.

Der Präzision der Gestenerkennung sind jedoch durch die geringe Qualität der von den Sensoren übermittelten Daten immer noch Grenzen auferlegt. Das lässt sich auf ihre Sperrigkeit und den schlechten Kontakt mit dem Benutzer zurückführen, sowie auf die Effekte nicht einsehbarer Objekte und schlechter Beleuchtung. Weitere Hürden ergeben sich aus der Integration von visuellen und sensorischen Daten, denn dabei handelt es sich um nicht übereinstimmende Datensätze, die getrennt zu verarbeiten und am Ende zusammenzuführen sind. Das ist ineffizient und führt zu langsameren Reaktionszeiten.

Datenfusion mit bio-inspiriertem KI-System

Um diese Aufgaben zu meistern, schuf das NTU-Team ein "bio-inspiriertes" Datenfusionssystem, das hautähnliche, dehnbare Sensoren aus einwandigen Kohlenstoff-Nanoröhren und einen KI-Ansatz verwendet, der nachahmen soll, wie die Hautsinne und das Sehen im Gehirn gemeinsam verarbeitet werden. Die NTU-Wissenschaftler entwickelten ihr bio-inspiriertes KI-System, indem sie drei neuronale Netze in einem System kombinierten: Sie verwendeten ein konvolutionelles neuronales Netz, das ein maschinelles Lernverfahren für die frühe visuelle Verarbeitung darstellt, ein mehrschichtiges neuronales Netz für die frühe somatosensorische Informationsverarbeitung und ein weiteres neuronales Netz (sparse neural network), um die visuelle und somatosensorische Information miteinander zu "verschmelzen".

Das Ergebnis ist ein KI-System, das menschliche Gesten genauer und effizienter erkennen kann als bestehende Methoden.

Der Hauptautor der Studie, Professor Chen Xiaodong von der Fakultät für Materialwissenschaften und Ingenieurwesen an der NTU, sagt: "Unsere Datenfusionsarchitektur hat ihre eigenen einzigartigen bioinspirierten Merkmale, zu denen ein vom Menschen geschaffenes System gehört, das der Hierarchie der somatosensorischen und visuellen Fusion im Gehirn ähnelt. Wir glauben, dass solche Merkmale unsere Architektur einzigartig für bestehende Ansätze machen".

"Im Vergleich zu starren, tragbaren Sensoren, die für eine genaue Datenerfassung keinen ausreichend engen Kontakt mit dem Benutzer bilden, verwendet unsere Innovation dehnbare Dehnungssensoren, die sich bequem auf der menschlichen Haut anbringen lassen. Dies ermöglicht eine qualitativ hochwertige Signalerfassung, die für hochpräzise Erkennungsaufgaben unerlässlich ist", fügte Prof. Chen hinzu, der auch Direktor des Innovative Centre for Flexible Devices (iFLEX) an der NTU ist.

Das Team, das sich aus Wissenschaftlern der NTU Singapur und der Technischen Universität Sydney (UTS) zusammensetzt, veröffentlichte seine Ergebnisse im Juni in der wissenschaftlichen Zeitschrift Nature Electronics.

Hohe Erkennungsgenauigkeit auch bei schlechten Umgebungsbedingungen

Um zuverlässige sensorische Daten von Handgesten zu erfassen, fertigte das Forschungsteam einen transparenten Dehnungssensor an, der auf der Haut haftet, aber nicht auf Kamerabildern zu sehen ist. Als Proof-of-Concept testete das Team sein bio-inspiriertes KI-System mit einem durch Handgesten gesteuerten Roboter und führte ihn durch ein Labyrinth.

Die Ergebnisse zeigten, dass die durch das bio-inspirierte KI-System ermöglichte Erkennung von Handgesten den Roboter mit null Fehlern durch das Labyrinth führen konnte, im Vergleich zu sechs Erkennungsfehlern bei einem visuell-basierten Erkennungssystem.

Die hohe Genauigkeit blieb auch erhalten, als das neue KI-System unter schlechten Bedingungen wie Lärm und ungünstiger Beleuchtung getestet wurde. Es arbeitete effektiv im Dunkeln und erreichte eine Erkennungsgenauigkeit von über 96,7 Prozent.

Der Erstautor der Studie, Dr. Wang Ming von der School of Materials Science & Engineering an der NTU Singapur, erklärt: "Das Geheimnis hinter der hohen Genauigkeit unserer Architektur liegt in der Tatsache, dass die visuellen und somatosensorischen Informationen in einem frühen Stadium interagieren und sich gegenseitig ergänzen können, bevor eine komplexe Interpretation durchgeführt wird. Infolgedessen kann das System auf rationale Weise kohärente Informationen mit weniger redundanten Daten und weniger Mehrdeutigkeit in der Wahrnehmung sammeln, und das führt zu einer besseren Genauigkeit".

Professor Markus Antonietti, Direktor des Max-Planck-Instituts für Kolloid- und Grenzflächenforschung in Deutschland, gab eine unabhängige Einschätzung ab: "Die Ergebnisse dieses Papiers bringen uns einen weiteren Schritt vorwärts zu einer intelligenteren und stärker maschinengestützten Welt. Ähnlich wie die Erfindung des Smartphones, das die Gesellschaft revolutioniert hat, gibt uns diese Arbeit Hoffnung, dass wir eines Tages unsere gesamte umgebende Welt mit großer Zuverlässigkeit und Präzision durch eine Geste physisch kontrollieren könnten".

VR- und AR-Lösungen: KI-System als Grundlage

"Es gibt einfach unendlich viele Anwendungen für diese Technologie auf dem Markt, um diese Zukunft zu unterstützen. Zum Beispiel von der Fernsteuerung eines Roboters über intelligente Arbeitsplätze bis hin zu Exoskeletten für ältere Menschen".

Das NTU-Forschungsteam versucht nun, auf der Grundlage des entwickelten KI-Systems ein VR- und AR-System zu bauen, das in Bereichen eingesetzt werden soll, in denen eine hochpräzise Erkennung und Steuerung erwünscht ist, wie zum Beispiel Unterhaltungstechnologien und Rehabilitation im häuslichen Bereich.

Bild oben: (v.l.n.r.) Zu den Mitgliedern der NTU-Studie gehören der Research Fellow Pan Shaowu, Professor Chen Xiaodong, Direktor des Innovative Centre for Flexible Devices (iFLEX) und der Erstautor Wang Ming von der School of Materials Science & Engineering. Bild: NTU Singapur

Paper mit dem Titel "Gesture recognition using a bioinspired learning architecture that integrates visual data with somatosensory data from stretchable sensors", veröffentlicht in Nature Electronics, 8. Juni 2020.

Weitere Informationen: http://www.ntu.edu.sg/

Erfahren Sie hier mehr darüber, wie eine elektronische Haut dem Menschen Magnetsinn verleiht.

Lesen Sie auch: "E-Skin für Roboter: Sensorik schlägt menschlichen Tastsinn"