Motion Capture: Mit KI die Sprache des Verhaltens erkunden

Wissenschaftler an der Princeton University haben ein vielseitig einsetzbares Verfahren für das Erfassen von Bewegungen entwickelt. Es lässt sich in Minuten daraufhin trainieren, Körperteile über Millionen von Videoframes hinweg mit hoher Genauigkeit zu erfassen, und das gänzlich ohne physische Marker.

Motion-Capture-Anzüge mit Sensoren können aus Filmschauspielern via Computer einen Hulk oder einen Drachen entstehen lassen. Eine Zusammenarbeit der Labore der Princeton-Professoren Mala Murthy und Joshua Shaevitz geht nun aber noch einen Schritt weiter.  LEAP Estimates Animal Pose (LEAP), so heißt das entsprechende Verfahren, macht sich die aktuellen Entwicklungen in der künstlichen Intelligenz zunutze, um die Körperdetails von Tieren in bereits vorhandenen Videos automatisiert nachzuverfolgen.

Murthy, Molekularbiologin am Princeton Neuroscience Institute (PNI), hält das Verfahren für sinnvoll, um das Verhalten von Tieren mit genetischen Mutationen oder nach der Behandlung mit Arzneimitteln zu erfassen.

Ein Artikel, der die neue Technologie ausführlich beschreibt, erscheint in der Januar-Ausgabe von Nature Methods, während die Open-Access-Version, veröffentlicht im Mai 2018, schon zur Nutzung der Software durch eine Reihe weiterer Forschungseinrichtungen geführt hat.

Wenn die Forscher LEAP mit anderen von ihnen entwickelten quantitativen Lösungen kombinieren, können sie „die Sprache des Verhaltens“ erkunden, indem sie Muster in Körperbewegungen beobachten, so Shaevitz, Professor für Physik am Lewis-Sigler Institute für Integrative Genomics.

Die vielseitige Lösung könne prinzipiell auf alle Videodaten angewandt werden, sagt Talmo Pereira, PNI Graduate Student und Hauptautor des Papers. Man markiere einige Punkte in einigen Video und lasse das neuronale Netz den Rest erledigen. Die Benutzerschnittstelle ermögliche es jedem, LEAP mit den eigenen Videos zu nutzen, ohne dass es dafür Programmierkenntnisse bedürfe.

LEAP funktioniert mit anfangs als Versuchsobjekten verwendeten Fliegen und Mäusen genauso gut wie mit großen Säugetieren, zum Beispiel einer Giraffe vom Mpala Research Centre in Kenya, einer Forschungsstation mit Princeton als Partner.

 

Video: links: Videomaterial Courtesy of Mpalalive.org. Rechts: Courtesy of the researchers. 

„Wir haben das Video einer laufenden Giraffe hergenommen und in weniger als einer Stunde Punkte in 30 Videoframes markiert. LEAP konnte dann die Bewegungen aus dem weiteren Verlauf des Videos (rund 500 Frames) in Sekunden tracken.“

Die Bemühungen, KI-Werkzeuge für das Tracken menschlicher Bewegung zu entwickeln, basierten bisher auf umfangreichen, manuell annotierten Trainingsdatensätzen. Damit konnte die Software verlässlich mit unterschiedlichen Daten umgehen, mit höchst unterschiedlichen Hintergründen oder Beleuchtungen.

Man habe nun ähnliche Verfahren unter konsistenten Bedingungen in einem Laborumfeld optimiert, um mit den Daten zu arbeiten. „Wir haben ein System gebaut, das es dem Anwender ermöglicht, genau das für seine gesammelten Daten geeignete neuronale Netz auszuwählen und somit nicht darauf beschränkt zu sein, was andere Forscher oder Unternehmen gerade entwickelt haben.“

Monica Daley, Dozentin am Structure and Motion Laboratory des Royal Veterinary College in Großbritannien und nicht an der Entwicklung beteiligt sieht in der Arbeit ein großes Potenzial auch außerhalb der Neurowissenschaften.  

Daley erklärt: „Ein Großteil meiner Forschungsarbeit beschäftigt sich damit, zu verstehen, wie sich Tiere bei unterschiedlichen Bodenverhältnissen und Umweltbedingungen effektiv fortbewegen.“ Eine der größten Hürden sei dabei, aussagekräftige Informationen über tierische Bewegungen aus Videomaterial zu gewinnen. Man verarbeite die Videos manuell, was sich zeitraubend gestalte, oder konzentriere sich auf eine sehr vereinfachende und limitierte Analyse, die sich automatisieren lasse. Dagegen könnte der nun vorgestellte Algorithmus den arbeitsintensiven Teil viel stärker automatisieren, als dies bisher möglich gewesen sei. So könne man eine größere Vielfalt der Funktionsweise tierischer Bewegungssysteme studieren.

Wenn erst einmal eine Datenbasis von Bewegung und Verhalten existiere, könnten die Neurowissenschaftler im Team Verbindungen zu den dahinter stehenden neuronalen Vorgängen herstellen. Damit, so Shaevitz, verstehe man nicht nur besser, wie das Gehirn ein bestimmtes Verhalten auslöse, sondern lote auch zukünftige Diagnostiken und Therapien aus, die auf der rechnerischen Interpretation von Tätigkeiten einer Person beruhen.

Video: Links: die Entwickler gehen Rohvideodaten in LEAP ein, Mitte: für jedes Körperteil erstellt LEAP eine "Konfidenz-Zuordnung" erstellt. Jede Farbe entspricht einem bestimmten Körperteil, die Farbsättigung zeigt an, mit welcher Wahrscheinlichkeit sich das Körperteil an dieser Stelle im Bild befindet. Rechts: LEAP kalkuliert den Punkt der maximalen Konfidenz für den Ort jedes Körperteils und trackt jeden dieser Punkte durch alle Frames des Videos. Video courtesy of the researchers. 

Eine ähnliche Lösung haben Forscher er Harvard University vorgestellt. Es bedient sich einer bereits vorhandenen neuronalen Netz-Architektur, während die Princeton-Entwickler eine neue geschaffen haben. Beide haben ihre spezifischen Stärken, so Murthy. Das eigene Verfahren ermögliche es, wie Pereira ausführt, dass kleinere, schlankere Netze eine hohe Genauigkeit erzielen, indem sie sich schnell auf neue Datensätze spezialisieren.

“Fast animal pose estimation using deep neural networks” von Talmo Pereira, Diego Aldarondo, Lindsay Willmore, Mikhail Kislin, Samuel Wang, Mala Murthy und Joshua Shaevitz wurde online am 20. Dezember 2018 veröffentlicht und erscheint in der Januar 2019-Ausgabe von Nature Methods..

Bild: Die LEAP-Entwickler (v.l.n.r.): Michail Kislin, Postdoctoral Research Associate; Lindsay Willmore, Graduate Student; Prof. Joshua Shaevitz; Prof. Sam Wang; Talmo Pereira, Graduate Student; und Prof. Mala Murthy. Photo by Denise Applewhite, Office of Communications

0
RSS Feed

Hat Ihnen der Artikel gefallen?
Abonnieren Sie doch unseren Newsletter und verpassen Sie keinen Artikel mehr.

Mit einem * gekennzeichnete Felder sind Pflichtfelder!

CAPTCHA
Diese Frage stellt fest, ob du ein Mensch bist.

Neuen Kommentar schreiben

Entdecken Sie die Printmagazine des WIN-Verlags