Preis für Forschung zur Finger-Animation

Eine Wissenschaftlerin an der Clemson University im US-Gliedstaat South Carolina lässt Finger sprechen,  mit einem neuen Projekt, das die Handbewegungen für animierte Filme, Videospiele und eine Reihe von Virtual-Reality-Simulationen realistischer machen soll.

Sophie Joerg forscht bereits seit fünf Jahren an neuen Möglichkeiten, Hände und Finger am Bildschirm lebendiger zu gestalten. Derzeit ist das eine ermüdende und zeitraubende Aufgabe. Daher plant sie, Algorithmen zu entwickeln, welche diese Arbeit automatisieren.

Die Idee dazu kam ihr aus ihrer Erfahrung als Animationsspezialistin für die TV-Serie „Dragon’s Rock“. Die Forschung ist Teil des mit 497’158 US-Dollar dotierten CAREER-Awards der National Science Foundation.

Ehrfurchterregende Welten und Charaktere könnten heute in der Computer-Grafik erschaffen werden, so Joerg. Doch die Prozesse erforderten immer noch ein erstaunliches Maß an Handarbeit. Nun sei es an der Zeit, präzisere Verfahren zu entwickeln, um bessere Algorithmen schneller zu erschaffen.

Mit ihrem Projekt schließt sich Joerg den Legionen von Forschern an, die sich an den technischen Hürden der Virtuellen Realität abarbeiten, obwohl die Hardware immer erschwinglicher wird.

Ihre Arbeit könnte Animationsexperten helfen, Filme, Games und Lernsimulationen zu erstellen. Sie könnte auch einen Weg eröffnen, Zeichensprache-basierte Avatars mit Handbewegungen auszustatten oder Bastlern helfen, Avatars auf der Grundlage von Motion-Capture-Systemen wie Kinect zu erschaffen. Darüber hinaus könnten die Studien einige der wesentlichen Fragen der Animationsindustrie beantworten, was den Einfluss der Fingerbewegung auf die realistische Wirkung der Charaktere betrifft.  

Handbewegung mögen als selbstverständlich angesehen werden, aber sie sind entscheidend dafür, eine animierte oder virtuelle Welt realistisch erscheinen zu lassen. Sie helfen, Informationen zu transportieren und grundlegende Aufgaben zu erfüllen, wie Essen, Schreiben und das Handhaben von Werkzeugen. Aber ihre geringe Größe und ihre Komplexität erschweren ihre Reproduktion am Bildschirm.

Es ist mühsam, die Hände mit Motion-Capture-Systemen zu erfassen , und die Daten sind lückenhaft. Wenn man beispielsweise Sensoren an den Händen hat und den Arm anwinkelt, werden einige der Sensoren verdeckt. Dann müssen sich Animationsexperten an die lästige Arbeit machen, die Lücken manuell zu schließen.

Datenbank mit Bewegungselementen

Joerg, Assistant Professor an der School of Computing, hofft auf Änderung. Die Idee sei, eine Datenbank der Bewegungen zu schaffen und Möglichkeiten zu ermitteln, Bewegungssegmente immer wieder zu verwenden und diese automatisch zu kombinieren. Ein Algorithmus würde entscheiden, welche Bewegungselement aus der Datenbank zu holen sind, um die gewünschte Geste zu erzeugen.

Die Animation für „Dragons Rock“ inspirierte Joerg, damals noch an der Hochschule für Angewandte Wissenschaften Hamburg, zur Forschungsarbeit. Die mit Sensoren ausgestatteten Handschuhe für die Handbewegungen der Charaktere wiesen einen hohen Verschleiß auf, so dass hin und wieder kein oder nur ein Handschuh verfügbar war. So musst man dann die Daten einer Hand verwenden und in die Bewegung der anderen Hand einbauen. Wegen der begrenzten Zeit war es oft nicht möglich, derartige Fehler in der Nachbearbeitung zu korrigieren.

Wenn die Produzenten die fast fertige Version einer Show angeschaut hätten, bemerkt Joerg, hätten sie sich nie über die Handbewegungen beschwert. Doch in jeder Szene hätten sie Änderungen gefordert, weil es Probleme mit den Händen gäbe. Oft registrierten die Leute nicht, wenn etwas mit den Fingerbewegungen nicht stimme, so Joerg weiter. Aber man sei es gewohnt, jene unterschwelligen Bewegungen zu  interpretieren, so dass sie immer noch beeinflussten, was man denke.

Die wissenschaftliche Arbeit zeichnet sich dadurch aus, dass Joerg sowohl in der Animation von Charakteren als auch in deren Wahrnehmung Erfahrung vorweisen kann, zwei getrennte, aber miteinander wechselwirkende Bereiche. Sie plant Versuche zur Wahrnehmung, deren Ergebnisse dann wiederum der Entwicklung neuer Algorithmen dienen sollen.

Joerg hofft, dass ihre Arbeit einige der aus ihrer Erfahrung heraus grundlegenden Fragen beantworten hilft: Wie wichtig ist es, wenn man einen virtuellen Charakter mit nicht korrekten Fingerbewegungen sieht? Wäre es vielleicht besser, überhaupt keine Fingerbewegungen darzustellen anstatt der falschen?

Der Preis soll die harte Arbeit und das kreative Konzept von Sophie Joerg würdigen, so Eileen Kraemer, C. Tycho Howle Director an der School of Computing

Joerg arbeitet mit weiteren Wissenschaftler zusammen, um die  Studenten Computational Thinking mit VENVI oder Virtual Environment Interactions zu lehren. Das Programm zielt auch darauf, Stereotypen zu begegnen und zu zeigen, dass auch Frauen und Minderheiten zu den Informatikern gehören.

Bild: Sophie Joerg, Zweite von links, macht Studenten mit dem Motion-Capture-System vertraut. Credit: Clemson University.