Bewegt man seinen Kopf nach links und dann nach rechts, ändert sich das Hören und die Interpretation des Schalls mit der Bewegung. So funktioniert das in der realen Welt. Aber ließe sich das auch in der Virtuellen Realität umsetzen, während man etwa eine Konzertaufnahme hört oder ein Videospiel spielt?

An der Acoustics ’17 in Boston, dem dritten gemeinsamen Meeting der Acoustical Society of America und der European Acoustics Association, die noch bis zum 29. Juni andauert, erklärten Ivan J. Tashev und Hannes Gamper von Microsofts Audio and Acoustics Research Group gestern, wie sie außenohrbezogene Übertragungsfunktionen (head related transfer function, HRTF) einsetzen, um eine immersive Soundumgebung zu erschaffen.

Wie ein Fingerabdruck

HRTFs sind Richtwirkungsmuster der menschlichen Ohren und da jeder Mensch einzigartig ist, gleicht das Erfassen von HRTFs dem eines Fingerabdrucks. Jeder hat andere Ohren, und so wirkt sich die Anatomie einer Person ganz anders auf den Schall aus, als die einer anderen Person.

Gamper erklärt: „Der Schall interagiert nicht nur mit dem Raum, sondern auch mit dem Hörer selbst.“ Der Schall kommt nicht einfach gerade in das menschliche Ohr. Er wechselwirkt vielmehr mit der Form von Kopf, Schultern und Ohren des Hörenden. „All diese physischen Interaktionen mit dem Schall schaffen einen einzigartigen akustischen Fingerabdruck, den das Gehirn zu verstehen oder zu entschlüsseln gewohnt ist. Dieser Fingerabdruck wird in den HRTFs erfasst.“

Mit einer Datenbank von HRTF-Messungen von 350 Personen, der größten Datenbank dieser Art, arbeiten Tashev und Gamper daran, eine stärker personalisierte immersive Audio-Umgebung zu erstellen. In Mixed Reality, in der ein digitales Bild in die aktuelle Umwelt eingeblendet wird, soll diese Technologie die Bilder mit Tönen versehen. Wenn etwa ein Drache im Raum auftaucht, dann würde man ihn nicht nur sehen, sondern auch hören.  

„Damit wir die Illusion des räumlichen Klangs erzeugen konnten, irgendwo im Raum, mussten wir das Gehirn überlisten“, sagt Gamper. Die drei wichtigsten Bausteine in Arbeit von Tashev und Gamper sind: 3D-Audio, Head-Tracking und das Personalisieren des räumlichen Hörens. Mit dem Head-Tracking ändert sich der Klang, wenn der Hörer den Kopf bewegt. Das räumliche Hören, also die Fähigkeit, die Richtung der Schallquelle zu verorten, ist für jede Person einzigartig.

Klangerlebnisse überzeugender machen

Tashev erklärt: „Ausgehend von diesen drei Komponenten verbessern unser räumliches Audiosystem und unsere räumlichen Filter die Wahrnehmung, so dass der Nutzer sagen kann ‚Ja, dieser Ton kommt von dort‘“. Das große Ziel der Personalisierung sei es, das Klangerlebnis überzeugender zu gestalten, es genauer zu machen und schließlich auch seine Qualität zu verbessern.

Um diese Personalisierung umzusetzen, benötigten die Wissenschaftler viele Daten. Die 350 Probanden für die HRTF-Datenbank unterzogen sich hochauflösenden 3D-Scans, die Details von Ohren, Kopf und Rumpf umfassten. Mit weniger Daten, aber immer noch hochgradig personalisiert, könnten die Forscher spezifische Maße der Anwender abfragen, wie die Kopfhöhe, -tiefe und –breite und dann die bestehende Datenbank auf ähnliche Fälle durchsuchen.