Autonome Fahrzeuge sicherer machen

Informatiker von der University of Southern California entwickeln eine Methode, um jene Algorithmen für das maschinelle Lernen zu testen, die autonome Fahrzeuge steuern sollen.

In verkehrsreichen Städten wie Los Angeles stellt sich für Viele die Frage: Wann kommen die selbstfahrenden Autos? Aber nach einigen Unfällen in den USA könnten Sicherheitsbedenken die autonomen Träume abrupt beenden. Die Wissenschaftler befassen sich in ihrer Arbeit damit, ein seit langem bekanntes Problem für Entwickler autonomer Fahrzeuge anzugehen: dem Test der Algorithmen für die Wahrnehmung, die es dem Fahrzeug ermöglichen, zu verstehen, was es gleichsam sieht.  

Gemeinsam mit Forschern von der Arizona State University hat das Team ein mathematisches Verfahren entwickelt, das Anomalien und Fehler im System erkennt, bevor das Fahrzeug auf die Straßen kommt.

Die Wahrnehmungsalgorithmen fußen üblicherweise auf konvolutionalen neuronalen Netzen und maschinellem Lernen. Sie lassen sich nur schwer testen, da wir nicht wirklich verstehen, wie sie zu ihren Vorhersagen kommen. In sicherheitskritischen Systemen wie autonomen Fahrzeugen hat das möglicherweise katastrophale Folgen.

Algorithmen für die Wahrnehmung robust zu machen, sei eine der höchsten Hürden für autonome Systeme, sagt der Hauptautor der Arbeit, Anand Balakrishnan, Informatik-Doktorand an der USC. Mit der neuen Methode können Entwickler Fehler viel schneller eingrenzen und diese Information anschließend benutzen, um das System zu trainieren. So wie Autos Crashtests durchlaufen müssen, biete diese Methode eine preemptives Tool um Fehler in autonomen Systemen ausfindig zu machen.

Das Paper „Specifying and Evaluating Quality Metrics for Vision-based Perception Systems“ wurde an der Konferenz Design, Automation and Test in Europe in Italien Ende März vorgestellt. Co-Autoren von der Arizona State University sind Adel Dokhanchi, Heni Ben Amor und Georgios Fainekos.

Die Welt begreifen

Normalerweise lernen autonome Fahrzeuge etwas über die Umgebung mittels Systemen für das maschinelle Lernen, die mit enormen Datenmengen über Verkehrssituationen gefüttert werden, bevor sie selbstständig Objekte erkennen können. Aber diese Systeme können auch falsch liegen. Beim für einen Fußgänger tödlichen Unfall in Arizona klassifizierte die Software den Fußgänger als „falsch positiv“ und entschied sich für „Weiterfahren“,

Co-Autor Jyo Deshmukh, Professor für Informatik und früher in der Entwicklungsabteilung von Toyota tätig, sagt: „Wir dachten, ganz klar gibt es ein Problem damit, wie der Wahrnehmungsalgorithmus trainiert worden ist. Wenn ein Mensch ein Video verfolgt, dann hat man da bestimmte implizite Annahmen über die Kontinuität. Sehen wir ein Auto in einem Bild, gehen wir davon aus, dass es auf dem nächsten nicht weit vom ersten Standort zu sehen sein wird. Das ist eine der vernunftbasierten Voraussetzungen, die wir in einem Wahrnehmungsalgorithmus verwirklicht sehen wollen, bevor er zum Einsatz kommt.“ So kann zum Beispiel ein Objekt nicht einfach so von einem Frame zum anderen verschwinden und wieder auftauchen. Wenn das passiert, verletzt das eine „Vernunftbedingung“ oder ein Gesetz der Physik, was einen Fehler im Wahrnehmungssystem nahelegen würde.

Kein Platz für Fehler

Das Team hat eine neuartige mathematische Logik namens Timed Quality Temporal Logic formuliert und diese dazu verwendet, zwei populäre Tools für das maschinelle Lernen, Squeeze Det und YOLO, mit Videodatensätzen von Fahrszenarien zu testen. Die Logik schaltete sich zuverlässig dann ein, wenn das Tools über mehrere Frames gegen die Regeln der Vernunft verstießen. In den meisten Fällen konnten die Systeme ein Objekt nicht erkennen oder die klassifizierten es falsch. Beispielsweise erkannte ein Tool einen Radfahrer von hinten als Fußgänger, wenn der Reifen als dünne gerade Linie erschien. Damit wäre es für die Software unmöglich, die anschließende Bewegung des Radfahrers vorherzusehen, ein Unfall könnte passieren. Phantomobjekte, wenn also das System etwas sieht, was nicht vorhanden ist, treten ebenfalls häufig auf.  Das Auto würde hart bremsen, auch ein gefährliches Manöver.

Fazit

Mögliche Probleme in den Algorithmen für die Wahrnehmung sollen frühzeitig im virtuellen Test erkannt werden können. Damit werden die Algorithmen sicherer und zuverlässiger. Das Verfahren beruht auf dem dem „gesunden Menschenverstand“ und entsprechenden Regeln. Deshalb braucht es keine Menschen, die Objekte in den Testdatensätzen in einem zeitraubenden und fehlerbehafteten Prozess markieren und kennzeichnen.

Die Forscher wollen die Logik in vorhandene Systeme einbauen, um die Rechenverfahren neu anzulernen, wenn ein Fehler auftritt. Vielleicht könnte die Methode sogar für den Echtzeitgebrauch für das Sicherheitsmonitoring auf der Straße weiterentwickelt werden.

Bild oben: In diesem Fall klassifiziert das System einen Radfahrer fälschlicherweise als Fußgänger. Credit: Anand Balakrishnan