Wie autonome Fahrzeuge Fußgänger präziser einschätzen können

Wissenschaftler an der Universität von Michigan wollen autonomen Fahrzeugen beibringen, die Bewegungen von Fußgängern präziser vorherzusagen. Dabei kommen unter anderem Videoclips, 3D-Simulationen und ein neuronales Netz zum Einsatz.

Autonome Fahrzeuge, die Daten via Kameras, LIDAR und GPS sammeln, ermöglichen es den Entwicklern Videoschnipsel von Menschen in Bewegung zu erfassen und sie dann in der 3D-Simulation am Rechner nachzubilden. Damit haben sie ei biomechanisch inspiriertes, rückgekoppeltes (rekurrentes) neuronales Netz erschaffen, das menschliche Bewegungen katalogisiert.

So ist es möglich, Haltungen und Ortswechsel von Fußgängern im Umkreis von 45 Metern um das Fahrzeug vorherzusagen, also etwa in der Größenordnung einer städtischen Straßenkreuzung.

Frühere Arbeiten auf diesem Gebiet haben nur Standbilder untersucht, sagt Ram Vasudevan,  Professor für Maschinenbau an der Universität Michigan (U-M). Sie haben sich aber nicht damit befasst, wie sich Menschen tatsächlich in drei Dimensionen bewegen. Wenn autonome Fahrzeuge in der realen Welt unterwegs sind und damit interagieren, müsse man jedoch vorausschauend sicherstellen, dass sich Bewegungen von Fußgängern und Fahrzeug nicht in die Quere kommen.

Um Fahrzeuge mit der entsprechenden Vorhersagekompetenz zu entwickeln, benötigt man ein Netzwerk, das in die kleinsten Details menschlicher Fortbewegung eintaucht: den Gangrhythmus (Periodizität), die Symmetrie der Gliedmaßen und die Art, wie das Aufsetzen der Füße die Stabilität des Gehens beeinflusst.

Maschinelles Lernen, wie es für aktuelle autonome Technologien eingesetzt wird, fußt oft auf zweidimensionalen Fotos. Ein Rechner, dem Millionen Fotos eines Stoppschilds vorgelegt werden, wird das Stoppschild schließlich auch in der realen Welt sofort erkennen. Indem es sich einige Sekunden dauernder Videoclips bedient, kann nun das System der UM den ersten Teil des Clips zur Vorhersage nutzen und diese dann im zweiten Teil verifizieren.

Derzeit trainiere man das System darin, nicht nur die Bewegungen eines einzelnen Objekts zu erkennen und Vorhersagen zu treffen, sondern auch vorauszuberechnen, wo der Körper des Fußgängers beim nächsten Schritt, beim übernächsten usw. sein werde, sagt Matthew Johnson-Roberson, Professor am Department of Naval Architecture and Marine Engineering der U-M. Mit einem eingängigen Vergleich beschreibt Ram Vasudevan, wie das neuronale Netz extrapoliert.

„Wenn Fußgänger mit dem Handy spielen, wissen sie, dass sie abgelenkt sind. Ihre Haltung und ihr Blick lassen auf das Aufmerksamkeitsniveau schließen und auch darauf, was sie als nächstes tun könnten.“ Mit der neuen Lösung erkennen autonome Fahrzeuge besser, was wahrscheinlich im nächsten Moment passieren wird.

Die Medianabweichung der Vorhersage betrug 10 cm nach einer Sekunde und weniger als 80 cm nach sechs Sekunden. Vergleichbare Lösungen lagen bis zu 7 Meter daneben, wie Johnson-Roberson anmerkt.

Um die Vielzahl der Vorhersagemöglichkeiten einzugrenzen, haben die Wissenschaftler die eingeschränkte menschliche Physis berücksichtigt, etwa das höchstmögliche Lauftempo oder die Tatsache, dass wir nicht fliegen können. Für den Datensatz, der das neuronale Netz trainieren sollte, haben die Forscher ein Level 4-Fahrzeug an verschiedenen Kreuzungen in Ann Arbor geparkt. Mit den Kameras und LiDAR konnte das Auto zahlreiche Daten über viele Tage aufzeichnen. Diese Beobachtungen aus der „Wildnis“ wurden durch herkömmliche Haltungsdaten ergänzt, die im Labor gewonnen wurden. So ist ein System entstanden, das die Meßlatte für die Fähigkeiten autonomer Fahrzeuge höher legt.

Ein Paper steht online in den IEEE Robotics and Automation Letters. Es wird auch in der kommenden Printausgabe des Journals erscheinen. Die Arbeit wurde mit einer Zuwendung der Ford Motor Company unterstützt.

Study: Bio-LSTM: A Biomechanically Inspired Recurrent Neural Network for 3D Pedestrian Pose and Gait Prediction: https://ieeexplore.ieee.org/document/8626436

Bild: Still aus dem Video „Predicting pedestrian movement in 3d for driverless cars“,