Autonomes Fahren: Mehr Durchblick im Nebel

Der Nebel so dicht, dass man die Hand vor Augen nicht sieht — das muss nicht sein. Wissenschaftler am MIT ist es gelungen, vom Nebel komplett verhüllte Objekte sichtbar zu machen.

Die Lösung kann nicht nur Bilder von Objekten erzeugen, die der Nebel verhüllt, sie kann auch die Entfernung dieser Objekte messen. Mit nebligem Wetter zurechtzukommen,  hat sich bislang als eine der höchsten Hürden in der Entwicklung von autonomen Fahrzeugen erwiesen, deren Navigationssysteme sichtbares Licht verwenden. Diese Systeme sind wegen ihrer hohen Auflösung und ihrer Fähigkeit, Verkehrszeichen und Straßenmarkierungen zu lesen, den radarbasierten Lösungen vorzuziehen. Das MIT-System könnte sich als entscheidender Schritt hin zu wirklich selbstfahrenden Autos erweisen.

Die Entwickler testeten ihre Lösung an einem kleinen Wassertank, in dem sie den vibrierenden Motor eines Raumbefeuchters eintauchten. Im dichten Nebel, der nur eine Sichtweite von 36 cm zuließ, konnte das System Bilder von Objekten darstellen und ihre Tiefe in einer Entfernung von 57 cm abmessen.

Nun sind 57 cm nicht viel, aber der testweise erzeugte Nebel ist weit dichter, als alles, was einem menschlichen Fahrer begegnen könnte. Ein typischer dichter Nebel erlaubt immerhin noch Sichtweiten zwischen 30 und 50 m. Entscheidend ist, dass die Lösung mehr leistet als das menschliche Auge, während die meisten bildgebenden Verfahren bislang weit schlechter abschneiden.  Allein ein Navigationssystem, das dem menschlichen Fahrer in nebligen Verhältnissen ebenbürtig ist, wäre schon ein großer Durchbruch.

Guy Satat, Graduate Student am MIT Media Lab und Leiter des Projekts, sagt: „Ich entschied mich, die Herausforderung anzunehmen und ein System zu entwickeln, das durch wirklichen Nebel hindurchsehen kann. Wir beschäftigen uns mit echtem Nebel, der dicht, dynamisch und ungleichmäßig ist. Er ist immer in Bewegung und verändert sich ständig mit dichteren und weniger dichten Schwaden. Andere Verfahren sind nicht darauf ausgelegt, solch realistischen Szenarien zu meistern.“

Satat und seine Kollegen beschreiben das Konzept in einem Paper, das sie an der International Conference on Computational Photography im kommenden Mai präsentieren wollen. Satat ist der Hauptautor des Papers, weitere Autoren sind der Betreuer von Satats Doktorarbeit, Professor Ramesh Raskar und Matthew Tancik, Graduate Student.

Etwas riskieren

Das neue System verwendet eine TOF-Kamera mit Single-Photon Avalanche-Dioden (SPADs) , die ultrakurze Laserpulse in eine Szene abfeuert und die Zeit misst, bis die Reflexionen wieder am Ausgangsort eintreffen. An einem klaren Tag ist die benötigte Zeit, die das Licht zum Objekt und wieder zurück braucht, proportional zur Entfernung. Aber Nebel lässt das Licht streuen oder lenkt es auf zufällige Weise ab. Bei nebligem Wetter wird der Großteils des Lichts, das den Kamerasensor erreicht, von den Wassertröpfchen in der Luft reflektiert und nicht von jenen Objekten, denen autonome Fahrzeuge eigentlich ausweichen müssten. Selbst das Licht, dass von möglichen Hindernissen zurückgeworfen wird, kommt zu verschiedenen Zeitpunkten zurück, von den Wassertröpfchen sowohl auf dem Hin- als auch dem Rückweg abgelenkt.

Die Lösung des MIT versucht dieses Problem mit Statistik zu umgehen. Die Muster des vom Nebel reflektierten Lichts variieren mit der Dichte des Nebels: Man kann davon ausgehen, dass Licht weniger tief in dichten Nebel vordringt, als es dies in leichteren Nebel tun würde. Aber die MIT-Forscher konnten zeigen, dass die Ankunftszeiten des reflektierten Lichts einem statistischen Muster namens Gamma-Verteilung folgen , und zwar egal, wie dick der Nebel ist.

Gamma-Verteilungen sind ein bisschen komplexer als Gauss’sche Verteilungen mit den vertrauten Glockenkurven: Sie können asymmetrisch ausfallen und sie können eine größere Variationsbreite an Formen annehmen. Aber wie die Gauss’schen Verteilungen lassen sie sich mit zwei Variablen vollständig beschreiben. Die Lösung des MIT schätzt die Werte der Variablen sehr schnell und verwendet die entstandene Verteilung, um die Reflexion durch den Nebel aus dem Lichtsignal, das den Kamerasensor erreicht, herauszurechnen.

Das System berechnet eine unterschiedliche Gamma-Verteilung für jedes der 1‘024 Pixel im Sensor. Daher kommt es mit den Unterschieden in der Nebeldichte klar, die andere Systeme haben scheitern lassen: Es kann mit Verhältnissen umgehen, bei denen jedes Pixel eine andere Art von Nebel sieht.

Charakteristische Formen

Die Kamera zählt die Anzahl der Lichtpartikel oder Photonen, die sie alle 56 Picosekunden erreichen, also ein Billionstel einer Sekunde. Das System verwendet diese grobe Zählungen, um ein Histogramm zu erzeugen, im Prinzip ein Säulendiagramm, in dem die Höhe der Säulen für Photonen in jedem Intervall steht. Anschließend findet es die Gamma-Verteilung, die am ehesten der Form des Säulendiagramms entspricht und subtrahiert die damit verbundene Photonenzahl von der gemessenen Gesamtsumme. Übrig bleiben kleine Ausschläge bei den Entfernungen, die mit den physischen Hindernissen korrelieren.

Satat sagt: „Schaut man sich die Berechnung und das Verfahren an, so sind sie erstaunlicherweise nicht komplex. Zudem brauchen wir kein vorgängiges Wissen über den Nebel und seine Dichte. So kann das Verfahren in einer breiten Spanne nebliger Verhältnisse funktionieren.“

Satat testete das System mit einer 1 m langen Nebelkammer, in die er Entfernungsmarkierungen einsetzte. Außerdem platzierte er eine Reihe kleiner Objekte – eine hölzerne Statuette, Holzblöcke, Umrisse von Buchstaben – die das System abbilden konnte, selbst wenn sie sich für das bloße Auge nicht von der Umgebung abzeichneten.

Es gibt jedoch verschiedene Möglichkeiten, Sichtbarkeit zu messen: Objekte mit unterschiedlichen Farben und Texturen sind im Nebel in unterschiedlichen Entfernungen sichtbar. Um also die Leistung des Systems zu beurteilen, verwendete Satat eine strengere Metrik, nämlich die optische Dicke. Sie beschreibt, in welchem Ausmaß der Nebel das Licht passieren lässt.

Die optische Dicke ist unabhängig von der Entfernung. Die Leistung des Systems bei Nebel, der eine spezifische optische Dicke in einer Entfernung von 1 m aufweist, sollte also ein guter Indikator für die Leistung des Systems bei Nebel sein, der dieselbe optische Dicke in einer Entfernung von 30 Metern hat. Die Lösung könnte sogar bei größeren Distanzen besser funktionieren, weil sich die Spanne zwischen den Ankunftszeiten der Photonen  vergrößert, was dann zu genaueren Histogrammen führen könnte.

Video „Seeing through fog“: https://youtu.be/CkR1UowJF0w

Paper: http://web.media.mit.edu/~guysatat/fog/materials/TowardsPhotographyThroughRealisticFog.pdf

Bild: Guy Satat, Graduate Student am MIT Media Lab und Leiter des Projekts.