Vision und Wetter. Autonome Vehikel 2005 Lars Wolter

Transkript

1 Vision und Wetter Was ist schlechtes Wetter Elektromagnetisches Spektrum Verschiedene Sensoren im Umgang mit Wetter Lichtstreuung Kompensation der Lichtstreuung Fazit

2 Was ist schlechtes Wetter Die Klassiker: Regen, Nebel und Schnee Aber auch Aschewolken und andere nicht normale Zustände kann man als schlechtes Wetter betrachten. Das Wetter beeinflusst auf verschiedene Arten ein Autonomes Fahrzeug Erschwerte Umgebungserkennung Erschwertes Fahrverhalten (Glatteis) Stärkere Belastung von Komponenten

3 Wie wirkt es Schlechtes Wetter sind die Teilchen die sich in der Luft befinden Umstand Luft Feinstaub Nebel Wolke Regen Partikel Typ Molekül Aerosol Tröpfchen Tröpfchen Tropfen Radius(µm) Konzentration(cm -3 ) Feinstaub - Dunst - Haze Sind in Gas gelöste Teilchen wie Abgase. Sie reagieren mit der Luftfeuchtigkeit und bilden dann kleine Tröpfchen und gehen evtl. über in Nebel. Ist meist mehrere Kilometer dick Nebel Bei hoher Luftfeuchtigkeit ist die Luft irgendwann gesättigt, so dass sich Tröpfchen bilden. Das ist der Nebel. Meist nur wenige Hundert Meter dick. Wolken Wie Nebel aber hochgelegen. Z.T. Auch Eiskristalle oder vereiste Schmutzpartikel Regen Verzerren und blockieren die Sicht bei Betrachtung einzelner Tropfen/Flocken.

4 Wie wirkt es Die Teilchen behindern alles was sich versucht durch den Raum zu bewegen. Auch alle Arten von Elektromagnetischer Wellen Die Wellenlänge entscheidet wie stark welche Partikel die Wellen beeinflussen Die meisten Sensoren beruhen auf EM Wellen

5 Das EM-Spektrum Teilchen die Kleiner sind als die Wellenlänge streuen und absorbieren Teile davon. Sensoren sind über das EM-Spektrum verteilt Gasmoleküle und kleine atmosphärische Partikel sind kleiner als die Wellenlänge des sichtbaren Lichtes. Wenn das Licht auf ein Gasmolekül trifft, absorbiert das Molekül und streut oder reemittiert das Licht in verschiedene Richtungen. Darum können wir in der Nacht den Strahl einer Taschenlampe oder die Laserstrahlen einer Diskothek sehen, obwohl wir nicht direkt im Lichtstrahl stehen.

6 Sensoren-Lichtsensor Auch Kamera genannt Belichtungsmessung ist wichtig Kamera weiss nicht ob sie hell beleuchtetes Schwarz sieht oder Weiss im Dunkeln Problem tritt z.b. auf bei Schneelandschaften

7 Sensoren-Laserscanner Auch ein Lichtsensor plus ein Emitter Laser muss den Weg zweimal gehen, zum Objekt und wieder zurück. Große Partikel sorgen für Fehl-Erkennungen Kleine Partikel für geringere Sichtweite Multitarget Scanner ermöglichen mehrere Reflektionen pro Impuls zu Verarbeiten und so z.b. durch Regen besser scannen zu können Der Multitarget Scanner wird von Ibeo verwendet. Laserscanner und Radar arbeiten praktisch gleich. Beachte den Vortrag über 3D Kameras wo Lichtlaufzeit behandelt wird.

8 Sensoren-Thermalsensor NICHT Near Infrared (Fernbedienung usw.) Nimmt Wärmeausstrahlung war Werden Ebenfalls durch Atmosphärische Störungen beeinflusst aber anders/weniger Können nicht lesen ( z. B. Schilder ) Gut um Personen oder Fahrzeuge bei schlechter Sicht vom Hintergrund zu trennen (sie sind warm) Hat nichts mit der Fernbedienung zu tun, die ist noch ein paar Wellenlängen entfernt Man unterscheidet hauptsächlich zwei Typen. Aktiv gekühlte, die ein sehr feines Auflösungsvermögen besitzen, aber sehr Aufwendig gestaltet sind Bei Raumtemperatur arbeitende Sensoren die kompakt und günstig sind Die hübschen Farben die man immer sieht sind nur Fake. Sie dienen einfach dazu das Thermale Spektrum für den Menschen sinnvoll abzubilden.

9 Sensoren-Radar Kann auch nicht lesen Sehr robust gegenüber Atmosphärischen Störungen Geht sogar durch Wände durch (lange Wellenlänge) Wellenlänge ist wichtig wegen Absorption durch verschiedene Moleküle SAR erlaubt Bilder vom Radarsensor Wird bereits viel verwendet, wohl am stärksten im Militärischen Bereich. Sowohl am Boden als auch aus der Luft. SAR (Synthetic Aperture Radar) Umgeht die Verwendung großer Leistungsstarker Antennen, indem über die Zeit eine kleine Antenne mit multiplen Impulsen über das Ziel bewegt wird. Daraus werden dann Daten mit hoher Räumlicher Auflösung berechnet.

10 Kamera unser wichtigster Kann Farben, Distanzen und Formen erkennen Billig! Probleme mit Wetter: Regen Gestreutes Licht Reflektionen Z. T. Verdeckungen Schnee Gestreutes Licht Verdeckte Fahrbahn Nebel Gestreutes Licht

11 Was können wir beheben Reflektionen (Rücklichter auf der Straße) Eventuell mit Pol-Filter zu bekämpfen Am besten durch Plausibilitätsprüfung Verdeckte Markierungen Algorithmen für Offroadsituation anwenden Wichtig zu erkennen: Es schneit Lichtstreuung Der Pol-Filter kann Spiegelungen auf Wasser z.b. in einem See entfernen, aber geht das auch auf nassen Strassen? Wäre mal was zum Ausprobieren. Mit Plausibilitätsprüfung ist gemeint, das ein Auto keine vier Rücklichter hat. Ein weiterer Indiz um eine Reflektion im Auswertungsschritt zu erkennen ist die Symetrie die sie mit dem Orginal verbindet.

12 Streuung des Lichts Im Englischen Scattering Ein Partikel nimmt Licht auf und gibt es in unterschiedliche Richtungen wieder ab Wie, hängt von der Größe der Partikel und der Wellenlänge (λ) des Lichtes ab Partikelradius = 1/10 λ Partikelradius = 1/4 λ Partikelradius = λ Die Streuung ist selten so einfach, da durch die vielen Partikel, auch unterschiedliche mehrere Streueffekte Gleichzeitig auftreten. Die Partikel selbst kommen sch zwar nicht in die Quere da sie relativ gesehen weit auseinander sind, aber sie streuen auch wieder bereits gestreutes Licht.

13 Streuung des Lichts Airlight Vom Sonnenlicht Addiert sich auf reflektiertes Licht Auch bei gutem Wetter Attenuation(Dämpfung) Reflektiertes Licht nimmt ab Airlight erhellt die weit entfernten Objekte. Das ursprüngliche wird gedämpft Dämpfung - Attenuation E(d,λ) = Sichtbare Strahlung in der Distanz d I(λ) = Sichtbare Strahlung am Objekt β(λ)d = Dichte des Mediums Besteht sowohl aus Streuung als auch aus Absorption durch Partikel

14 Streuung des Lichts Entfernen ist Möglich Benötigt aber Aufnahmen unter unterschiedlichen Bedingungen Oder mit unterschiedlicher Polarisation Polarisation? Nicht Polarisiert Polarisiert Polarisierung Kennt man von spiegelnden Glasscheiben, ein Polfilter kann die Spiegelung entfernen. Wird in der Fotografie für Schaufensteraufnahmen benutzt, oder eben um Landschaftsaufnahmen farbechter zu gestalten

15 Entfernen der Streuung mit Polarisation Das Airlight teilt sich in zwei Polarisationsrichtungen Parallel zur Einfallfläche (A p ) Senkrecht zur Einfallfläche (A s ) Polarisierung ist unterschiedlich Kleine Partikel (A s ) > (A p ) Größere Partikel (A s ) < (A p ) Einfallfläche

16 Entfernen der Streuung mit Polarisation Der Einfache Fall Winkel zwischen Licht und Sicht ist 90 Rayleigh Streuung (kleine Partikel/Moleküle) Das Licht ist total polarisiert => Ein optischer Polarisationsfilter alleine entfernt das Airlight Die Empfehlung beim Fotografieren Unter Rayleigh-Streuung versteht man die Streuung von Strahlung an Luftmolekülen. Der Durchmesser der streuenden Teilchen ist viel kleiner als die Wellenlänge der gestreuten Strahlung. Strahlung mit kleiner Wellenlänge wird stärker gestreut als Licht mit grosser Wellenlänge. Die kurzwelligen blauen Anteile des Sonnenlichts werden stark gestreut, was den blauen Himmel erklärt. Weil die blauen Anteile weggestreut werden, erscheint uns die Sonne gelb.

17 Entfernen der Streuung mit Polarisation Das Licht vom Objekt (L) ist kaum polarisiert Airlight (A) schon Die Ausrichtung des Polarisationsfilter geschieht anhand der Gesamthelligkeit (G) Der Filter wird so gedreht das G minimal ist, welches uns Airlight (A p ) gibt Und eine zweite Aufnahme mit senkrechter Polarisierung (A s ) (A s ) (A p ) Dieser Teil ist nur mechanisch zu bewerkstelligen, man benötigt einen Pol-Filter der durch den Computer gesteuert werden kann. Die Kamera darf nicht automatisch belichten, damit die Helligkeitsunterschiede durch den Filter bemerkt werden.

18 Entfernen der Streuung mit Polarisation Jeder Bildpixel besitzt 2 Unbekannte Licht vom Objekt ohne Streuung (L) Der Anteil Airlight (A) Der Polarisierungsfaktor (p) läßt sich gut schätzen gesäubert Somit können wir A = (A s -A p ) / p bestimmen Vom unpolarisierten Bild können wir nun A subtrahieren. Entfernen des Dunstes enthält auch die Entfernung der Dämpfung. Das ganze wird dadurch noch etwas komplexer. Wir benötigen noch A,das Airlight im Unendlichen. Dieses ergibt sich aus der selben Schätzung wie p.

19 Entfernen der Streuung mit Polarisation Was heißt einfach schätzen? Entweder wir sehen Himmel oder eine andere Stelle im Bild die nur Airlight enthält Oder wir haben zwei x zwei gleiche Objekte in unterschiedlicher Distanz Macht das ganze wieder kompliziert Für die Schätzung durch den Himmel ergibt sich Dabei ist delta I der Abstand zwischen zwei Pixels der unterschiedlich polarisierten Bilder. Die andere Schätzung ist komplexer, Siehe Dazu: Polarization-based vision through haze Yoav Y. Schechner, Srinivasa G. Narasimhan, and Shree K. Nayar - Abschnitt 7.D Zusätzlich zum Schätzen kommt ein leichtes Biasing dazu um die Bilder Menschenfreundlich zu machen (kein schwarzer Himmel)

20 Entfernen der Streuung mit Polarisation Ein Extra, die Tiefe des Bildes Anhand des Airlight Und der Dämpfung Probleme sind stark polarisierende Objekte (glänzendes Metall) Keine Absoluten Angaben möglich Entfernungsbild Hängt stark von der Dynamic-Range der Kamera ab. Eine Kamera die 12Bit pro Pixel liefert hat eine höhere Genauigkeit. b ist die Bit-Tiefe, z die Distanz und Beta der relative Faktor. Delta z die Abweichung.

21 Fazit: Entfernen der Streuung mit Polarisation Verbesserung (mehr als generelle Optimierer) P Schätzen ohne den Menschen? Dichter Nebel, dichte Wolken sorgen für Depolarisierung Hoher Hardware Aufwand (2 Bilder für die Auswertung, Pol-Filter Ausrichtung) Verbesserungen Bietet kontinuierliche Videoauswertung Vorteile?

22 Lichter im Nebel Ein weiterer Ansatz sind Lichtquellen Bei schlechter Sicht glühen sie Stärke des Glühen kann Informationen liefern. Distanz und Originalform der Lichtquelle, Wetterzustand Zur Erkennung von Ampeln oder leuchtenden Verkehrszeichen. Benötigt ein Referenzlicht. Funktioniert nur im Dunkeln. Distanz enötigt Referenzbild mit am besten keinem Glühen.

23 Weitere Verfahren Die anderen Verfahren brauchen zwei Bilder Jedes zu unterschiedlichen Konditionen Können aber beide Schlechte Sicht sein Algorithmen stellen Kontrast und Farben wieder her und liefern Tiefeninformationen ähnlich wie mit Polarisierung Einzige Sinnvolle Nutzung bei fester Kamera mit sich bewegenden Objekten. Kamera die Autos Überwacht und Nummernschilder erkennt besitzt immer den selben Hintergrund. Verwendetes Dichromatisches Model kümmert sich um getreue Farbrückgewinnung. Evtl ist dies auf den Algorithmus mit Polarisierung anzuwenden um die Farben zu verbessern.

24 Weitere Verfahren Tiefeninformation bekommt man evtl. aus einem Bild. Die Helligkeit gibt die Tiefe an Alles was hell ist ist Opfer von Airlight. Somit sind dunklere Stellen näher als hellere Bringt keinerlei Bildinformationen. Sehr unzuverlässig. Referenzen: Vision and the Atmosphere SRINIVASA G. NARASIMHAN AND SHREE K. NAYAR International Journal of Computer Vision 48(3), , 2002 Shedding Light on the Weather Srinivasa G. Narasimhan and Shree K. Nayar Proceedings of the 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR 03) Polarization-based vision through haze Yoav Y. Schechner, Srinivasa G. Narasimhan, and Shree K. Nayar Januar 2003 Wikipedia --

25 Aussichten Mann kann aus einem Bild nicht mehr raus holen als drin ist. Das Aufnahmegerät muss mehr bringen Größeren Bereich des Spektrum aufnehmen Diese Daten gemeinsam auswerten Mit Radar das Schild finden, mit Kamera lesen Weitere Vorschläge???