3D Kameras basierend auf Lichtlaufzeitmessung

Transkript

1 Seminar "Autonome Fahrzeuge" / SS05 Nikolai Kutscher, Beate Mielke 3D Kameras basierend auf Lichtlaufzeitmessung Einleitung Wir leben in einer dreidimensionalen Welt, in der auch Sensoren in der Lage sein müssen, die Welt in drei Dimensionen zu erfassen. Die gängigen Sensoren bieten nur ein unzureichendes Abbild der Welt, da sie nur eine zweidimensionale Projektion der Realität liefern, in der jegliche Information über die Entfernung einzelner Bildpunke verloren geht. Klassische Stereoskopie (siehe Abb. 1) hilft in diesem Fall nicht wirklich, da für die computergesteuerte Bildverarbeitung digitale Tiefeninformation benötigt wird. Der neueste technologische Fortschritt macht es möglich, Sensoren zu bauen, die Abstände innerhalb einer Szene "sehen" können. Sie nutzen die Ausbreitungseigenschaften des Lichtes. Das Grundprinzip "Lichtlaufzeit" (TOF) wird im Folgenden vorgestellt. Abb. 1 Prinzip der Lichtlaufzeitmessung mittels einer Tiefenkamera - Lichtgeschwindigkeit Licht bewegt sich im Medium Luft mit der Geschwindigkeit c = 2, * 10 8 m/s m/s - Lichtlaufzeitmessung Time of Flight TOF Also legt es einen bestimmten Weg in einer bestimmten Zeit zurück. Man spricht von der Lichtlaufzeit (engl. Time of Flight [TOF]). Sie berechnet sich mit der Formel: Beispiel: Um den Weg von 1cm zurückzulegen braucht Licht 33,36 ps.

2 - Wie geht nun eine Messung vonstatten? Ein Laserlichtimpuls im Infrarotbereich wird von einer Lichtquelle ausgesandt. Sobald er auf ein Objekt trifft, wird er reflektiert und von einem Lichtsensor verarbeitet. Abb. 2 Die Zeit T 0, die das Licht für diesen Weg braucht, muss unter Berücksichtigung von Hinund Rückweg halbiert werden. Daraus ergibt sich die Formel: - Lichtlaufzeitmessung mittels Pulsverfahren Möchte man nun ein ganzes Bild aufnehmen, braucht man für jeden Bildpunkt eine Zeitmesseinheit. Um dies zu realisieren wurde 1998 von zwei Erfindern der Fa. Siemens ein Verfahren patentiert, das im Folgenden vorgestellt werden soll: Die Flugzeit des Lichts wird nicht direkt über eine Uhr, sondern über eine zeitliche Integration der Lichtintensität innerhalb eines genau bestimmten Zeitfensters bestimmt.

3 Abb. 3 Abb. 4 Abb. 3: Integrationsspannungen für zwei gleiche Objekte in unterschiedlichen Entfernungen. Vereinfachte Darstellung ohne Hintergrundlicht. Abb. 4: Patentiertes verfahren zur Distanzmessung Das Licht wird wird ausgesandt und was an Reflektion bis zu einem bestimmten Zeitpunkt zurückgekommen ist, wird ausgelesen. Schaltungstechnisch wird dies über die Integration von einem lichtempfindlichen Bauteil, z.b. durch den von einer Fotodiode erzeugten Fotostrom auf einen Kondensator realisiert. Die Verbindung zwischen Fotodiode und Kondensator wird zu einem festen Zeitpunkt für alle Pixel gleichzeitig getrennt und die Spannung dann ausgelesen. Q = C * U Q: Ladung C: Kapazität U: Spannung

4 Aufgrund der verschiedenen Reflektionseigenschaften unterschiedlicher Materialien, reicht eine Messung nicht aus, sondern man macht zwei Messungen mit unterschiedliche langen Zeitfenstern (siehe Abb. 3). Eine wichtige Rolle spielt noch das Hintergrundlicht. Deshalb macht man noch zwei weitere Messungen über die gleichen Integrationsfenster, ohne Licht auszusenden und misst somit nur das Hintergrundlicht alleine. Die ermittelten Werte werden von den Objektmessungen subtrahiert. Die Tiefenwerte können dann mathematisch folgerndermaßen rekonstruiert werden: Hilfsgrößen U 1 und U 2 (s. ABB. 4) Steigung Punktsteigungsgleichung mit Punkt. (T 2, U 2 ) Abb. 5

5 Durch die Verknüpfung zwischen Weg und benötigter Zeit und über die Lichtgeschwindigkeit läßt sich die einfache Entfernung zum Objekt, an dem das Licht reflektiert wurde, ermitteln. Lichtlaufzeitmessung mit moduliertem Licht Licht wird wird so moduliert, dass sich die Intensität sinusoidal ändert. Es gibt kein limitiertes Zeitfenster, sondern das Licht wird kontinuierlich ausgesandt. Abb. 6: Zwei Objekte reflektieren moduliertes Licht. Objekt A reflektiert mehr Intensität als Objekt B, weil die Sinuskurve genau in diesem Moment ihr Maximum bzw. ihr Minimum erreicht hat. Abb. 7: Demonstration der Phasenverschiebung Abb. 8: Sampling und diskrete Fouriertransformation Das sinusoidale Modulationssignal enthält drei Unbekannte: Offset, Amplitude und Phase

6 Deshalb sind mindestens drei Abtastpunkte per Modulationsperiode nötig, um die Unbekannten mit Hilfe der diskreten Fourietransformation zu berechnen. Hier ist es günstig vier um 90 verschobene Werte zu nehmen. Die Grauwerte der Pixel ergeben sich aus den gleichen Daten über das quadratische Mittel. Vom ausgesandten Lichtsignal zur Berechnung der Entfernung: Maximale Distanz Der von der Kamera maximal messbare Distanzbereich D ist auf weniger als eine Periode abhängig von der Modulationsfrequenz f m und ergibt sich durch Einsetzen der vollen Periode 2 zu: Beispiel: Modulationsfrequenz: maximale Distanz: Tiefenauflösung: 20 MHz 7,5 m 1 cm

7 Unterschiede der beiden Verfahren in der Anwendung Pulsverfahren - günstig, wenn Hintergrundlicht eine Rolle spielt - preisgünstiger (man kann Standard-CMOS verwenden) - schnelleres Verfahren (kurze höhere Lichtimpulse liefern besseres Ergebnis) - technisch aber teilweise aufwendiger in der Herstellun (z.b. wegen Anforderung an Flankensteilheit) moduliertes Licht - man muss bestimmte Frequenz einhalten - moduliertes Licht kann mit LED s gemessen werden - CCD-CMOS nötig - teurer Aufbau der Kamera Das Komplettsystem besteht aus drei Hauptbestandteilen, dem Emitter, der das frequenzmodulierte optische Signal ausstrahlt, dem Detektor, der das reflektierende Signal registriert und der Steuerelektronik (Abb. 9). Abb. 9. Schematisches Diagramm des Sensorsboardes

8 Emitter: Die Hauptaufgabe des Emitters ist, frequenzmoduliertes Licht auszusenden. Er muss die folgenden Anforderungen erfüllen: Hohe Modulierungslinearität bei hoher Modulierungsfreqenz, große Bandbreite von Wellenlängen, niedrige Betriebstemperatur und kleine Abmessungen. Für 3D Kameras werden überwiegend LEDs (lichtemittierende Diode) oder Laserdioden benutzt. Detektor: Abb. 10 Der Kern des Detektors ist der Sensor. Er wird als Pixelarray aufgebaut, bei dem jedes Pixel eine separate Messung durchführt. Die Hauptaufgabe des Sensors ist, das von Objekten in der Szene reflektierte Signal zu registrieren. Ein Photon trifft die Oberfläche des Sensors und seine Energie wird in ein Fotoelektron umgewandelt. Da das ankommende Signal (z.b. 20 MHz frequenzmoduliertes Signal) demoduliert werden muss, muss eine schnelle Aufladungstrennug und Transport innerhalb jeden Pixels stattfinden. Es kann aber vorkommen, dass sogar weniger als ein Elektron pro Modulationsperiode erzeugt wird. Dementsprechend ist es sinnvoll, die wiederholte Hinzufügung der Elektronen zu realisieren. Steuerelektronik: Sie hat mehrere Aufgaben: Sie steuert das gesamte Board. Anhand der analogen Daten, die der Sensor liefert, führt sie alle Berechnungen für die Abstandsdiagramme durch und steuert die Kommunikation mit dem angeschlossenen Rechner. Abb. 11 Ein wichtiger Parameter, der die Qualität des 3D Sensors bestimmt, ist die minimale ankommende optische Energie auf einem Pixel, die ermittelt werden kann. Diese Energie ist direkt proportional zur Anzahl der Fotoelektronen, die während einer Belichtungsperiode angesammelt werden. Die gemessene Standardabweichung als Funktion der optischen Energie, die auf ein Pixel fällt, ist in Abb. 12 dargestellt.

9 Wie man sieht, ist die Streckengenauigkeit im Wesentlichen nur durch das Lichtrauschen begrenzt. Es wird gemessen und dadurch ist es möglich, die Streckenauflösung zuverlässig vorauszusagen. Hier werden zwei 3D Kameras vorgestellt, die als Prototypen für Forschungszwecke gebaut werden. Die SwissRangerTM der Firma CSEM und die PMD[vision]19K der Firma PMD Technologies. Beide Kameras benutzen LEDs als Belichtungseinheit mit 20 MHz Modulation und einer maximalen Abstandsmessung von 7,5 m. Die technischen Daten werden in der Tabelle zusammengefasst. Abb. 13, 14 Kameramodell SwissRangerTM PMD[vision]19k Auflösung Modulationsfrequenz 20MHz 20MHz Abstandsauflösung bis 5 mm bis 6 mm Wellenlänge 870 nm 850 nm Emitterleistung 800 mw 4 W Bildrate bis 30 fps bis 10 fps Interface USB 2 IEEE 1394a, Ethernet (IEEE 802.3u), RS 232 Abmessungen Das Hauptproblem bei den Kameras sind die geringe Auflösung und das hohe Grundrauschen. Für manche Anwendungen wäre eine größere Auflösung des Sensors auf

10 Kosten der Aufnahmegeschwindigkeit vorteilhaft. Das Grundrauschen wird durch Einsetzen des Bandpassfilters minimiert. Keine homogene Beleuchtung der Emitter (wegen Anordnung und ungleichmäßiger Kühlung) beeinträchtigt die Qualität. Durch eine ringförmige Anordnung der Dioden oder einzelnen leistungsstärkeren Dioden könnte man das Sichtfeld des Sensors homogener beleuchten. Da das aufzunehmende Objekt währen der Messungen bewegungsfrei sein muss, ist es auch problematisch, bewegliche Objekte aufzunehmen. Durch die Einzigartigkeit der 3D Kamera ist es vorstellbar, sie überall dort einzusetzen, wo man bis jetzt 2D Sensoren benutzt hat. Abb. 15 REFERENZEN 1. Gerhard P. Herbig, Stereofotografie heute 2. C. Niclass, A. Rochas, P. Besse, E. Charbon A CMOS 3D Camera with Millimetric Depth Resolution, Swiss Federal Institute of Technology, Switzerland 3. G. Friedland, K. Jantz, R. Rojas Videobilder mit Tiefgang, FU Berlin T. Oggier, M. Lehmann, R. Kaufmann, M. Schweizer, M. Richter, P. Metzler, G. Lang, F. Lustenberger and N. Blanc An all solid state optical range camera for 3D real time imaging with sub centimeter depth resolution (SwissRanger), CSEM SA, Badenerstrasse 569, CH 8048 Zürich 6. Vision sensors & systems, Xavier arreguit CSEM SA CH 2007 Neuchatel 7. R. Lange, P. Seitz, A. Biber und R. Schwarte, "Time-of-Flight range imagung with a custom solid-state image sensor", Centre Suisse d'electronique et de Microtechnique SA (CSEM), Uni Giessen, Institut für Nachrichtenverarbeitung

11 8. André Henkies, "Entwurf und Optimierung fremdlichttoleranter Tiefenkamerasysteme auf der Basis indirekter Lichtlaufzeitmessung", Dissertation, Uni Duisburg, Fakutät der Ingenieurwissenschaften 9. w4.siemens.de/fui/de/archiv/newworld/heft2_01/artikel03