Perfekte Bildaufnahme und Merkmalsextraktion = Einfache Bildverarbeitung?

Transkript

1 Perfekte Bildaufnahme und Merkmalsextraktion = Einfache Bildverarbeitung? Bernd Jähne Heidelberg Collaboratory for Image Processing (HCI) Interdisziplinäres Zentrum für Wissenschaftliches Rechnen Universität Heidelberg 36. Heidelberger Bildverarbeitungsforum HCI, Heidelberg, 04. März 2008

2 Übersicht 1. Einführung: Zur Bedeutung der Bildaufnahme und Merkmalsextraktion 2. Merkmale und Bildaufnahmetechnik 3. Robuste Merkmale 4. Merkmale aus Bildsequenzen 5. Ausblick

3 Zur Bedeutung der Bildaufnahme und Merkmalsextraktion Eng miteinander verbunden: Bildaufnahmetechnik beeinflusst Merkmalsgewinnung Einflussnahme allerdings stark abhängig von Randbedingungen: Natürliche Szenen (Außenaufnahme) erlauben keine Beeinflussung der Beleuchtung Bessere Merkmale erleichtern Segmentierung und Klassifizierung

4 Transdisziplinärer Ansatz Klassischer Standpunkt der Computer Vision: Bild wird genommen, wie gegeben Klassischer Ansatz der Optik: Bildaufnahmetechnik ist entscheidend ( Gut aufgenommen ist halb gemessen ) Unser Ansatz: Synergistische Optimierung der Aufnahmetechnik und Merkmalsextraktion ist notwendig und hat enormes, noch nicht ausgeschöpftes Potenzial

5 Merkmal und Beleuchtung I Die unrealistische ideale Welt für die Bildverarbeitung: Bildbestrahlungsstärke (Grauwert) = Objektreflektivität (und damit direkt Merkmal)

6 Merkmal und Beleuchtung II Objekte mit ideal diffuser Reflektivität Bildbestrahlungsstärke Objektreflektivität, nur Farbwert unverändert

7 Merkmal und Beleuchtung III Objekte mit spekularen Reflexionen und Schatten Bildbestrahlungsstärke Objektreflektivität, auch Farbwert verändert

8 Grundfragen Kann geeignete Aufnahmetechnik beleuchtungsdedingte Aufnahmeprobleme reduzieren oder eliminieren? Kann geeignete Aufnahmetechnik + Merkmalsdetektion eine gesuchtes Objektmerkmal direkt und eineindeutig abbilden? These: Wissenschaftliche Anwendung der Bildverarbeitung bieten unzählige Beispiele, die in technische Anwendungen übertragen werden können Nur erschließbar durch interdisziplinären Ansatz: Optik und Bildverarbeitung Vier relevante Beispiele: (I) Temperatur, (II) Distanz (III) Fluoreszenzlebensdauer, (IV) Spektrale Signatur

9 (I) Thermografie: Messung der Wärmestrahlung Spektrale Strahlungsdichte L eines schwarzen Körpers bei verschiedenen absoluten Temperaturen in K

10 (I) Beispiele Thermischer Bilder Person mit Gasflamme Innenleben PC

11 (I) Thermographie: Merkmale Temperatur und Emissivität Alle Objekte werden zu Lambertschen Lichtquellen (sehen aus allen Richtungen gleich aus) Messung der Temperatur T und der Emissivität ɛ Totale Strahlungsflussdichte M: M = ɛσt 4 + (1 ɛ)σt 4 Umgebung (1) Änderung der Strahlungsflussdichte 2 5% / K genaue Temperaturmessung (bei bekannter Emissivität) Technische Grenze heute etwa 0.01 K Rauschäquivalente Temperaturdiffernez (NETD) Gleichzeitige Messung von Temperatur und Emissivität durch Messung in mehreren Wellenlängenbereichen

12 (II) Laufzeitkameras: Merkmal Distanz Aktives Kamerasystem mit Lichtquelle Messung der Distanz durch die Laufzeit des Lichtes: z = 1 c t (2) 2 Erste Kamerasysteme verfügbar (PMDTec Siegen, Mesa Imaging Zürich) Einsatz und Weiterentwicklung aktiver Forschungsgegenstand BMWA InnoNet-Projekt Smart Vision BMBF-Projekt Lynkeus Grundsätzliche Problematik ist Abstandsquadratsgesetz Entfernungsbereich von 1:10 plus Reflektivitätsbereich von 1:10 erfordern Signaldynamik von 1:1000

13 (II) Beispiel Entfernungsbild Projiziertes Intensitätsbild Tiefenbild

14 (III) Laufzeitkameras: Merkmal Fluoreszenzlebensdauer (FLIM) Identifikation einer Substanz durch Fluoreszenzlebensdauer = Zeitverschiebung t bei exponentiellem Abfall Innerhalb des Dynamikbereiches der Kamera intensitätsunabhängig Bisher Bildaufnahme nur mit teuerern Kurzzeitlasern und teueren Kameras mit Belichtungszeiten im ns Bereich Einsatz und Weiterentwicklung von Laufzeitkameras für FLIM aktiver Forschungsgegenstand im BMBF-Projekt FLICAM

15 (III) Beispiel Fluoreszenzlebensdauerbild

16 Enorme Vorteile: (IV) Spektrale Bildaufnahme Direkte Identifikation eines Objekts durch spektrale Signatur unabhängig von Beleuchtung: Quantifizierung von Stoffzusammensetzungen aus der Überlagerung der Spektren Grundsätzliche Problematik: Zusätzlicher Parameter Wellenlänge (bzw. Frequenz): Wie kann mit einem 2D-Bildsensor ein spektrales Bild gemessen werden? Spektrale Zerlegung reduziert Bestrahlungsstärken auf dem Bildsensor um Größenordnungen E spec E gray λ λ max λ min (3)

17 Prinzip dispersiver Spektroskopie Wellenlängenabhängige Zerlegung eines parallelen Lichtbündels in Lichtbündel unterschiedlicher Richtung Eine Raumrichtung geht verloren, wird ersetzt durch Wellenlänge Bestrahlungsstärke um Größenordnungen reduziert

18 Kodierte Transformations-Spektroskopie überwindet Nachteile der klassischen spektroskopischen Bildaufnahme Prinzip Spalt wird ersetzt durch ein kodiertes Muster einer orthogonalen Transformation Durch Rücktransfromation der Muster ergibt sich spektrale Dichte an jedem Bildpunkt Hadamard-Transformation besonders einfach realisierbar, da Transformationsmatrix nur 0 und 1 enthält. Vorteile Nur unwesentliche Intensitätsminderung gegenüber direkter Bildaufnahme Kein räumlicher Scan notwendig

19 Schaltbare monochromatische Lichtquellen: LED Luxeon Rebel, 3 mm 4.5 mm, elektrische Leistung 3 W, Lichtleistung bis 0.5 W

20 Bewertung LED-Beleuchtungsspektroskopie + Keine beweglichen Teile, einfacher Aufbau + Breiter spektraler Bandbereich UV - NIR ( nm) + Sehr schnell einstellbar (< 1 µs) Nur für breitbandige Spektroskopie geeignet (> 10 nm)

21 Robuste Merkmale Robust gegen Was? Rauschen, Beleuchtungsschwankungen,... Merkmal und Gütemaß notwendig Angabe des Merkmalswertes und -fehlers

22 Klassisches Beispiel: Strukturtensor SNR 10 SNR2

23 Bildsequenzen bieten weitere Merkmale Orts/Zeit-Bildwürfel einer Verkehrsszene

24 Orts/Bilder erlauben Analyse komplexer Szenen xy Bild xt Bild an markierter Zeile

25 Generelles Framework zur Bewegungsanalyse Bewegung stellt sich in Orts-Zeit-Bildern als raumzeitliche Strukturen dar Flexible Regularisierung mit Diskontinuitäten Direkte Schätzung von abgeleitenden Bewegungsparametern wie Divergenz, Beschleunigung,.... Direkte Schätzung von Parametern dynamischer Prozesse Vorgabe von Zwangsbedingungen Besonders interessant: Direkte Schätzung des kompletten 3D-Bewegungsfelders aus Sequenzen von Entfernungsbildern

26 Beispiel Wachstum von Pflanzenteilen Wurzeln Blätter (Wuchsrate farbkodiert: blau < grün < rot < weiß)

27 Fazit Kombination dreier Schlüsselbereiche versprechen anhaltenden weiteren Fortschritt: Grundlegend neue Einsichten in der Optik (Überwindung der Abbesches Auflösungsgrenze, Nichtlineare Optik,... ) Stürmische technologische Entwicklung in der Photonik (Bildsensoren, Bildaufnahmetechniken, Lichtquellen,... ) Ständig wachsendes besseres Verständnis der Bildanalyse und Mustererkennung Situation vergleichbar mit Entwicklung vor etwa 150 Jahren: Theoretischer Durchbruch im Verständnis der optischen Abbildung (Abbe) Entwicklung der optische Herstellungstechnik und Qualitätskontrolle (Fraunhofer, Zeiss, Abbe) Entwicklung der Glastechnik (Schott) Wissenschaftliches Umfeld im Raum Heidelberg kombiniert Grundlagenforschung und breites Anwendungsspektrum Gegenseitiger Wissenstransfer von Anwendungsgebiet zu Anwendungsgebiet

28 Weiterführende Literatur I B. Jähne. Practical Handbook on Image Processing for Scientific and Technical Applications. CRC, Boca Raton, 2nd edition, J. R. Lakowicz. Principles of Fluorescence Spectroscopy. Springer, New York, 3rd edition, A. Richards. Alien Vision, Exploring the Electromagnetic Spectrum with Imaging Technology. SPIE, Bellingham, 2001, G. Schröder. Technische Optik. Vogel, Würzburg, 1998.

29 Weiterführende Literatur II A. Throne, U. Litzén, and S. Johansson Spectrophysics. Springer, Berlin, A. Wuttig and R. Riesenberg Sensitive Hadamard Transform Imaging Spectrometer with a simple MEMS. SPIE Proc. Vol. 4881, p. 167, 2003.