Digitale Bildverarbeitung

Transkript

1 Digitale Bildverarbeitung Dr. Stefan Gehrig Dipl.-Physiker, Dipl.-Ing. (BA) Duale Hochschule Baden-Württemberg - Stuttgart Sommersemester 2017 S. Gehrig - Digitale Bildverarbeitung 1

2 Bildverarbeitung im Jahre 2000 (Doktorarbeit) S. Gehrig - Digitale Bildverarbeitung 3

3 Bildverarbeitung 2005 S. Gehrig - Digitale Bildverarbeitung 4

4 Bildverarbeitung 2011 (Zukunftspreis) S. Gehrig - Digitale Bildverarbeitung 5

5 Bildverarbeitung im Produkt (2013) S. Gehrig - Digitale Bildverarbeitung 6

6 Szenenverstehen 2013 pedestrian detector vehicle detector Stixel ground 7 S. Gehrig - Digitale Bildverarbeitung 7

7 Szenenverstehen 2016 Cityscapes Dataset: 50 Cities, 5000 frames, 25 classes pedestrian vehicle road sidewalk grass pole traffic sign traffic light building sky 8 S. Gehrig - Digitale Bildverarbeitung 8

8 Kleine Objekte Bertha was blind for small objects on the road. An autonomous vehicle has to avoid any hazard on the road. 9 S. Gehrig - Digitale Bildverarbeitung 9

9 Detektion verlorener Ladung mittels Deep Learning Bertha was blind for small objects on the road. An autonomous vehicle has to avoid any hazard on the road. 10 S. Gehrig - Digitale Bildverarbeitung 10

10 Das Wichtigste zuerst: Note wird zu 50% aus einer schriftlichen Klausur am Semesterende ermittelt. Vorlesungsbegleitende Übungen sind Aufgaben im Klausurstil. Hilfsmittel für die Klausur: nicht-programmierbarer Taschenrechner. Skript + diese Folien zu finden unter Vortrag in Gruppen über ein Bildverarbeitungs-Thema mit 25% Anteil an der Endnote. Mögliche Themen: Autonomes Fahren, Optischer Fluss, Klassifikation, Applikationen,. Programmieraufgaben mit 25% Anteil an der Gesamtnote. Vorschlag: Nutzung von Python oder C++, z.b. unter Nutzung von opencv. Weitere Details tbd Praktische Übungen in MATLAB zur Vertiefung S. Gehrig - Digitale Bildverarbeitung 11

11 Überblick Einführung in die digitale Bildverarbeitung Bilderfassung Bildübertragung/-speicherung/-formate Bildvorverarbeitung (Image processing) Signaltheoretische Grundlagen der digitalen Bildverarbeitung Bildverbesserung Bildanalyse/Merkmalsextraktion (Computer Vision) Konturen Morphologische Methoden Korrespondenzanalyse Klassifikation S. Gehrig - Digitale Bildverarbeitung 12

12 Welche Ziele hat diese Vorlesung? Vermittlung der Grundlagen der Bildverarbeitung Befähigung zur Einschätzung von Problemen, die mit Methoden der BV gelöst werden können. Befähigung zum Lesen weiterführender Literatur vermitteln, was ein mathematisches Grundgerüst einschließt. S. Gehrig - Digitale Bildverarbeitung 13

13 Bildverarbeitung: Unterscheidung A) Image Processing: Bild => Bild (Bildvorverarbeitung, Bildverbesserung) B) Image Analysis/Computer Vision Bild => extrahierte Information Anwendungen: A) Bildverbesserung => Bildgebende Verfahren der Medizin (Tomographie, Radiologie,...) - Reduktion von Rauschen - Bilddatenkompression - Filterung - Kontrastverbesserung => Bildrestaurierung - Entfernen von Kratzern... S. Gehrig - Digitale Bildverarbeitung 16

14 B) Extraktion symbolischer Information - Qualitätskontrolle - Lesen handgeschriebener Texte - Robotik, Automatisierung - Überwachungsanlagen - automatische Auswertung med. Bilder - Kriminalistik (Fingerabdrücke)... - Archäologie (automatische Auswertung von Luftbildern) - Militärische Anwendungen (Objekte verfolgen) - Zugangskontrolle (Erkennen von Gesichtern) => in allen Bereichen des täglichen Lebens, insbesondere bei Aufgaben - wie monotone Sehaufgaben - bei denen der Mensch nicht präzise genug ist - bei denen der Mensch zu teuer ist S. Gehrig - Digitale Bildverarbeitung 17

15 Ablauf in einem Bildverarbeitungssystem Bildaufnahme Diskretisierung Bildverbesserung Segmentierung Merkmalsextraktion Klassifikation/Interpretation Ergebnis S. Gehrig - Digitale Bildverarbeitung 18

16 S. Gehrig - Digitale Bildverarbeitung 19

17 S. Gehrig - Digitale Bildverarbeitung 20

18 S. Gehrig - Digitale Bildverarbeitung 21

19 S. Gehrig - Digitale Bildverarbeitung 22

20 Die CMOS Kamera Die gleichen Sensorelemente wie eine CCD Jeder Fotosensor hat seinen eigenen Verstärker (mehr Rauschen, geringere Sensitivität) Standard CMOS Technologie (intelligente Pixel) Foveon 4k x 4k Sensor 0.18 Prozeß 70M transistoren S. Gehrig - Digitale Bildverarbeitung 27

21 Vergleich CCD - CMOS spezielle Technologie hohe Herstellungskosten hoher Stromverbrauch hohe Füllrate Blooming sequentielles Auslesen standard IC Technologie billig geringer Stromverbrauch geringe Empfindlichkeit Einzelpixelverstärkung random Pixel Zugriff Smart Pixel (z.b. HDRC on the chip) OnChip Komponentenintegration Verbreitet in Handy-Kameras, auch in Spiegelreflexkameras S. Gehrig - Digitale Bildverarbeitung 28

22 S. Gehrig - Digitale Bildverarbeitung 34

23 Leuchtdichte (W/sr/m 2 /nm) S. Gehrig - Digitale Bildverarbeitung 35

24 Geometrische Optik S. Gehrig - Digitale Bildverarbeitung 37

25 CCD-Sensor Höchste Empfindlichkeit bei CMOS-Sensoren um 650nm, auch IR-empfindlich S. Gehrig - Digitale Bildverarbeitung 44

26 S. Gehrig - Digitale Bildverarbeitung 45

27 S. Gehrig - Digitale Bildverarbeitung 46

28 S. Gehrig - Digitale Bildverarbeitung 47

29 Time-of-Flight-Kamera Farbcodiertes Beispielbild z.b. PMD-Kamera (Photonic Mixing Device): Moduliertes Licht wird ausgesendet und mit kohärentem Emfänger die Reflexion gemessen, Laufzeit ergibt Distanz. - Außenlichteinfluss muss unterdrückt werden S. Gehrig - Digitale Bildverarbeitung 49

30 Bildgebende Verfahren Kinect-Kamera arbeitet mit structured light Kinect-Senor von Microsoft S. Gehrig - Digitale Bildverarbeitung 51

31 S. Gehrig - Digitale Bildverarbeitung 52

32 S. Gehrig - Digitale Bildverarbeitung 53

33 Bildspeicherung Bilder können in vielen Formaten auf Datenträgern abgespeichert werden: als Matrixdaten - Rohdaten - verlustfrei komprimiert - verlustbehaftet komprimiert Rohdaten: -pnm (Portable Any Maps) - tiff (Tagged Image File Format) Komprimierte Daten: - jpeg, - mpeg bei Digitalkameras als Vektordaten (nur selten als Output von bildgebenden Elementen) => Computer-Grafik S. Gehrig - Digitale Bildverarbeitung 54