Digitale Bildverarbeitung Dr. Stefan Gehrig Dipl.-Physiker, Dipl.-Ing. (BA) Duale Hochschule Baden-Württemberg - Stuttgart Sommersemester 2015 S. Gehrig - Digitale Bildverarbeitung 1
S. Gehrig - Digitale Bildverarbeitung 3
S. Gehrig - Digitale Bildverarbeitung 4
S. Gehrig - Digitale Bildverarbeitung 5
Bildverarbeitung in der Anwendung S. Gehrig - Digitale Bildverarbeitung 6
Bildverarbeitung für das autonome Fahren S. Gehrig - Digitale Bildverarbeitung 7
Das Wichtigste zuerst: Note wird zu 75% aus einer schriftlichen Klausur am Semesterende ermittelt. Vorlesungsbegleitende Übungen sind Aufgaben im Klausurstil. Hilfsmittel für die Klausur: nicht-programmierbarer Taschenrechner Skript + diese Folien zu finden unter http://www.dhbw-stuttgart.de/~sgehrig/lectures/index.html Vortrag in Gruppen über ein BV-Thema mit 25% Anteil an der Endnote Mögliche Themen: Autonomes Fahren, Optischer Fluss, Klassifikation, Applikationen,. S. Gehrig - Digitale Bildverarbeitung 8
Überblick Einführung in die digitale Bildverarbeitung Bilderfassung Bildübertragung/-speicherung/-formate Bildvorverarbeitung (Image processing) Signaltheoretische Grundlagen der digitalen Bildverarbeitung Bildverbesserung Bildanalyse/Merkmalsextraktion (Computer Vision) Konturen Morphologische Methoden Korrespondenzanalyse Klassifikation S. Gehrig - Digitale Bildverarbeitung 9
Welche Ziele hat diese Vorlesung? Vermittlung der Grundlagen der Bildverarbeitung Befähigung zur Einschätzung von Problemen, die mit Methoden der BV gelöst werden können. In der Bildverarbeitung sind Forschung und Anwendung noch nahe beieinander, deswegen wird eine Befähigung zum Lesen weiterführender (Forschungs-)Literatur vermittelt, was ein mathematisches Grundgerüst einschliesst. S. Gehrig - Digitale Bildverarbeitung 10
Websites http://www.dai.ed.ac.uk/cvonline/ Topic collection of Computer Vision (for teaching) http://www.dai.ed.ac.uk/hipr2 Tutorial to try image operators online, many more available in 2014 http://www.cs.cmu.edu/afs/cs/project/cil/ftp/html/vision.html Computer Vision Home Page of Carnegie Mellon University (Links to lots of other vision resources) S. Gehrig - Digitale Bildverarbeitung 11
Bildverarbeitung: Unterscheidung A) Image Processing: Bild => Bild (Bildvorverarbeitung, Bildverbesserung) B) Image Analysis/Computer Vision Bild => extrahierte Information Anwendungen: A) Bildverbesserung => Bildgebende Verfahren der Medizin (Tomographie, Radiologie,...) - Reduktion von Rauschen - Bilddatenkompression - Filterung - Kontrastverbesserung => Bildrestaurierung - Entfernen von Kratzern... S. Gehrig - Digitale Bildverarbeitung 13
B) Extraktion symbolischer Information - Qualitätskontrolle - Lesen handgeschriebener Texte - Robotik, Automatisierung - Überwachungsanlagen - automatische Auswertung med. Bilder - Kriminalistik (Fingerabdrücke)... - Archäologie (automatische Auswertung von Luftbildern) - Militärische Anwendungen (Objekte verfolgen) - Zugangskontrolle (Erkennen von Gesichtern) => in allen Bereichen des täglichen Lebens, insbesondere bei Aufgaben - wie monotone Sehaufgaben - bei denen der Mensch nicht präzise genug ist - bei denen der Mensch zu teuer ist S. Gehrig - Digitale Bildverarbeitung 14
Ablauf in einem Bildverarbeitungssystem Bildaufnahme Diskretisierung Bildverbesserung Segmentierung Merkmalsextraktion Klassifikation/Interpretation Ergebnis S. Gehrig - Digitale Bildverarbeitung 15
S. Gehrig - Digitale Bildverarbeitung 16
S. Gehrig - Digitale Bildverarbeitung 17
S. Gehrig - Digitale Bildverarbeitung 18
S. Gehrig - Digitale Bildverarbeitung 19
S. Gehrig - Digitale Bildverarbeitung 23
Die CMOS Kamera Die gleichen Sensorelemente wie eine CCD Jeder Fotosensor hat seinen eigenen Verstärker (mehr Rauschen, geringere Sensitivität) Standard CMOS Technologie (intelligente Pixel) Foveon 4k x 4k Sensor 0.18 Prozeß 70M transistoren S. Gehrig - Digitale Bildverarbeitung 24
Vergleich CCD - CMOS spezielle Technologie hohe Herstellungskosten hoher Stromverbrauch hohe Füllrate Blooming sequentielles Auslesen standard IC Technologie billig geringer Stromverbrauch geringe Empfindlichkeit Einzelpixelverstärkung random Pixel Zugriff Smart Pixel (z.b. HDRC on the chip) OnChip Komponentenintegration Verbreitet in Handy-Kameras, auch in Spiegelreflexkameras S. Gehrig - Digitale Bildverarbeitung 25
Farbkameras Hauptsächlich 2 Typen: Prisma mit 3 Sensoren Filter Mosaik (Bayer-Pattern) S. Gehrig - Digitale Bildverarbeitung 26
Prisma Farbkamera Teile das Licht in 3 Strahlen auf SENSOR SENSOR SENSOR S. Gehrig - Digitale Bildverarbeitung 27
Filter Mosaik Filter wird direkt auf Sensor aufgebracht S. Gehrig - Digitale Bildverarbeitung 28
S. Gehrig - Digitale Bildverarbeitung 31
Leuchtdichte (W/sr/m 2 /nm) S. Gehrig - Digitale Bildverarbeitung 32
Geometrische Optik S. Gehrig - Digitale Bildverarbeitung 34
CCD-Sensor Höchste Empfindlichkeit bei CMOS-Sensoren um 650nm, auch IR-empfindlich S. Gehrig - Digitale Bildverarbeitung 41
S. Gehrig - Digitale Bildverarbeitung 42
S. Gehrig - Digitale Bildverarbeitung 43
S. Gehrig - Digitale Bildverarbeitung 44
Time-of-Flight-Kamera Farbcodiertes Beispielbild z.b. PMD-Kamera (Photonic Mixing Device): Moduliertes Licht wird ausgesendet und mit kohärentem Emfänger die Reflexion gemessen, Laufzeit ergibt Distanz. - Außenlichteinfluss muss unterdrückt werden S. Gehrig - Digitale Bildverarbeitung 46
Bildgebende Verfahren Kinect-Kamera arbeitet mit structured light Kinect-Senor von Microsoft S. Gehrig - Digitale Bildverarbeitung 48
S. Gehrig - Digitale Bildverarbeitung 49
S. Gehrig - Digitale Bildverarbeitung 50
Bildspeicherung Bilder können in vielen Formaten auf Datenträgern abgespeichert werden: als Matrixdaten - Rohdaten - verlustfrei komprimiert - verlustbehaftet komprimiert Rohdaten: -pnm (Portable Any Maps) - tiff (Tagged Image File Format) Komprimierte Daten: - jpeg, - mpeg bei Digitalkameras als Vektordaten (nur selten als Output von bildgebenden Elementen) => Computer-Grafik S. Gehrig - Digitale Bildverarbeitung 51
Bildübertragung/-digitalisierung im Rechner Meist Rohdatenübertragung Bei Analogsignalen Digitalisierung im Rechner Framegrabber (analog/digital) empfängt Datenstrom des Sensors, (digitalisiert) und stellt die (Roh-)bilder dem Rechner im Speicher (über geeigneten Bus) zur Verfügung. => hier startet die Bildverarbeitung!!! S. Gehrig - Digitale Bildverarbeitung 54