Kapitel 1. Bildverarbeitung Was ist Bildverarbeitung? Typische Aufgaben der Bildverarbeitung

Transkript

1 Kapitel 1 Kapitel 1 Einführung p. 1/40 Einführung Bildverarbeitung Was ist Bildverarbeitung? Typische Aufgaben der Bildverarbeitung Computer Vision Was ist Computer Vision? Typische Anwendungen von Computer Vision Klassifizierung von Computer Vision Aufgaben Warum ist Computer Vision so schwierig? Systemmodell für Computer Vision Visuelle Wahrnehmung Verwandte Gebiete Inhalt der Vorlesung Literaturhinweise

2 Kapitel 1 Einführung p. 2/40 Bildverarbeitung,,Ein Bild sagt mehr als tausend Worte Rasante Fortschritte in Bildsensorik und Computertechnologie: Hardware und Software für Verarbeitung von Bildern/Videos und neuerdings 3D-Visualisierung Anwendungen in Wissenschaft/Technik, Kunst, Unterhaltung, etc.

3 Kapitel 1 Einführung p. 2/40 Bildverarbeitung,,Ein Bild sagt mehr als tausend Worte Rasante Fortschritte in Bildsensorik und Computertechnologie: Hardware und Software für Verarbeitung von Bildern/Videos und neuerdings 3D-Visualisierung Anwendungen in Wissenschaft/Technik, Kunst, Unterhaltung, etc. Definition: Digitale Bildverarbeitung Anwendung eines Operators Ω, der ein Eingabebild f in ein Ergebnisbild g transformiert: g = Ω(f). Reduzierung von Bildstörungen; Veränderung von Bildern zur Unterstützung der Bildinterpretation durch Menschen und Rechner Bildkodierung zur effizienten Abspeicherung und Übertragung Veränderung von Bildern aus ästhetischer Sicht (z.b. rote Augen) Synthese aus mehrfachen Eingabenbildern (Bildregistrierung, Panoramabilder, 3D Videos) Digitale Wasserzeichen: Einfügung von Informationen direkt ins Bildmaterial

4 Kapitel 1 Einführung p. 3/40 BV-Aufgaben: Beispiele (1) Kontrastverstärkung (links) Entfernung periodischer Störungen (Mitte) Restaurierung (Bewegungsdegradation; rechts)

5 Kapitel 1 Einführung p. 4/40 BV-Aufgaben: Beispiele (2) Geometrische Bildtransformation (Dokumentanalyse, Sondereffekte)

6 Kapitel 1 Einführung p. 5/40 BV-Aufgaben: Beispiele (3) Morphing

7 Kapitel 1 Einführung p. 6/40 BV-Aufgaben: Beispiele (4) Bildregistrierung (medizinische Anwendungen, 3D-Modellbildung)

8 Kapitel 1 Einführung p. 7/40 BV-Aufgaben: Beispiele (5) Image inpainting

9 Kapitel 1 Einführung p. 8/40 BV-Aufgaben: Beispiele (6) Färben von Grauwertbildern (unten rechts: Original)

10 Kapitel 1 Einführung p. 9/40 BV-Aufgaben: Beispiele (7) Simulation von Sondereffekten, insb. im Gesichtsbereich, z.b. Gesichtsausdruck (oben links), Entfernung von Brillen bzw. roten Augen (oben rechts), Schielen (unten), Alterung, Karikatur, etc.

11 Kapitel 1 Einführung p. 10/40 BV-Aufgaben: Beispiele (8) Synthese von 3D Videos (Stereobilder): Farbkanal (links), Tiefenkanal (Mitte), autostereoskopisches 3D-Display

12 Kapitel 1 Einführung p. 11/40 Computer Vision (1) Sehen (Vision) Bildverstehen unmittelbare lebenswichtige tägliche Aufgaben, wie z.b. Orientierung in der Umwelt verantwortlich für Lernvorgänge, visuelles Vorstellungsvermögen, kreatives Denken, etc. Bildanalyse, Bildverstehen, Computersehen (engl. Image Analysis, Computer Vision, Image Understanding) Bildverstehen sucht nach technischen Lösungen für visuelle Problemstellungen. Bildverstehen ist ein Prozess. Man geht von einem Bild oder mehreren Bildern (Bildfolgen, Stereo, etc.) und einer Fragestellung aus. Resultat des Prozesses ist eine inhaltliche Beschreibung über die abgebildete Szene.

13 Kapitel 1 Einführung p. 12/40 Computer Vision (2) Aristotle would say that to see is to know what is where by looking. We wish to process visual information with computers so that we may know what is where in the world around us. D. Marr The goal of computer vision is to make useful decisions about real physical objects and scenes based on sensed images. L.G. Shapiro and G.C. Stockman

14 Kapitel 1 Einführung p. 13/40 Anwendungen (1) Medizin / Biologie: Segmentierung, Quantifizierung Bewegungskorrektur im PET-Scanner

15 Kapitel 1 Einführung p. 14/40 Anwendungen (3) Robotik (intelligente Roboter, Serviceroboter): Objekterkennung, -lokalisierung, und -sortierung; Hindernisvermeidung

16 Kapitel 1 Einführung p. 15/40 Anwendungen (2) Industrie (optische Qualitätskontrolle, Messaufgaben) Dokumentanalyse (papierloses Büro?)

17 Kapitel 1 Einführung p. 16/40 Anwendungen (3) Biometrie (Zutrittskontrolle: Sicherheit, wirtschaftliche Interessen): Personenidentifikation und -verifikation Unterschrift, Handgeometrie, Palmprint, Ohrgeometrie, Gangart, DNA Intelligente Benutzer-Schnittstelle

18 Kapitel 1 Einführung p. 17/40 Anwendungen (4) Autonome Fahrzeuge, intelligente Fahrhilfe Bilddatenbanken (inhaltsbasiertes Retrieval von Bildern und Videos)

19 Kapitel 1 Einführung p. 18/40 Anwendungen (5) 2.5-D Modellierung

20 Kapitel 1 Einführung p. 19/40 Anwendungen (6) Camera-based OCR (Optical Character Recognition) b) Cargo container code recognition; c) camera-based handwriting reco gnition; d) poster capturing; e) license plate reading; f) sign translation; g) whi teboard reading; h) road sign recognition

21 Kapitel 1 Einführung p. 20/40 Anwendungen (7) Mobile Computer Vision

22 Kapitel 1 Einführung p. 21/40 Klassen von CV-Aufgaben Aus aufgabenspezifischer Sicht lässt sich Compter Vision in die beiden folgenden Kategorien einteilen: Klassifikation von Bildern: gewünscht ist ein Klassenname (Typ) als Ergebnis (Teilgebiet der Mustererkennung). Beispiele: Schriftzeichenerkennung Qualitätskontrolle (gut/schlecht/unklar) medizinische Diagnose (gesund/krankheit A/Krankheit B/... /unklar) Interpretation von Bildern: hier wird eine allgemeine Beschreibung eines Bildes gefordert, z.b in Form von Einzelbestandteilen und deren Relationen. Beispiel: Geometrische Beschreibung der Umgebung zur Hindernisvermeidung.

23 Kapitel 1 Einführung p. 22/40 Was ist ein Bild? Bild = Matrix von Zahlen! Computer Vision gewinnt Semantik aus diesen Zahlen

24 Kapitel 1 Einführung p. 23/40 Warum ist Semantikgewinnung so schwierig (1) Beispiel: Semantik aus Intensitäten (Farben) nicht trivial

25 Kapitel 1 Einführung p. 23/40 Warum ist Semantikgewinnung so schwierig (1) Beispiel: Semantik aus Intensitäten (Farben) nicht trivial

26 Kapitel 1 Einführung p. 24/40 Warum ist Semantikgewinnung so schwierig (2) Beispiel: (Schwierig zu modellierende) Vielfalt der Welt vergrößert die Komplexität Was ist der Gesichts-Unterraum eines hochdimensionalen Vektorraums? Terrorist better not show their faces to our security system, or if they do they should were sunglasses. T. Pavlidis

27 Kapitel 1 Einführung p. 25/40 Systemmodell für Computer Vision (1) ein Binärbild (Bildpunkte) 4 Liniensegmente (low-level Merkmale) 2 Paare paralleler Liniensegmente (perzeptuelle Organisation, Gruppierung) ein Quadrat (Interpretation 1)

28 Kapitel 1 Einführung p. 25/40 Systemmodell für Computer Vision (1) ein Binärbild (Bildpunkte) 4 Liniensegmente (low-level Merkmale) 2 Paare paralleler Liniensegmente (perzeptuelle Organisation, Gruppierung) ein Quadrat (Interpretation 1) chinesisches Zeichen für Mund (Interpretation 2)

29 Kapitel 1 Einführung p. 25/40 Systemmodell für Computer Vision (1) ein Binärbild (Bildpunkte) 4 Liniensegmente (low-level Merkmale) 2 Paare paralleler Liniensegmente (perzeptuelle Organisation, Gruppierung) ein Quadrat (Interpretation 1) chinesisches Zeichen für Mund (Interpretation 2) ein Binärbild 2 Kreise und 10 Liniensegmente ein Auto

30 Kapitel 1 Einführung p. 25/40 Systemmodell für Computer Vision (1) Folgerung: ein Binärbild (Bildpunkte) 4 Liniensegmente (low-level Merkmale) 2 Paare paralleler Liniensegmente (perzeptuelle Organisation, Gruppierung) ein Quadrat (Interpretation 1) chinesisches Zeichen für Mund (Interpretation 2) ein Binärbild 2 Kreise und 10 Liniensegmente ein Auto Bildverstehen ist ein hierarchischer Prozess (low-, middle-, high-level) Bildinterpretation hängt von Fragestellung, Wissen und Erfahrung ab

31 Kapitel 1 Einführung p. 26/40 Systemmodell für Computer Vision (2) Beispiel: Erkennung von Tackern Grauwertbild Ausschnitt Kantendetektion Eckendetektion Erkennung und Lokalisierung

32 Kapitel 1 Einführung p. 27/40 Systemmodell für Computer Vision (3) digitalisiertes Bild abstrakte Darstellung des Bildes Welt SENSOR VORVERARBEITUNG SEGMENTIERUNG GRUPPIERUNG MERKMALSEXTRAKTION ERKENNUNG Ergebnis on-line Trainings-/ Lern- Stichprobe TRAINING LERNEN abstrakte Modelle der Bilder CAD-System off-line

33 Kapitel 1 Einführung p. 28/40 Systemmodell für Computer Vision (4) Vorverarbeitung, z.b.: Filterung des Bildes zur Störungsunterdrückung Segmentierung, z.b.: Trennung von Schrift und Hintergrund Liniendetektion (Objekt-Konturen) Regionendetektion (z.b. Flächen ähnlicher Farbe/Textur) Interest Points Gruppierung, z.b.: parallele Linien konvexe Polygone Merkmalsextraktion, z.b.: Flächeninhalt/Umfang einer Region Momente, Fourier-Deskriptoren usw. beliebig komplexe Beschreibungen Erkennung: Vergleich mit Modellbeschreibung (geometrisch, strukturell, statistisch)

34 Kapitel 1 Einführung p. 29/40 Visuelle Wahrnehmung (1) Letzter Schritt der Bildverarbeitung: Betrachten und Interpretieren des verarbeiteten Bildes durch Menschen; gewisses Verständnis der visuellen Wahrnehmung von Vorteil. Intensität: Physikalisch: Energie des eingefallenen Lichts pro Fläche und Zeit Physiologisch: wahrgenommene Helligkeit Intensität und Helligkeit sind zwar analoge Begriffe, stehen aber nicht in linearer Beziehung zueinander. Eine Intensitätsverdoppelung zieht nicht eine Verdoppelung der subjektiv wahrgenommenen Helligkeit nach sich.

35 Kapitel 1 Einführung p. 29/40 Visuelle Wahrnehmung (1) Letzter Schritt der Bildverarbeitung: Betrachten und Interpretieren des verarbeiteten Bildes durch Menschen; gewisses Verständnis der visuellen Wahrnehmung von Vorteil. Intensität: Physikalisch: Energie des eingefallenen Lichts pro Fläche und Zeit Physiologisch: wahrgenommene Helligkeit Intensität und Helligkeit sind zwar analoge Begriffe, stehen aber nicht in linearer Beziehung zueinander. Eine Intensitätsverdoppelung zieht nicht eine Verdoppelung der subjektiv wahrgenommenen Helligkeit nach sich. Das Sehen orientiert sich am Kontext

36 Kapitel 1 Einführung p. 30/40 Visuelle Wahrnehmung (2) The checker shadow illusion: Hat Quadrat B eine höhere Intensität als Quadrat A? Mensch: qualitativ / Rechner: quantitativ

37 Kapitel 1 Einführung p. 31/40 Visuelle Wahrnehmung (3) Mach band effect (E. Mach, 1906) Dargestellte (links) und wahrgenommene (rechts) Intensitätskurve: Auch bei Katzen und Affen wurden ähnliche Reaktionssignale registriert

38 Kapitel 1 Einführung p. 31/40 Visuelle Wahrnehmung (3) Mach band effect (E. Mach, 1906) Dargestellte (links) und wahrgenommene (rechts) Intensitätskurve: Auch bei Katzen und Affen wurden ähnliche Reaktionssignale registriert Optische Täuschungen Vorsichtig beim Schätzen und Vergleichen des Wahrgenommenen (Mensch/Rechner; qualitativ/quantitativ)

39 Kapitel 1 Einführung p. 32/40 Visuelle Wahrnehmung (4) Als großes Vorbild für CV/ME und KI gilt oft das menschliche Gehirn. Die meisten der heute verwendeten technischen Lösungen beruhen jedoch auf nicht biologisch-orientierten Methoden. Die Komplexität der Prozesse bei der menschlichen Wahrnehmung lässt sich z.b anhand der optischen Täuschung illustrieren.

40 Kapitel 1 Einführung p. 33/40 Visuelle Wahrnehmung (5) The rotating snake Illusion: (

41 Kapitel 1 Einführung p. 34/40 Visuelle Wahrnehmung (6) The Thatcher Illusion (P. Thompson, 1980):

42 Kapitel 1 Einführung p. 34/40 Visuelle Wahrnehmung (6) The Thatcher Illusion (P. Thompson, 1980):

43 Kapitel 1 Einführung p. 34/40 Visuelle Wahrnehmung (6) The Thatcher Illusion (P. Thompson, 1980): Bilder, die man aufhängt umgekehrt, mit dem Kopf nach unten, Fuß nach oben, ändern oft verwunderlich den Wert, weil ins Reich der Phantasie erhoben. Christian Morgenstein in Die Galgenlieder, 1905 Lernen (Training) ist wichtig für das Verstehen von Bildinhalt!

44 Kapitel 1 Einführung p. 35/40 Verwandte Gebiete Bildverarbeitung: Bild = Bild

45 Kapitel 1 Einführung p. 35/40 Verwandte Gebiete Bildverarbeitung: Bild = Bild Computer Vision: Bild = geometrische/inhaltliche Szenenbeschreibung, auch Image Understanding genannt; spezialisierte Teilgebiete: Machine Vision (vor allem industreille Bildanalyse), Robotic Vision

46 Kapitel 1 Einführung p. 35/40 Verwandte Gebiete Bildverarbeitung: Bild = Bild Computer Vision: Bild = geometrische/inhaltliche Szenenbeschreibung, auch Image Understanding genannt; spezialisierte Teilgebiete: Machine Vision (vor allem industreille Bildanalyse), Robotic Vision Mustererkennung (Musterklassifikation): Signal (Bild, Sprachsignal, etc.) = Klasse

47 Kapitel 1 Einführung p. 35/40 Verwandte Gebiete Bildverarbeitung: Bild = Bild Computer Vision: Bild = geometrische/inhaltliche Szenenbeschreibung, auch Image Understanding genannt; spezialisierte Teilgebiete: Machine Vision (vor allem industreille Bildanalyse), Robotic Vision Mustererkennung (Musterklassifikation): Signal (Bild, Sprachsignal, etc.) = Klasse Computergrafik: (geometrische) Szenenbeschreibung = Bild

48 Kapitel 1 Einführung p. 35/40 Verwandte Gebiete Bildverarbeitung: Bild = Bild Computer Vision: Bild = geometrische/inhaltliche Szenenbeschreibung, auch Image Understanding genannt; spezialisierte Teilgebiete: Machine Vision (vor allem industreille Bildanalyse), Robotic Vision Mustererkennung (Musterklassifikation): Signal (Bild, Sprachsignal, etc.) = Klasse Computergrafik: (geometrische) Szenenbeschreibung = Bild Künstliche Intelligenz: Schließen, Suchen, Planen, Lernen (mit Anwendungen auch in der Bildanalyse)

49 Kapitel 1 Einführung p. 35/40 Verwandte Gebiete Bildverarbeitung: Bild = Bild Computer Vision: Bild = geometrische/inhaltliche Szenenbeschreibung, auch Image Understanding genannt; spezialisierte Teilgebiete: Machine Vision (vor allem industreille Bildanalyse), Robotic Vision Mustererkennung (Musterklassifikation): Signal (Bild, Sprachsignal, etc.) = Klasse Computergrafik: (geometrische) Szenenbeschreibung = Bild Künstliche Intelligenz: Schließen, Suchen, Planen, Lernen (mit Anwendungen auch in der Bildanalyse) Wahrnehmungspsychologie, Neurophysiologie, etc.

50 Kapitel 1 Einführung p. 36/40 Inhalt der Vorlesung (1) Bildtransformationen Geometrische Transformationen Bildkompression Fourier-Transformation und Bildverarbeitung im Frequenzraum Verarbeitung von Farbbildern Wavelets Bildregistrierung Binärisierung und Verarbeitung von Binärbildern Morphologie Färben von Grauwertbildern Inpainting Verarbeitung von Gesichtsbildern

51 Kapitel 1 Einführung p. 37/40 Inhalt der Vorlesung (2) Kantendetektion Detektion von Konturen Tracking Bewegungsanalyse Bildsegmentierung Interest Points Inhaltsbasierte Suche in Bilddatenbanken Texturanalyse Gewinnung und Analyse von Tiefenbildern Shape-Analyse Kamerakalibrierung

52 Kapitel 1 Einführung p. 38/40 Inhalt der Vorlesung (3) Die Vorlesung hat einen einführenden Charakter Vertiefungs- bzw. Ergänzungsveranstaltungen Vorlesung Mustererkennung Vorlesung Computer Vision Vertiefung Vorlesung Medical Image Analysis Seminar bzw. Projektseminar

53 Kapitel 1 Einführung p. 39/40 Literaturhinweise (1) [1] Castleman, K.R. (Standardtext) Digital Image Processing, Prentice Hall, 1996 [2] Gonzales, R.C. / Woods, R.E. (Standardtext) Digital Image Processing, Second Edition, Prentice Hall, 2002 [3] Petrou, M. / Bosdogianni, O. (Q & A Stil) Image Processing: The Fundamentals, John Wiley & Sons Ltd., 1999 [4] Umbaugh, S.E. (Einführung in BV und BA) Computer Vision and Image Processing: A Practial Approach Using CVIPtools, Prentice Hall PTR, 1998 [5] Tönnies K.D. (Einführung in BV und BA) Grundlagen der Bildverarbeitung, Pearson Studium, 2005 [6] Russ, J.C. (praxisnah mit unzähligen Anwendungsbeispielen) The Image Processing Handbook, Fourth Edition, CRC Press, 2002

54 Kapitel 1 Einführung p. 40/40 Literaturhinweise (2) [1] Haralick, R.M. / Shapiro, L.G.: Computer and Robot Vision, Vol , Addison-Wesley, 1992 (mathematisch) [2] Jain, R. / Kasturi, R. / Schunk, B.G.: Machine Vision, McGraw-Hill, 1995 (Einführungstext) [3] Davies, E.R.: Machine Vision: Theory, Algorithms, Practicalities, 3nd Edition, Elsevier, 2005 (zahlreiche algorithmische und experimentelle Details) [4] Sonka, M. / Hlavac, V. / Boyle, R.: Image Processing, Analysis, and Machine Vision, 2nd Edition, PWS Publishing, 1999 (einführend und umfassend) [5] Shapiro, L.G. / Stockman, G.C.: Computer Vision, Prentice Hall, 2001 (Einführungstext) [6] Forsyth, D.A. / Ponce J.: Computer Vision: A Modern Approach, Prentice Hall, 2003