Digitale Bildverarbeitung

Transkript

1 Digitale Bildverarbeitung Prof. Dr. Sibylle Schwarz HTWK Leipzig, Fakultät IMN Gustav-Freytag-Str. 42a, Leipzig Zimmer Z 411 (Zuse-Bau) [email protected] Sommersemester

2 Bildverarbeitung Motivation Menschen entnehmen visuellen Eindrücken sehr viel Information (ca. 90%) oft Bilder dreidimensionaler Szenen maschinelle Bildverarbeitungsverfahren dienen der Informationsgewinnung aus Bildern (Bilderkennung, Bildanalyse) Unterstützung der Informationsgewinnung aus Bildern (Bildbearbeitung) Darstellung der Information aus Bildern (Szenenrepräsentation) 2

3 Bildwahrnehmung Szene: Objekte: Regionen: Texturen: Ecken, Kanten: Pixel: Rohdaten: Foto vom Laborgebäude Wolken, Gebäude, Kunst Himmel, Fassadenteile Wirbel-, Linienstrukturen (Farb-)Kontrast Farbwert Fotoaufnahme 3

4 Digitale Bildbearbeitung Ziele Informationsgewinn Extraktion / Hervorhebung der relevanten Bildinhalte zur menschlichen oder maschinellen Weiterverarbeitung Informationsverlust beabsichtigt Abstraktion von unwichtigen Details (entfernen, abschwächen) 4

5 Bildverarbeitung Einsatzgebiete Medizin, Biologie, Astronomie: Aufnahme und Auswertung z.b. von Mikroskop-, Teleskop-, Röntgen-, Ultraschall-, CT-Bildern Zeichenerkennung (OCR): Text, Handschrift, Symbole, Noten Überwachung, z.b. industrieller Prozesse, Verkehr, Qualitätskontrolle, Materialprüfung Luftbilder und Satellitenaufnahmen z.b. bei Kartierung, Erkundung, Meteorologie Biometrie (Identifikation zur Authentifizierung, Kriminalistik): Finger-, Handabdruck, Iris-Scan zur Robotik Bewegungsplanung und -korrektur, Orientierung 5

6 Bildverarbeitung Aufgaben Aufnahme durch technische Systeme Erzeugung künstlicher Bilder (z.b. Texturen) Wiedergabe Bildschirm, Druck Analyse statistischer Merkmale Transformation, z.b. Entrauschen, Kontrastverstärkung Restaurierung gestörter Bilder Erkennung im Bild enthaltener Kanten, Ecken, Objekte Interpretation der dargestellten Szene (Art, Anordnung der Objekte) z.b. in medizinischer BV, Lokalisierung Kompression zur effizienten Speicherung mit möglichst wenig visuellen Verlusten digitaler Bilder 6

7 Bildverarbeitung Verwandte Gebiete Signalverarbeitung, (z.b. Audiosignale) ähnliche Techniken (z.b. statistische Merkmale, Fourier-Transformation, Filter) Bildbearbeitung häufig mit spezialisierter Software Computergraphik Erzeugung von Bildern aus geometrischen Objektmodellen Virtual Reality kombinierte Darstellung realer und künstlicher Szenen, z.b. für Spiele, Filme, Anleitungen Computer Vision (Bildverstehen, Bilderkennung) Transformation von Bildern in abstrakte Beschreibungen der im Bild dargestellten Szene, z.b. für Anwendungen in der Robotik Algorithmische Geometrie Datenstrukturen und effiziente Algorithmen für typische geometrische Aufgaben (z.b. für Gestenerkennung, Geoinformationssysteme) 7

8 Einordnung in die Informatik Informatik Lehre von der Darstellung und Verarbeitung von Information durch Algorithmen Teilgebiete der Informatik: theoretisch technisch Sprachen zur Formulierung von Information und Algorithmen, Möglichkeiten und Grenzen der Berechenbarkeit durch Algorithmen, Grundlagen für technische und praktische (und angewandte) Informatik maschinelle Darstellung von Information Mittel zur Ausführung von Algorithmen (Rechnerarchitektur, Hardware-Entwurf, Netzwerk,... ) praktisch Entwurf und Implementierung von Datenstrukturen und Algorithmen (Betriebssysteme, Compilerbau, SE,... ) angewandt Anwendung von Algorithmen: Text- und Bildverarbeitung, Datenbanken, KI, Wirtschafts-, Medizin-, Bio-, Medieninformatik,... 8

9 Inhalte der Lehrveranstaltung digitale Bilder statistische Merkmale Punktoperationen (Farb-, Helligkeits-, Kontraständerungen) geometrische Operationen (Projektionen, Verschiebungen, Verzerrungen, Koordinatentransformation) Spektrum, Fourier-Transformation Lokale Operationen, Filter (Hochpass-, Tiefpass-) Merkmalserkennung: Ecken, Kanten, Kurven morphologische Operationen, Skelettierung Segmentierung, Objekterkennung, Klassifikation 9

10 Organisation Vorlesung: wöchentlich letzte Wochen: Projektpräsentationen Übungsaufgaben: zu (fast) jeder Vorlesung eine Serie Hausaufgaben und Praktikumaufgaben Praktikum: wöchentlich zunächst: Besprechung der Hausaufgaben Praktikum-Aufgaben (ImageJ) ab Pfingsten: Arbeit an Anwendungsprojekten Prüfungsvorleistung: zwei Projekte : 1. Praktikum-Aufgaben 2. Anwendungsprojekt mit Selbstudium-Anteil (Recherche, Entwicklung, Dokumentation, Präsentation) Prüfung: Klausur (120 min) Aufgabentypen wie Übungsaufgaben (Noten für bestandene Klausuren können durch Projekt-Bonuspunkte noch verbessert werden) 10

11 Bilder Bild ist Funktion B : pos col mit pos : Menge der Positionen im Bild col : Menge der Werte (Farben) im Bild mit verschiedenen Bedeutungen, z.b. Intensitäten (Grauwerte), Tupel von Farbintensitäten, Adressen (Hashwerte) in Lookup-Tabellen, Tiefen-Information (Abstand) reale Bilder: pos R n und col R R unendliche stetige Bereiche digitale Bilder: pos und col endliche diskrete Bereiche N n pos meist Rechteckgitter {0,..., m 1 } {0,..., m n } 11

12 Digitale 2D-Bilder digitales Bild (2D) mit rechteckigem Positionen-Raster pos = {0,..., m 1} {0,..., n 1} (Höhe m, Breite n), kann betrachtet werden als 1. Funktion B : pos col (ordnet jeder Position einen Farbwert zu) 2. 2D-Matrix B col m n (mit Farbwerten als Einträgen) Pixel (picture element): Eintrag in dieser Matrix mit seiner Position (Adresse) z.b. Pixel an Adresse (1, 2) hat Wert 1 im Bild B B =

13 Farbwertbereiche Schwarz-Weiß-Bilder mit Werten aus col = {0, 1} meist 0 für schwarz und 1 für weiß Grauwertbilder mit Intensitäten (Helligkeiten) aus col = {0,..., k} N meist 0 für schwarz und k für maximale Intensität, oft k = 2 n 1 für ein n N, meist n = 8, also Intensitäten {0,..., 255} (eindimensional) Farbbilder mit k Farbkomponenten (Spektrum) meist col N k oder col [0, 1] k R k (k-dimensional, Koordinaten bedeuten Farbintensitäten) Beispiel RGB: col {0,..., 255} 3 13

14 Auflösungen Ortsauflösung pos (Rasterung): Anzahl der Positionen (Zeilen und Spalten) oft hohe Auflösung notwendig zum Erkennen der dargestellten Szene Farb-, Kontrastauflösung col (Quantisierung): Anzahl der Farbwerte, oft geringe Auflösung ausreichend zum Erkennen der dargestellten Szene 14

15 Menschliches Sehen Auge: Linse bildet Original auf Netzhaut (Retina) ab Netzhaut enthält Fotorezeptoren: Stäbchen registrieren Intensität ( < 100 Grauwerte, 2 8 = 256 Grauwerte genügen für realistischen visuellen Eindruck) Zapfen registrieren Farben ( Farbtöne) je ein Zapfentyp für Grün, Rot, Blau (in absteigender Empfindlichkeit) Durch Mischung der drei RGB-Farbkanäle (Spektralbereichen) lässt sich redundanzarm ein visueller Eindruck erzeugen, der dem natürlich wahrgenommenen Bild recht ähnlich ist. Für Bilder zur automatischen Auswertung sind oft auch andere Spektralbereiche und Auflösungen sinnvoll. Das im Auge empfangene diskrete Signal wird im Gehirn zu einem stetigen Gesamteindruck interpoliert 15

16 Farben in Kamerasystemen Jeder Sensor registriert einen festen Spektralbereich (nur Intensität in diesem Bereich). Multispektralkamera enthält mehrere Sensoren für verschiedene Spektralbereiche Ausgabe der Intensitäten meist diskret, also N Farbbereich mit k Farbkomponenten: col N k Zuordnung von (Sensor-)Werten zu Farben oft in Lookup-Tabellen (LUT) 16

17 Farbmodelle Farbmischung: additiv Kombination von Lichtquellen verschiedener Farben z.b. RGB (Rot, Grün, Blau) col = {0,..., 255} 3 = {0,..., 2 8 1} 3 zur Erzeugung realitätsnaher visueller Eindrücke im Display subtraktiv Kombination von Filtern für verschiedene Farben z.b. CMYK (Cyan, Magenta, Yellow, Key) col = {0,..., 255} 4 = {0,..., 2 8 1} 4 zur Erzeugung realitätsnaher visueller Eindrücke beim Druck für wissenschaftliche Bildverarbeitung auch andere Spektralbereiche Falschfarben Kontrasterhöhung Überlagerung verschiedener Informationen 17

18 Statistische Bildmerkmale Extremwerte Mittelwerte Kontrast Helligkeit Linien- und Bereichsprofile (Intensität, Grauwert) Histogramme kumulative Histogramme Co occurrence Matrix (Grauwerteübergangs Matrix) Entropie Was lässt sich daraus über ein Bild schließen? 18

19 Extrem- und Mittelwerte gegeben: B col pos (und evtl. Auswahl pos pos) geringste / größte Intensität min, max : col pos col min(b) = min{b(p) p pos} max(b) = max{b(p) p pos} größter Intensitätsunterschied maxdiff : col pos col (Kontrastumfang des Bildes) maxdiff(b) = max(b) min(b) 19

20 Mittelwerte gegeben: B col pos (und evtl. pos pos) durchschnittliche Intensität avg : col pos col p pos avg(b) = B(p) pos Gesamthelligkeit des Bildes Median (Zentralwert) med : col pos col: Wert am mittleren Index der sortierten Folge aller Bildwerte B(p) 20

21 Abweichungen gegeben: B col pos (und evtl. Auswahl pos pos) mittlere quadratische Abweichung σ 2 : col pos R σ 2 (B) = 1 pos und Standardabweichung σ (B(p) avg(b)) 2 p pos Aussagen über den Kontrastumfang des Bildes 21

22 Histogramme gegeben: B col pos (und evtl. Auswahl pos pos) Histogram H : col pos col N mit B col pos c col : H(B, c) = {p pos B(p) = c} (relative Häufigkeiten der Intensitäten im Bild) Histogramm ist unabhängig vom Ort der Intensitäten kumulatives Histogram H : col pos col N mit B col pos c col : H(B, c) = {p pos B(p) c} 22

23 Informationen aus dem Histogramm im Bild vorkommende Intensitäten Intensitäts-Extrema häufig, selten vorkommende Intensitäten mittlere Intensität (Durchschnitt, Median) Kontrastumfang Standard-Abweichung Aussagen über Belichtung, Ausleuchtung, Dynamik 23

24 Histogramm-Formen häufige Formen der Funktion H: ausgeglichen etwa Gleichverteilung aller Intensitäten wirkt oft recht hell bimodal zwei deutlich voneinander getrennte lokale Maxima günstig für Segmentierung ( Objekt-Hintergrund-Trennung) 24

25 Was bisher geschah Aufgaben maschineller Bildverarbeitung: Transformation, Analyse, Interpretation (, Erzeugung, Wiedergabe) digitaler Bilder digitale Bilder: Funktion B : pos col Matrix B col pos mit den Mengen pos von Positionen (Adressen) col von Farben, Intensitäten Orts- und Kontrastauflösung Farbmodelle statistische Merkmale Bild Wert: Extrema, Mittelwerte, Abweichung Bild Funktion col N: Histogramme, kumulierte Histogramme und ihre Aussagen über das Bild (Bildanalyse) 25

26 Intensitätsprofile Profil: Darstellung der Intensität als Höhe über der Profillinie bzw. Profilfläche Linienprofil: Intensitätsverlauf entlang einer Linie (Zeile, Spalte, Gerade, Kurve) scharfe Intensitätsunterschiede im Bild entsprechen steilen Kanten im Linienprofil Integriertes Linienprofil: Summe der Intensitätsverläufe entlang mehrerer benachbarter Linien (Zeilen, Spalten) zum schnellen Vergleich von Bildern Lokalisierung von Abweichungen durch Kombination von Zeilen- und Spaltenprofilen Profil über Bildbereich: 3D-Darstellung der Intensitäten als über einem zweidimensionalen Bildbereich 26

27 Co occurrence Matrix gegeben: B col pos (und evtl. Auswahl pos pos) Co occurrence Matrix C N col col mit c, d col : C(c, d) = {p = (p x, p y ) pos : B(p) = c B(p x, p y+1 ) = d} Anzahl der Vorkommen von Intensitäts-Paaren zwischen Nachbar-Pixeln (verschiedene Nachbarschafts-Beziehungen) Beispiel (horizontale Nachbarschaft): B = C(B) =

28 Co occurrence Matrix Informationen große gleichfarbige Flächen in B hohe Werte auf der Hauptdiagonale in C(B) scharfe Kontraste in B hohe Werte links unten und rechts oben C(B) Länge von Grenzen zwischen Bereichen gleicher Intensitäten Texturmerkmal (zur texturbasierten Segmentierung) 28

29 Entropie gegeben: B col pos (und evtl. Auswahl pos pos) Entropie H : col pos R H(B) = (h(b, c) log 2 (h(b, c))) c col mit relativer Häufigkeit des Intensitätswertes c in B: h(b, c) = {p pos B(p) = c} pos Aussage über Informationsgehalt des Bildes (auch für Co-occurence-Matrix und andere Bidmerkmale) Beispiele: einfarbiges ( )-Bild B mit Grauwert 10 hat Entropie H(B) =... ( )-Schwarz-Weiß-Bild mit gleicher Anzahl schwarzer und weißer Pixel hat Entropie H(B) =... ( )-Bild mit jeweils gleicher Anzahl an Pixeln in 8 Intensitätswerten hat Entropie H(B) =... untere Schranke für Bitzahl zur Codierung des Bildes 29

30 Bildbearbeitung durch Punktoperationen Punktoperation zwischen verschiedenen Farbbereichen Funktion f : col 1 col 2 (neuer) Wert eines Pixels nur abhängig vom (alten) Wert dieses Pixels Fortsetzung f : col pos 1 col pos 2 der Funktion f auf Bilder durch punktweise Anwendung p pos : f (B)(p) = f (B(p)) Beispiel: ( b00 b f 01 b 10 b 11 ) = ( f (b00 ) f (b 01 ) f (b 10 ) f (b 11 ) ) 30

31 Punktoperationen Beispiele Transformation von RGB (col 1 = {0,..., 255} 3 ) in Graustufenintensität (col 2 = {0,..., 255}) f : {0,..., 255} 3 {0,..., 255} mit (r, g, b) col 1 : f (r, g, b) = 0.299r g b Umrechnung 8-Bit-Intensität (col 1 = {0,..., 255}) in relative Intensität (col 2 = [0, 1]) in f : {0,..., 255} [0, 1] mit c col 1 : f (c) = c/255 Falschfarbendarstellung von Intensitäten (z.b. für Infrarot-, Tiefeninformation) f : [0, 1] [0, 1] 3 mit f (x) = x, }{{} }{{} x 3, sin (2πx) } {{ } r g b Transformationen für col 1 = col 2 (gleicher Farbbereich) meist zur Kontrasterhöhung oder Invertierung 31

32 Prominente Punktoperationen z.b. zur Bildverbesserung durch Kontrasterhöhung lineare Funktionen (Kontrast- und Helligkeitsänderung) f (c) = ac + b f (c) = max(col) ac + b Stufenfunktionen (Abbildung auf weniger Werte) Spezialfall Binarisierung mit Schwellwert θ col { 1 falls c θ f (c) = 0 sonst weitere nichtlineare Funktionen, z.b. f (c) = c 2 max(col) f (c) = c max(col) 32

33 Histogrammspreizung gegeben: B col pos ( und evtl. Auswahl pos pos) punktweise Anwendung der (linearen) Punktoperation f : col col mit max(col) min(col) f (c) = (c min(b)) max(b) min(b) sorgt für volles Ausschöpfen der gesamten Intensitätsskala 33

34 Binarisierung Abbildung von Bildern mit Wertebereich col = {0,..., k} (Intensitäten) auf Schwarz-weiß-Bilder (mit Wertebereich col = {0, 1}) gegeben: gesucht: B {0,..., k} pos B {0, 1} pos abhängig von einem Schwellwert θ col { 1 falls x θ f (x) = 0 sonst oder abhängig von zwei Schwellwerten θ 1, θ 2 col { 1 falls θ1 < x θ f (x) = 2 0 sonst ImageJ: Threshold 34

35 Schwellwertbestimmung mittlerer Grauwert θ = avg(b) bei bekanntem prozentualem Anteil p% der (angenommen helleren) Objektpunkte: Auswahl des maximalen θ mit c<θ h(b, c) 1 p/100 bei bimodalen Histogrammen: θ = lokales Minimum zwischen beiden Maxima Schwellwertberechnung nach Otsu adaptive Schwellwertberechnung verschiedene Schwellwerte für verschiedene Bildbereiche anhand lokaler Merkmale (z.b. avg, med) des Bildbereiche 35

36 Schwellwertbestimmung nach Otsu Jeder Schwellwert θ col zerlegt col in zwei Farbbereiche. col<θ = {c col c < θ} (Hintergrund) col θ = {c col c θ} (Vordergrund) statistische Größen dieser beiden Farbereiche innerhalb B: Auftrittswahrscheinlichkeit p <θ (B) = c col <θ h(b, c) = {p pos B(p)<θ} pos Mittelwert avg<θ (B) = 1 p <θ (B) c<θ c h(b, c) Varianz σ 2 <θ (B) = 1 p <θ (B) c<θ (h(b, c)(c avg <θ (B))2 gesucht: θ mit beiden folgenden Eigenschaften minimale Varianz innerhalb der Klassen σ 2 θ,w (B) = p <θ (B)σ 2 <θ(b) + p θ (B)σ 2 θ(b) maximale between-class-varianz σ 2 θ,b(b) = p <θ (B) ( σ 2 <θ(b) avg(b) ) 2 +p θ (B) ( σ 2 θ(b) avg(b) ) 2 Für jeden Schwellwert θ ist σ 2 θ,w (B) + σ2 θ,b (B) = σ2 (B) konstant. Es existiert ein θ, so dass σ 2 θ,w (B) minimal und σ2 θ,b (B) maximal. 36

37 Kombinationen mehrerer Bilder Eingabe: Ausgabe: Bilder B, C col pos Bild D col pos Beispiele für punktweise Operationen f : col col col auf Binärbildern (col = {0, 1}): logische Operationen Grauwertbilder (col = {0,..., k}): arithmetische Operationen z.b. min, max, Differenz, Mittelwert Farbbildern Grauwertbild-Operationen auf jeder Farbkomponente einzeln Transformation in andere Farbbereiche (z.b. Grauwerte) durch Operationen zur Kombination mehreren Farbkomponenten 37

38 Logische Operationen auf Binärbildern Binärbilder mit Farbwerten 0 (falsch, schwarz) und 1 (wahr, weiß) gegeben: Ergebnis: B, C {0, 1} pos D {0, 1} pos logische Operationen auf Bildern B, C {0, 1} pos : punktweise Anwendung der logischen Junktoren : p pos : ( B)(p) = 1 B(p) p pos : (B C)(p) = min(b(p), C(p)) p pos : (B C)(p) = max(b(p), C(p)) XOR p pos : (B XOR C)(p) = (B(p) + C(p)) mod 2 Achtung: logische Operationen werden in Bildern mit col = {0,..., 2 k 1} oft bitweise verwendet (z.b. statt Addition zum nichtverstärkenden Verschmelzen) damit ist Extraktion von Bitebenen möglich 38

39 Logische Masken zur Darstellung und Verwaltung relevanter Bildbereiche Logische Maske (Binärmaske): Binärbild {0, 1} pos mit Werten 0 für irrelevante (transparente) Positionen 1 für relevante Positionen Anwendungen bei Arbeit mit Bildausschnitten Segmentierung Hintergrund-Entfernung Montage mehrerer Bilder Definition von Nachbarschaften von Positionen 39

40 Arithmetische Operationen auf Grauwertbildern gegeben: B, C col pos mit col = {0,..., k} N typische Punktoperationen: B, C col pos p pos Differenz (B C)(p) = B(p) C(p) zum Vergleich von Bildern, Hintergrund-Entfernung, Bewegungsdetektion häufig auch max(b(p) C(p), 0) zur Vermeidung negativer Farbwerte n i=1 B i (p) Mittelwert avg(b 1,..., B n )(p) = n zur Entfernung zufälliger Störungen, Entrauschen Addition (B + C)(p) = B(p) + C(p) häufig auch min(b(p) C(p), max(col)) zur Vermeidung von Werten außerhalb des Farbbereiches Multiplikation (BC)(p) = B(p)C(p) Verhältnis (B/C)(p) = B(p)/C(p) 40

41 Was bisher geschah digitale Bilder: Funktion B : pos col Matrix B col pos statistische Merkmale (Bildanalyse) Bild Wert: Extrema, Mittelwerte, Abweichung, Entropie Bild Funktion col N: (kumulierte) Histogramme Bild Funktion von Teilmenge von pos N: Linienprofile, integriertes Linienprofil Bild Funktion col 2 N: Co-occurence-Matrix und ihre Aussagen über das Bild Punktoperationen f : col 1 col 2 (Farbtransformation) und ihre Fortsetzung f : col pos 1 col pos 2 p pos : f (B)(p) = f (B(p)) Intensitäts-, Kontrasterhöhung Histogrammstreckung Farbtransformationen Binarisierung 41

42 Nachbarschaftsbeziehungen zwischen Positionen Zur Identifikation zusammenhängender Bilddteile (Linien, Flächen) veschiedene Nachbarschaftsbeziehungen üblich, z.b. Zwei Positionen p, q pos = {0,..., m 1} {0,..., n 1} heißen genau dann benachbart, wenn sie 1. ungleich sind und 2. wenigstens einen gemeinsame Kante besitzen, 4-Nachbarschaft von p = (z, s): N 4 (p) = {(z 1, s), (z + 1, s), (z, s 1), (z, s + 1)} pos p Ecke besitzen, 8-Nachbarschaft von p = (z, s): (z 1, s 1), (z, s 1), (z + 1, s 1), N 8 (p) = (z 1, s), (z + 1, s), (z 1, s + 1), (z, s + 1), (z + 1, s + 1) p pos 42

43 Geometrische Operationen in der DBV Anwendungen z.b. in Geoinformatik: Satellitenbilder geographische Daten Bereinigung um Verzerrungen durch Höhenunterschiede Robotik: Kamerabild Umgebungskarte Schrifterkennung: Zeilenausrichtung Normierung der Zeichengröße Schrägschrift-Korrektur QR-Codes: Entzerrung Bildvergrößerung und -verkleinerung 43

44 Geometrische Operationen Operationen auf der Menge pos, wobei Intensitäten Nachbarschaftsbeziehungen zwischen Positionen weitgehend unverändert bleiben gegeben: B col pos 1 gesucht: C col pos 2 Transformationen: linear Kombinationen von Verschiebung Skalierung (Zoom) Drehung nichtlinear z.b. perspektivische Abbildungen, Warping, Swirl 44

45 Transformationen im R 2 Transformation f : R 2 R 2 für digitale Bildverarbeitung (Beschränkung auf Stützstellen im Raster): f : pos pos hier mit rechteckigen Rastern (Adressen in Matrizen) pos = {0,..., m 1} {0,..., n 1} und pos = {0,..., m 1} {0,..., n 1} Problem bei Transformationen R 2 R 2 : berechnete Zielposition liegt i.a. nicht auf Rasterpunkt Festlegung des Farbwertes im transformierten Bild nötig (Interpolation) 45

46 Translation (Verschiebung) im R 2 Verschiebung (2D) um einen Vektor (v 1, v 2 ) R 2 : V (v1,v 2 ) : R 2 R 2 mit ( ) ( ) ( ) ( x1 x1 v1 x1 + v V (v1,v 2 ) = + = 1 v 2 x 2 + v 2 x 2 x 2 ) Verschiebung (2D) als Multiplikation mit Matrix V (v1,v 2 ) R 3 3 in homogenen Koordinaten: V (v1,v 2 ) = 1 0 v v V v x 1 x 2 1 = x 1 + v 1 x 2 + v 2 1 zu V (v1,v 2 ) inverse Transformation: V 1 (v 1,v 2 ) = V ( v 1, v 2 ) 46

47 Skalierung im R 2 Skalierung (Stauchung, Streckung aus dem Ursprung) mit Skalierungsfaktoren s 1 R (horizontal) s 2 R (vertikal) S (s1,s 2 ) : R 2 R 2 mit x R 2 : S (s1,s 2 )(x) = (s 1 x 1, s 2 x 2 ) Skalierung (2D) als Matrixmultiplikation in homogenen Koordinaten: s x 1 s 1 x 1 S (s1,s 2 ) = 0 s 2 0 S (s1,s 2 ) x 2 = s 2 x zu S (s1,s 2 ) inverse Transformation: S 1 (s 1,s 2 ) = S (1/s 1,1/s 2 ) 47

48 Rotation (Drehung) im R 2 Drehung um einen Winkel ϕ [0, 2π] im mathematischen Drehsinn (entgegen Uhrzeigersinn) um Ursprung (0, 0) R 2 D ϕ : R 2 R 2 mit x R 2 : D ϕ (x) = (x 1 cos ϕ x 2 sin ϕ, x 1 sin ϕ + x 2 cos ϕ) Drehung (2D) als Matrix in homogenen Koordinaten: cos ϕ sin ϕ 0 x 1 x 1 cos ϕ x 2 sin ϕ D ϕ = sin ϕ cos ϕ 0 D ϕ x 2 = x 1 sin ϕ + x 2 cos ϕ zu D ϕ inverse Transformation: D 1 ϕ = D ϕ 48

49 Affine Transformationen Matrixdarstellung der linearen Transformationen ermöglicht die Zusammenfassung der Nacheinanderausführung mehrerer Transformationen (Matrixmultiplikation) allgemeine Form affiner Transformationen im R 2 (in homogenen Koordinaten): a 1 a 2 v 1 M = b 1 b 2 v Jede Transformation (Matrix) dieser Form lässt sich durch eine endliche Verkettung der elementaren Transformationen (Matrix-Multiplikationen) Verschiebung Skalierung Drehung um Ursprung (0, 0) R 2 erzeugen. für M = T 1 T n gilt M 1 = Tn 1 T

50 Beispiel p q Koordinaten p = (1, 1) und q = (2, 1) Verschiebung um ( 1, 1) Drehung um π/ Schrittweise Anwendung auf p = (1, 1) und q = (2, 1) Gesamttransformation: Matrixmultiplikation in umgekehrter Reihenfolge =

51 Bestimmung affiner Transformationen gegeben: Zuordnung {(p 1, q 1 ),..., (p n, q n )} zwischen Positionen {p 1,..., p n } pos(b) im Bild B und {q 1,..., q n } pos(a) im Original A gesucht: Beschreibung der Transformation A B durch Matrix M mit i {1,..., n} : M(q i ) = p i a 1 a 2 v 1 M = b 1 b 2 v d.h. gesucht sind die sechs Koeffizienten a 1, a 2, b 1, b 2, v 1, v 2 mit q i1 p i1 i {1,..., n} : M q i2 1 = p i2 1 als lineares Gleichungssystem mit Unbekannten a 1, a 2, b 1, b 2, v 1, v 2 : q i1 a 1 + q i2 a 2 + v 1 = p i1 q i1 b 1 + q i2 b 2 + v 2 = p i2 eindeutig lösbar für sechs Gleichungen = drei (nicht kollineare) Referenzpunkte 51

52 Projektive Abbildungen (perspektivische Abbildungen) Projektive Abbildung mit affiner Transformation M = Projektionskoeffizienten p 1, p 2 a 1 a 2 v 1 b 1 b 2 v und Projektive Abbildung (2D) als Matrix in homogenen Koordinaten: a 1 a 2 v 1 P M,p1,p 2 = b 1 b 2 v 2 p 1 p 2 1 x 1 a 1 x 1 + a 2 x 2 + v 1 y 1 P M,p1,p 2 x 2 = b 1 x 1 + b 2 x 2 + v 2 = y 2 1 p 1 x 1 + p 2 x y 3 Umrechnung nach R 2 : y 1 = y 1 /y 3, y 2 = y 2 /y 3 (nichtlinear) 52

53 Bestimmung projektiver Transformationen typischer Ausgangspunkt: (projektiv) verzerrtes Bild Menge von Referenzpunkten, für die Position im Ursprungs- und im Zielbild bekannt sind gesucht: Transformationsmatrix zur Entzerrung des Bildes (8 Koeffizienten a 1, a 2, b 1, b 2, v 1, v 2, p 1, p 2 ) Gleichungssystem mit 8 Unbekannten also wenigstens 4 Referenzpunkte nötig Auflösen der Gleichungen y 1 = a 1x 1 + a 2 x 2 + v 1 p 1 x 1 + p 2 x y 2 = b 1x 1 + b 2 x 2 + v 2 p 1 x 1 + p 2 x für jeden Referenzpunkt y = (y 1, y 2 ) nach den Koeffizienten 53

54 Rasterung Abbildung eines Bildes B col (R2) mit stetiger Positionsmenge (Ebene R 2 ) auf ein digitales Bild C col pos mit diskreter Menge von Positionen pos = {0,..., m 1} {0,..., n 1} (Rasterpunkte) besteht aus zwei Teilaufgaben: 1. Abbildung R 2 pos 2. Bestimmung der Farbwerte C(p) für Rasterpunkte p pos, verschiedene Möglichkeiten C(p) := B(p) (Farbwert an Stützstelle p) nur möglich, wenn Farbwert B(p) für p pos gegeben ist C(p) := f (U(p)) als Funktion aller Farben in einer geeignet definierten Umgebung U(p) R 2 von p (z.b. Mittelwert C(p) := q U(p) B(q) U(p) ) 54

55 Interpolation der Intensitäten Das geometrische Transformationen nicht immer Pixel auf Pixel abbilden, wird der Farbwert eines Pixels q pos im transformierten Bild häufig aus den Farbwerten einer Umgebung (Menge von Pixeln) von T 1 (q) pos im Original berechnet (interpoliert). gegeben: digitales (Original-)Bild B col pos, geometrische Transformation T : R 2 R 2 gesucht: Annahmen: transformiertes digitales Bild C col pos Ursprungs- und Zielbild sind Approximationen desselben stetigen (beliebig fein aufgelösten) Bildes (dessen Werte aber i.a. nur an den Stützstellen pos bekannt ist) Positionen werden als Rasterpunkte im R 2 betrachtet Farbwert eines Rasterpunktes q pos im Zielbild lässt sich aus den Farbwerten der Rasterpunkte in einer Umgebung U(T 1 (q)) 2 pos des rücktransformierten Rasterpunktes T 1 (q) R 2 berechnen durch Interpolationsfunktion g : col pos R 2 2 pos col Transformation digitaler Bilder: T : col pos (R 2 R 2 ) col pos mit q pos : T (B, T, q) = g(b, T 1 (q), U(T 1 (q))) 55

56 Interpolationsfunktionen prominente Interpolationsfunktionen g : col pos R 2 2 pos col: Mittelwerte der Umgebungswerte g(b, p, U) = avg{b(r) r U} (med{b(r) r U}) Farbe des (eines) nächsten Nachbarn (Rasterpunkt in der Umgebung U pos mit geringstem Abstand zu p) p R 2 : g(b, p, U) = B(r) wobei d(r, p) = min{d(s, p) s U} lineare Interpolation (der 1 bis 4 nächsten Punkte im Original) für p = (z, s ) R 2 mit z z z + 1, s s s + 1 Umgebung U(z, s ) = {(z, s), (z, s + 1), (z + 1, s), (z + 1, s + 1)} g(b, (z, s ), {(z, s), (z, s + 1), (z + 1, s), (z + 1, s + 1)}) = a 1 B(z, s) + a 2 B(z, s + 1) + a 3 B(z + 1, s) + a 4 B(z + 1, s + 1) (gewichtete Summe der Farbwerte) mit a 1 = (1 + z z )(1 + s s ), a 2 = (1 + z z )(s s), a 3 = (z z)(1 + s s ), a 4 = (z z)(s s) kubische Interpolation 56

57 Was bisher geschah digitale Bilder: Funktion B : pos col Matrix B col pos statistische Merkmale und ihre Aussagen über das Bild (Bildanalyse) Punktoperationen f : col 1 col 2 (Farbtransformation) und ihre Fortsetzung f : col pos 1 col pos 2 p pos : f (B)(p) = f (B(p)) Intensitäts-, Kontrasterhöhung Histogrammstreckung Binarisierung Geometrische Operationen f : pos 1 pos 2 (Koordinatentransformation) Verschiebung, Skalierung, Drehung Projektion Interpolation der Intensitäten 57

58 Quellen von Informationsverlust prinzipielle Fehlerquellen: Informationsverlust bei der Projektion von 3d-Szenen auf die 2d-Bildebene Digitalisierung (Abtastung) analoger Bilder Rasterung führt zum Verlust der Information zwischen den Rasterpunkten (Stützstellen) Alias-Effekte Quantisierung führt zum Verlust der korrekten Farbinformation geometrische Transformationen von Bildern (Interpolation) Fehlerquellen in der Aufnahmetechnik, z.b. Verzerrung Überlagerung mit Stör-Signalen stochastische Signale (Rauschen) systematische Signale 58

59 Wiederherstellung der Tiefeninformation häufig eingesetzte Verfahren: Stereo-Vision (zwei Kameras) Information aus Bewegungs-Daten zeitlich versetzte Aufnahme durch eine Kamera an verschiedenen Orten (statt zweier statischer Kameras) Active-Vision-Systeme 59

60 Active-Vision-Verfahren Signalgeber sendet (räumlich) strukturierte Wellen (z.b. Projektion eines IR-Punktmusters) Aufnahme des reflektierten Musters Berechnung des Abstandes vom Reflexionspunkt (am Objekt) durch örtliche Differenz zwischen Strukturpunkten im aufgenommenen und einem Referenzbild (abhängig vom bekannten Ort des Senders relativ zum Empfänger) funktioniert nur in einem bestimmten Abstandsbereich ähnlich: Radar / Lidar (radio / light detection and ranging) Signalgeber sendet (zeitlich) strukturierte Wellen Berechnung des Abstandes vom Reflexionspunkt durch Zeitdauer zwischen Senden und Empfangen (Time-of-Flight) 60

61 Stereo-Vision-Verfahren Aufnahme der Szene durch zwei Kameras an verschiedenen Orten mit bekannten Positionen Identifikation desselben Punktes in den aufgenommenen Bildern (Korrespondenz-Problem) Berechnung des Schnittpunktes der Projektionslinien zwischen jeder Kamera und Punkt im Bild dieser Kamera (Triangulation) analog Berechnung aus Bildfolgen einer bewegten Kamera und mathematischem Modell der Bewegung 61

62 Digitalisierung Transformation analoger in digitale Signale (mit endlichem diskretem Definitions- und Wertebereich) Teilaufgaben: Rasterung (Abtastung, Sampling): Abbildung auf diskreten Definitionsbereich (Ortsraum) pos Ortsauflösung: Anzahl der Positionen (Stützstellen), oft definiert durch Abtastrate Quantisierung Abbildung auf diskreten Wertebereich col 62

63 Eindimensionale Signale analog : Funktion R R digital : Funktion pos col mit pos, col N, oft pos = {0,..., m 1} N, col = {0,..., n 1} N (Array / Liste / 1D-Matrix natürlicher Zahlen) Beispiele: Temperaturverläufe Börsenkurse Töne (Schallwellen) 63

64 Abtastung eindimensionaler Signale (Transformation eines Signals mit stetigem Definitionsbereich in ein Signal mit diskretem Definitionsbereich) gegeben: Funktion B : R R (eindimensionales Bild) gesucht: Funktion B : pos R mit pos = {0,..., m 1} Ziel: Transformation f : (R R) (pos R) mit { B(p) falls p pos B (R R ) p pos : f (B, p) = 0 sonst Realisierung von f durch Multiplikation von B mit Dirac-Impulsen δ : R R mit δ(x)dx = 1 (1) x R : x 0 δ(x) = 0 (2) 64

65 Dirac-Impuls Dirac-Impuls δ : R R mit δ(x)dx = 1 und x R : x 0 δ(x) = 0 Approximation durch Rechteck-Impulse: x R : { 1 falls 1/2 x 1/2 f 1 (x) = 0 sonst { 2 falls 1/4 x 1/4 f 2 (x) = 0 sonst... { 2 i 1 falls 2 f i (x) = i x 2 i 0 sonst... Wirkung der Multiplikation von B : R R mit f i : B(x)f i (x)dx = 2 i für i : δ : 2 i 2 i 1 B(x)dx ( = avg{b(x) x [ 2 i, 2 i] } ) B(x)δ(x)dx = B(0) 65

66 Dirac-Kamm Dirac-Impuls δ : R R mit δ(x)dx = 1 und x R : x 0 δ(x) = 0 Verschiebung um p entlang der x-achse: B(p + x)δ(x)dx = B(x)δ(p x)dx = B(p) Dirac-Kamm: Summe mehrerer Dirac-Impulse x R : δ pos (x) = δ(p x) p pos Transformation f : (R R) (pos R) mit B (R R ) p pos : f (B, p) = = B(x)δ pos (x)dx { B(p) falls p pos 0 sonst Ziel erreicht: Abtastung der Funktion B : R R an den Stellen pos 66

67 Beispiele B : R {0, 1} mit x R : B(x) = x mod 2 Abtastung an allen Positionen pos = {n/2 n {0,..., 10}} B = {(0, 0), (1/2, 0), (1, 1), (3/2, 1), (2, 0), (5/2, 0),...} pos = {3n/2 n {0,..., 10}} B = {(0, 0), (3/2, 1), (3, 1), (9/2, 0), (6, 0), (15/2, 1),...} Unterabtastung pos = {4n n {0,..., 10}} B = {(0, 0), (4, 0), (8, 0),...} Unterabtastung B : R [ 1, 1] mit x R : B(x) = sin(x) Aliasing: Rekonstruktion nicht im Original vorhandener Frequenzen (Alias-Frequenzen, Schwebungen) 67

68 Probleme bei der Abtastung Durch Digitalisierung (Transformation stetiger Signale in diskrete) entstehen möglicherweise Informationsverlust bei Unterabtastung verfälschte Strukturen (Aliasing) Nyquist-Shannon-Abtasttheorem: Zur verlustfreien Rekonstruktion darf das Abtastraster (Abstand zwischen den Abtast-Positionen) nicht gröber sein als die halbe Größe des kleinsten abzubildenden Details. alternative Formulierung: Abtastrate (1/ ) muss wenigstens doppelt so groß wie die höchste im Signal vorkommende Frequenz sein 68

69 Was bisher geschah digitales Bild = Funktion B : pos col statistische Merkmale und ihre Aussagen über das Bild (Bildanalyse) Punktoperationen f : col 1 col 2 (Farbtransformation) und ihre Fortsetzung f : col pos 1 col pos 2 Geometrische Operationen f : pos 1 pos 2 (Koordinatentransformation) eindimensionale Signale f : R R Dirac-Impuls, Dirac-Kamm, Abstast-Funktion(al) Digitalisierung f : pos R Alias-Effekte Nyquist-Shannon-Abtasttheorem 69

70 Wiederholung Abtastung Transformation einer stetigen Funktion B : R R (analoges Signal) in eine Funktion B : pos R (analoges Signal) mathematische Beschreibung dieser Transformation durch Funktion(al) f pos : (R R) (pos R) Dirac-Impuls δ : R R mit δ(x)dx = 1 und x R : x 0 δ(x) = 0 Dirac-Kamm δ pos an Abtaststellen pos R: x R : δ pos (x) = p pos δ(p x) abgetastetes Signal f pos (B) an Abtaststellen pos R: x R : (f pos (B))(x) = B(x)δ pos (x)dx = B(x)δ(p x)dx p pos Abtasttheorem (Nyquist-Shannon): Zur verlustfreien Rekonstruktion darf das Abtastraster (Abstand zwischen benachbarten Abtast-Positionen) nicht gröber sein als die halbe Größe des kleinsten abzubildenden Details. 70

71 Faltung Verschiebung eines Dirac-Impulses um p entlang der x-achse: B(x + t)δ(t)dt = B(t)δ(x t)dt = B δ ist Spezialfall einer Operation mit zwei Funktionen: Für f, g : R R ist die Faltung (Convolution) von f und g definiert durch x R : (f g)(x) = f (t)g(x t)dt 71

72 Faltung Beispiel { 1 falls 1 x 1 f (x) = χ [ 1,1] = 0 sonst { 2 falls 0 x 2 g(x) = 2χ [0,2] = 0 sonst an Stellen x { 2, 1, 0, 1, 2, 3, 4} ausrechnen: x R : (f g)(x) = f (t)g(x t)dt = max(0, 4 2x 1 ) anschaulich: 1. Spiegelung von g an y-achse 2. gespiegeltes g wird entlang der x-achse geschoben 3. (f g)(x) ist der Flächeninhalt des Schnittes der von beiden Funktionen überdeckten Fläche 72

73 Faltung Eigenschaften kommutativ, d.h. f, g : f g = g f assoziativ, d.h. f, g, h : (f g) h = f (g h) Dirac-Impuls δ ist neutrales Element bzgl. : Für jede Funktion B : R R gilt x R : (B δ)(x) = also B δ = B für verschobenen Dirac-Impuls δ p mit x R : δ p (x) = δ(x p) und jede Funktion B : R R gilt B(t)δ(x t)dt = B(x) x R : (B δ p )(x) = B(x p) bilinear, d.h. linear in jeder Komponente (af + bf ) g = a(f g) + b(f g) (analog für ag + bg ) 73

74 Diskrete Faltung stetig: Für f, g : R R ist die Faltung von f und g definiert durch x R : (f g)(x) = f (t)g(x t)dt diskret: Für f, g : Z Z ist die Faltung (Convolution) von f und g definiert durch x Z : (f g)(x) = f (t)g(x t) t= diskret mit endlichem Definitionsbereich pos: Für f, g : pos R ist die Faltung (Convolution) von f und g definiert durch x pos : (f g)(x) = f (t)g(x t) t pos 74

75 Diskrete Faltung Beispiel f, g : Z N mit 3 falls x = 1 f (x) = 1 falls x = 2 0 sonst 2 falls x = 1 g(x) = 1 falls x = 2} 0 sonst als Vektoren mit endlichem Definitionsbereich pos = {0,..., 3}: f = (0, 3, 1, 0), g = (0, 2, 1, 0) 6 falls x = 2 5 falls x = 3 (f g)(x) = 1 falls x = 4 0 sonst als Vektor: f g = (0, 6, 5, 1) (relevanter Teil) 75

76 Zweidimensionale Signale analog : Funktion R 2 R digital : Funktion pos col mit col N und pos N 2, meist pos = {0,..., m 1} pos = {0,..., n 1} N 2 und col = {0,..., k 1} N (Matrix natürlicher Zahlen, Bilder) 76

77 Abtastung (2D) Transformation eines Signals mit stetigem Definitionsbereich in ein Signal mit diskretem Definitionsbereich (Raster) gegeben: Funktion B : R 2 R gesucht: Funktion B : pos R mit pos = {0,..., m 1} {0,..., n 1} Transformation f : (R 2 R) (pos R) mit B : R 2 R p = (p x, p y ) pos : { B(px, p f (B)(p x, p y ) = y ) falls (p x, p y ) pos 0 sonst Realisierung durch Multiplikation von B mit Dirac-Impulsen δ : R 2 R mit δ(x, y)dxdy = 1 und (x, y) R 2 : (x, y) (0, 0) δ(x) = 0 77

78 Dirac-Kamm (2D) Dirac-Impuls δ : R 2 R mit δ(x, y)dxdy = 1 und (x, y) R 2 : (x, y) (0, 0) δ(x) = 0 Verschiebung in der Ebene um (p x, p y ) R 2 : = = B(p x, p y ) B(p x + x, p y + y)δ(x, y)dxdy B(x, y)δ(p x x, p y y)dxdy 2D-Dirac-Kamm: Summe mehrerer Dirac-Impulse (x, y) R 2 : δ pos (x, y) = δ(p x x, p y y) p pos Abtastung der Funktion B : R 2 R an den Stellen pos R 2 : (x, y) pos : B (x, y) = B(x, y)δ pos (x, y)dxdy = B(x, y) 78

79 Faltung (2D) Für f, g : R 2 R ist die Faltung (Convolution) von f und g definiert durch (x, y) R : (f g)(x, y) = f (t, u)g(x t, y u)dtdu diskreter Fall (Bilder): Für f, g : {0,..., m 1} {0,..., m 1} col ist die Faltung (Convolution) von f und g definiert durch (x, y) {0,..., m 1} {0,..., m 1} : (f g)(x, y) = m 1 n 1 f (t, u)g(x t, y u) t=0 u=0 79

80 Was bisher geschah digitale Bilder: Funktion B : pos col Matrix B col pos statistische Merkmale Punktoperationen f : col 1 col 2 (Bildanalyse) (Farbtransformation) Geometrische Operationen f : pos 1 pos 2 (Koordinatentransformation) Interpolation der Intensitäten 1D- und 2D-Signale (analog, digital) Digitalisierung (Abtastung) von 1D- und 2D-Signalen Aliasing-Effekte Faltung von Signalen (Funktionen) 80

81 Signale stetige Signale auf Bereichen pos R m und col R m Darstellung als Funktion B : pos col bisher: Transformationen durch (Punkt-)Operationen auf Funktionswerte p : col col also Nacheinanderausführung B p : pos col Koordinatentransformationen (geometrisch) t : pos pos also Nacheinanderausführung t B : pos col diskrete Signale auf Bereichen pos Z m und col Z m (meist) erzeugt durch Abtastung stetiger Signale Darstellung durch Angabe der Werte an den Stützstellen (endliche) Menge von Position-Wert-Paaren Darstellung von Bildern (2D-Funktionen) durch Farbwerte an Pixelpositionen Transformationen durch (Punkt-)Operationen auf Funktionswerte p : col col punktweise Anwendung von p an jeder Position Koordinatentransformationen (geometrisch) t : pos pos (meist) Interpolation der Farbwerte nötig 81

82 Transformation stetiger Signale bisher: Beschreibung (stetiger) Funktionen f : pos col als Linearkombinationen (gewichtete Summe) von verschobenen Dirac-Impulsen δ : R R Transformationen durch Operationen auf col (punktweise) Farbtransformationen pos geometrisch Alternative: Beschreibung von Funktionen f : R R als Linearkombinationen (gewichtete Summe) festgelegter (stetiger) Standardfunktionen g i : R R (evtl. geeignet skaliert und verschoben) Darstellung von Bildern als Linearkombinationen (stetiger) Standardbilder (evtl. skaliert, verschoben und rotiert) Transformationen durch Operationen auf den Koeffizienten a i der Standardfunktionen 82

83 Periodische Funktionen (1D) Funktion f : R R heißt periodisch gdw. p R x R i Z : f (x) = f (x + ip) p R heißt Periode von f Funktion f : R R heißt gerade gdw. x R : f (x) = f ( x) (Symmetrie an y-achse) z.b. x x 2, x cos(x) ungerade gdw. x R : f (x) = f ( x) z.b. x x 3, x sin(x) 83

84 Fouriertransformation (1D) Idee Darstellung von (periodischen) Funktionen f : R R als Linearkombination (gewichtete Summe) periodischer zueinander orthogonaler Standard -Funktionen mit Perioden p k = 2πk p für Periode p von f und alle k Z. Für Fouriertransformation trigonometrische Funktionen cos gerader Anteil sin ungerader Anteil x R : f (x) = k Z ( a k cos ( 2πkx p ) ( 2πkx + ib k sin p )) 84

85 Euler-Identität Transformation der Linearkombinationen reellwertiger trigonometrischer Funktionen in C-wertige Funktionen mit Hilfe der Euler-Identität: x R : e ix = cos(x) + i sin(x) (alle e ix C mit e ix = 1) insbesondere für x = 2π p mit p N: p-te Einheitswurzeln e i 2π p mit i {0,..., p 1} : ( ) e i 2π p p = e i2π = e 0 = 1 85

86 Fourier-Reihen periodischer Funktionen (1D) f : R R stückweise stetig und periodisch, d.h. p R x R n Z : f (x) = f (x + np) Darstellung von f : R R als Fourier-Reihe: x R : f (x) = ) (c k e i 2πkx p = ( ( ) ( )) 2πkx 2πkx a k cos + b k i sin p p k Z k Z mit den Fourier-Koeffizienten k Z : c k C mit c k = 1 p p 0 f (x)e 2πkx i p dx = 1 p p/2 p/2 f (x)e 2πkx i p dx Grundfrequenz von f : f p = 1/p c k 0 gdw. Frequenz k/p kommt in f mit Amplitude c k vor (diskretes) Fourier-Spektrum von f : c : Z C mit k Z : c(k) = c k (Folge (c k ) k Z ) anschaulich: f hat einen Frequenzanteil k/p gdw. c k 0 c k ist die Amplitude des Frequenzanteils k/p 86

87 Beispiel x R : f (x) = { π/4 falls k Z : x [pk, pk + p/2) π/4 falls k Z : x [pk + p/2, p(k + 1)) (stückweise konstante Funktion mit Periode 2 und Grundfrequenz 1/2) Fourier-Koeffizienten: { 1 k Z : c k = 2k falls k 1 (mod 2) 0 sonst also x R : f (x) = i 2 und damit k Z k mod 2=1 x R : f (x) = ( 1 cos 2πkx k p k N k 1(mod2) 1 2πkx sin k p + i sin 2πkx ) p 87

88 Fourier-Transformation nicht-periodischer Funktionen Idee: Grenzübergang von diskreten Frequenzen k/p R zu kontinuierlichen Frequenzen u R Falls zu einer (nicht notwendig periodischen) Funktion f : R R für jedes u R das Integral R f (x)e iux dx existiert, Fourier-Transformation F : R R C R mit u R : F(f )(u) = f (x)e iux dx F (f ) heißt die Fourier-Transformierte von f (kontinuierliches Fourier-Spektrum) inverse Fourier-Transformation F 1 : C R R R x R : F 1 (d)(x) = d(u)e iux du R R 88

89 Beispiel: Rechteckimpuls { h falls a x a x R : f (x) = hχ [ a,a] (x) = 0 sonst u R : F(f )(u) = 2ah sin(2aπu) 2aπu 89

90 Beispiel: konstante Funktion Funktion f : R R mit x R : f (x) = a Fourier-Transformierte von f x R : F (f )(t) = ae 2πiux dx = aδ(x) R mit Dirac-Impuls δ : R R, wobei δ(x)dx = 1 und x R : x 0 δ(x) = 0 (neutral bzgl. Faltung: f : R R : f δ = f ) 90

91 Diskrete Fourier-Transformation (1D) gegeben: f : pos R mit pos = {0,..., m 1} Idee: periodische Fortgesetzung von f auf Z (mit Periode m, Frequenz 1/m) diskrete Fourier-Transformation von f : pos R (1-DFT): F : R pos C pos mit u {0,..., m 1} : F(f )(u) = m 1 k=0 f (k)e 2πiku/m inverse Fourier-Transformation von g : pos C: F 1 : C pos R pos mit x {0,..., m 1} : F 1 (g)(x) = 1 m m 1 k=0 g(k)e 2πikx/m 91

92 Eigenschaften der 1D-DFT 1D-DFT F : R pos C pos F(f )(x) = m 1 k=0 f (k)e 2πikx/m für alle f : pos R gilt: F(f )(x) = F(f )( x) (symmetrisch) F(f )(x) = F(f )( x) F(f )(x + m) = F(f )(x) (unendlich periodisch) 92

93 Diskrete Fourier-Transformation (2D) gegeben: f : pos R mit pos = {0,..., m 1} {0,..., n 1} periodische Fortgesetzung von f auf Z 2 diskrete Fourier-Transformation von f : pos R (2-DFT): F : R pos C pos mit (u x, u y ) pos : F(f )(u x, u y ) = m 1 n 1 x=0 y=0 2πi(xux /m+yuy /n) f (x, y)e inverse Fourier-Transformation von g : pos C: F 1 : C pos R pos mit (u x, u y ) pos : F 1 (g)(u x, u y ) = 1 mn m 1 n 1 x=0 y=0 2πi(xux /m+yuy /n) g(x, y)e 93

94 Fourier-Spektren (2D) Fourier-Transformation F : R pos C pos mit (u x, u y ) pos : F(f )(u x, u y ) = m 1 m 1 x=0 y=0 Fourier-Spektrum: Matrix S(f ) R pos mit (x, y) pos : S(f )(x, y) = F(f )(x, y) Leistungs-Spektrum: Matrix L(f ) R pos mit (x, y) pos : P(f )(x, y) = F(f )(x, y) 2 2πi(xux /m+yuy /n) f (x, y)e Phasen-Spektrum: Matrix φ(f ) R pos mit ( ) I(F(f )(x, y)) (x, y) pos : φ(f )(x, y) = arctan R(F(f )(x, y)) 94

95 Eigenschaften der 2D-DFT Fourier-Transformation F : R pos C pos mit (u x, u y ) pos : F(f )(u x, u y ) = m 1 m 1 x=0 y=0 2πi(xux /m+yuy /n) f (x, y)e Für alle Funktionen f : pos R gilt: F(f )(0, 0) = avg(f ) F(f )(x, y) = F (f )( x, y) (symmetrisch) F(f )(x, y) = F(f )( x, y) f, g : pos R a, b R: F(af + bg)(x, y) = af(f )(x, y) + bf(g)(x, y) (linear) F(f )(x + m, y + n) = F(f )(x + m, y) = F(f )(x, y + n) = F(f )(x, y) (unendlich periodisch in beide Richtungen) 95

96 DFT von Bildern Bild B col pos Fourier-Transformierte F (B) C pos (x, y) pos : F(B)(x, y) = mit Ortsfrequenz F(f )(x, y) C Spektrum F(f )(x, y) R Phase φ(x, y) = arctan m 1 m 1 x=0 y=0 = S(x, y) + e iφ(x,y) ( ) I(F (f )(x,y)) R(F (f )(x,y)) R 2πi(xux /m+yuy /n) B(x, y)e 96

97 Anwendung in der Bildverarbeitung Erkennen / Entfernen periodischer Bildkomponenten Kanten-Betonung durch Entfernen (Wert 0) des mittleren Bereiches (niedrige Frequenzen) Glättung durch Entfernen (Wert 0) des äußeren Bereiches (hohe Frequenzen) 97

98 Was bisher geschah digitale Bilder: Funktion B : pos col Matrix B col pos statistische Merkmale Punktoperationen f : col 1 col 2 (Bildanalyse) (Farbtransformation) Geometrische Operationen f : pos 1 pos 2 (Koordinatentransformation) Interpolation der Intensitäten 1D- und 2D-Signale (analog, digital) Digitalisierung (Abtastung) von 1D- und 2D-Signalen Aliasing-Effekte Faltung von Signalen (Funktionen) Fourier-Transformierte / inverse Fourier-Transformierte und darin enthaltene Informationen über das Bild 98

99 Wiederholung Fourier-Transformation Bild B col pos Diskrete Fourier-Transformation F : col pos C pos m 1 m 1 (u, v) pos : F (B)(u, v) = B(x, y)e 2πi(ux/m+vy/n) x=0 y=0 inverse Fourier-Transformation F 1 : C pos R pos mit (x, y) pos : F 1 (C)(x, y) = 1 mn C(u, v)e 2πi(ux/m+vy/n) m 1 n 1 u=0 v=0 Anwendungen der Fourier-Transformation in der Bildverarbeitung: Erkennung typischer Bildeigenschaften, z.b. Größe, dominante Richtungen der Strukturen Transformation eines (Gesamt-)Bildes B in drei Schritten: 1. Fourier-Transformation C = F (B) C pos 2. Änderung der Fourier-Transformierten zu C (z.b. Löschen von Teilbildern) 3. inverse Fourier-Transformation B = F 1 (C ) 99

100 Transformationen im Frequenzraum punktweise Transformation f : pos C der Werte in der Fourier-Transformierten C C pos durch Multiplikation mit einer Funktion f : pos R Beispiel ( mit Abstand d, z.b. d(u, v) = u 2 + v 2 ): Tiefpass mit Schwellwert (Cut-Off-Frequenz) θ R { 1, falls d(u, v) θ ftiefpass.png f T (θ)(u, v) = 0 sonst Glättung, aber Ringing-Artefakte möglich 100

101 Mehr Beispiele Hochpass mit Schwellwert (Cut-Off-Frequenz) θ R { 0, falls d(u, v) θ fhochpass.png f H(θ)(u, v) = 1 sonst Hervorhebung von Kanten Bandpass mit Schwellwerten θ 1, θ 2 R fbandpass.png fb(θ1,θ 2 )(u, v) = { 1, falls θ1 d(u, v) θ 2 0 sonst Bandstop (analog) mit Schwellwerten θ 1, θ 2 R 101

102 Vermeidung der Ringing-Artefakte Idee: Wert (Amplitude) bei steigenden / fallenden Frequenzen stetig statt stufenförmig ändern Beispiel: Butterworth-Filter fbutter2.png fbutter8.png fbutter32.png f T (θ) (u, v) = ( d(u,v) θ ) 2n (Tiefpass) analog: f H(θ) (u, v) = 1 ( ) 2n (Hochpass) 1 + θ d(u,v) 102

103 Bildtransformationen im Ortsraum Ziel: Transformation des Bildes B col pos in drei Schritten 1. Fourier-Transformation F(B) = C C pos 2. Änderung der Fourier-Transformierten C durch Multiplikation mit einer Funktion h: (u, v) pos : C (u, v) = F(B)(u, v) h(u, v) 3. inverse Fourier-Transformation B (x, y) = F 1 (C )(x, y) = F 1 (F(B) h)(x, y) für h = F(h ) also B (x, y) = F 1 (F(B) F(h ))(x, y) ersetzen durch eine Operation h : col pos col pos mit B col pos (x, y) pos : h (B)(x, y) = F 1 (F(B) f (h ))(x, y)) 103

104 Wiederholung: Faltung von Funktionen (x, y) {0,..., m 1} {0,..., m 1} : (f g)(x, y) = f (x i, y j)g(i, j) i= j= speziell für Bild B : pos col: (B h)(x, y) = B(x i, y j)h(i, j) i= j= Es gilt der Faltungssatz: f, g : pos col (x, y) pos : F (f g)(x, y) = F(f )(x, y) F(g)(x, y) Faltung im Ortsraum entspricht Multiplikation im Frequenzraum also B : pos col h : pos R (x, y) pos : F (B h)(x, y) = F(B)(x, y) F (h)(x, y) = (F (B) F (h))(x, y) und damit B : pos col h : pos R (B h) = F 1 (F(B h)) = F 1 (F(B) F(h)) also: statt Operation F 1 (F (B) F (h)) : col pos col pos Faltung B h 104

105 Lineare Filter (B h)(x, y) = B(x i, y j)h(i, j) mit Koeffizienten h(i, j) i= j= häufiger Spezialfall: Koeffizienten h(i, j) verschwinden mit größerem Abstand von (0, 0), und außerhalb eines Bereiches (i, j) { k,..., k} 2 gilt h(i, j) = 0 Angabe von h auf dem (quadratischen) Ausschnitt (i, j) { k,..., k} 2 als (2k + 1) (2k + 1)-Matrix genügt (Filterkern, Filtermaske, Filtermatrix) 105

106 Lineare Filter Faltung von Bild B : pos col mit Filtermatrix h( k, k)... h( k, 0)... h( k, k)... h = h(0, k)... h(, 0)... h(0, k)... h(k, k)... h(k, 0)... h(k, k) transformiert jeden Wert B(x, y) zu (B h)(x, y) = B(x i, y j)h(i, j) (gespiegelte Filtermatrix) i= j= k k = B(x i, y j)h(i, j) i= k j= k k k = B(x + i, y + j)h( i, j) i= k j= k 106

107 Lineare Filter Faltung von Bild B : pos col mit Filtermatrix h( 1, 1) h( 1, 0) h( 1, 1) h = h(0, 1) h(0, 0) h(0, 1) h(1, 1) h(1, 0) h(1, 1) transformiert jeden Wert B(x, y) zu B (x, y) = 1 i= 1 j= 1 1 h(i, j)b(x + i, y + j) gewichtete Summe aller Bildpunkte im Bereich (x 1, x, x + 1) (y 1, y, y + 1) (lineare Operation) meist normierte Filtermatrizen h mit k k i= k j= k h(i, j) = 1 Normierung (für Beispiel k = 1): 1 k k i= k j= k h(i, j) h( 1, 1) h( 1, 0) h( 1, 1) h(0, 1) h(0, 0) h(0, 1) h(1, 1) h(1, 0) h(1, 1) 107

108 Faltung am Bildrand Problem: B (x, y) = k i= k j= k k h(i, j)b(x + i, y + j) an Randpunkten (x, y) hängt B (x, y) von Werten B(x, y ) an Positionen (x, y ) pos ab. B(x, y ) ist dort nicht definiert. mögliche Lösungen: Randbereiche nicht filtern (Werte B(x, y) bleiben) spezielle Rand-Filtermasken konstante Fortsetzung auf Positionen außerhalb pos schwarzer Rand (Zero-Padding): (x, y) pos : B(x, y) := 0 gespiegelter Rand: (x, y) pos : B(x, y) := B( x, y) (bzw. einem der Werte B( x, y), B( x, y), B(x, y)) periodisch fortgesetzte Werte Interpolation 108

109 Glättungsfilter Ziel: Unterschiede zwischen benachbarten Pixeln verringern (alle Koeffizienten positiv) Beispiele: Mittelwertfilter: Binomialfilter: auch größere Matrizen als Filterkerne üblich 109

110 Filter zur Kantenverstärkung Ziel: Unterschiede zwischen benachbarten Pixeln verstärken (positive und negative Koeffizienten, Summe aller Koeffizienten = 0) Beispiele: ( ) ( ) Roberts-Operator: und (Summe) Prewitt-Operator: h: v: Sobel-Operator: h: v: Differenz-Filter:

111 Nichtlineare Filter Funktion f : col pos col pos mit (x, y) pos : f (B)(x, y) = h(b(x k, y k),..., B(x + k, y + k)) nicht durch Faltung mit einer Matrix (lineare Funktion) gegeben, sondern nichtlinear Beispiele: Rangordnungsfilter Minimum: f (B)(x, y) = min{b(x k, y k),..., B(x + k, y + k)} Maximum: f (B)(x, y) = max{b(x k, y k),..., B(x + k, y + k)} Median: f (B)(x, y) = med{b(x k, y k),..., B(x + k, y + k)} gewichteter Medianfilter, abhängig von Matrix h : { k,..., k} 2 N, Gewicht (i, j) bestimmt Anzahl der Vorkommen des Wertes B(x + i, y + j) in der Medianliste 111

112 Was bisher geschah digitale Bilder: Funktion B : pos col Matrix B col pos statistische Merkmale Punktoperationen f : col 1 col 2 (Bildanalyse) (Farbtransformation) Geometrische Operationen f : pos 1 pos 2 (Koordinatentransformation) Interpolation der Intensitäten Digitalisierung (Abtastung) von 1D- und 2D-Signalen Aliasing-Effekte Faltung von Signalen (Funktionen) Fourier-Transformierte / inverse Fourier-Transformierte und darin enthaltene Informationen über das Bild Operationen im Frequenzbereich Filter zur Glättung, Kanten-Hervorhebung 112

113 Transformation von Binärbildern Bild = Matrix B col pos hier Binärbilder mit Farben col = {0, 1} (0 für schwarz, 1 für weiß) Annahmen: Vordergrund und Hintergrund getrennt (z.b. durch Binarisierung mit Schwellwert) Vordergrund weiß (1), Hintergrund schwarz (0) Ziel: Merkmale (z.b. Form) der (weißen) Regionen hervorheben, um Störungen bereinigen, (einzelne Punkte, Löcher, zerklüftete Ränder) erkennen Mustern zuordnen (klassifizieren) 113

114 Morphologische Operationen Idee: Bild B : pos {0, 1} ist charakteristische Funktion der Menge aller weißen Pixel (Vordergrund) Bild B repräsentiert die Menge B 1 (1) (Urbild von 1) Notation: B B 1 (1) Transformation von B durch Anwendung von Mengenoperationen auf B B = (0, 1), (0, 2), (0, 3), (1, 2), (1, 3), (2, 2), (2, 3), (3, 1), (4, 1) 114

115 Mengenoperationen auf Binärbildern Komplement eines Bildes B : pos {0, 1}: B : pos {0, 1} mit B B 1 (1) = B 1 (0) punktweise: (Farb-Invertierung) p pos : B(p) = B(p) = 1 B(p) Vereinigung zweier Bilder B, C : pos {0, 1} (B C) : pos {0, 1} mit (B C) B 1 (1) C 1 (1) = {p pos B(p) = 1 C(p) = 1} punktweise: p pos : (B C)(p) = B(p) C(p) = max(b(p), C(p)) Schnitt zweier Bilder B, C : pos {0, 1} (B C) : pos {0, 1} mit (B C) B 1 (1) C 1 (1) = {p pos B(p) = 1 C(p) = 1} punktweise: p pos : (B C)(p) = B(p) C(p) = min(b(p), C(p)) 115

116 Mengenoperationen auf Binärbildern Differenz zweier Bilder B, C : pos {0, 1} (B \ C) : pos {0, 1} mit (B \ C) B 1 (1) \ C 1 (1) punktweise: = {p pos B(p) = 1 C(p) = 0} p pos : (B\C)(p) = B(p) C(p) = min(b(p), 1 C(p)) Symmetrische Differenz zweier Bilder B, C : pos {0, 1} (B C) : pos {0, 1} mit (B C) (B C) \ (B C) = (B \ C) (C \ B) punktweise: = {p pos B(p) = 1 XOR C(p) = 0} p pos : (B C)(p) = B(p) XOR C(p) = (B(p) + C(p)) mod 2 116

117 Morphologische Operationen Idee: Transformation von Binärbildern B {0, 1} pos durch Verknüpfung von B mit bestimmten (geeignet transformierten) Strukturelementen (Masken) durch Mengenoperationen Strukturelement M : pos {0, 1} definiert Bezugspunkt (0, 0) pos (hot spot) relevante Positionen p pos mit M(p) = 1 (an der Mengenoperation mit B beteiligt) irrelevante Positionen p pos mit M(p) = 0 Beispiele:

118 Strukturelemente Form und Bezugspunkt abhängig von gewünschter Wirkung typische Formen (häufig symmetrisch mit Bezugspunkt in der Mitte): Kreuz (z.b. 4-Nachbarschaft) Quadrat (z.b. 8-Nachbarschaft) Rechtecke mit verschiedenen Positionen des Bezugspunktes Kreise, Ellipsen (diskrete Approximationen) Wiederholung (geometrische Transformationen): Verschiebung V p (B) : {0, 1} pos {0, 1} pos um p = (p x, p y ) pos (x, y) pos : V p (B)(p) = (x + p x, y + p y ) 118

119 Erosion gegeben: B : pos {0, 1} Strukturelement M : pos {0, 1} Erosion: Bildpunkt p weiß (Vordergrund) gdw. alle relevanten Positionen des mit dem Bezugspunkt in p verschobenenstrukturelementes weiß B M = {p pos V p (M) B} = {p pos V p (M) B = } p pos : (B M) = min{b(q) q V p (M)} = min{b(q) (V p (M))(q) = 1} { 1, falls q Vp (M) : B(q) = 1 = 0 sonst 119

120 Erosion Beispiel B = M = 1 1 B M =

121 Erosion Eigenschaften nicht kommutativ: B, M : B M M B nicht assoziativ: B, M, M : (B M) M B (M M ) Wirkung: Abtragen der Vordergrundregionen an Randpunkten kleinen isolierten Punktgruppen konvexen Randbereichen Erosion mit quadratischem Strukturelement: Minimum-Filter 121

122 Dilatation gegeben: B : pos {0, 1} Strukturelement M : pos {0, 1} Dilatation: Bildpunkt p weiß gdw. wenigstens eine relevante Position des mit dem Bezugspunkt in p verschobenen Strukturelementes weiß B M = {p pos V p (M) B } p pos : (B M)(p) = max{b(q) q V p (M)} = max{b(q) (V p (M))(q) = 1} { 1, falls q Vp (M) : B(q) = 1 = 0 sonst 122

123 Dilatation Beispiel B = M = 1 1 B M =

124 Dilatation Eigenschaften kommutativ: B, M : B M = M B assoziativ: B, M, M : (B M) M = B (M M ) Wirkung: Auffüllen von Vordergrundregionen an konkaven Randbereichen Löchern Dilatation mit quadratischem Strukturelement: Maximum-Filter 124

125 Beziehungen zwischen Erosion und Dilatation Für alle Bilder B {0, 1} pos und alle Strukturelemente M, M {0, 1} pos gilt B M B B M (B M) M = B (M M ) B M = B M B M = B M Kombinationen von Erosions- und Dilatationschritten: Opening, Closing 125

126 Morphologisches Öffnen (Opening) gegeben: B : pos {0, 1} Strukturelement (Maske) M : pos {0, 1} Opening B M = (B M) M M : Strukturelement M am Referenzpunkt gespiegelt (um 180 gedreht) Wirkung: Dilatation macht die Verkleinerung der die Erosion überlebenden (hellen) Regionen rückgängig Beseitigung von kleinen oder schmalen hellen Bereichen (falsch als Vordergrund interpretierte Stellen) Trennung von gerinfügig verbundenen (hellen) Regionen 126

127 Opening Beispiel B = M = 1 1 B M = B M = (B M) M mit M = 1 1 B M =

128 Morphologisches Schließen (Closing) gegeben: B : pos {0, 1} Strukturelement (Maske) M : pos {0, 1} Closing B M = (B M) M M : Strukturelement M am Referenzpunkt gespiegelt (um 180 gedreht) Wirkung: Erosion macht die Ausdehnung der (hellen) Regionen bei Dilation rückgängig Beseitigung von kleinen oder schmalen dunklen Bereichen (Störungen in Vordergrund-Regionen) Verbindung nahe benachbarter Vordergrundregionen 128

129 Closing Beispiel B = M = 1 1 B M = B M = (B M) M mit M = 1 1 B M =

130 Beziehungen zwischen morphologischem Öffnen und Schließen Für alle Bilder B, C {0, 1} pos und alle Strukturelemente M {0, 1} pos gilt B M B B M (B M) M = (B M) (B M) M = (B M) A M = A M A M = A M A M = A M A M = A M B C gdw. (B M C M) (B M C M) Beseitigung größerer Störungen durch geeignete Folgen von Öffnen- und Schließen-Schritten 130

131 Hit-or-Miss-Transformation Ziel: Identifizierung von im Bild vorkommenden Pixelmustern mit Toleranz, z.b. Linien der Länge von... bis... Idee: Schnitt von 1. Erosion des Bildes mit Positiv-Maske M 1 zur Beseitigung aller zu kleinen Vordergrund-Regionen (Hit-Transformation) 2. Erosion des invertierten Bildes mit Negativ-Maske (Umriss) M 2 zur Beseitigung aller zu großen Vordergrund-Regionen (Miss-Transformation) gegeben: B : pos {0, 1} Strukturelemente M 1 : pos 1 {0, 1}, M 2 : pos 2 {0, 1} mit M 1 M 2 = Hit-or-Miss-Transformation: B (M 1, M 2 ) = (B M 1 ) (B M 2 ) 131

132 Beispiel B = M 1 = B M 1 = B = M 2 = B M 2 = B (M 1, M 2 ) = (B M 1 ) (B M 2 ) = {(6, 2)}

133 Hit-or-Miss-Transformation Hit-or-Miss-Transformation: B (M 1, M 2 ) = (B M 1 ) (B M 2 ) = (B M 1 ) B M 2 Zusammenfassung von Hit-Maske M 1 : pos {0, 1} und Miss-Maske M 2 : pos {0, 1} mit pos = { m,..., m} { n,..., n} (gleiche Größe, ggf. um 0 erweitern) zu spezieller Hit-or-Miss-Maske M : pos {0, 1, } möglich: { p pos M1 (p), falls M : M(p) = 2 (p) = 1 M 1 (p), sonst 133

134 Hit-or-Miss-Transformation Beispiel M 1 = M 2 = M = B = B M =

135 Hit-or-Miss-Transformation ermöglicht Erkennung spezieller Strukturen im Bild, z.b. M 1 = M 2 = M 3 = M 4 = untere rechte Ecken linker Rand, Zusammenhangs-erhaltend Thickening (konvexe Hülle) untere Endpunkte 135

136 Morphologische Operationen auf Binärbildern gegeben: Bild B : pos {0, 1} Strukturelement M : pos {0, 1}, (markiert relevante Pixel) Erosion: Abtragung (Verkleinerung der Vordergrund-Regionen) Minimum über alle relevanten Pixel Dilatation: Anlagerung (Vergrößerung der Vordergrund-Regionen) Maximum über alle relevanten Pixel Opening: morphologisches Öffnen, 1. Entfernen kleiner Vordergrundeobjekte 2. Wiederherstellung der größeren Objekte auch zum Finden von Regionen bestimmter Form Closing: morphologisches Schließen 1. Entfernen kleiner Vordergrund-Störungen 2. Wiederherstellung des Vordergrund ohne Störung Hit-or-Miss: Finden von Regionen bestimmter Form mit Toleranzbereich 136

137 Morphologische Operationen auf Grauwertbildern Bild col pos mit Farbbereich col = {0,..., k} statt {0, 1} Übergang von charakteristischer Funktion B : pos {0, 1} zu Funktion B : pos {0,..., k} geeignete Erweiterungen der Mengenoperationen (punktweise Boolesche Operationen) vom Farbbereich {0, 1} auf {0,..., k}, z.b.: min max λx.k x (für Spezialfall k = 1 genau die Booleschen Operationen) 137

138 Beispiel: Erosion von Grauwertbildern gegeben: B : pos {0,..., k} Strukturelement (Maske) M : pos {0, 1} Erosion: p pos : (B M)(p) = min{b(p + v) M(v) = 1} Wirkung: Verdunklung der hellen Regionen (Vordergrund) (ähnlich Minimum-Filter mit Strukturelement) Dilatation: p pos : (B M)(p) = max{b(p + v) M(v) = 1} Opening, Closing damit analog zu Binärbildern 138

139 Was bisher geschah digitale Bilder B : pos col statistische Merkmale Punktoperationen f : col 1 col 2 (Bildanalyse) (Farbtransformation) Geometrische Transformationen f : pos 1 pos 2 Interpolation der Intensitäten Digitalisierung (Abtastung) von 1D- und 2D-Signalen Faltung von Signalen (Funktionen) Fourier-Transformierte / inverse Fourier-Transformierte Operationen im Frequenzbereich, Filter Morphologische Operationen auf Binärbildern: Erosion, Dilatation, Opening, Closing, Hit-Or-Miss 139

140 Regionen im Bild Region R pos im Bild B : pos {0, 1} (bzgl. einer Nachbarschaft zusammenhängend) jede Region hat eine Bedeutung, Positionen in einer Region gehören zur selben Bedeutung Erkennung von Regionen (semantische Einheiten) durch gemeinsame Eigenschaften aller Pixel oder Pixelgruppen der Region, z.b. Intensität, Farbe, Textur signifikanten Unterschieden zwischen benachbarten Positionen (Erkennung der Grenzen der Region) Merkmale von Regionen R: Kontur K (R): Menge der Randpixel (verschiedene Codierungen, z.b. Freeman-Kettencode, Differential-Code) Skelett S(R): topologieerhaltendes Bild aus Linien von 1 Pixel Dicke 140

141 Beschreibung von Regionen Darstellung als Menge aller zur Region gehörenden Positionen Kontur (Positionen am Rand der Region) Skelett (zentrale Positionen der Region) Verfahren zur Erkennung zusammenhängender Regionen Menge von Positionen: 1. Schwellwert-Verfahren, 2. Identifikation zusammenhängender Positionsmengen Kontur: Konturbestimmung Skelett: Skelettierung morphologische Operationen hilfreich 141

142 Konturen von Regionen Region R pos Rand (Kontur) von R: K (R) Menge aller Positionen p pos mit 1. p R und 2. in der (geeignet definierten) Nachbarschaft von p existiert (wenigstens) ein q mit p R Rand in 4-Nachbarschaft: geschlossener Pfad in 8-Nachbarschaft 8-Nachbarschaft: geschlossener Pfad in 4-Nachbarschaft 142

143 Konturbestimmung K = B \ (B M) = B B M Beispiel: Bestimmung des Randes in 4- bzw. 8-Nachbarschaft durch 1. Erosion mit Strukturelement M 4 = M 8 = (entfernt alle Pixel, deren 4- bzw. 8-Nachbarschaft wenigstens einen Punkt außerhalb der Region enthält) 2. Differenz zwischen Original- und erodiertem Bild enthält genau alle Randpunkte (innerhalb der Region) analog lässt sich definieren: Randpunkte außerhalb der Region K = (B M) \ B = (B M) B 143

144 Konturbestimmung Beispiel B = B M 4 = B \ (B M 4 ) =

145 Abstände zwischen Positionen Abstandsfunktion d : pos R mit den Eigenschaften: p, q pos : d(p, q) = 0 gdw. p = q p, q pos : d(p, q) = d(q, p) (kommutativ) p, q, r pos : d(p, q) + d(q, r) d(p, r) (Dreiecksungleichung) Beispiele: für pos = {0,..., m} {0,..., n} und k N: p = (p z, p s ), q = (q z, q s ) pos : d k (p, q) = k (p z q z ) k + (p s q s ) k für k = 2: d 2 (p, q) = 2 (p z q z ) 2 + (p s q s ) 2 Euklidischer Abstand für k = 1: d 1 (p, q) = p z q z + p s q s Manhattan-Metrik (minimale Anzahl der zu einem p und q verbindenden Pfad in 4-Nachbarschaft notwendigen Positionen) für k : d (p, q) = max ( p z q z, p s q s ) Maximum-Metrik (minimale Anzahl der zu einem p und q verbindenden Pfad in 8-Nachbarschaft notwendigen Positionen) 145

146 Distanztransformation von Binärbildern ordnet jeder Position innerhalb einer Region den kürzesten Abstand zum Rand der Region zu (Abstand bzgl. gegebener Nachbarschaftsrelation) Idee: mehrfache Erosion des Binärbildes B pos Distanzmaß ordnet jeder Position p in einer Region R B 1 (1) die Anzahl der Erosionen bis zur Entfernung von p aus B zu (geeignet definierter Mindestabstand zum Rand K (R)) d B : pos N mit p pos : d B (p) = 0, falls p B 1, falls p B \ B M. k + 1, falls p B( M) k \ B( M) k+1 übliche Visualisierung: Distanzbild Intensität von p B umgekehrt proportional zu d B (p) 146

147 Distanztransformation Beispiel

148 Skelette von Regionen Ziel: Reduktion der Vordergrundregionen zu Linien unter Beibehaltung wichtiger topologischer Merkmale (z.b. Zusammenhang, Löcher) Anwendungen zur Beschreibung von Regionen, für die das Vorhandensein von Linien relevant ist, deren Breite jedoch nicht z.b. Straßen-, Gesten-, Zeichenerkennung (OCR) 148

149 Skelett von Regionen Anforderungen Skelett ist Teilmenge der Region Erhaltung der Zusammenhangseigenschaften der Region Skelett ist minimal, d.h. keine weiteren Punkte können entfernt werden, ohne Zusammenhang zu zerstören bevorzugt Mittelachsen M der Vordergrundregionen (gleicher Abstand zu den nächsten Randpunkten) 149

150 Skelettierung Idee mehrfach wiederholtes Entfernen von (weißen Vordergrund-) Positionen, bis nur noch Skelett weiß nur Entfernung der Punkte, die nicht zum Skelett gehören Identifikation typischer Pixelmuster für Skelettlinien (Enden, Verzweigungen von Linien von 1 Pixel Breite) Identifikation typischer Pixelmuster (Enden, Verzweigungen) für Linien größerer Breite Hit-or-Miss-Transformation mit geeigneten Strukturelementen (Pixelmustern) zur Identifikation zu breiter Bereiche Entfernen der gefundenen Positionen aus dem Bild 150

151 Thinning (Verdünnung) Strukturelmente zur Identifikation zu breiter Bereiche M o = M r = M u = M l = M or = M ur = M ul = M ol = Thinning: Wiederholte Folge dieser 8 Hit-or-Miss-Transformationen nacheinander (4 achsenparallel und 4 diagonal) zur Entfernung von Randpositionen ohne Verletzung des Zusammenhanges 151

152 Thinning Schritte gegeben: Region R pos Verfahren: in jedem Schritt: für jede der 8 Hit-or-Miss-Masken M i (nacheinander): 1. Hit-or-Miss-Transformation: (B M i ) 2. passende Bereiche aus B entfernen: B \ (B M i ) Verfahren endet, wenn in einem Schritt (Anwendung aller 8 Hit-or-Miss-Transformationen) kein Pixel geändert wurde mögliche Vor- und Nachbereitung: vor Beginn: Distanztransformation (Speichern der Distanzwerte für jedes p R) vor Ende: Distanzwert jedes Skelettpunktes p ist Radius des größten Kreises um p, der vollständig in B enthalten ist häufige Nachbearbeitung bei Skelettierung: Entfernung von Verzweigungen an den Linienenden 152

153 Thinning Anwendungen Skelettierung nach Detektion von Randbereichen (z.b. mit Sobel-Filter): Verdünnung der Kanten Schrifterkennung Probleme: empfindlich gegenüber kleinen Störungen, z.b. Rauschen, Binarisierungsungenauigkeiten erzeugtes Skelett enthält kurze Ausläufer an den Enden 153

154 Thickening (Verdickung) analog zum Thinning Auffüllen konkaver Randbereiche durch wiederholte Anwendung einer Folge von 8 Hit-or-Miss-Transformationen, z.b. M 1 = M 2 = M 3 = M 4 = M 5 = M 6 = M 7 = M 8 = Ergebnis: Approximation der konvexen Hüllen von Regionen 154

155 Was bisher geschah Definition digitaler Bilder B : pos col Bildanalyse, statistische Merkmale Signale im Orts- und Frequenzraum Bildbearbeitung durch Punktoperationen (Farbtransformation) f : col 1 col 2 (punktweise Fortsetzung auf Gesamtbild) geometrische Transformationen (Koordinatentransformation) f : pos 1 pos 2 lokale Operationen (abhängig von Nachbarschaft): Filter, morphologische Operationen Merkmale von Regionen im Bild: Kontur Skelett 155

156 Regionen Region: zusammenhängende Gruppe von Positionen Segmentierung: Extraktion und Trennung von Regionen im Bild Annahmen: jede Region hat eine Bedeutung, Positionen in einer Region haben dieselbe Bedeutung, verschiedene Regionen haben verschiedene Bedeutung z.b. enthalten verschiedene Objekte, Teile Erkennung von Regionen (semantische Einheiten) durch gemeinsame Eigenschaften aller Pixel oder Pixelgruppen der Region, z.b. Intensität, Farbe, Textur signifikanten Unterschieden zwischen benachbarten Positionen (Erkennung der Konturen) 156

157 Segmentierung Anforderungen gegeben: gesucht: Bild B : pos col endliche Menge R = {r 1,..., r n } von Regionen mit i {1,..., n} : r i pos und den folgenden Eigenschaften: Menge R = {r 1,..., r n } aller Regionen bildet eine Zerlegung von pos, d.h. 1. r R r = pos 2. r, r R : r r r r = Jede Region r R ist zusammenhängend (bildet eine Zusammenhangskomponente im Nachbarschaftsgraphen) Darstellung der Segmentierung (Zerlegung): Region r pos: endliche Menge von Bild-Positionen, Segmentierung R = {r 1,..., r n }: endliche Menge von Regionen Zuordnung r : pos R von Bild-Postionen p pos zu Regionen 157

158 Segmentierung Verfahren Punkt-basiert: Zuordnung pos R anhand des Wertes B(p) col und evtl. Merkmale des Bildes / der Region (Schwellwertverfahren, evtl. adaptiv, verschiedene Schwellwerte für verschiedene Bildbereiche) Zusammenhangs-basiert: Zuordnung pos R anhand von Merkmalen in Nachbarschaft von p pos Form-orientiert: Finden von Regionen bekannter Form und Ausdehnung (z.b. durch morphologische Operationen mit geeigneten Strukturelementen: Opening, Hit-or-Miss) Regionen-orientiert: Erkennung zusammenhängender Regionen (Homogenität) meist aus dem Inneren heraus Kanten-orientiert: Erkennung der Regionengrenzen (Diskontinuität) Erkennung von Randpositionen z.b. durch Fourier-Transformation, Filter, morphologische Operationen 158

159 Multiskalen-Strategien Ziel: Bildanalyse in verschieden Größen (Auflösungsstufen) wenig aufwendige Untersuchung grober Strukturen feinere Untersuchung feiner Strukturen im Bild Idee: Multiskalenraum (ähnlich menschlicher Wahrnehmung) enthält Originalbild B 0 und weniger detaillierte Versionen B k Erzeugung der Multiskalen-Bilder (Pyramiden) (B 0, B 1, B 2,...) durch wiederholte Ausführung der Schrittfolge 1. Glättung (durch Tiefpass-Filter, z.b. Gauß-Filter) 2. reduce: Komprimierung durch geringere Abtastrate, z.b. Gauß-Pyramide: Löschen jeder zweiten Zeile und Spalte 3. expand: Umkehrung durch Interpolation (nicht verlustfrei) zur Vergleichbarkeit der Bilder verschiedener Auflösungen Laplace-Pyramide (redundanzarme Darstellung): Schichten enthalten Differenz zwischen Bild B k und expand(reduce B k ) 159

160 Gebietswachstum (Region Growing, flood fill) zur Erkennung zusammenhängender Regionen Idee: Wiederholung der folgenden Schritte, solange noch Positionen ohne Regionenzuordnung existieren: 1. Beginn mit beliebiger (noch nicht einer Region zugeordneter) Startposition p pos, für die auch noch kein Nachbar einer Region zugeordnet ist, 2. neue Region r initialisieren, p zu r hinzufügen 3. rekursiv: alle zu p ähnlichen Nachbarn von p zu r hinzufügen abhängig von: Nachbarschaftsrelation N pos pos Ähnlichkeitsrelation S col col (bzw. col m n col m n ) z.b. Intensität, Farbe, Textur Startpositionen z.b. Position mit minimalem Abstand von (0, 0) pos, interaktiv, zufällig, Erfahrungswerte, Cluster-Schwerpunkte je nach Anwendung, Bildqualität,... verschieden 160

161 Markierung zusammenhängender Regionen (Region Labeling, Connected component labeling) Bestimmen und gleichzeitiges Zählen der Regionen ordnet jeder Region (Vordergrund) eines Binärbildes eine eindeutige Markierung zu Idee: einfache Modifikation des Region-Growing-Verfahrens vor Beginn Initialisierung aller Positionen mit Markierung 0 (noch nicht zugeordnet) für jede neu angelegte Region Markierung (Zähler) um 1 erhöhen Markierung an hinzugefügte Nachbarn übergeben 161

162 Region-Merging zur Erkennung zusammenhängender Regionen Idee: Regionen-Adjazenz-Graph (RAG) Beginn: jede Bildposition ist eine Region (Knoten) und hat Kanten zu jedem Nachbarn wiederholte Vereinigung benachbarter Regionen mit gleichen / ähnlichen Eigenschaften (Homogenitätsbed.), (Verschmelzen der Knoten benachbarter ähnlicher Regionen) Ende, sobald keine Änderung mehr eintritt (nur noch Kanten zwischen unähnlichen Regionen) nebenbei möglich: Zuordnung eindeutiger Markierungen zu den Regionen (Region Labeling) und damit auch das Zählen der Regionen (Anzahl der verbliebenen Markierungen) 162

163 Split-and-Merge-Verfahren zur Erkennung zusammenhängender Regionen Idee: Region-Merging mit Multiskalen-Strategie Region-Merging mit Regionen verschiedener Größen Beginn: gesamtes Bild bildet eine Region wiederholte Auführung folgender Schitte: split: rekursive Zerlegung inhomogener Regionen in Teilbilder (Quadranten) (Quad-Tree mit Regionen als Blättern) merge : Vereinigung benachbarter Regionen mit gemeinsamer Eigenschaft, solange möglich Ende, sobald keine Änderung mehr eintritt 163

164 Homogenitätskriterien Ähnlichkeiten einzelner Positionen, z.b. Intensität Farbe (Kombination von Intensitäten) z.b. Mittelwerte, Intensitäts-Verhältnisse Texturen (charakteristische Intensitätsverteilungen) von Gruppen von Positionen häufig verwendete Texturmerkmale: statistische Merkmale Co-Occurrenz-Matrix Fourier-Spektrum 164

165 Kantenbasierte Segmentierung Kanten / Konturen: meist starke Unterschiede in Intensität, Farbe oder Textur innerhalb kleiner Nachbarschaften Vorsicht: Unterschiede haben mitunter andere Ursachen, z.b. Schatten Schritte der kantenbasierten Segmentierung: 1. Kantenextraktion (Finden potentieller Kantenpunkte) z.b. durch Filter, morphologische Operationen Ergebnis: Menge von Positionen (evtl. gewichtet) 2. Kantenverfolgung: Zusammenfügen von Kanten zu geschlossenen Konturen (dabei evtl. Lücken schließen) 3. Bestimmung / Markierung der Regionen innerhalb der Konturen 165

166 Extraktion von Konturen Darstellung von Konturen: gegeben: Menge von Positionen P pos (mit großen Unterschieden innerhalb der Nachbarschaft) gesucht: geschlossene Kontur Q P (bzgl. einer Nachbarschaft) zusammenhängende Menge Repräsentation von Konturen: Freeman-Kettencode Polygonzug (Folge von Streckenabschnitten) Folge von Kurvenabschnitten übliche Verfahren zur Bestimmung zusammenhängender Konturen: Edge-Linking Canny-Edge-Detector Hough-Transformation 166

167 Repräsentation von Konturen durch Kettencodes Folge von Richtungen beim Umrunden der Kontur (entgegen Uhr) N 4 (p) = N 8 (p) = Beispiel: C 4 (R) = C 8 (R) = ermöglicht einfache Nachbearbeitung, z.b. Konturglättung, Bestimmung von Randpunkten hoher Krümmung 167

168 Edge-Linking gegeben: gesucht: Bild B : pos col, Menge P pos von (potentiellen) Kantenpositionen zusammenhängende Menge K pos von Positionen (Konturen) Idee: systematische Untersuchung aller potentiellen Kantenpositionen dabei Konstruktion einer zusammenhängenden Menge K von Kanten evtl. durch Einfügen kurzer Verbindungen zwischen Kantenpositionen 168

169 Edge-Linking-Algorithmus Beginn an beliebiger potentieller Kantenposition p P Wiederholung, solange P 1. Auswahl eines beliebigen p P, 2. zu p (in Kantenrichtung) benachbarte Positionen q pos mit ähnlichen Kanteneigeschaften (Richtung, Intensität) zu P hinzufügen, 3. p aus P entfernen, Ende, wenn alle Kantenpositionen untersucht Nachbearbeitung möglich, z.b. isolierte Kantenpositionen entfernen Kantenverdünnung / Skelettierung 169

170 Canny-Edge-Detector 1. Glättung mit Gauß-Filter (Tiefpass, Entrauschen) z.b oder Kantendetektion mit Sobel-Filtern Reduktion der Kanten auf Breite 1 (Pixel) Entfernen der Nachbarpixel senkrecht zur Kantenrichtung mit geringerer Intensität (non-maximal suppression) 4. Kantenverfolgung mit zwei Schwellwerten (Hysterese) zur Trennung: sicherer / unsicherer / kein Kantenpixel 5. Zuordnung der unsicheren Kantenpunkte durch (Versuch der) Verbindung mit benachbarten sicheren Kantenpunkten Ausgangspunkt: sicherer Kantenpunkt unsichere 8-Nachbarn in Kante aufnehmen, wenn Verbindung nur durch sichere Nachbarn nicht möglich ist

171 Merkmale von Regionen im Bild Region R pos im Bild B : pos {0, 1} (bzgl. einer Nachbarschaft zusammenhängend) Merkmale (Features): topologische Merkmale quantitative Merkmale Formmerkmale geometrische Merkmale ideal: Merkmale invariant gegenüber Verschiebung, Drehung, Skalierung, Verzerrung 171

172 Topologische Merkmale Kontur: Menge der Randpixel (verschiedene Codierungen) Skelett: topologieerhaltendes Bild aus Linien von 1 Pixel Dicke Zusammenhangseigenschaften Anzahl von Löchern (Euler-Zahl = Regionen - Löcher ) Kontur der konvexen Hülle 172

173 Quantitative Merkmale Länge, Breite Flächeninhalt A(R): Anzahl der Positionen in der Region Umfang der Kontur: U(R): Länge, Anzahl der Randpositionen (evtl. verschieden gewichtet) Durchmesser: größter (minimaler Umkreis), kleinster (maximaler Inkreis) Masse: Summe der Intensitäten aller Pixel der Region 173

174 Geometrische Merkmale Verhältnisse Seitenverhältnis: des kleinsten umschließenden (achsenparallelen) Rechtecks (bounding box) Kompaktheit: Verhältnis A(R) : U(R) Kreisförmigkeit: 4πA(R)/U(R) 2 fill factor: Verhältnis A(R) : Fläche der Bounding-Box Dichte: Verhältnis A(R) : Fläche der konvexen Hülle der Region Konvexität: Verhältnis U(R) : Umfang der konvexen Hülle der Region Symmetrien Projektionen (z.b. Linescans) 174

175 Statistische Merkmale Schwerpunkt s x (R) = 1 A(R) s y (R) = 1 A(R) r R r R r x r y Intensitäts-Schwerpunkt von Regionen in Bildern B : pos col s x(r) 1 = r R B(r) r x B(r) r R s y(r) 1 = r R B(r) r y B(r) r R 175

176 Momente (Region als 2d-Verteilung) Momente der Region R im Bild B : pos col m pq (R) = r R B(r)r p x r q y Momente der Region R B im Binärbild B : pos {0, 1} m pq (R) = r R r p x r q y Beispiele (für Binärbilder): m 00 (R) = r R r x 0 ry 0 = r R 1 = A(R) s x (R) = 1 A(R) r R r x 1 ry 0 = m 10 (R), s y (R) = 1 A(R) r R r x 0 ry 1 = m 01 (R) 176

177 Zentrale Momente Idee: Verschiebungs-Invarianz um Schwerpunkt zentrale Momente der Region R B: µ pq (R) = r R B(r)r p x s x (R) r q y s y (R) Verschiebungs-, aber nicht Größen-invariant Größen-invariante zentrale Momente der Region R B: µ pq(r) = µ pq (R) µ 00 (R) (p+q+2)/2 Daraus lassen sich weitere häufig verwendete Merkmale berechnen, z.b. Orientierung, Exzentrizität, Hu-Momente. 177

178 Modul Digitale Bildverarbeitung SS15 Bestandteile der Lehrveranstaltung und Prüfung: Vorlesung Praktika (ImageJ) Übungsaufgaben Projekt Themen: Digitale Bilder, Eigenschaften statistische Merkmale Punktoperationen geometrische Operationen digitale Signale (1d, 2d) Fourier-Analyse Filter morphologische Operationen Merkmale von Bildregionen Segmentierung 178

179 Digitale Bilder digitales Bild: Zuordnung B : pos col von Farben (aus der Menge col) zu Positionen (aus der Menge pos) pos Menge der Positionen col Menge der Farben Binärbild: col = {0, 1} ( {0, 255}) Grauwertbild (Intensitäten): col = {0,..., m} (real [0, 1] R) Farbbild mit mehreren Farbkanälen (col 1,..., col n ): col = col 1 col n für rechteckige Positionsmengen pos = [x min, x max ] [y min,..., y max ] mit [x min, x max ] N und [y min, y max ] N (real [x min, x max ] [y min, y max ] R 2 ) Bild = Matrix B col pos z.b. für pos = {0,..., m 1} {0,..., n 1} und col = N: Bild B N {0,...,m 1} {0,...,n 1} = N m n 179

180 Statistische Merkmale (für Grauwert-Bilder) Auflösungen: Ortsauflösung Intensitätsauflösung Extrema (minimale, maximale Intensität) Mittelwerte (arithmetisches Mittel, Median) mittlere quadratische Abweichung Intensitätsprofile (z.b. Linienprofil) Histogramm (ausgeglichen, bimodal) kumulatives Histogramm Co-occurrenz-Matrix Entropie 180

181 Punktoperationen Farbtransformation col col Anwendung auf jede Position im Bild (ohne Zugriff auf andere Positionen im Bild) Operationen auf einem Bild: Zerlegung / Kombination der Farbkanäle Binarisierung (mit Schwellwert) Schwellwertbestimmung (Otsu) Invertierung Graustufen-Zuordnung Histogrammspreizung Operationen auf mehreren Bildern: logische Operationen auf Binärbildern (,, XOR,...) entsprechen Mengenoperationen auf dem Vordergrund (weiß) arithmetische Operationen auf Grauwertbildern (+,,,...) Überlagerung 181

182 Geometrische Operationen homogene Koordinaten lineare Transformationen Verschiebung Drehung Skalierung Zusammensetzung durch Matrixmultiplikation nichtlineare Transformationen perspektivische Ver- und Entzerrung Invertierung der Operationen Interpolations-Funktionen nächster Bildpunkt Mittelwerte der nächsten Bildpunkte lineare Interpolation bilinieare, kubische Interpolation 182

183 Fourier-Analyse Signale (analog / digital, 1d / 2d) Abtastung (Dirac-Impuls, Dirac-Kamm) Nyquist-Shannon-Abtasttheorem Alias-Effekte Faltung von Funktionen (Signalen) Fourier-Transformation Fourier-Spektrum (Frequenzraum) Bildeffekte durch Transformationen im Frequenzraum Faltung im Ortsraum entspricht Multiplikation im Frequenzraum 183

184 Filter Tiefpass-, Hochpass-, Bandpassfilter Ersetzung der Operationenfolge: 1. Fourier-Transformation 2. Transformation im Frequenzraum 3. inverse Fourier-Transformation durch Faltung mit Filtermatrizen lineare Filter: Glättung, Kanten-Hervorhebung nichtlineare Filter: lokale Extrema, Median Faltung am Bildrand: Rand nicht filtern, spezielle Filtermatrizen, schwarz, konstant, gespiegelt, periodisch 184

185 Morphologische Operationen Strukturelemente (Masken) Erosion Dilatation Opening: erst Erosion, dann Dilatation Closing: erst Dilatation, dann Erosion Hit-or-Miss-Transformation, Hit-or-Miss-Masken Konturbestimmung durch morphologische Operationen Distanztransformation Skelettierung, Thinning Thickening, approximierte konvexe Hülle 185

186 Regionen in Bildern Merkmale von Regionen: Farbwert(-Bereich) Textur: typische Farbwert-Verteilung quantitativ: Ausdehnungen, Volumen, Umfang Formmerkmale: Verhältnisse, Momente, fill factor topologische Merkmale: Zusammenhang, Skelett, Kontur (Kettencodes) 186

187 Segmentierung Multiskalen-Darstellung (Pyramiden) Bestimmung von Regionen: Homogenitätskriterien Region Growing Region Labeling Region Merging, Regionen-Adjazenz-Graph Split and Merge (Quad-Trees) Kontur-basiert: Bestimmung von Konturen in Grauwert-Bildern: Canny-Edge-Detector 187