Probleme bei der Bildverarbeitung. Digitale Bildverarbeitung. Charge-Coupled-Device Kameras. Beispiel Schärfentiefe

Transkript

1 Digitale Bildverarbeitung Keine Bildbearbeitung (z.b. Photoshop) Behandlung von zur Computergrafik inversen Problemen Erkennen von Objekten in Bildern sowie Bestimmung deren 2D (3D) Lage im Bild (im Raum) Bild Bildbearbeitung (Generative) Computergrafik Bildverarbeitung (Bildanalyse) Beschreibung Separator { DirectionalLight {} Material { diffusecolor[1 ]} Cone { } } Alle anderen DV Bereiche Eingabe Ausgabe Bild Beschreibung Separator { DirectionalLight {} Material { diffusecolor[1 ]} Cone { } } Probleme bei der Bildverarbeitung Bilder enthalten in der Regel Störungen Schatten (ungleichmäßige Beleuchtung) Unschärfe (unklare Übergänge) Über- oder Unterbelichtung Rauschen (vor allem in dunklen Bereichen) Reflexionen (Glanzlichter), Verdeckungen Keine Farbtreue (Beleuchtung, Degeneration in dunklen Bereichen) Camera obscura Linsenkamera f Literatur speziell zur DBV B. Jähne, Digitale Bildverarbeitung, Springer 25 T. Hermes, Digitale Bildverarbeitung, Hanser 24 g Optimaler Lochdurchmesser bei b<<g: b g Linsengesetz (Strahlensatz) b FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 2 Beispiel Schärfentiefe Charge-Coupled-Device Kameras Objekte müssen fokussiert werden Für festes b werden nur Objekte mit festem g scharf abgebildet Für f<<g (Normalfall) sind potentielle Änderungen von b klein Ganzer Bereich wird scharf abgebildet (Schärfentiefe) Schärfentiefe ist vor allem im Nahbereich problematisch Fokus vorne Fokus hinten CCD = Ladungsgekoppeltes Bauteil Elektronisches Bauteil zur gerasterten (ortsauflösenden) Messung von Lichtstärke Ursprünglich zur Datenspeicherung entwickelt Erste CCD basierte Kameras um 197 Matrix zur Sammlung von Elektronen Bild-Matrix wird reihenweise ausgelesen Jede Reihe wird in einem Schritt in ein serielles Register geschrieben Register transportiert seine Ladung zwischen zwei Reihen-Lese- Vorgängen zu einem Verstärker Dieser erzeugt ein Signal proportional zur erhaltenen Ladung Reihen Transfer Matrix aus Elektronen-Sammel-Zellen Serielles Register Pixel Transfer FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 4

2 Probleme bei der Bildverarbeitung Beispiel: Mathematisches Modell für (Gutes) Aussehen Probleme bei der Bildverarbeitung Kein gutes mathematisches Modell für Aussehen! Quelle: Quelle: de.wikipedia.org/wiki/optische_täuschung FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 6 Echtzeit Bildverarbeitung Beispiel Optisches Tracking (ARToolKit) Echtzeit Eingabedaten werden so schnell verarbeitet, wie der Vorgang, der sie erzeugt Markensuche Konvertierung in binäres Bild und Detektion des Markerrahmens Finden der (3D) Marken-Position und Orientierung Relativ zur Kamera Teilchendetektor analysiert Kollisionsspuren pro Umlauf (~2!s) Zündregelung beim Nockenwellendrehung (~1ms) Optisches Tracking bei AR-Anwendungen (~25ms) Echtzeit Tornadowarnung bevor Tornado Stadt erreicht (1min 1h) Hier: Bildverarbeitung etwa im Videotakt (~4ms) Eingabe-Bild (Videostream von Cam) Marken ARToolKit M i ={P i,r i } Identifizieren der Marke (Symbol innerhalb der Marke suchen) Rechenzeit ist dominierendes Kriterium Hier ohne Spezialhardware Analyse von Bewegungen Ausgabe-Bild (Videostream zu HMD) T i ={P i,r i } i Analyse während Bewegung Rendern der 3D Objekte Virtuelle Objekte Pose der vituellen Objekte mit Hilfe von M i ={P i,r i } bestimmen FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 8

3 Punktoperationen Vom RGB- zum 8-Bit Grauwert-Bild Pro Pixel wird abhängig von seinem Farb-/Grauwert (und seiner Position) ein neuer Farb-/Grauwert berechnet Nachbar-Pixel werden nicht berücksichtig Differenz g 2 -g 1 Typische Anwendungen Umwandlung von Farb- in Grauwert-Bild Binarisierung Einfache Segmentierung Helligkeitsanpassung Kontrastverstärkung (nach Grauwertspreizung) FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 1 Intensitäts-Schwellwert Binarisierung eines (Grauwert-)Bildes Wähle einen Schwellwert s for i in range(bildbreite): for j in range(bildhoehe): if image.pixel(i,j)<s: image.pixel(i,j)= else: image.pixel(i,j)=255 Histogramm Graphische Darstellung der Häufigkeitsverteilung von Messwerten (RGB-Werte, Grauwerten) Häufigkeit s=5 s=1 s=15 s=2 Grauwert FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 12

4 Histogramm und Schwellwerte Histogramm kann zur Segmentierung verwendet werden Ein Histogramm mit zwei klar getrennten Maxima nennt man bimodal Die (beiden) Maxima trennen verschiedene Objekte Wählt man als Schwellwert für die Binarisierung einen Wert zwischen den Maxima kann man die Objekte separieren Häufig einer der ersten Schritte bei OCR Beispiel Nicht bimodales Histogramm Segmentierung von verschiedenfarbigen Objekten Verschiedene Grauwertbereiche Bild bimodales Histogramm s=1 s=15 s= FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 14 Beispiel Nicht bimodales Histogramm Bei zu vielen Maxima keine vernünftige Segementierung Wahl des Schwellwerts Automatische Wahl eines geeigneten Schwellwerts zur Trennung von hellen und dunklen Bildbereichen Mittelwert Problematisch, wenn hell und dunkel unterschiedlich groß sind Minimum zwischen den Maxima Schwer, wegen lokaler Minima Relativ zu Mittelwert und Standardabweichung Verfahren von Otsu Nobuyuki, 1979 Grundidee (für Echtzeit ungeeignet):» Berechne für alle möglichen Schwellwerte s ein Gütemass mit und ist die Anzahl der Pixel in Region i ist die mittlere Intensität der Region i» Ein optimaler Schwellwert s opt ist dann Region 1 Region 2 s opt und FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 16

5 Histogramm-(Grauwert)Verschiebung Histogramm und logarithmische Skala Regelung der Bildhelligkeit Grauwerte verschieben: Sind einzelne Grauwerte sehr viel häufiger als andere ist es sinnvoll eine logarithmische Skala zu verwenden c = 16 c = -22 Grauwertverschiebung: c = 1 lineare Skala logarithmische Skala FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 18 Histogramm-(Grauwert)Spreizung Histogramm-Ausgleich Kontrastverstärkung Grauwerte g aus [g min,g max ] werden linear auf G aus [,255] abgebildet Verteile Grauwerte gleichmäßig über den Wertebereich Verlustbehaftet (nicht umkehrbar) Mit dem kumulativen Grauwert setze (skaliert) FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 2

6 Beispiele Kontrastverstärkung Beispiel mit bimodalem Histogramm Original Nach Perzeptions- Orientierter Grauwert Konvertierung Nach Grauwert- Spreizung Nach Histogramm- Ausgleich FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 22 Faltungsoperationen Lineare, translationsinvariante Abbildung eines Bildes Ergebnispixel ist gewichtete Summe von Eingangspixeln (mehrere) Koeffizienten abhängig von Relativposition von Eingangs- und Ausgangspixel Man spricht von Faltung oder Konvolution Für den Operator wird meist das Zeichen verwendet: wird als Filter, Filterkern oder (Filter)Maske bezeichnet Filter ist ein Bild: Faltung verknüpft also zwei Bilder Meist ist der Filter lokal, also viel kleiner als das eigentliche Bild Typische Anwendungen Glätten Kontrast vergrößern Kanten finden FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 23 = FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 24

7 = = FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke = = FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 28

8 Ergebnis Ergebnis = heißt Gauss- oder Binomial-Filter ist ein einfacher Filter zum Glätten eines Bildes unterdrückt Rauschen Reales Beispiel Was bewirkt der Filter Das Bild wird verwischt (geglättet) = FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 3 Faltung implementiert Direkte Implementierung for j in range(dstim.height): for i in range(dstim.width): sum = for l in range(filter.height): for k in range(filter.width): isrc = i + k - filter.width/2 jsrc = j + l - filter.height/2 if <=isrc and isrc<srcim.width and <=jsrc and jsrc<srcim.height: sum += filter(k,l)srcim(isrc,jsrc) dstim(i,j) = sum Beschleunigung durch Rand in äußeren beiden Schleifen berücksichtigen Bei speziellen Filtern Innere Schleifen durch Term ersetzen Koeffizienten gleich weglassen Gleiche Koeffizienten zusammenfassen Bei großen Filtern Separieren (zuerst x, dann y filtern), Schnelle Fourier Transformation FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 31 Der Sobel-Filter Mittels Sobel-Filter Kanten detektiert Auch ohne den Faktor 1/8 üblich Sobel X (s x ) (vertikale Kanten) Sobel Y (s y ) (horizontale Kanten) -1/8 1/8 1/8-1/8-1/8-2/8-1/8 1/8 2/8 1/8-2/8 2/8 2/8-2/8-1/8 1/8 1/8-1/8 1/8 2/8 1/8-1/8-2/8-1/ FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke

9 Schräge Kanten Python Imaging Library (PIL) An schrägen Kanten s x und s y Je vertikaler, desto mehr s x Je horizontaler, desto mehr s y Einfache Bildverarbeitung mit Python Beispiel: Kanten-Richtung: r=(s x,s y ) Zeigt senkrecht zur Kante zur helleren Seite (Helligkeitsgradient) beschreibt Intensität (Kontrast) der Kante Hessesche Normalform einer Geraden: lässt sich mittels s x und s y bestimmen: p ist Abstand zum Ursprung s y s x >>> import Image, ImageChops, ImageFilter >>> im = Image.open( lena.jpg ) >>> im.show() >>> grey = im.convert( L ) >>> grey.show() >>> bina = grey.point(lamda i: i>15 and 255 or ) >>> bina.show() >>> inve = ImageChops.invert(bina) >>> inve.show() >>> edge = inve.filter(imagefilter.find_edges) >>> edge.show() >>> ined = ImageChops.invert(edge) >>> ined.show() >>> ined.save( lenaedges.jpg ) >>> ined.histogam() [4875,,,,......,, 4131] FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke FH-Wiesbaden --- Medieninformatik --- WS 6/7 --- Prof. Dr. Ulrich Schwanecke 34