bilinear interpoliert ideal interpoliert

Transkript

1 Bildverarbeitung und Objekterkennung Privatdozent (PD) Dr.-Ing. habil. K.-H. Franke Technische Universität Ilmenau Fakultät für Informatik und Automatisierung Institut für Prakt. Inf. und Medieninf. Fachgebiet Graphische Datenverarbeitung ideal interpoliert bilinear interpoliert APZ, Gustav - Kichhoff - Straße 5, 1. Etage, links, Zi.: oder Sekretariat ZBS, Frau M. Schmidt, APZ, Zi.: oder Sekretariat FG GDV, Frau F. Watterott, Block M, 5. Etage Tel.: (03677) / (0172) Fa: (03677) Internet: karl-heinz.franke@tu-ilmenau.de Ilmenau, Bildbearbeitung und Computergrafik: PD Dr.-Ing. habil. K.-H. Franke BV1-1 Bildbearbeitung und Computergraphik - Inhaltsübersicht 1. Einleitung Bildbearbeitung für die Computergraphik / Computergraphik für die Bildverarbeitung 1) Punktoperationen (BV) 2) Geometrische Transformationen (CG/BV) a) Grundsätzliches b) Affine Bildtransformationen und planare Projektionen c) Resamplingproblem 3) Antialiasing (CG) 4) Lokale Operationen a) Ortsinvariante lineare lokale Operatoren I. Faltungsoperatoren zur Tiefpassfilterung (CG/BV) II. Faltungsoperatoren zur Hochpassfilterung, Kantendetektion (BV) b) Ortsvariante lokale Filter / Adaptive Filter (BV) Bildbearbeitung und Computergrafik: PD Dr.-Ing. habil. K.-H. Franke BV1-2

2 Bildbearbeitung und Computergraphik - Inhaltsübersicht 4) Lokale Operationen c) Medianfilter und morphologische Operationen (BV) I. Median und Vektormedian zur Beseitigung von Impulsstörungen II. III. Formverbesserung / Skelettierung Morphologische Kantenoperationen 3. Elemente der höheren Bildanalyse (high level) und Bilderkennung 1) Segmentierung (CG/BV) a) Regionale Segmentierung b) Kontursegmentierung und Vektorisierung 2) Pielmerkmale und Merkmale von Segmenten (BV) 3) Klassifikation (BV) a) Methodenübersicht (Klassifikatoren / Lernverfahren) b) Piel- und Objektklassifikation Bildbearbeitung und Computergrafik: PD Dr.-Ing. habil. K.-H. Franke BV Einleitung: Bildverarbeitung Computergraphik Zusammenspiel ist in der einleitenden Vorlesung erläutert worden. Beispiele für die Bedeutung der Computergraphik (Triangulation, einfache Schattierung, photorealistisches Renderering) in der Bildverarbeitung und Bildanalyse: Visualisierung der Ergebnisse bei der 3D-Datenerfassung und Bewertung dieser (Detektion von Ausreißern, Segmentierung von Punktewolken) Ebenen- segment Kugelsegment BV1-4

3 1. Einleitung: Bildverarbeitung Computergraphik Zusammenspiel ist in der einleitenden Vorlesung erläutert worden. Beispiele für die Bedeutung der Computergraphik (Triangulation, einfache Schattierung, photorealistisches Renderering) in der Bildverarbeitung und Bildanalyse: Visualisierung der Ergebnisse bei der 3D-Datenerfassung und Bewertung dieser (Detektion von Ausreißern, Segmentierung von Punktewolken) Visualisierung von Ergebnissen der Bildfusion (Medizin, Röntgen-CT und PET) BV Einleitung: Bildverarbeitung Computergraphik Beispiele für die Bedeutung der Bildbearbeitung (Filterung, Antialiasing) in der Computergraphik (gerasterte Bilder, Rasterdarstellung von Linien): Antialiasing / Weichzeichnen von Objektberandungen und Linien BV1-6

4 1. Einleitung: Bildverarbeitung Computergraphik Beispiele für die Bedeutung der Bildbearbeitung (Filterung, Antialiasing) in der Computergraphik (gerasterte Bilder, Rasterdarstellung von Linien): Antialiasing / Weichzeichnen von Objektberandungen und Linien BV Einleitung: Bildverarbeitung Computergraphik Beispiele für die Bedeutung der Bildbearbeitung (Filterung, Antialiasing) in der Computergraphik (gerasterte Bilder, Rasterdarstellung von Linien): Antialiasing / Weichzeichnen von Objektberandungen und Linien BV1-8

5 1. Einleitung: Bildverarbeitung Computergraphik Beispiele für die Bedeutung der Bildanalyse (Objekterkennung / Szenenanalyse) in der Computergraphik als Mittel im Eingabeprozess oder bei der Augmentierung Szenenanalyse und Objekterkennung für Aufgaben aus dem Bereich Augmented Reality : Kamerabilder von realen Objekten (z.b. Turbinen bei der Wartung, Maschinen beim Verkauf, medizinische Bilder bei der Operation) werden analysiert, um Schrift, Marker, Graphiken und virtuelle Bauteile für die Augmentierung zu platzieren. 3D-Markenerkennung und Tracking für VR-Anwendungen. Positionierung virtueller Kameras für die Ansichten-Transformation gemäß Betrachter in virtuellen Szenen. 3D-Bilddatenerfassung und Bildanalyse zur Eingabe von Objekten oder Teilmodellen für Animationstechniken Modelle und biomechanische Parameter zur Beschreibung von Körperbewegungen, modellbasierte Bildsynthese bei der Videotelephonie. BV ) Punktoperationen (Bildaufnahme, ausführlich in Vorlesung Bildverarbeitung und Mustererkennung) Punktoperationen hängen nur vom Einzelpiel ab und wirken nur auf das Einzelpiel. Unterteilung in: ( ) * - Homogen Punktoperationen gw = f gw gw: Grauwert; k,l: Pielindizes k,l k,l typische Operation zur Verbesserung des Bildkontrastes, gesteuert z.b. durch Statistikparameter (Mittelwert, Streuung) oder durch das Histogramm selbst (Histogramm-Equilisation) Histogramm h(gw) normierte Dichte Histogramm h(gw*) normierte Dichte kontrastarmes Bild kontrastverbessertes Bild Grauwert Grauwert BV1-10

6 2.1) Punktoperationen - Inhomogene Punktoperationen gw = f * k,l k,l ( gw ) typischer Vertreter ist die Korrektur von Abschattungen (Shading-Korrektur), jedes einzelne Piel wird speziell korrigiert (DSNU, PRNU, Beleuchtung, etc.) k,l BV a) Grundsätzliches Geometrische Transformationen sind für die Bildverarbeitung von tragender Bedeutung, u.a. auch für das Zusammenspiel von Bilbearbeitung und Computergraphik! Grundsätzlich wird mit homogenen Koordinaten gearbeitet. In der Bildverarbeitung steht: - der dreidimensionale homogene Vektorraum für kartesische 2D-Bildkoordinaten und - der vierdimensionale Vektorraum für kartesische 3D-Kamerakoordinaten (Modellierung von Stereoanordnungen und Beschreibung ebener Projektionen (Stereo, Shape from Motion, Shape from Shading etc. Vorlesung von Dr. Franke: Erfassung und Verarbeitung von 3D-Daten) Die homogenen Koordinaten sind eingeführt in den Vorlesungen 1-4 (Prof. Brüderlin). Erinnert sei an die wichtigen Eigenschaften: - Vereinheitlichte mathematische Operation (Matrimultiplikation) für Verschiebung und die restlichen affinen Transformationen - Vernünftige Beschreibung von Unendlich durch die Richtung und w=0 ( [,y,z,0] T ) - ebenen Projektionen (insbesondere die perspektivische Projektion) sind lückenlos in das Kalkül der Matrimultiplikation integrierbar (die Reziprozität der Raumtiefe schlägt sich in w nieder und wird beim Übergang zu kartesischen Koordinaten durch Homogenisierung umgesetzt) BV1-12

7 2.2.b) affine Transformationen und planare Projektionen Beschränkung auf Bilder! Obwohl hier nur digitale Bilder (diskrete Bilder auf äquidistantem Raster mit quantisierten Attributen) betrachtet werden, sind zur Beschreibung der Probleme und Lösungsansätze auch die entsprechenden kontinuierlichen Bilder erforderlich. Es wird vereinbart: Quellbild A, verzerrt (BV) oder in der Ausgangsposition bzw. -größe ( i, j) = A( i, j y) { } A = i ( 0,I 1) ; j ( 0,J 1) diskretes Quellbild (, y) A,y: kontinuierliche Quellbildkoordinaten kontinuierliches Quellbild A i, j Zielbild B, entzerrt (BV) oder in der Zielposition bzw. -größe ( k,l) = B( k ', l y' ) { } B = l ( 0,L 1) ; k ( 0,K 1) diskretes Zielbild ( ', y' ) B,y : kontinuierliche Zielbildkoordinaten kontinuierliches Ziellbild B k,l BV b) affine Transformationen und planare Projektionen Die Bildaufnahme ist im allgemeinen durch beliebige, insbesondere nichtlineare Verzerrungen gekennzeichnet (Tonne, Kissen, von der Geländehöhe oder Raumtiefe abhängige perspektivische Verzerrungen, Verzerrungen durch Trägerbewegung bei scannenden Systemen...). Zur Korrektur reichen affine Transformationen und planare Projektionen nicht aus. Allgemein gilt: ( ) = A(, y) 1 ( ) = A h { k,l} B k,l - h: eine vorwärts (d.h. von der Quelle zum Ziel) definierte, im allgemeinen nichtlineare Transformationsfunktion (z.b. Polynom in,y oder gebrochen rationale Funktion oder... - Die Parameter oder die Approimation werden meist aus einem Passpunktset bestimmt. Bildverarbeitung Vorlesung BV&ME 2D-Bilder betreffende geometrische Transformationen sind in der Computergraphik hauptsächlich Translationen, Skalierungen, Rotationen, Projektion auf verkippte Tafeln oder perspektivische Projektionen. In homogenen Koordinaten sind dies ausschließlich lineare Transformationen Beschränkung darauf. BV1-14

8 2.2.b) affine Transformationen und planare Projektionen Das mathematische Mittel für diese linearen Transformationen ist die Matrimultiplikation. Im Falle mehrerer Teilschritte werden aus Effizienzgründen zunächst die Teiltransformationen zusammengefasst (Achtung: die Matrimultiplikation ist nicht kommutativ), dann erst erfolgt die Anwendung auf die Piel. Im Falle der Vorwärtstransformation (Quelle ist gegeben, Ziel ist gesucht) B ( X',Y' ) = A ( i, j ) ' y' = T w' F S R z R y T F i i j = AT j 1 1 X ' = ' / w Im Falle w=1 (affine Transf.) X = a b AT = c p d e f q g h i r l m n s 3 3 Submatri (adg, beh, cfi) : Realisierung linearer Transformationen wie Skalierung, Rotation etc. 3 1 Submatri (l, m, n) : Realisierung der Translation 1 3 Submatri (pqr) : Realisierung für die perspektivische Transformation, das Element r steht für die Projektion auf die -y-ebene 1 1 Submatri (s) : Realisierung eines Skalierungsfaktors 1/s für alle Elemente BV b) affine Transformationen und planare Projektionen Problem der Vorwärtstransformation: Die Grauwerte sitzen im Zielbild an gebrochenen Koordinaten, das Ausgabegerät benötigt aber Grauwerte in einem Raster (ganze Koordinaten) Runden führt auf Ausfallartefakte, da bestimmte Zieladressen je nach Transformation nicht erreicht werden: B ( X',Y' ) = A( i, j) B Raster ( k,l) = B( [ X' ], [ Y' ]) Ausweg: inverse Transformation keine Löcher mehr! y = AT 1 1 k l, 1 ( ) = A(, y) B k,l Problem: auch das Quellbild A ist nur an ganzzahligen Rasterpunkten gegeben. Wie kommt man zu A(,y) aus den A(i,j) im Umfeld von,y? Wie groß muss das Umfeld sein? Resamplingproblem (Wiederabtastung) gedreht mit direkter Methode (Nearest Neighbour) BV1-16

9 2.2.c) Resamplingproblem 1 Veranschaulichung des Problems: B( k,l) = A h { k,l} Qellbild A Zielbild B ( ) = A(, y) y AT 1 Methodischer Ansatz 1 für das Resampling: gewichtete Überlagerung der Abtastwerte aus der lokalen Umgebung. Die Gewichte werden durch Interpolationsfunktionen festgelegt. Die Interpolationsfunktionen bestimmen die Qualität des Zielbildes (Störungen, Artefakte). ( ) = ( ) ( ) A( ) = A f ( i) A, y A i, j f i, y j i= j= int Im Ortsbereich = diskrete Faltung im Frequenzbereich = Multiplikation Zugang zur Bewertung der Methoden l k i int BV c) Resamplingproblem Interpolation nach Ansatz 1 Eakte Interpolation Hinreichend bandbegrenzte Bilder lassen sich eakt interpolieren, wenn das Grundspektrum durch einen idealen Rechtecktiefpass (Multiplikation im Frequenzbereich) zurückgewonnen wird diskrete Faltung mit Sinc-Funktion im Ortsbereich A() = A( i ) sinc π - i i= 1 A A() Keinerlei Störungen / keine Artefakte BV1-18

10 Abtasttheorem und ideale Interpolationsfunktion Form der zweidimensionalen Interpolationsfunktion: Schattierte Darstellung [-5, 5 ] y [-5 y, 5 y Bildbearbeitung und Computergrafik: PD Dr.-Ing. habil. K.-H. Franke y Drahtgitterdarstellung [-5, 5 ] y [-5 y, 5 y y BV c) Resamplingproblem Interpolation nach Ansatz 1 Nearest Neighbour Resampling Entspricht der Faltung Faltung mit einem Rechteck der Breite im Ortsbereich, d.h. Multiplikation des periodifizierten Bildspektrums mit einer Sinc-Funktion im Frequenzbereich.. A A() -0,5 0 0,5 f int NN ( ) 0 = 1 0 : : : < 0,5 0,5 < 0,5 0,5 < i BV1-20

11 2.2.c) Resamplingproblem Interpolation nach Ansatz 1 Nearest Neighbour Resampling Entspricht der Faltung Faltung mit einem Rechteck der Breite im Ortsbereich, d.h. Multiplikation des periodifizierten Bildspektrums mit einer Sinc-Funktion im Frequenzbereich.. ideal interpoliert Nearest Neighbour Massive Störungen (Aliasing) durch Einspiegelung von periodifizierten Frequenzanteilen. Verunschärfungen halten sich in Grenzen, da die entsprechende Sinc-Funktion bei der Nyquestfrequenz noch nicht wesentlich abgefallen ist. Sie fällt durch überlagertes Aliasing zudem kaum 21 auf. Die unsymmetrische Operation führt zu örtlichen Verschiebungen. 2.2.c) Resamplingproblem Interpolation nach Ansatz 1 Bilineare Interpolation Entspricht der Faltung Faltung mit einem Dreieck der Breite 2 im Ortsbereich, d.h. Multiplikation des periodifizierten Bildspektrums mit einer Sinc 2 -Funktion im Frequenzbereich.. Reduziertes Aliasing durch schnelleren Abfall der Sinc 2 Funktion gegenüber Sinc, merkliche Verunschärfung durch stärkeren Abfall bei der Nyquestfrequenz. Außermittige Interpolation führt zu örtlichen Verschiebungen (Achtung bei Messanwendungen). gw ideal interpoliert bilinear interpoliert y BV1-22