Bildverarbeitung 1 Frühjahrssemester 2014 ETH Zürich Jan Dirk Wegner und Michal Havlena ETH Zürich, Institut für Geodäsie und Photogrammetrie (mit Material von Uwe Sörgel, Friedrich Fraundorfer, Stefan Roth und Bildmaterial aus dem Internet)
Mitwirkende Professor: Prof. Konrad Schindler schindler@geod.baug.ethz.ch (HIL D 42.3) Dozent und Übungsbetreuer: Dr. Jan Dirk Wegner jan.wegner@geod.baug.ethz.ch (HIL D 52.3) Dr. Michal Havlena michal.havlena@geod.baug.ethz.ch (HIL D 43.2) 2
Vorlesungen, Übungen und Klausur Insgesamt 12 Termine immer Donnerstags 8.00 9.45 Uhr: 7 Vorlesungen (HIL D 53): 20.2., 27.2., 13.3., 27.3., 10.4., 8.5., 2.5., 22.5. 5 Übungen im PF Lab (HIL C 71.1): 6.3., 20.3., 3.4., 17.4., 15.5. Vorlesungsskripte zum download spätestens am Abend vor der Vorlesung Übungen in MatLab 3 Übungen werden benotet und fliessen mit insgesamt 30% in die Endnote ein Wir helfen immer gern! Wenn es Fragen gibt zu Vorlesung oder Übung, kommt zu uns und lasst euch unklare Themen erklären! 3
Literatur Gonzales and Woods, 2008: Digital Image Processing, 3 rd edition, Pearson Prentice Hall Gonzales, Woods and Eddins, 2009: Digital Image Processing using Matlab, 2 nd edition, Gatesmark Publishing Jähne, 2012: Digitale Bildverarbeitung und Bildgewinnung, 7. Auflage, Springer Sonka, Hlavac and Boyle 2007: Image Processing, Analysis, and Machine Vision Burger und Burge, 2013: Digitale Bildverarbeitung: Eine algorithmische mit Java, 3. Auflage, Springer 4
Was ist Bildverarbeitung? 5
Bildverarbeitung Bildverarbeitung: Aufbereitung und Speicherung von Bildern zur verbesserten Interpretation und im Hinblick auf Weiterverarbeitung und Bildanalyse. Eingangsbild Bildverarbeitung Ergebnisbild Bildanalyse abstrahierte Beschreibung in der Praxis: fließender Übergang zwischen Verarbeitung und Analyse Beispiel: Aufnahme Filterung und Transformation Matching 3D Punktwolke 3D Objektrekonstruktion CAD Vektormodel Ableitung relevanter Messwerte
Wofür Bildverarbeitung? 7
Fernerkundung und Photogrammetrie Topographische Karten sowie Kataster und GIS Digitale Höhenmodelle und 3D Stadtmodelle Schadenskartierung nach Katastrophen: Erdbeben und Tsunami Honshu/Japan März 2011 8
Extraterrestrische Fernerkundung NASA/JPL NASA Missionen Curiosity und Mars Reconnaissance Orbiter 9
Medizin Detektion von Tumoren z y x Computer Zählung von Zellen Tomographie Rekonstruktion von Adernetzwerken 10
Automobilindustrie Fahrerassistenzsysteme und Autonomes Fahren 11
Industrielle Bildverarbeitung Qualitätskontrolle Hochpräzise Fertigung Barcodeinterpretation Automation 12
Kriminalistik Personenerkennung Tatortanalyse Forensik 13
Firmen die Bildverarbeitung betreiben und viele mehr! 14
Themen heute Bild als Strahlenmessung Sampling & Quantisierung Digitale Bilder Kompression & Speicherung 15
Bild als Strahlenmessung Objekt Bildfläche Wie können wir eine Kamera bauen? Erste Idee: Lasst uns ein Fotopapier (oder CCDChip) direkt vor ein Objekt halten und belichten.bekommen wir ein scharfes Bild? 16
Bild als Strahlenmessung Objekt Bildfläche Wie können wir eine Kamera bauen? Erste Idee: Lasst uns ein Fotopapier (oder CCDChip) direkt vor ein Objekt halten und belichten.bekommen wir ein scharfes Bild? 17
Bild als Strahlenmessung Objekt Bildfläche Füge Barriere hinzu, die die meisten Lichtstrahlen pro Objektpunkt aufhält: Blende (aperture)! Verschmiereffekt wird beseitigt und das Bild wird scharf abgebildet. 18
Lochkameramodel Modelvorstellung: Alle Lichtstrahlen (Photonen) gehen durch einen einzigen Punkt Dieser Punkt heißt Projektionszentrum (focal point) Alle Projektionsstrahlen sind Geraden Das Bild entsteht auf der Bildebene (image plane) 19
Projektionseigenschaften: Reduktion von 3D auf 2D Alle Punkte entlang desselben Strahls werden auf einen einzigen gemeinsamen Punkt im Bild abgebildet Punkte werden auf Punkte abgebildet Linien werden wieder auf Linien abgebildet Allerdings: Linien die direkt durch das Projektionszentrum verlaufen, werden auf einen Punkt abgebildet Ebenen werden wieder auf Ebenen abgebildet Aber: Ebenen durch das Projektionszentrum werden auf Linien abgebildet 20
Projektionseigenschaften: Reduktion von 3D auf 2D Parallele Linien konvergieren im Fluchtpunkt (vanishing point) Jede Gerade im Raum hat einen eigenen Fluchtpunkt. Parallel zur Bildebene verlaufende parallele Linienpaare werden auch parallel abgebildet. Alle Geraden im Raum, die auf einer gemeinsamen Ebene liegen, haben denselben Fluchtpunkt. 21
Bild als Strahlenmessung: Linsen ohne Linse mit Linse 22
Bild als Strahlenmessung: Linsen Blende kann nicht unendlich klein werden Linsen! ohne Linse mit Linse 23
Bild als Strahlenmessung: Linsen Blende kann nicht unendlich klein werden Linsen! ohne Linse mit Linse Einfügen von Linsen vor Projektionszentrum: Fokussierung, Vergrößerung, Verkleinerung etc. 24
Brennweite (focal length) Brennweite Unterschiedliche Abbildungen desselben Objekts aufgrund verschiedener Brennweiten Brennpunkt (focal point) Weitwinkelaufnahme mit Standardaufnahme mit Teleaufnahme mit [ F. Durand, Stefan Roth] kurzer Brennweite normaler Brennweite langer Brennweite 25
Schärfentiefe (depth of field) Schärfentiefe hängt ab von der gewählten Blendenöffnung Eine kleinere Blendenöffnung führt zu größerer Schärfentiefe der scharf abgebildete Entfernungsbereich wird vergrößert Kleinere Blendenöffnungen reduzieren die Anzahl einfallender Photonen und es muss länger belichtet werden automatische Programme in Spiegelreflexkameras für z.b. Porträts 26
Auflösung (geometric/spatial resolution) An Sensoröffnungen optischer Systeme, z.b. an Linsen, tritt Beugung auf. Lichtpunkt wird als Beugungsscheibe auf Fläche abgebildet Intensität des elektromagnetischen Signals wird gemessen der Durchmesser d des Zerstreuungskreises hängt von der Wellenlänge und der Blendenzahl (Verhältnis Brennweite f zu Linsendurchmesser D) ab d = 2,44 * * Blendenzahl Beispiel: für Zerstreuungskreis von grünem Licht = 555 nm, Blendenzahl = 2.8 d = 3.8 mm, für rotes (= langwelligeres) Licht noch größer, d ist der theoretisch minimal erreichbare Wert für den Durchmesser des abgebildeten Lichtpunktes d 27
Auflösung: RayleighKriterium Auflösung ist die Fähigkeit eines optischen Systems, benachbarte Objekte gerade noch getrennt abzubilden. Die Beugung begrenzt die Auflösung. a b Beugungsbilder von zwei Punktquellen: a), b) gut aufgelöst = 1,22 x / D c) aufgelöst nach RayleighKriterium c d Grenze: Überlappung um Radius des Zerstreuungskreises d) nicht mehr aufgelöst Θ l : Radius des Zerstreuungskreises 28
Auflösung: Modulationstransferfunktion (MTF) MTF (auch: Kontrastübertragungsfunktion) wird alternativ zum RayleighKriterium verwendet: Verhältnis der Amplituden von Sinusschwingungen des Objekts und im Bild MTF = Bildkontrast(f) / Objektkontrast(f) EinzelMTF (z.b. Linse, Chip) können zu einer GesamtMTF multipliziert werden Objekt: Linienraster Bild: kontrastärmer y y Objektmodulation Bildmodulation 29
Linsenfehler: Radiale Verzeichnung (radial lens distortion) Radiale Verzeichnung hervorgerufen von kleinen Linsenfehlern stark ausgeprägt am Linsenrand wird bei der Kalibrierung von Kameras berücksichtigt ( Vorlesung Photogrammetrie) keine Verzeichnung Pin cushion Barrel [ Jana Lazebnik, Stefan Roth] 30
Linsenfehler: Chromatische Aberration Linse hat verschiedene Brechungsindizes für verschiedene Wellenlängen Chromatische Aberration verschiedene Wellenlängen bekommen unterschiedliche Brennweiten color fringing Effekt Abhilfe: zum Beispiel Beschichtung der Linse mit Material das bezüglich der Brechungsindizes komplementäre Eigenschaften zur Linse aufweist 31
Themen heute Bild als Strahlenmessung Sampling & Quantisierung Digitale Bilder Kompression & Speicherung 32
Sampling & Quantisierung Analoges Bild kann als kontinuierliche Funktion betrachtet werden Digitales Bild Digitalisierung benötigt Diskretisierung der kontinuierlichen Funktion Grauwerte (Quantisierung) Räumlich: Sampling Helligkeitswerte: Quantisierung Bildpixel in x (Sampling) Bildpixel in y (Sampling) 33
Sampling & Quantisierung An welchen Positionen werden Grauwerte gemessen um die Umwelt wirklichkeitsnah abzubilden? Sampling In wie viele verschiedene Grauwerte wird der gesamte Helligkeitsbereich unterteilt? Quantisierung 34
Sampling Wie viele Pixel pro Fläche? 35
Quantisierung Wie viele Bits pro Pixel? 36
Sampling & Quantisierung g(x,y) Original x,y 37
Sampling & Quantisierung g(x,y) Original x,y g(r,c) Sampling (Abtastung) r,c 38
Sampling & Quantisierung g(x,y) Original x,y g(r,c) Sampling (Abtastung) r,c g(r,c) Abtastung und Quantisierung r,c 39
Sampling & Quantisierung Ziel: Möglichst wenig Speicherplatz pro Bild Sampling: Abtastung an so wenig Stellen wie möglich bei Erhaltung aller Details Quantisierung: Codierung aller relevanten Grauwerte in so wenige Bits wie möglich 40
Sampling Grundsätzliche Idee: Mathematische Modellierung des Bildes mittels Reihenentwicklung periodischer Funktionen im Frequenzraum Addition verschiedener Frequenzen um originales Signal abzubilden Sampling muss kleinste Frequenz erfassen um Bild ohne Artefakte zu erstellen Wie kann garantiert werden, dass die kleinste relevante Frequenz nach dem Sampling rekonstruiert werden kann? Abtasttheorem! 41
Sampling: Abtasttheorem Wie hoch muss die geometrische Auflösung beim Sampling sein, d.h. wie groß darf der Pixelabstand werden, damit aus der abgetasteten (diskreten) Funktion wieder die ursprüngliche Funktion ohne Informationsverlust rekonstruiert werden kann? Eingangssignal T 0 =4 p w 0 = 2 p /T 0 =0.5: sin( w 0 x)=sin(0.5x) Nyquist/ShannonTheorem Sampling Ziel: Fehlerfreie Rekonstruktion des Eingangssignals T 0 =4 p w 0 = 2 p /T 0 =0.5: sin( w 0 x)=sin(0.5x) 1.5 1.5 sin(2.25*n* p )=sin(0.25*n* p ) 1.5 1 1 1 0.5 0.5 0.5 0 0 0 0.5 0.5 0.5 1 0 2 4 6 8 10 12 14 16 18 Originales analoges Signal 1 0 2 4 6 8 10 12 14 16 18 Digitales Signal 1 0 2 4 6 8 10 12 14 16 18 aus digitalem Signal rekonstruiertes analoges Signal 42
Sampling: Abtasttheorem Für eine Funktion, die sich als Summe von Sinus oder Kosinusschwingungen unterschiedlicher Amplitude und Sinus Frequenz darstellen lässt gilt allgemein: Eine Funktion muss so abgetastet werden, dass das 1 sample/periode Abtastintervall x kleiner ist, als die Hälfte der kürzesten Wellenlänge λ min (Schwingung mit kleinster Wellenlänge = höchste Frequenz), um ohne 1,5 samples/periode falsche Frequenz Informationsverlust rekonstruiert werden zu können. x < 1 2f = λ min 2 >2 samples/periode richtige Frequenz Abtastung mit zu kleinen Intervallen führt zu unnötigem Verbrauch von Speicherplatz. Bei Abtastung des Signals mit zu großen Intervallen kann es zu Artefakten im Bild kommen Aliasing 43
Aliasing In Videos bewegen sich Speichenräder scheinbar rückwärts Abtastung der periodischen Bewegung mit zu niedriger Frequenz Aliasing nach fehlerhafter Abtastung mit zu niedriger Frequenz ( MoiréEffekt) 44
Quantisierung Analoge Messwerte im Bereich 0 bis 64 Volt ( gemessene Spannung auf CCD Chip) sollen mit 4 Bit quantisiert werden. 0,4 2,3 14,5 17,9 28,6 36,8 45,4 53,8 58,9 45
Quantisierung Analoge Messwerte im Bereich 0 bis 64 Volt ( gemessene Spannung auf CCD Chip) sollen mit 4 Bit quantisiert werden. 0,4 2,3 14,5 17,9 28,6 36,8 45,4 53,8 58,9 4 Bit = Werte von 0 bis 2 4 1 also 0..15 64 V / 16 = 4 46
Quantisierung Analoge Messwerte im Bereich 0 bis 64 Volt ( gemessene Spannung auf CCD Chip) sollen mit 4 Bit quantisiert werden. 0,4 2,3 14,5 17,9 28,6 36,8 45,4 53,8 58,9 4 Bit = Werte von 0 bis 2 4 1 also 0..15 64 V / 16 = 4 d.h. Quantisierungsintervalle: 0 3,9 4 7,9 8 11,9 12 15,9 16 19,9 20 23,9 24 27,9 28 31,9 32 35,9 36 39,9 40 43,9 44 47,9 48 51,9 52 55,9 56 59,9 60 64 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 47
Quantisierung Analoge Messwerte im Bereich 0 bis 64 Volt ( gemessene Spannung auf CCD Chip) sollen mit 4 Bit quantisiert werden. 0,4 2,3 14,5 17,9 28,6 36,8 45,4 53,8 58,9 4 Bit = Werte von 0 bis 2 4 1 also 0..15 64 V / 16 = 4 d.h. Quantisierungsintervalle: 0 3,9 4 7,9 8 11,9 12 15,9 16 19,9 20 23,9 24 27,9 28 31,9 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0,4 2,3 32 35,9 36 39,9 40 43,9 44 47,9 48 51,9 52 55,9 56 59,9 14,5 17,9 28,6 36,8 45,4 53,8 58,9 60 64 48
Quantisierung Analoge Messwerte im Bereich 0 bis 64 Volt ( gemessene Spannung auf CCD Chip) sollen mit 4 Bit quantisiert werden. 0,4 2,3 14,5 17,9 28,6 36,8 45,4 53,8 58,9 4 Bit = Werte von 0 bis 2 4 1 also 0..15 64 V / 16 = 4 d.h. Quantisierungsintervalle: 0 3,9 4 7,9 8 11,9 12 Damit lautet obige Messreihe nach der Quantisierung: 0, 0, 3, 4, 7, 9, 11, 13, 14 15,9 16 19,9 20 23,9 24 27,9 28 31,9 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 0,4 2,3 32 35,9 36 39,9 40 43,9 44 47,9 48 51,9 52 55,9 56 59,9 14,5 17,9 28,6 36,8 45,4 53,8 58,9 60 64 49
Themen heute Bild als Strahlenmessung Sampling & Quantisierung Digitale Bilder Kompression & Speicherung 50
Bildaufnahme Hauptsächlich zwei verschiedene ChipTypen: CMOSChip CCDChip CCDChip (ChargeCoupled Device) CMOSChip (Complementary Metal Oxide Semiconductor) CCDChip Chip in Spiegelreflexkamera 51
Luftbildkamera: Microsoft UltraCam Eagle 1 panchromatischer Kanal 20010 x 13080 Pixels, 14 Bits 104,05 mm x 68,02 mm CCDChip 4 Farbkanäle: RGB + NIR Kompaktkamera: Nikon Coolpix S2700 6670 x 4360 Pixels, 14 Bits CCD 4608 x 3456 Pixels, 8 Bits Handy: Apple iphone 5 CMOS 3264 x 2448 Pixels SLRKamera: Nikon D3x 6048 x 4032 Pixels, 14 Bits 35,9 mm x 24 mm CMOSChip SatellitenLinescanner: GeoEye1 CCD 1 x >35000 Pixels, 11 Bits 4 Farbkanäle: RGB + NIR 52
Merkmale von Chips Lichtempfindliche Fläche g: Pixelgröße; d: Pixelabstand Je kleiner die Pixelgröße wird, um so weniger Photonen können detektiert werden Signalzu RauschVerhältnis (signal to noise ratio, SNR) sinkt Intergraph DMC II 250: 17216 x 14656 5.6µm pan 252 Mpix Vollformatchips z.b. in Nikon D4: NikonFXFormat (36 x 23,9 mm 2 ), CMOS 16,2 Mpix 53
Funktionsweise CCD und CMOSChips basieren auf dem inneren Photoeffekt Bändermodell, hier z.b. ndotierter Halbleiter: Einfallende Photonen heben Elektronen () vom Valenz in das Leitungsband zurück bleibt ein Loch (+) Dunkelstrom: ElektronenLochpaare durch thermische Energie Thermisches Rauschen Rauschen im Bild Nutzsignal zur Generierung des Bildes ist die von den Ladungen erzeugte Spannung (analoges Signal A/DWandlung) 54
CCDFlächensensoren: Frame Transfer (FT) versus Interline Transfer (IT) 1. Photon zu Elektron Konvertierung (innerer Photoeffekt) [ Olympus] 2. nur bei IT: Ladung in Schieberegister 3. Ladungen rausschieben 4. Verstärkung 5. A/DWandlung Frame Transfer: Nach Belichtung schneller Ladungstransport in verdunkelten Bereich Pro: Kein Verschluss erforderlich, schnell Contra: Chipgröße verdoppelt, Schmiereffekte durch Belichtung beim Ladungstransport Interline Transfer: Ladungstransport über gesondertes Schieberegister Pro: Kein Verschluss erforderlich, kein Schmiereffekt Contra: geringer Füllfaktor (2070 %, Abhilfe: Linsen auf Chip), Auslesen über Schieberegister langsam 55
Vergleich CCD und CMOS Photon zu Elektron Konvertierung pro Sensorelement Ladungs zu Spannungswandlung [ Litwiller 2005] CCDSensoren transportieren Ladung von Pixel zu Pixel und wandeln diese an einem Ausgangselement in Spannung um CMOSSensoren wandeln Ladung direkt im Pixel in Spannung um ermöglicht schnelles Auslesen 56
CMOSFlächensensor Vorteile gegenüber CCD: Schneller, geringerer Stromverbrauch, günstigere Fertigung Rolling Shutter Effekt Auslesen einzelner Pixel und Bildbereiche möglich Elektronik für Weiterverarbeitung kann im Pixel integriert werden Belichtungskontrolle, Kontrastkorrektur und A/DWandlung Geringere Baugröße des Gesamtsystems, da Integration von Weiterverarbeitung direkt im Pixel 57
CMOSFlächensensor Vorteile gegenüber CCD: Schneller, geringerer Stromverbrauch, günstigere Fertigung Rolling Shutter Effekt Auslesen einzelner Pixel und Bildbereiche möglich Elektronik für Weiterverarbeitung kann im Pixel integriert werden Belichtungskontrolle, Kontrastkorrektur und A/DWandlung Geringere Baugröße des Gesamtsystems, da Integration von Weiterverarbeitung direkt im Pixel Nachteile: Minimale Unterschiede zwischen Transistoren verschiedener Pixel können zu unterschiedlichen Intensitätswerten in Bereichen homogener Helligkeit führen kleinere lichtempfindliche Fläche da pro Pixel auch nichtlichtempfindliche Transistoren untergebracht werden müssen: Schlechteres SignalzuRauschVerhältnis, geringere Empfindlichkeit und Dynamik RollingShutterEffekt bei sich schnell bewegenden Motiven aufgrund Auslesung zeilen bzw. spaltenweise bei günstigen CMOSChips 58
Erfassbarer Spektralbereich CCD und CMOSSensoren sind im gesamten sichtbaren Bereich des elektromagnetischen Spektrums sensitiv und darüber hinaus 59
Erfassbarer Spektralbereich CCD und CMOSSensoren sind im gesamten sichtbaren Bereich des elektromagnetischen Spektrums sensitiv und darüber hinaus Wichtig in der Fernerkundung: Erfassung von reflektiertem Sonnenlicht im Infrarotbereich je mehr Chlorophyll in Vegetation desto höhere Intensität Nutzung in Luftbildkameras und Satellitensensoren zur Vegetationskartierung z.b. für Ernteprognosen 60
Erfassbarer Spektralbereich CCD und CMOSSensoren sind im gesamten sichtbaren Bereich des elektromagnetischen Spektrums sensitiv und darüber hinaus Wichtig in der Fernerkundung: Erfassung von reflektiertem Sonnenlicht im Infrarotbereich je mehr Chlorophyll in Vegetation desto höhere Intensität Nutzung in Luftbildkameras und Satellitensensoren zur Vegetationskartierung z.b. für Ernteprognosen Beispiel: Worldview2 3 Infrarotkanäle (Red Edge, Near Infrared 1, Near Infrared 2) zur Bestimmung von Pflanzenwachstum, Vegetationsanalyse, und Erfassung von Biomasse 61
Wie kommt Farbe ins Bild? CCD und CMOSSensoren werden Farbfilter vorgeschaltet Sequenzielle Farbaufnahme: ein Chip mit rotierendem Farbfilter, 3 Aufnahmen nacheinander, pro: günstig, contra: Verschmierung bei sich schnell bewegenden Objekten 62
Wie kommt Farbe ins Bild? CCD und CMOSSensoren werden Farbfilter vorgeschaltet Sequenzielle Farbaufnahme: ein Chip mit rotierendem Farbfilter, 3 Aufnahmen nacheinander, pro: günstig, contra: Verschmierung bei sich schnell bewegenden Objekten Dreifarbenchips (CMOS): 3 lichtempfindliche Schichten übereinander, Eindringtiefe ist wellenlängenabhängig, relativ aufwendige und teure Fertigung 63
Wie kommt Farbe ins Bild? CCD und CMOSSensoren werden Farbfilter vorgeschaltet Sequenzielle Farbaufnahme: ein Chip mit rotierendem Farbfilter, 3 Aufnahmen nacheinander, pro: günstig, contra: Verschmierung bei sich schnell bewegenden Objekten Dreifarbenchips (CMOS): 3 lichtempfindliche Schichten übereinander, Eindringtiefe ist wellenlängenabhängig, relativ aufwendige und teure Fertigung Farbmosaikchips: 1Chip mit einem Farbfilter pro Pixel Interpolation von Farbwerten auf das gesamte Bild, allerdings geringere reale Auflösung günstig zu produzieren heute die meistverbauten Chips BayerMuster 64
Farbmosaikchips [ Steve Seitz, Stefan Roth] BayerMuster Doppelt so viele grüne Pixel wie blau und rot entspricht menschlicher Wahrnehmung am sensibelsten für Helligkeit im grünen Spektralbereich Helligkeitssensibilitätsfunktion des Menschen 65
Farbmosaikchips BayerMuster Pixelfarbwerte des Bildes werden mit Hilfe der benachbarten Werte bestimmt (demosaicing) [ Steve Seitz, Stefan Roth] Doppelt so viele grüne Pixel wie blau und rot entspricht menschlicher Wahrnehmung am sensibelsten für Helligkeit im grünen Spektralbereich mehr in Machine Vision Vorlesung! Helligkeitssensibilitätsfunktion des Menschen 66
Themen heute Bild als Strahlenmessung Sampling & Quantisierung Digitale Bilder Kompression & Speicherung 67
Kompression und Speicherung Grundsätzlich hängt der erreichbare Kompressionsgrad vom Bildinhalt ab Je homogener das Bild, desto höher der Kompressionsgrad verlustfrei (Redundanzreduktion) Lauflängencodierung QuadTrees Richtungsketten Speicherung von Grauwertdifferenzen 68 68
Kompression und Speicherung Grundsätzlich hängt der erreichbare Kompressionsgrad vom Bildinhalt ab Je homogener das Bild, desto höher der Kompressionsgrad verlustfrei (Redundanzreduktion) Lauflängencodierung QuadTrees Grauwertdifferenzen verlustbehaftet (Irrelevanzreduktion) TIFF, JPEG Eliminierung von Grauwertstufen nicht benötigte Information wird weggelassen Details zu verlustbehafteter Kompression erst in Vorlesung 5 Bildrestauration, da hierfür ein gutes Verständnis der Fourier Transformation notwendig ist! 69 69
Kompression und Speicherung Grundsätzlich hängt der erreichbare Kompressionsgrad vom Bildinhalt ab Je homogener das Bild, desto höher der Kompressionsgrad verlustfrei (Redundanzreduktion) Lauflängencodierung QuadTrees Grauwertdifferenzen verlustbehaftet (Irrelevanzreduktion) TIFF, JPEG Eliminierung von Grauwertstufen nicht benötigte Information wird weggelassen Details zu verlustbehafteter Kompression erst in Vorlesung 5 Bildrestauration, da hierfür ein gutes Verständnis der Fourier Transformation notwendig ist! 70 70
Kompression und Speicherung: Lauflängenkodierung Lauflängenkodierung wird eingesetzt, um Bildmatrizen effektiv zu speichern Zeilen oder Spaltenweise Abtastung und Zerlegung in Abschnitte gleicher Grauwerte Beispiel: 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 1 1 1 1 Zerlegung in Abschnitte von Nullen und Einsen ergibt: (3,0) (4,1) (5,0) (6,1) (7,0) (4,1) 71
Kompression und Speicherung: Lauflängenkodierung Lauflängenkodierung wird eingesetzt, um Bildmatrizen effektiv zu speichern Zeilen oder Spaltenweise Abtastung und Zerlegung in Abschnitte gleicher Grauwerte Beispiel: 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 1 1 1 1 Zerlegung in Abschnitte von Nullen und Einsen ergibt: (3,0) (4,1) (5,0) (6,1) (7,0) (4,1) Weitere Vereinfachung: Werte alternieren und Beginn immer mit 0erAbschnitt 3 4 5 6 7 4 72
Kompression und Speicherung: Lauflängenkodierung Lauflängenkodierung wird eingesetzt, um Bildmatrizen effektiv zu speichern Zeilen oder Spaltenweise Abtastung und Zerlegung in Abschnitte gleicher Grauwerte Beispiel: 0 0 0 1 1 1 1 0 0 0 0 0 1 1 1 1 1 1 0 0 0 0 0 0 0 1 1 1 1 Zerlegung in Abschnitte von Nullen und Einsen ergibt: (3,0) (4,1) (5,0) (6,1) (7,0) (4,1) Weitere Vereinfachung: Werte alternieren und Beginn immer mit 0erAbschnitt 3 4 5 6 7 4 Alternative: Speicherung von Position und Länge der 1erAbschnitte (hier: Beginn mit Index 0 für die erste Stelle) (3,4) (12,6) (25,4) Vorsicht: Bei kontrastreichen Bildern kann es statt zu einer Reduktion des Speicherbedarfs zu einem Mehrbedarf kommen! 73
Kompression und Speicherung: Quadtrees Baumstruktur mit jeweils 4 Nachfolgern eines Knotens in nächstfeinerer Baumebene Inhomogene Bilderbereiche so lange in Quadranten eingeteilt, bis homogene Flächen entstehen und keine weitere Einteilung mehr notwendig ist. 1. Knote n 3. Knote n 2. Knote n 4. Knote n 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 1 1 0 0 1 1 1 1 1 1 1 0 0 1 1 1 1 1 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 Binärbild 74
Kompression und Speicherung: Quadtrees Baumstruktur mit jeweils 4 Nachfolgern eines Knotens in nächstfeinerer Baumebene Inhomogene Bilderbereiche so lange in Quadranten eingeteilt, bis homogene Flächen entstehen und keine weitere Einteilung mehr notwendig ist. 1. Knote n 3. Knote n 2. Knote n 4. Knote n 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 1 1 0 0 1 1 1 1 1 1 1 0 0 1 1 1 1 1 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 Binärbild 0 1 0 0 0 1 0 1 0 0 75
Kompression und Speicherung: Quadtrees Baumstruktur mit jeweils 4 Nachfolgern eines Knotens in nächstfeinerer Baumebene Inhomogene Bilderbereiche so lange in Quadranten eingeteilt, bis homogene Flächen entstehen und keine weitere Einteilung mehr notwendig ist. 1. Knote n 3. Knote n 2. Knote n 4. Knote n 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 1 1 1 0 0 0 0 1 1 1 1 1 0 0 1 1 1 1 1 1 1 0 0 1 1 1 1 1 0 0 0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 Binärbild 0 1 0 0 0 1 0 1 0 0 0 0 0 1 1 1 0 1 1 0 0 0 0 0 0 1 1 0 1 1 0 1 0 1 76
Kompression und Speicherung: Quadtrees Quadtrees werden auch für die Kompression von Grauwertbildern eingesetzt vor allem nützlich wenn grosse homogene Bereiche auftreten Aber wieder Vorsicht: Bei kontrastreichen Bildern kann es statt zu einer Reduktion des Speicherbedarfs zu einem Mehrbedarf kommen! Ungeeignet z.b. bei SyntheticApertureRadar (SAR) Bildern mit hohem Dynamikbereich und feinkörniger Struktur 77
Kompression und Speicherung: Grauwertdifferenzen Benachbarte Pixel haben oft ähnliche Grauwerte Differenz der Grauwerte ist klein kleine Zahl bedeutet weniger Speicherplatz in Bits Kodierung: erster Pixelwert pro Zeile, dann immer Differenzen Original Differenzbild Grauwertverteilungen (Histogramme) [ Uwe Sörgel] 78