Modul: B-CG Grundlagen der Computergraphik

Transkript

1 Modul: B-CG Grundlagen der Computergraphik Grundlagen des Digitalen Bildes Professur für Graphische Datenverarbeitung Fachbereich Informatik und Mathematik (2) Bildrepräsentationen Smbolische Ebene: Merkmalsebene 3 Abtastebene 2 beliebige Datenstruktur Grafik- und Merkmals-Primitive Digitales Bild Tet, Tabellen (Noten,.. Modelle (Kinematik, Dnamik, Verhalten) Geometrie & (visuelle) Merkmale Animation Festbild Digitalvideo Reiz- & Aktionsebene 4 optisch 2 B-CG V Das Digitale Bild

2 Das Ziel der heutigen Vorlesung Charakteristika der drei Bildrepräsentationen Bildfunktionen Digitales Bild Geometrie- und Merkmalsbild verstehen und die Zusammenhänge erkennen! Schwerpunkt: Das Digitales Bild 3 B-CG V Das Digitale Bild Übersicht. Die Plenoptische Funktion kontinuierliche Bildfunktionen 2. Das Digitale Bild - Charakterisierung Austauschformate und Programmierschnittstellen 3. Das Computergraphik-Bild Austauschformate und Programmierschnittstellen 4. Abtastung / Rendering Anzeige (Rekonstruktion) Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Aliasing: Eine erste Charakterisierung der unvermeidbaren Fehler 5. Zusammenfassung 6. Ausblick Nächste Schritte 4 B-CG V Das Digitale Bild 2

3 Die Plenoptische Funktion Der Mensch ist ein Augentier. Die plenoptische Funktion beschreibt die für einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit Idealisierung des potentiell Sichtbaren Modell des potentiell Sichtbaren 5 B-CG V Das Digitale Bild Die plenoptische Funktion P [Adelson, Bergen] P = f (θ, φ, I(λ), t, P b ) θ, φ Raumwinkel I (λ) Lichtintensität als Funktion der Wellenlänge t Zeit P b Position und Blickrichtung des Beobachters 6 Freiheitsgrade! 6 B-CG V Das Digitale Bild 3

4 Ekurs: Sehwinkel abstrahiert von Objektgröße und abstand für ein Bild auf der Retina Sehwinkel α = arctan h/s h s α Bild auf der Retina o Sehwinkel = ˆ,3 mm auf der Retina ' Sehwinkel = ˆ 5µ m auf der Retina = ˆ Zapfenstär ke o Sehwinkel = ˆ,5 mm in 6 cm Abstand 7 B-CG V Das Digitale Bild Grundgrößen der visuellen Wahrnehmnung Der Mensch wertet die Parameter der Plenoptischen Funktion simultan aus: θ, φ durch die flächige Anordnung von Rezeptoren in der Retina I(λ) drei Abtastungen durch unterschiedliche Rezeptoren Wahrnehmungsfähigkeiten FORMSEHEN TEXTURSEHEN FARBSEHEN t Zeit P b 2 Abtastungen zusätzlich sukzessiv durch Augen-, Kopf- und Körperbewegung BEWEGTBILDSEHEN STEREOSEHEN TIEFEN- und RAUMSEHEN 8 B-CG V Das Digitale Bild 4

5 Spezialisierungen der plenoptischen Funktion technisch realisierbare Bilder Pb: eine Abtastung (Monokulares) Bild zwei Abtastungen Stereobild geführte Bewegung Film / Video freie Bewegung Virtual Realit t: wenige Abtastungen Bewegtbild eine Abtastung Festbild I(λ):3 Abtastungen, z.b. RGB Farbbild Abtastung Grauwertbild etrem quantisiert schwarz/weiß Bild Erkenntnis: Reize lassen sich stark reduzieren wir müssen uns mit den Wahrnehmungsfähigkeiten beschäftigen: in der nächsten Vorlesung 9 B-CG V Das Digitale Bild Bildmodelle: Herleitung aus der plenoptischen Funktion P = f (θ, φ, I(λ), t, P b ) G = f ( θ, φ ) = f (, F r(,) = g(,) b(,) Spezialisierung: Zeit t, Position und Richtung P b fest r = g (, ) b partielle kontinuierliche (analoge) Funktionen: ) Graubild Farbbild (, ) X Y R R B-CG V Das Digitale Bild 5

6 Beispiel: kontinuierliche 2D-Bildfunktion G(,) G(,) B-CG V Das Digitale Bild Bildfunktion (auch Bildsignal) Ein einkanaliges Bild G (z.b. Grauwertbild) wird als reelle Funktion mit 2-dimensionalen Definitionsbereich G = f (, ) mit,, G R/ modelliert., i.d.r kartesische Ortskoordinaten manchmal auch Winkel, dann (,) (θ,φ) (θ Theta φ Phi) f(,) nennt man (kontinuierliche) Bildfunktion. 2 B-CG V Das Digitale Bild 6

7 7 3 B-CG V Das Digitale Bild Bildfunktionen (Bildsignale) Oft haben wir es mit endlichen Bildern zu tun, d.h. es gilt zusätzlich: Auch der Wertebereich ist oft beschränkt: Für Grauwertbilder gilt dann i.d.r. folgende Entsprechung: : schwarz G ma : weiß L L L L f für nur ), ( ma ), ( G f G = 4 B-CG V Das Digitale Bild Bildfunktionen Multispektrale Bilder Farbbilder als werden als Vektor dreidimensionaler repräsentiert, mit Vektor, z.b. mit = ), (... ), ( ), ( 2 F F F n M = ), ( ), ( ), ( B G R F

8 Weitere Bildmodellierungen funktionales Bildmodell Theorie der linearen Ssteme kontinuierliche Funktionen und lineare Transformationen Ortsbereich f (,) kann man transformieren in einen Frequenzbereich f (ξ,η) z.b. zur Analse durch Fouriertransformation, Cosinustransformation, etc. (ξ,η) nennt man Ortsfrequenzen alternative Beschreibungsformen sind: fraktale Bildmodelle -- nichtlineare Ssteme stochastische (statistische) Bildmodelle auch Erweiterungen sind möglich: Volumenbilder = (, ) V = f (,, z) Volumenrendering G f 5 B-CG V Das Digitale Bild Zusammenfassung: Bildfunktionen Bilder können durch (partielle) kontinuierliche Funktionen (Signale) mit reellen Variablen (Ortskoordinaten und Bildwerte) beschrieben werden beschreibt Bilder als optisches (auch elektrisches) Signal Damit steht uns die Theorie der Funktionen als Handwerkszeug zur Verfügung: insbesondere die lineare Signaltheorie Alternative Beschreibungen sind möglich Frequenztransformationen Ortsfrequenzen fraktale Bildbeschreibungen (nichtlineare Signaltheorie) stochastische Bildbeschreibungen 6 B-CG V Das Digitale Bild 8

9 Aus der letzten Vorlesung Bildmodelle Merkmalsebene Rendering Abtastebene Anzeige (Displa) Reiz- & Aktionsebene Grafik- und Merkmals-Primitive Digitales Bild Merkmalsetraktion??? (Bild-) Aufnahme ' (Bild-)funktion 7 B-CG V Das Digitale Bild Das Digitale Bild Bei der Aufnahme wird ein kontinuierliches Bild (Bildfunktionen) diskretisiert (abgetastet) (Ortskoordinaten,) quantisieren (Signalamplitude G(,)) DIGITALES BILD Sonderfall: analoges Videosignal Vertikal abgetastet, d.h. in Bildzeilen zerlegt; horizontal nur in elektrische Signale gewandelt 8 B-CG V Das Digitale Bild 9

10 Charakterisierung des Digitalen Bildes am Beispiel Lena Digitale Bild = 2D Arra aus Abtastwerten (Pieln) in z.b. 8 Bit Integer übrigens: Lena oder Lenna ist eines der bekanntesten Testbilder der Communit, weitere siehe: zur Auswahl dieses Bildes (Bild-Ausschnitt des Plamate des Monats November 972) gibt es eine ganze Stor: mit amerikanischer Krorrekteheit: WARNING this picture contains nudit. 9 B-CG V Das Digitale Bild Abtasten, was heißt das genauer? Betrachten wir einen Ausschnitt aus Lena Die Kreuzungspunke der Linien sind die Abtast - punkte und markieren z.b: den Pielmittelpunkt quadratische Apertur Pielwerte bei idealer und realer Abtastung Ideale Abtastung: Mit einer unendlichen dünnen Meßspitze wird der Bildfunktionswert am Abtastpunkt genau bestimmt. Reale Abtastung: In einem Gebiet, z.b. Quadrat, Rechteck, Kreis um den Abtastpunkt, der endlichen Apertur, werden die Bildfunktionswerte (ggf. gewichtet) aufintegriert und ein Mittelwert gebildet. 2 B-CG V Das Digitale Bild

11 Die Gewichtung der Bild-Funktionswerte im Piel muss bei der realen Abtastung nicht einheitlich sein, ist aber oft smmetrisch zum Pielmittelpunkte Rechteck Bo CCD-Abtaster Dreieck Tent Glockenkurve Gaussian Fling Spot-Abtaster, Kameraröhre u.v.a.m. aber kann ein Nadelimpuls sein ideale Abtastung 2 B-CG V Das Digitale Bild Beispiel: diskretes Bild Zentraler Begriff: Piel (abstrakt für ein Abtastwert) Kunstwort abgeleitet von picture element in der Gerätetechnik manchmal auch Pel (konkret, z.b. auf dem Displa) B-CG V Das Digitale Bild

12 Beispiel: quantisiertes diskretes Bild Digitales Bild (Rasterbild, Pielbild ) B-CG V Das Digitale Bild Die wichtigsten Parameter (Metadaten) eines Digitalen Bildes Pielzahl und (horizontal und vertikal), z.b Achtung: manche Autoren nennen das Auflösung: FALSCH! Auflösung wäre etwas wie Piel/mm, dots/inch, Linien /mm,... Interpretation der Indewerte: Wo ist G(,)?, üblich oben links und z.b. 72 Inde-Incremente entsprechen inch: 72 dots/inch Auflösung Wertebereich und Interpretation, z.b. = schwarz = weiß weitere Parameter zur Interpretation: Gamma, Abtastparameter, was ist schwarz?, was ist weiß, kommt später. Codierung, meist Integer ( Bte = 8 Bit pro Piel) Grauwertbild oder 3 Bte pro Piel RGB für ein Farbbild 24 B-CG V Das Digitale Bild 2

13 Speicher- und Austauschformate für Digitale Bilder Kompression und Kodierung Speichern Austauschen Format: Kodierung Kompression Snta und Semantik einer Sprache, Struktur des Headers mit den Metadaten Abbildung der Pielwerte auf ein Alphabet und Art der Serialisierung Reduzierung der Datenmenge (verlustbehaftet oder verlustfrei) 25 B-CG V Das Digitale Bild Beispiele für Austausch- und Speicherformate Digitale Bilder (Rasterfiles) BMP Windows Bitmap Format Microsoft Fa Group 3 oder Fa Group 4 CCITT (ITU) GIF Graphics Interchange Format JFIF JPEG File Interchange Format ISO/IEC PBM Portable Bitmap PNG Portable Network Graphics TGA Targa File Format TIFF Tag Image File format u.v.a.m., insbesondere proprietäre Produktformate 26 B-CG V Das Digitale Bild 3

14 Beispiele für Austausch- und Speicherformate Digitalvideo CCIR 6 Basis des Digitalfernsehen (CCIR) ITU H.26 Videokonferenzstandard (CCITT) ITU M-JPEG Motion JPEG ISO/IEC/ITU MPEG Motion Picture Epert Group ISO/IEC/ITU QT Quicktime Apple AVI Microsoft Details in Multimedia und Animation oder 27 B-CG V Das Digitale Bild Beispiele zur Bildkompression, hier JPEG Geringe Kompressionrate / Beste Qualität 8KB file Mittlere Kompressionsrate und Qualität 8KB file Sehr hohe Komprssionsrate / Schlechte Qualität 6KB file aus 28 B-CG V Das Digitale Bild 4

15 Weitere Informationen zu Fileformaten Übersicht zu Graphics File Formats Mehr als verschiedene Formate werden vorgestellt. Links zu Format-Spezifikationen. Viele praktische Hinweise zur Formatwandlung und Problemlösungen. Leider seit 997 nicht mehr aktualisiert. aktuellere Infos unter : Wotsit's Format, the complete programmer's resource on the net 29 B-CG V Das Digitale Bild Probleme und Fragen Wie hängen kontinuierliche Bilder und Digitale Bilder zusammen? Abtastung (Diskretisierung) <==> Rekonstruktion Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Charakterisierung und Bewertung der unvermeidbaren Fehler... später, noch in dieser Vorlesung Quantisierung 3 B-CG V Das Digitale Bild 5

16 Geometrie und Merkmalsebene Beschreibt ein Bild (2D) oder eine Szene (3D) durch Ensemble von geometrischen Objekten (Punkte, Linien, Flächen, Körper) in einem Koordinatensstem Erscheinungsattribute der Objekte (Farbe, Struktur, Tetur, Parametern von Beleuchtungsmodellen, Betrachtungsbedingungen (Ausschnittsbildung, Skalierung in 2D oder Virtuelle Kamera und Beleuchtung in 3D) 3 B-CG V Das Digitale Bild Geometrie und Merkmalsebene Wichtige Unterscheidung Koordinatensstem: 2D oder 3D 2D: ggf Ausschnitt darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms) Window-Viewport Transformation 3D: Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf 2D abgebildet z -z 32 B-CG V Das Digitale Bild 6

17 Beispiele für Austauschformate Geometrie und Merkmalsebene 2D Vector Files Zeichnungen, CAD HPGL HP Graphics Language (Plottersprache) Hewlett-Packard DXF Drawing exchange Format Autodesk (original 2D später auf 3D erweitert) Metafiles (Raster & Vektorgraphik) CGM Computer Graphic Metafile ISO/IEC Page Description Language (Seitenbeschreibungssprachen) PS (EPS) (Encapsulated) PostScript PDF Portable Document Format Adobe 33 B-CG V Das Digitale Bild Beispiele für Austauschformate Geometrie und Merkmalsebene 3D CAD Formate IGES Initial Graphics Echange Specification STEP Standard for the Echange of Product Data Szenen- und Objektbeschreibungssprachen VRML Virtual Realit Modeling Language ISO/IEC RIB Renderman Interface Btestream Animation FLT MultiGen Flight OBJ Wavefront Object Alias (Wavefront) MAX 3D Studio Ma Kineti 34 B-CG V Das Digitale Bild 7

18 Programmierschnittstellen JAVA 3D Performer (SGI) Open SG (Open) GL Direct X Direct 3D Displa List oder Szenegraph API: Application Programmers Interface 35 B-CG V Das Digitale Bild Übersicht. Die Plenoptische Funktion kontinuierliche Bildfunktionen 2. Das Digitale Bild - Charakterisierung Austauschformate und Programmierschnittstellen 3. Das Computergraphik-Bild Austauschformate und Programmierschnittstellen 4. Abtastung / Rendering Anzeige (Rekonstruktion) Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Aliasing: Eine erste Charakterisierung der unvermeidbaren Fehler 5. Zusammenfassung 6. Ausblick Nächste Schritte 36 B-CG V Das Digitale Bild 8

19 Aus der letzten Vorlesung plus neue Terminologie, insbesondere aus der Signal- und Abtasttheorie Rendering: speziell das Rasterisieren Abtastebene Anzeige (Displa) Rekonstruktion Reiz- & Aktionsebene Digitales Bild 2D arra of integer Aufnahme: Abtastung (Bild-)funktion 37 B-CG V Das Digitale Bild Ein kleiner Ausflug in die Sstemtheorie Ziel: Wir wollen das Abtasten mathematisch fassen, um so den Vorgang zu verstehen und um die optimalen Abtast-Bedingungen zu erkennen zu erkennen, wann wir keine Fehler machen ggf. auftretende Fehler qualitativ und quantitativ beschreiben zu können Ideen zur Minimierung dieser Fehler zu bekommen unsere Lösungen zu bewerten Vollständig geht das in dieser Vorlesung leider nicht! Aber: Wir wollen die Grundzüge verstehen, dann ist ggf. ein Selbststudium möglich! 38 B-CG V Das Digitale Bild 9

20 Eine spezielle Funktion : Der Diracsche Deltaimpuls nach Paul Dirac 93 wird über seine Haupteigenschaften definiert: δ ( ) : = für + δ ( ) d = δ (, ) : = für, + + δ (, ) dd δ (, ) = δ ( ) δ ( ) Streng: Es gibt keine klassische Funktion δ mit diesen Eigenschaften. δ ist streng genommen eine Distribution (verallgemeinerte Funktion). andere Namen Diracfunktion, Deltafunktion, Nadelimpuls = 39 B-CG V Das Digitale Bild Der Diracsche Deltaimpuls Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.b: δ (, ) lim rect 4a b a, b a, b (, ) mit 4 a b rect a, b für a und (, ) = sonst b a b anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung Nadelimpuls 4 B-CG V Das Digitale Bild 2

21 Die Ausblendeigenschaft (Siebeigenschaft, sifting propert) der Deltalfunktion: + f ( ) δ ( ) d = f ( ) Dieses Integral blendet an der Stelle den Funktionswert f( ) aus: f( ) f () 4 B-CG V Das Digitale Bild Ideale Abtastung eines Bildes erfolgt durch S(,) Diracfeld = 2D Feld von Nadelimpulsen (δ-impulsen) S(, ) S (, ) = + + m = n= δ ( m, n ) 42 B-CG V Das Digitale Bild 2

22 Ideale Abtastung Wir definieren als abgetastetes Bild f s : Detlef Krömker f = f (, ) s(, ) s = f (, ) δ ( m, n ) mn, = = f (, ) δ ( m, n ) mn, = f für m n = f m n = (, ) =, = (, ) sonst Beispiel: Abtastung der Funktion f(,) f(,) f S (, ) f (, ) für = m, = n f s (, ) = f ( m, n ) = sonst Eine sstematische Untersuchung der Eigenschaften von (, ) zeigt u.a.: f S 44 B-CG V Das Digitale Bild 22

23 Abtasttheorem nach Shannon (): Abtastung Ein b bandbegrenztes Bild f(,), das orthogonal mit u, bv Abtastintervallen, ideal abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen u s, v s größer als die Nquist-Frequenzen 2b u und 2b v sind. mit = u > 2b, = v > 2b s u s v F ( ξ, η) =, ξ > b, η > b u v Detlef Krömker Abtasttheorem (2): Rekonstruktion Ein diskretes Bild f (, ) d lässt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion H ( u, v ) = rec t ( u, v ) m it TP b < ξ < u b und b < η < v b u u v v h (, ) = sinc( ξ ) sinc( η ) TP ξη Detlef Krömker rekonstruieren, so dass dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann sin( m) π f (, ) = f ( m, n ) m= n= ( m) π sin( n) π ( n) π 23

24 Eine wunderschöne Theorie! Aber Erfüllung des Abtasttheorems: ein bandbegrenztes Bildsignal ist Voraussetzung! in der Prais oft nicht gegeben! einen idealen Abtaster (Nadelimpuls) gibt es nicht! Rekonstruktion auch nicht ideal möglich (sinc-funktion negatives Licht!) unvermeidbare Fehler können nur minimiert werden (dann bestenfalls unsichtbar): Diese sind Aliasing. Art: Abtastfehler: Moiree, Scintillation,... Aliasing 2. Art: Rekonstruktionsfehler: Treppenstufen, B-CG V Das Digitale Bild Aliasing. Art: Veranschaulichung im D Ortsraum,25,75,5,25 -, ,5 -,75 - -,25 Detlef Krömker Frequenzraum b u Bandgrenze Nquistfrequenz u s Abtastfrequenz 24

25 Aliasing. Art: Unterabtastung,5 Ortsraum, ,5 - Detlef Krömker Frequenzraum -,5 b u Bandgrenze u s Abtastfrequenz Nquistfrequenz Aliasing. Art: Veranschaulichung im D Ortsraum,25,75,5,25 -,25 -,5 -,75 - -,25 Detlef Krömker ALIAS Doppelgänger 25

26 Moiree niederfrequente Muster, dort wo man ein einheitliches Grau erwarten würde! 5 B-CG V Das Digitale Bild Veranschaulichung Szintilation bei Bewegung zu kleiner Objekte führt dieses zum Aufblitzen 52 B-CG V Das Digitale Bild 26

27 Aliasing. Art - Maßnahmen Bandbegrenzung des abzutastenden Bildes durch z.b. Detlef Krömker bei der Aufnahme durch optische Unschärfe einfach, adhoc einsetzbar wenig effektiv, weil Filterflanken nicht steil genug erfordert Abtastraten deutlich über Nquistfrequenz deutlich sichtbare Unschärfe endliche Abtastapertur hat Tiefpaßwirkung beim Rendering sehen wir später! Reale Bildrekonstruktion - Anzeige Ideale Rekonstruktion mit sinc-funktion ist praktisch nicht realisierbar praktische Lösungen: Rechteckausgaben (zero-order hold) Artifakte: Treppenstufen Ameisenkrabbeln (ant crawling) nur im Bewegtbild in der Prais auf CRT teilweise gemildert durch: horizontal: Tiefpaßwirkung des Videoverstärkers vertikal: Gaußfunktion des Elektronenstrahls hochfrequentes Rauschen durch Lochrastermaske auf LCDs deutlich sichtbar! 27

28 Das Rekonstruktionsdilemma Wenn man nicht mit einer snc-funktion rekonstruiert, dann sind Auflösungsfehler Unschärfe und Interpolationsfehler Treppenstufen unvermeidlich. Im Frequenzraum: Vergleich der idealen Rekonstruktion mit einer Rechteck- Rekonstruktion,25 Ideal Snc-Funktion im Ortsbereich Rechteck im Frequenzbereich,75,5 5 Auflösungsfehler Rechteck im Ortsbereich Snc im Frequenzbereich -,25 Interpolationsfehler Rekonstruktion auf LCD-Displas = Rechteck! Auflösungsverlust: minimal!!! Interpolationsfehler: maimal!!! Treppenstufen Ameisenkrabbeln Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe kein idealer TP!) Glücklicherweise ist das Visuelle Sstem auch ein wirksamer Tiefpaß 56 B-CG V Das Digitale Bild 28

29 Rekonstruktion auf CRT-Displas Vergleichsweise gute Annäherung an Sinc-Funktion im Zentralimpuls = Rechteck in der Fouriertransformierten Auflösungsverlust fast so gering wie bei LCD-Displa Interpolationsfehler geringer friedlich Notwendig: korrekte Strahlfokussierung 57 B-CG V Das Digitale Bild Fragen und (hoffentlich) Antworten 58 B-CG V Das Digitale Bild 29

30 Ausblick... am nächsten Donnerstag Wir wenden uns unserem Hauptthema, der Graphikebene, zu und untersuchen zunächst, wie die Geometrie der Objekte repräsentiert werden kann.... und, danke für Ihre Aufmerksamkeit! 59 B-CG V Das Digitale Bild 3