Prof. Dr.-Ing. Detlef Krömker

Transkript

1 *UDSKLVFKH 'DWHQYHUDUEHLWXQJ *UXQGODJHQGHVGLJLWDOHQ%LOGHV XQGGHU%LOGHU]HXJXQJ Prof. Dr.-Ing. Detlef Krömker *RHWKH8QLYHUVLWlWÃ)UDQNIXUW *UDSKLVFKHÃ'DWHQYHUDUEHLWXQJ hehuvlfkw. Die Plenoptische Funktion. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion Der Diracsche Deltaimpuls 6. Abtastung! Rekonstruktion Das Abtasttheorem: Die Theorie Aliasing Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Charakterisierung und Bewertung der unvermeidbaren Fehler

2 hehuvlfkw)ruwvhw]xqj 7. Zusammenfassung 8. Glossar 9. Weitere Informationen. Ausblick Nächste Schritte 3 'LH3OHQRSWLVFKH )XQNWLRQ ³'HUHQVFKLVWHLQ$XJHQWLHU Die plenoptische Funktion beschreibt die für einen (menschlichen) Beobachter visuell erfassbaren Informationen an jedem Ort und zu jeder Zeit. Idealisierung des potentiell Sichtbaren. 4

3 'LHSOHQRSWLVFKH )XQNWLRQ P = f (θ, φ, I(O), t, P b ) θ, φ Raumwinkel I (O) t P b Lichtintensität als Funktion der Wellenlänge Zeit Position und Blickrichtung des Beobachters 6 Freiheitsgrade! 5 'LHSOHQRSWLVFKH )XQNWLRQ *UXQGJU HQGHUYLVXHOOHQ:DKUQHKPQXQJ Der Mensch wertet die Parameter dieser Funktion simultan aus: θ, φ durch die flächige Anordnung von Rezeptoren in der Retina I(O) 3 Abtastungen durch unterschiedliche Rezeptoren :DKUQHKPXQJVSULPLWLYH FORMSEHEN TEXTURSEHEN FARBSEHEN t Zeit BEWEGTBILDSEHEN P b Abtastung zusätzlich sukzessiv durch Augen-, Kopf- und Körperbewegung STEREOSEHEN TIEFEN- und RAUMSEHEN 6 3

4 6SH]LDOLVLHUXQJHQGHUSOHQRSWLVFKHQ )XQNWLRQ Î WHFKQLVFKUHDOLVLHUEDUH%LOGHU P b : eine Abtastung Î (Monokulares) Bild zwei Abtastungen Î Stereo Bild freie Bewegung Î Virtual Reality geführte Bewegung Î Film / Video t: wenige Abtastungen Î Bewegtbild eine Abtastung Î Festbild I(O):3 Abtastungen Î Farbbild Abtastung Î Grauwertbild extrem quantisiert Î schwarz/weiß Bild Erkenntnis: Reize lassen sich stark reduzieren (diskretisieren und quantisieren) 7,GHQWLILNDWLRQYRQ*UXQGSUREOHPHQ Das visuelle System tastet die Plenoptische Funktion in allen Parametern ab, diskretisiert sie: Abtastung: -Zeit -Ort - Spektrum )UDJHQ Was sind die Abtastraten? Sind sie regulär, äquidistant? Welche Quantisierungen erfolgen? 8 4

5 9LVLRQHQ Technologie soweit entwickeln, daß künstliche Reize (Szenen) von realen Reizen (Szenen) nicht unterscheidbar sind: 3KRWRUHDOLVPXV Ivan Sutherlands Vision (963) Ä7KH VFUHHQ LV DZLQGRZ WKURXJK ZKLFK RQH VHHV DYLUWXDO ZRUOG7KH FKDOOHQJH LV WRPDNH WKDW ZRUOG ORRNUHDODFW UHDOVRXQG UHDOIHHO UHDO,PPHUVLRQ Î 9LUWXDO 5HDOLW\ 9 =LHOH Optimale Gestaltung der Schnittstelle HQVFK± &RPSXWHU Maximale Kommunikationsqualität Grad des Erreichens des kommunikativen Ziels Verhältnis von wahrgenommener Information zu präsentierter Information 5

6 )ROJHUXQJHQ Grundverständnis zur visuellen Wahrnehmung erwerben Î Kapitel. Unterschied Reiz (physikalisch, extern)... Wahrnehmung (nervös, intern) Leistungsfähigkeit des visuellen Systems Effekte Täuschungen hehuvlfkw. Die Plenoptische Funktion. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion Der Diracsche Deltaimpuls 6. Abtastung! Rekonstruktion 6

7 statische Modelle %LOGUHSUlVHQWDWLRQHQ &KDUDNWHULVLHUXQJXQG%HLVSLHOH dynamische Modelle Symbolisch Graphik Digitales Bild Animation Digitalvideo Geometrie & Merkmal Diskret, Quantisiert Analog Video Elektrisch (optisch) Reiz Optisch (unmittelbar wahrnehmbar) 3 HWKRGHQGHU*'9 Statische Modelle 9LVXDOLVLHUXQJ Graphik 5HQGHULQJ Digitales Bild 5HNRQVWUXNLRQ ' $Q]HLJH Video Reiz Dynamische Modelle Bildverstehen Animation Merkmalsextraktion Digital-Video $EWDVWXQJ $XIQDKPH 4 7

8 HWKRGHQGHU*'9 Statische Modelle Dynamische Modelle Graphikbearbeitung Graphik Animation Bildbearbeitung Digitales Bild Digital-Video Videobearbeitung (Schnitt) AnalogVideo Reiz 5 6FKZHUSXQNWHLQGLHVHU 9HUDQVWDOWXQJ Statische Modelle 9LVXDOLVLHUXQJ *UDSKLNEHDUEHLWXQJ Graphik Dynamische Modelle Animation 5HQGHULQJ Digitales Bild 5HNRQVWUXNLRQ $Q]HLJH Analog-Video Reiz Digital-Video 'LJLWDOLVLHUHQ (QWIlOOWLPPHUKlXILJHU $XIQDKPH 6 8

9 Herleitung aus der plenoptischen Funktion zunächst Festbilder (statische Bilder) P = f (θ, φ, I(O), t, P b ) %LOGPRGHOOH Spezialisierung * = I (,) [ \ Graubild ) = I (,) [ \ Farbbild partielle Funktionen: ([,\) ; < R R 7 ([NXUV6HKZLQNHO h D s Sehwinkel α = arctan h/s R 6HKZLQNHO = ˆ,3 mm auf der Retina ' 6HKZLQNHO = ˆ 5µ m auf der Retina = ˆ Zapfenstärke R 6HKZLQNHO = ˆ,5 mm in 6 cm Abstand 8 9

10 'LJLWDOHV%LOG kontinuierliches Bild (Bildfunktionen) diskretisieren (abtasten) (Ortskoordinaten) quantisieren (Signalamplitude) ',*,7$/(6 %,/' Sonderfall: analoges Videosignal Nur vertikal abgetastet; horizontal nur gewandelt 9 %HLVSLHONRQWLQXLHUOLFKH'%LOGIXQNWLRQ

11 %HLVSLHOGLVNUHWHV%LOG %HLVSLHOTXDQWLVLHUWHV GLVNUHWHV%LOG 'LJLWDOHV%LOG5DVWHUELOG

12 RFKHLQ%HLVSLHO$QDORJYLGHR Detlef Krömker horizontal: vertikal: kontinuierlich - analog diskret - Zeilen 3 %LOGVLJQDOH Ein einkanaliges %LOG B (z.b. Grauwertbild) wird als reelle Funktion mit -dimensionalen Definitionsbereich % = I ([,\ ) PLW [,\,% R/ modelliert. x,y i.d.r kartesische Ortskoordinaten manchmal auch Winkel, dann (x,y) Î (θ,φ) (θtheta φ Phi) I[\nennt man (kontinuierliche) Bildfunktion. 4

13 %LOGVLJQDOH Oft haben wir es mit HQGOLFKHQ%LOGHUQ zu tun, d.h. es gilt zusätzlich: I ([,\) nur für / [ / \ [ / [ \ / \ Auch der Wertebereich ist oft beschränkt: % = I ([,\ ) % max Für Grauwertbilder gilt dann i.d.r. folgende Entsprechung: : schwarz B max : weiß 5 %LOGVLJQDOH XOWLVSHNWUDOH%LOGHU werden als Vektor repräsentiert, mit ) ( [,\ ) ) ( [,\ ) =... ) Q( [,\) )DUEELOGHUals dreidimensionaler Vektor, z.b. mit 5( [,\) & = * ([,\) % ([,\) 6 3

14 :HLWHUH%LOGPRGHOOLHUXQJHQ funktionales Bildmodell -- lineare Systeme kontinuierlich -- diskret -- quantisiert UWVEHUHLFK )UHTXHQ]EHUHLFK]% )RXULHUWUDQVIRUPDWLRQ &RVLQXVWUDQVIRUPDWLRQ alternative Beschreibungsformen sind: fraktale Bildmodelle -- nichtlineare Systeme statistische Bildmodelle Erweiterung: Volumenbilder 9 = I ([, \, ]) Volumenrendering * I [ \ = (,) 7 3UREOHPHXQG)UDJHQ :LHKlQJHQNRQWLQXLHUOLFKH%LOGHUXQG 'LJLWDOH%LOGHU]XVDPPHQ" Abtastung (Diskretisierung)! Rekonstruktion Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Charakterisierung und Bewertung der unvermeidbaren Fehler... später, noch in dieser Vorlesung Quantisierung 8 4

15 *HRPHWULHXQGHUNPDOVHEHQH Beschreibt ein Bild (D) oder eine Szene (3D) durch Ensemble von geometrischen Objekten (Punkte, Linien, Flächen, Körper) Erscheinungsattribute (Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen,... ) Betrachtungsbedingungen 9 *HRPHWULHXQGHUNPDOVHEHQH Wichtige Unterscheidung Definitionsbereich: D oder 3D y ': ggf Ausschnitt aus Definitionsbereich darstellen: streng: Window (Teilmenge des Definitionsbereichs) Viewport (Teil des Bildschirms) Window-Viewport Transformation ': Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf D abgebildet y z -z x x 5

16 hehuvlfkw. Die Plenoptische Funktion. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion Der Diracsche Deltaimpuls 6. Abtastung! Rekonstruktion 3 6SHLFKHU XQG$XVWDXVFKIRUPDWH.RPSUHVVLRQXQG.RGLHUXQJ Prinzipiell auf jeder Ebene möglich: Daten / Informationen Graphik/Animation (Digitale) Bilder/Video Analog-Video Papierausdruck Speichern Austauschen Format: Syntax und Semantik einer Sprache Kodierung Abbildung auf ein Alphabet, Serialisierung Kompression Reduzierung der Datenmenge (verlustbehaftet oder verlustfrei) Austauschen: oder Übertragen eines Speicherinhaltes Streaming 3 6

17 %HLVSLHOHI U$XVWDXVFKIRUPDWH $QDORJYLGHR Basis des Standardfernsehen (Zeilenzahl/Halbbild-Frequenz) 65/5 Europa 55/6 USA, Japan Zwischenzeilenverfahren /Interlaced zusätzlich ggf. Angabe der Farbcodierung Videosignale Komponenten (RGB, YIQ, YUV, YC R C B,..YC) Composite (FBAS) (NTSC, SECAM, PAL) RS 7, RS 7A,... Speziell: Videobandformate für Recorder VHS, S-VHS Betacam, Betacam SP,... 'HWDLOVÃLQÃXOWLPHGLDÃXQGÃ$QLPDWLRQ &RPSXWHUYLGHRNHLQJHQHUHOOHU6WDQGDUGJHEUlXFKOLFK 'HWDLOVÃVLHKHÃÃ*UDSKLVFKHÃ6\VWHPHÃ 33 %HLVSLHOHI U$XVWDXVFKIRUPDWH 'LJLWDOH%LOGHU5DVWHUILOHV BMP Windows Bitmap Format Microsoft Fax Group 3 oder Fax Group 4 CCITT (ITU) *,) *UDSKLFV,QWHUFKDQJH )RUPDW JFIF JPEG File Interchange Format ISO/IEC PBM Portable Bitmap 3* 3RUWDEOHHWZRUN *UDSKLFV TGA Targa File Format TIFF Tag Image File format u.v.a.m., insbesondere proprietäre Produktformate 34 7

18 %HLVSLHOHI U$XVWDXVFKIRUPDWH 'LJLWDOYLGHR CCIR 6 Basis des Digitalfernsehen (CCIR) ITU H.6 Videokonferenzstandard (CCITT) ITU M-JPEG Motion JPEG ISO/IEC/ITU 3(* RWLRQ3LFWXUH([SHUW *URXS ISO/IEC/ITU QT Quicktime Apple AVI Microsoft 6RQGHUIRUP XLFNWLPH 95 'HWDLOVLQXOWLPHGLDXQG$QLPDWLRQ 35 %HLVSLHOHI U$XVWDXVFKIRUPDWH *HRPHWULHXQGHUNPDOVHEHQH' Vector Files Zeichnungen, CAD HPGL HP Graphics Language (Plottersprache) Hewlett-Packard DXF Drawing exchange Format Autodesk (original D später auf 3D erweitert) Metafiles (Raster & Vektorgraphik) CGM Computer Graphic Metafile ISO/IEC Page Description Language (Seitenbeschreibungssprachen) PS (EPS) (Encapsulated) PostScript PDF Portable Document Format Adobe 36 8

19 %HLVSLHOHI U$XVWDXVFKIRUPDWH *HRPHWULHXQGHUNPDOVHEHQH' CAD Formate IGES Initial Graphics Exchange Specification STEP Standard for the Exchange of Product Data Szenen- und Objektbeschreibungssprachen VRML 9LUWXDO 5HDOLW\ RGHOLQJ /DQJXDJH ISO/IEC RIB Renderman Interface Bytestream Î Animation FLT MultiGen Flight OBJ Wavefront Object Alias (Wavefront) MAX 3D Studio Max Kinetix 37 hehuvlfkw. Die Plenoptische Funktion. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion Der Diracsche Deltaimpuls 6. Abtastung! Rekonstruktion 38 9

20 3URJUDPPLHUVFKQLWWVWHOOHQ Beispiel: Geometrie und Merkmalsebene JAVA 3D Performer (SGI) Open SG (Open) GL Direct X Direct 3D Szenengraph $3,$SSOLFDWLRQ 3URJUDPPHUV,QWHUIDFH Funktionale Spezifikation und Spracheinbindung 39 =ZLVFKHQ =XVDPPHQIDVVXQJ Plenoptische Funktion Verschiedene Bildrepräsentationen statische Modelle Graphik Digitales Bild Video Reiz dynamische Modelle Animation Digitalvideo Bildaustauschformate Programmierschnittstellen symbolische Ebene Geometrie + Merkmale diskret + quantisiert 4

21 -HW]WZLUGHVWKHRUHWLVFK. Die Plenoptische Funktion. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion: Der Diracsche Deltaimpuls 6. Abtastung! Rekonstruktion 4 (LQHVSH]LHOOH)XQNWLRQ 'HU'LUDFVFKH 'HOWDLPSXOV 'LUDFIXQNWLRQ'HOWDIXQNWLRQDGHOLPSXOV QDFK3DXO'LUDF wird über ihre Haupteigenschaften definiert: δ ([) : = für [ + δ ([) G[ = δ ([,\) : = für [,\ + + δ ([,\ ) G[G\ δ ([,\) = δ ([) δ (\) = 6WUHQJ Es gibt keine klassische Funktion δ mit diesen Eigenschaften. δ ist streng genommen eine Distribution (verallgemeinerte Funktion). 4

22 'HU'LUDFVFKH 'HOWDLPSXOV Die Deltafunktion läßt sich als Grenzwert einer Familie von Funktionen definieren, z.b: δ ([,\) lim UHFW 4D E D, E D, E ([,\) PLW I U [ D XQG \ E UHFWD, E( [,\ ) = sonst anschaulich: eine Rechteckfunktion mit unendlich kleiner Impulsbreite und unendlicher Impulshöhe im Ursprung Î Nadelimpuls 43 'LH$XVEOHQGHLJHQVFKDIW 6LHEHLJHQVFKDIWVLIWLQJ SURSHUW\ GHU'HOWDOIXQNWLRQ + I ([) δ ([ [ ) G[ = I ([ ) Dieses Integral blendet an der Stelle x den Funktionswert f(x ) aus: I ([) x x 44

23 'LUDFIROJH XQG'LUDFIHOG 7([) Diracfolge x x + = 6 ([) = δ ([ P [ ) P 6 ([, \) y y Diracfeld ([,\ ) = δ ([ P [,\ Q \ ) P= Q= x x 45 hehuvlfkw. Die Plenoptische Funktion. Bildrepräsentationen: Charakterisierung und Beispiele 3. Austauschformate, Kompression, Kodierung 4. Programmierschnittstellen 5. Eine spezielle Funktion: Der Diracsche Deltaimpuls 6. Abtastung! Rekonstruktion 46 3

24 $EWDVWXQJ 5HNRQVWUXNWLRQ diskretes Bild Rekonstruktion Abtastung kontinuierliche Bildfunktion 47 =ZLVFKHQUXI)RXULHUWUDQVIRUPDWLRQ DOV,QWHJUDOWUDQVIRUPDWLRQ Operationen nach ihrer Schwierigkeit geordnet: Addition und Subtraktion Multiplikation und Division Differentiation und Integration Allgemeine mathematische Strategie: Durch Transformationen lassen sich ggf. Schwierigkeiten reduzieren: Logarithmieren: Multiplikation Î Addition,QWHJUDOWUDQVIRUPDWLRQHQ 'LIIHUHQWLDWLRQÎ XOWLSOLNDWLRQ 48 4

25 )RXULHUWUDQVIRUPDWLRQ ' M( X[ + X\ ) )XY (, ) = I ([\H, ) G[G\ MX[Y\ ( + ) I (,) [ \ = ) (,) X Y H GXGY π 4 Detlef Krömker Ortsraum Ortsfunktion f(x,y) i.d.r. reell Frequenzraum Frequenzspektrum F(u,v) i.d.r. komplexwertig (LJHQVFKDIWHQGHU ')RXUULHUWUDQVIRUPDWLRQ Es sei f(x, y) die Funktion der Intensität im Punkt (x, y). Dann sind ξ,ξ die zugehörigen Ortsfrequenzen von f(x, y). Detlef Krömker Zwischen den stetigen Funktion f(x, y) und besteht eine eineindeutige Beziehung. 5 )( ξ,ξ ) 5

26 [ exp 7UDQVIRUPDWLRQVWDEHOOH I ([, \) )( ξ, ξ) δ ([\, ) δ ([ ± [, \ ± \ ) exp( ± M [ ) exp( ± M \ ) ( ± M πη [ ) exp( ± M πη \ ) δξη ( ±, ξη ± ) exp π ([ + \ ) ( exp πξξ + ) [ ] rect [[\] tri ([\) comb ([\) π ξ π ξ [ ], sinc( ξ, ξ), sinc ( ξ, ξ), comb( ξ, ξ) 5 7UDQVIRUPDWLRQ VSH]LHOOHU)XQNWLRQHQ [. UHFW [ [ [ [ [ ξ sinc sinc( ξ ) x ξ ξ y 4ξ[ [. [ WUL [ [ [ [ ξ sinc ξ sinc ξ x ξ y 4ξ[. σ H πσ σ + π σ ξ ξ H [. [ sinc [ [ [ ξ rect rect( ξ ) x ξ ξ y ξ [ 5 6

27 5HFKHQUHJHOQ Eigenschaft Funktion I ([, \) Fourier Transformation )( ξ, ξ) Rotation I ( ± [, ± \) )( ± ξ, ± ξ) Linearität DI ( [,\) D I ( [,\) D ) ξ, ξ + D ) ξ, ξ * Konjunktion I ([, \) ) * ( ξ, ξ ) Unabhängigkeit I () [ I () \ ) ( ξ, ξ) ) ( ξ, ξ) Skalierung I( D[, E\ ) )( ξ / D, ξ / E) Verschiebung I ([ ± [, \ ± \ ) exp [ ± M ([ + \ ) ])(, ) Modulation exp [ ± M πη ( [ + η \ )] I ([, \) )( ξ ± η, ξ ± η) Faltung J ([, \) = K ([, \) I ([, \) *( ξ, ξ ) = + ( ξ, ξ )( ξ, ξ ) J Multiplikation ([, \) = K ([, \) I ([, \) ( ) ( ) ( ) * ξ, ξ = + ξ, ξ *) ξ, ξ DE π ξ ξ ξξ 53 Shannon (949)*: $EWDVWWKHRUHP ³,I DIXQFWLRQ IWFRQWDLQV QRIUHTXHQFLHV KLJKHU WKDQ :FSVLW LV FRPSOHWHO\ GHWHUPLQHG E\ JLYLQJ LVWRUGLQDWHV DWDVHULHV RI SRLQWV VSDFHG :VHFRQGV DSDUW 7KH IXQFWLRQ FDQ EH VLPSO\ UHFRQVWUXFWHG IURP WKH VDPSOHV E\ XVLQJ DSXOVHRIWKH W\SH sin π :W π :W Vorarbeiten durch +\TXLVW (94) und J.M. Whittaker (935). 54 7

28 $EWDVWWKHRUHP$EWDVWXQJ E, E Ein bandbegrenztes Bild f(x,y), das X Y orthogonal mit Abtastintervallen [, \ abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen X, sind. V Y V [ = X > E, = Y > E \ V X V Y Detlef Krömker mit )( ξ, η) =, ξ > E, η > E X Y $EWDVWWKHRUHP5HNRQVWUXNWLRQ Ein diskretes Bild I ([,\) G läßt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion Detlef Krömker + ( X, Y ) = [ \ UHF W X Y P LW 73 ξη (, ) E < ξ < X E XQG E < η < Y E K ( [, \ ) = [ \ sinc( [ ξ ) sinc( \ η ) X X Y Y 73 UHNRQVWUXLHUHQ, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann [ \ sin( P) sin( Q) π π I [ \ I P [ Q \ [ \ (, ) = (, ) [ \ P= Q= ( P) π ( Q) π [ \ 8

29 ,9, 8,7,6, 5,4,3,, R R R3 R4 R5 $EWDVWXQJ 5HNRQVWUXNWLRQ diskretes Bild Rekonstruktion Abtastung kontinuierliche Bildfunktion 57,GHDOH$EWDVWXQJ Jetzt sind wir in der Lage, die Abtastung formal zu fassen und zu beschreiben: Gegeben: kontinuierliche Bildfunktion I ([, \ ) Diracfeld V[\ (, ) = δ ([ P [\, Q \ ) P= Q=

30 $EWDVWHU I ([,\) I V ( [, \ ) s (x,y) Diracfeld 59,GHDOH$EWDVWXQJ Wir definieren als abgetastetes Bild: Detlef Krömker I = I ([,\) V ([,\) V = I ([,\) δ( [ P [,\ Q \ ) PQ, = = I ([,\) δ( [ P [,\ Q \ ) PQ, = I [ \ I U[ P [ \ Q \ = I P [ Q \ = (, ) =, = (, ) VRQVW 3

31 ,GHDOH$EWDVWXQJ 8PPHKU EHUGLH(LJHQVFKDIWHQGHVDEJHWDVWHWHQ6LJQDOV]X HUIDKUHQI KUHQZLUHLQH)RXULHUWUDQVIRUPDWLRQ DXV I I ( [, \ ) V ( [, \ ) V = Detlef Krömker ) (,) X Y = )(,) X Y 6( X, Y) 6 X Y = )X ( N XY, O Y) 4π NO, = ZREHL X = π / [ XQG Y = π / \ V ([,\) 9HUDQVFKDXOLFKXQJGHULGHDOHQ$EWDVWXQJ y y )XY (, ) v x x v bv bu u ) ( X, Y ) V Y = π \ Detlef Krömker X = π [ u 3

32 9HUDQVFKDXOLFKXQJGHULGHDOHQ$EWDVWXQJ y \ x [ 63 9HUDQVFKDXOLFKXQJGHULGHDOHQ5HNRQVWUXNWLRQ v X y E X \ x E Y Y u Detlef Krömker [ f(x,y) kann durch einen idealen Tiefpaß mit + ( XY, ) = [ \UHFW ( X, Y) PLW E X < ξ < X E X XQG E Y < η < Y E Y rekonstruiert werden. ξη 3

33 $EWDVWWKHRUHP E, E Ein bandbegrenztes Bild f(x,y), das X Y orthogonal mit Abtastintervallen [, \ abgetastet wird, kann fehlerfrei rekonstruiert werden, wenn die Abtastfrequenzen größer als die Nyquist-Frequenzen X, sind. V Y V [ = X > E, = Y > E \ V X V Y mit )( ξ, η) =, ξ > E, η > E X Y $EWDVWWKHRUHP Ein diskretes Bild I ( [, \ ) G lässt sich mit Hilfe eines (idealen) Tiefpasses mit der Übertragungsfunktion + ( X, Y ) = [ \ UH F W X Y P LW 73 ξη (, ) E < ξ < X E XQG E < η < Y E K ( [, \ ) = [ \ sinc( [ ξ ) sinc( \ η ) X X Y Y 73 rekonstruieren, so daß dieses mit dem ursprünglichen Signal identisch ist. Das rekonstruierte Bild ist dann [ sin( P) π I ([,\) = I( P [, Q \) [ [ P= Q= ( P) π [ \ sin( Q) π \ \ ( Q) π \ 33

34 VLQF)XQNWLRQ' sin [ I () [ = [ Detlef Krömker π π π π 3π 4π '6LQF 'LHLGHDOH5HNRQVWUXNWLRQVIXQNWLRQ sin [ sin \ I (,) [ \ = [ \ 9,45,9-,8-,9,7-,8,6-,7,5-,6,4-,5,3-,4,-,3,-, -, -,- -,--, -,3--, Detlef Krömker,83-4,7-3,4 -,57,,57 3,4 4,7 6,83 7,854,,57 3,4 4,7 6,83 7,854 34

35 '6LQF 'LHLGHDOH5HNRQVWUXNWLRQVIXQNWLRQ sin [ sin \ I (,) [ \ = [ \,9- Detlef Krömker,,57 3,4 4,7 6,83 7,854 9,45,566,996 9,45 7,854 6,83 4,7 3,4,57, -,57-3,4-4,7-6,83,9,8,7,6,5,4,3,, -, -, -,3,8-,9,7-,8,6-,7,5-,6,4-,5,3-,4,-,3,-, -, -,- -,--, -,3--, 5HDOH$EWDVWXQJXQG5HNRQVWUXNWLRQ Detlef Krömker Die Forderungen des Abtasttheorems sind in realen Systemen nicht zu erfüllen. Im einzelnen: Bandbegrenzung: Reale Bildvorlagen sind nicht bandbegrenzt Aliasing (.Art) ideale Abtastung (mit Diracimpuls): Reale Abtaster haben endliche Apertur Unschärfe ideale Rekonstruktion (mit sinc-funktion): Real nur Approximationen möglich Aliasing (.Art) Ursachen - Effekte -Maßnahmen 35

36 $OLDVLQJ $UW9HUDQVFKDXOLFKXQJLP' Ortsraum,5,75,5,5 -, ,5 -,75 - -,5 Detlef Krömker Frequenzraum b u Bandgrenze Nyquistfrequenz u s Abtastfrequenz,5 $OLDVLQJ $UW8QWHUDEWDVWXQJ Ortsraum, ,5 - Detlef Krömker Frequenzraum -,5 b u Bandgrenze u s Abtastfrequenz Nyquistfrequenz 36

37 $OLDVLQJ $UW9HUDQVFKDXOLFKXQJLP' Ortsraum Detlef Krömker ALIAS Doppelgänger y $OLDVLQJ $UWLP' \ x [ Detlef Krömker ALIASING 37

38 $OLDVLQJ $UW 8UVDFKHQXQG$UWHIDNWH Ursache: Unterabtastung, Überlappung der Spektren Durch nachträgliche Filterung nicht korrigierbar! Artefakte: Moirees Perlschnüre Aufblitzen (Szintilation) nur in Bewegtbildern Detlef Krömker RLUHH 76 38

39 RLUHH 5HVDPSOLQJ 77 RLUHH 5HVDPSOLQJ 78 39

40 9HUDQVFKDXOLFKXQJ 6]LQWLODWLRQ 79 $OLDVLQJ $UW D QDKPHQ Detlef Krömker Bandbegrenzung des abzutastenden Bildes durch z.b. bei der Aufnahme durch optische Unschärfe einfach, adhoc einsetzbar wenig effektiv, weil Filterflanken nicht steil genug erfordert Abtastraten deutlich über Nyquistfrequenz deutlich sichtbare Unschärfe endliche Abtastapertur hat Tiefpaßwirkung beim Rendering sehen wir später! 4

41 [ 5HDOH%LOGUHNRQVWUXNWLRQ $Q]HLJH Ideale Rekonstruktion mit sinc-funktion ist praktisch nicht realisierbar praktische Lösungen: Rechteckausgaben (zero-order hold) Artifakte: Treppenstufen Aliasing. Art Ameisenkrabbeln (ant crawling) nur im Bewegtbild in der Praxis auf CRT teilweise gemildert durch: horizontal: Tiefpaßwirkung des Videoverstärkers vertikal: Gaußfunktion des Elektronenstrahls hochfrequentes Rauschen durch Lochrastermaske auf LCDs deutlich sichtbar! hehuvlfkw5hnrqvwuxnwlrq Ortsfunktion [ Frequenzfunktion. UHFW [ [ [ [ [ ξ sinc sinc( ξ ) x ξ ξ y 4ξ [ [. [ WUL [ [ [ [ ξ sinc ξ sinc ξ x ξ y 4ξ [. σ H πσ σ + π σ ξ ξ H [. [ sinc [ [ [ ξ rect rect( ξ ) x ξ ξ y 8 ξ [ 4

42 'DV5HNRQVWUXNWLRQVGLOHPPD Sinc-Funktion als Rekonstruktionsfunktion ist praktisch nicht möglich (negatives Licht). Fehler sind also unvermeidbar! Rekonstruktionsfunktion $XIO VXQJVIHKOHU,QWHUSRODWLRQVIHKOHU Sinc % % Rechteck (bei LCD-Displays) 6,9% 5,7% Gauss (bei CRTs) σ W =T/ 54,6%,% variabel! σ W =3T/8 38,6%,3% Im Frequenzraum Ideal Sync-Funktion im Ortsbereich Rechteck im Frequenzbereich $XIO VXQJVIHKOHU Rechteck im Ortsbereich Sync im Frequenzbereich,QWHUSRODWLRQVIHKOHU 5HNRQVWUXNWLRQDXI/&''LVSOD\V Auflösungsverlust: minimal!!! Interpolationsfehler: maximal!!! Treppenstufen Ameisenkrabbeln Theoretisch ist Verbesserung möglich durch eine entsprechende optische Filterung (Mattscheibe kein idealer TP!) Glücklicherweise ist das Visuelle System auch ein wirksamer Tiefpaß 84 4

43 5HNRQVWUXNWLRQDXI&57'LVSOD\V Vergleichsweise gute Annäherung an Sinc- Funktion im Zentralimpuls = Rechteck in der Fouriertransformierten Î Auflösungsverlust fast so gering wie bei LCD- Display Î Interpolationsfehler geringer Î friedlich RWZHQGLJ korrekte Strahlfokussierung 85 =XVDPPHQIDVVXQJ Abtastung: theoretisch bandbegrenztes Bildsignal erforderlich in der Praxis nicht realisierbar Rekonstruktion auch nicht ideal möglich Î unvermeidbare Fehler nur Minimierung möglich: Aliasing. Art: Abtastfehler Î Moiree, Scintillation,... Aliasing. Art: Rekonstruktion Î Treppenstufen,

44 *ORVVDU Plenoptische Funktion Bildrepräsentationen Digitales Bild Rasterformat-Dateien Vektorformat-Dateien Metafiles CAD-Dateien Szenenbeschreibung Programmierschnittstellen Plenoptic Function Image Representation digital image raster files vector files metafiles CAD files scene description application programmers interface API 87 *ORVVDU Bildbearbeitung (auch Bildverarbeitung) Abtastung Aufnahme Anzeige (Display) Videosignal Rasterfile (-formate) Beispiele Szenen- und Objektbeschreibungsformate (-sprachen) image processing sampling recording display video signal raster formats scene files 88 44

45 *ORVVDU Abtasttheorem Bandbegrenztes Bildsignal Rekonstruktion Aliasing Interpolationsfehler Auflösungsfehler sampling theorem bandlimited Image signal reconstruction aliasing interpolation error resolution error 89 :HLWHUH,QIRUPDWLRQHQ Übersicht zu Graphics File Formats ftp://rtm.mit.edu/pub/usenet/news.answers/ graphics/fileformats-faq/ Mehr als verschiedene Formate werden vorgestellt. Links zu Format-Spezifikationen. Viele praktische Hinweise zur Formatwandlung und Problemlösungen. Leider seit 997 nicht mehr aktualisiert. 9 45

46 $XVEOLFN² lfkvwh6fkulwwh Bilder werden für Menschen erzeugt. Wir müssen (besser) verstehen, wie Menschen Bilder wahrnehmen. 9 46