*UDSKLVFKH 'DWHQYHUDUEHLWXQJ Grundlagen des digitalen Bildes Prof. Dr.-Ing. Detlef Krömker *RHWKH8QLYHUVLWlWÃ)UDQNIXUW *UDSKLVFKHÃ'DWHQYHUDUEHLWXQJ hehuvlfkw. Die Plenoptische Funktion. Bildrepräsentationen: Charakterisierung und Beispiele. Austauschformate, Kompression, Kodierung. Programmierschnittstellen
hehuvlfkw)ruwvhw]xqj 5. Zusammenfassung 6. Glossar 7. Weitere Informationen 8. Ausblick Nächste Schritte 'LHOHQRSWLVFKH )XQNWLRQ ³'HUHQVFKLVWHLQ$XJHQWLHU Die plenoptische Funktion beschreibt die für einen (menschlichen) Beobachter visuell erfaßbaren Informationen an jedem Ort und zu jeder Zeit. Idealisierung des potentiell Sichtbaren.
'LHSOHQRSWLVFKH )XQNWLRQ >$GHOVRQ%HUJHQ@ P = f (θ, φ, I(O), t, P b ) θ, φ Raumwinkel I (O) Lichtintensität t Zeit P b Position und Blickrichtung des Beobachters 5 'LHSOHQRSWLVFKH )XQNWLRQ *UXQGJU HQGHUYLVXHOOHQ:DKUQHKPQXQJ Der Mensch wertet die Parameter dieser Funktion simultan aus: θ, φ durch die flächige Anordnung von Rezeptoren in der Retina I(O) Abtastungen durch unterschiedliche Rezeptoren :DKUQHKPXQJVSULPLWLYH FORMSEHEN TEXTURSEHEN FARBSEHEN t Zeit BEWEGTBILDSEHEN P b Abtastung zusätzlich sukzessiv durch Augen- Kopf- und Körperbewegung STEREOSEHEN TIEFEN- und RAUMSEHEN 6
6SH]LDOLVLHUXQJHQ GHUSOHQRSWLVFKHQ )XQNWLRQ P b : eine Abtastung Î Monokulares Bild freie Bewegung Î Virtual Reality geführte Bewegung Î Film / Video t: wenige Abtastungen Î Bewegtbild eine Abtastung Î Festbild I(O): Abtastungen Î Farbbild Abtastung Î Grauwertbild extrem quantisiert Î schwarz/weiß Bild Erkenntnis: Reize lassen sich stark reduzieren (diskretisieren und quantisieren) 7,GHQWLILNDWLRQYRQ*UXQGSUREOHPHQ Das visuelle System tastet die Plenoptische Funktion in allen Parametern ab Abtastung: -Zeit -Ort - Spektrum Fragen: Was sind die Abtastraten? Welche Quantisierungen erfolgen? 8
9LVLRQHQ Technologie soweit entwickeln, daß künstliche Reize (Szenen) von realen Reizen (Szenen) nicht unterscheidbar sind: KRWRUHDOLVPXV Ivan Sutherlands Vision (96) Ä7KHVFUHHQLV DZLQGRZWKURXJKZKLFKRQHVHHV DYLUWXDOZRUOG7KH FKDOOHQJHLV WRPDNHWKDWZRUOG ORRNUHDODFW UHDOVRXQG UHDOIHHO UHDO,PPHUVLRQ 9 =LHOH Optimale Gestaltung der Schnittstelle HQVFK± &RPSXWHU Maximale Kommunikationsqualität Grad des Erreichens des kommunikativen Ziels Verhältnis von wahrgenommener Information zu präsentierter Information 5
)ROJHUXQJHQ Grundverständnis zur visuellen Wahrnehmung erwerben Î Kapitel. Reiz... Wahrnehmung Leistungsfähigkeit des visuellen Systems Effekte Täuschungen statische Modelle %LOGUHSUlVHQWDWLRQHQ &KDUDNWHULVLHUXQJXQG%HLVSLHOH dynamische Modelle Symbolisch Graphik Digitales Bild Animation Digitalvideo Geometrie & Merkmal Diskret, Quantisiert Video Elektrisch (optisch) Reiz Optisch (unmittelbar wahrnehmbar) 6
HWKRGHQGHU*'9 Statische Modelle 9LVXDOLVLHUXQJ Graphik 5HQGHULQJ Digitales Bild 5HNRQVWUXNLRQ $Q]HLJH Video Reiz Dynamische Modelle Bildverstehen Animation Merkmalsextraktion Digital-Video $EWDVWXQJ $XIQDKPH HWKRGHQGHU*'9 Statische Modelle Graphikbearbeitung Graphik Bildbearbeitung Digitales Bild Videobearbeitung Video Dynamische Modelle Animation Digital-Video Reiz 7
6FKZHUSXQNWHLQGLHVHU 9HUDQVWDOWXQJ Statische Modelle 9LVXDOLVLHUXQJ *UDSKLNEHDUEHLWXQJ Graphik 5HQGHULQJ Digitales Bild Dynamische Modelle Animation Digital-Video 5HNRQVWUXNLRQ $Q]HLJH Video Reiz $EWDVWXQJ $XIQDKPH 5 %LOGPRGHOOH +HUOHLWXQJDXVGHUSOHQRSWLVFKHQ )XQNWLRQ = I ψ, φ,,( λ), ) ( % Spezialisierung * = I (,) [ \ Graubild ) = I ( [, \ ) Farbbild partielle Funktionen: ([, \) ; < 5 5 6 8
'LJLWDOH%LOG kontinuierliches Bild (Bildfunktionen) diskretisieren (abtasten) quantisieren ',*,7$/(6 %,/' Sonderfall: analoges Videosignal Nur vertikal abgetastet; horizontal nur gewandelt 7 %HLVSLHONRQWLQXLHUOLFKH%LOGIXQNWLRQ 5 5-5 5-5 -5 5- -5 5- -5 5 5- -5 5 5 6 7 8 9 8 9
%HLVSLHOGLVNUHWHV%LOG 5 5 5 5 5 5 6 7 5 5 8 8 5 6 9 6 5 5 5 8 8 5 5 6 9 5 8 9 9 %HLVSLHOTXDQWLVLHUWHV GLVNUHWHV%LOG 5 6 7 8 9
RFKHLQ%HLVSLHO$QDORJYLGHR 5 5 5 5 5 5 6 7 8 9 Detlef Krömker horizontal: vertikal: kontinuierlich - analog diskret - Zeilen :HLWHUH%LOGPRGHOOLHUXQJHQ funktionales Bildmodell -- lineare Systeme kontinuierlich -- diskret -- quantisiert Ortsbereich -- Frequenzbereich z.b. Fouriertransformation Cosinustransformatio alternative Beschreibungsformen sind: fraktale Bildmodelle -- nichtlineare Systeme statistische Bildmodelle Erweiterung: Volumenbilder 9 = I ([, \, ]) Volumenrendering * I [ \ = (,)
UREOHPHXQG)UDJHQ Lineare Systemtheorie Abtastung! Rekonstruktion Das Abtasttheorem: Die Theorie Ideale Abtastung und Rekonstruktion Reale Abtastung und Rekonstruktion Charakterisierung und Bewertung der unvermeidbaren Fehler... Î Themen in -E *HRPHWULHXQGHUNPDOVHEHQH Beschreibt ein Bild (D) oder eine Szene (D) durch Ensemble von geometrischen Objekten (Punkte, Linien, Flächen, Körper) Erscheinungsattribute (Farbe, Struktur, Textur, Parametern von Beleuchtungsmodellen,... ) Betrachtungsbedingungen
*HRPHWULHXQGHUNPDOVHEHQH Wichtige Unterscheidung Definitionsbereich: D oder D y ': ggf Ausschnitt aus Definitionsbereich darstellen: Window-Viewport Transformation ': Szene wird durch virtuelle Kamera (Viewing Transformationen, perspektivische Transformation) auf D abgebildet y z x x 6SHLFKHU XQG$XVWDXVFKIRUPDWH.RPSUHVVLRQXQG.RGLHUXQJ Speichern Austauschen Prinzipiell auf jeder Ebene möglich: Daten / Informationen Graphik/Animation (Digitale) Bilder/Video Analog-Video Papierausdruck Format (Syntax und Semantik einer Sprache) Kodierung (Abbildung auf Basisalphabet, Serialisierung) ggf. Kompression (verlustbehaftet oder verlustfrei) 6
%HLVSLHOHI U$XVWDXVFKIRUPDWH $QDORJYLGHR Basis des Standardfernsehen (Zeilenzahl/Halbbild-Frequenz) 65/5 Europa 55/6 USA, Japan Zwischenzeilenverfahren /Interlaced zusätzlich ggf. Angabe der Farbcodierung Videosignale Komponenten (RGB, YIQ, YUV, YC R C B,..YC) Composite (NTSC, SECAM, PAL) RS 7, RS 7A,... Speziell: Videobandformate: VHS, S-VHS Betacam, Betacam SP,... 'HWDLOVLQXOWLPHGLDXQG$QLPDWLRQ &RPSXWHUYLGHRNHLQJHQHUHOOHU6WDQGDUGJHEUlXFKOLFK 7 %HLVSLHOHI U$XVWDXVFKIRUPDWH 'LJLWDOH%LOGHU5DVWHUILOHV BMP Windows Bitmap Format Microsoft Fax Group oder Fax Group CCITT (ITU) GIF Graphics Interchange Format JFIF JPEG File Interchange Format ISO/IEC PBM Portable Bitmap PNG Portable Network Graphics TGA Targa File Format TIFF Tag Image File format u.v.a.m., insbesondere proprietäre Produktformate 8
%HLVSLHOHI U$XVWDXVFKIRUPDWH 'LJLWDOYLGHR CCIR 6 Basis des Digitalfernsehen (CCIR) ITU H.6 Videokonferenzstandard (CCITT) ITU M-JPEG Motion JPEG ISO/IEC/CCITT MPEG Motion Picture Expert Group ISO/IEC/CCITT QT Quicktime Apple AVI 6RQGHUIRUP 795 XLFNWLPH 95 'HWDLOVLQXOWLPHGLDXQG$QLPDWLRQ 9 %HLVSLHOHI U$XVWDXVFKIRUPDWH *HRPHWULHXQGHUNPDOVHEHQH' Vector Files Zeichnungen, CAD HPGL HP Graphics Language (Plottersprache) Hewlett-Packart DXF Drawing exchange Format Autodesk (original D später auf D erweitert) Metafiles (Raster & Vektorgraphik) CGM Computer Graphic Metafile ISO/IEC Page Description Language (Seitenbeschreibungssprachen) PS (EPS) (Encapsulated) PostScript PDF Portable Document Format Adobe 5
%HLVSLHOHI U$XVWDXVFKIRUPDWH *HRPHWULHXQGHUNPDOVHEHQH' CAD Formate IGES Initial Graphics Exchange Specification STEP Szenen- und Objektbeschreibungssprachen VRML Virtual Reality Modeling Language ISO/IEC RIB Renderman Interface Bytestream FLT MultiGen Flight OBJ Wavefront Object Alias (Wavefront) MAX D Studio Max Kinetix URJUDPPLHUVFKQLWWVWHOOHQ Beispiel: Geometrie und Merkmalsebene JAVA D (Open)GL Szenengraph API: Application Programmers Interface Funktionale Spezifikation und Spracheinbindung 6
=XVDPPHQIDVVXQJ Plenoptische Funktion Verschiedene Bildrepräsentationen statische dynamische symbolische Ebene Modelle Modelle Graphik Animation Geometrie + Merkmale diskret + quantisiert Digitales Bild Video Reiz Digitalvideo Bildaustauschformate Programmierschnittstellen *ORVVDU Plenoptische Funktion Bildrepräsentationen symbolische, Geometrie und Merksmals-, diskret und quantisiert Digitales Bild Photorealismus Immersion Bildverstehen Merkmalsextraktion 7
*ORVVDU Bildbearbeitung Abtastung Aufnahme Anzeige (Display) Videosignal Rasterfile (-formate) Beispiele Szenen- und Objektbeschreibungsformate (- sprachen) 5 :HLWHUH,QIRUPDWLRQHQ Übersicht zu Graphics File Formats ftp://rtm.mit.edu/pub/usenet/news.answers/ graphics/fileformats-faq/ Mehr als verschiedene Formate werden vorgestellt. Links zu Format-Spezifikationen. Viele praktische Hinweise zur Formatwandlung und Problemlösungen. Leider seit 997 nicht mehr aktualisiert. 6 8
$XVEOLFN² lfkvwh6fkulwwh Bilder werden für Menschen erzeugt. Wir müssen (besser) verstehen, wie Menschen Bilder wahrnehmen. Bildwahrnehmung 7 *ORVVDU Plenoptische Funktion Bildrepräsentationen Digitales Bild Rasterformat-Dateien Vektorformat-Dateien Metafiles CAD Files Szenenbeschreibung Programmierschnittstellen Plenoptic Function Image Representation digital image raster files vector files metafiles CAD files scene description application programmers interface API 8 9