Welche Teilgebiete der Informatik beschäftigen sich mit der computergestützten Verarbeitung und Speicherung von Bildinformationen?

Transkript

1 . Begriffe Welche Teilgebiete der Informatik beschäftigen sich mit der computergestützten Verarbeitung und Speicherung von Bildinformationen? Bildverarbeitung (image processing) - Analyse von Bildern mit Hilfe des Rechners - Beispiel: Erkennen von Mustern (patterns) in einem digitalen Bild (bitmap) - Anwendung: automatische Qualitätskontrolle, Sicherheitstechnik, Begriffe Bildinformationen verarbeitende Teilgebiete der Informatik: (cont.) Computer Vision - Verstehen von Bildern mit Hilfe des Rechners - Wahrnehmung- und Interpretationsprozess unseres Gehirns wird in Software ab- und nachgebildet - Teilgebiet der Künstlichen Intelligenz in der Informatik - Beispiel: Erkennen des Inhalts digitaler Bilder - Anwendung: Medienarchive, Retrieval in Mediendatenbanken,

2 . Begriffe Bildinformationen verarbeitende Teilgebiete der Informatik: (cont.) Computergrafik, Graphische Datenverarbeitung (computer graphics) grobe Einordnung: - Synthese von Bildern mit Hilfe des Rechners - Erzeugung eines Bildes (einer Bitmap) aus einer (geometrischen) Beschreibung einer Szene - bei zeitabhängigen Szenenbeschreibungen: Animation - Ausgabemedien: Bildschirm, Drucker, Plotter, Fräser, Projektor(en), Begriffe Computergrafik (cont.) Die Disziplin der Computergrafik beschäftigt sich u. a. mit: - Repräsentation (Datenstrukturen!) und Verarbeitung (Algorithmen!) geometrischer, dreidimensionaler Objekte im Rechner - Berechnung von Bilddarstellungen aufgrund solcher Datenstrukturen (bis hin zu foto-realistischen Bildern), das sog. Rendern - Grafik-Hardware, Grafik-Software - grafisch-interaktive Systeme -4 -

3 . Begriffe Computergrafik (cont.) Jim Blinn, SIGGRAPH98 Keynote Address, Computer Graphics 33(), pp Modeling is figuring out the shape of it - Rendering is how to make a picture of it - Animation is figuring out how it moves with time -5. Begriffe Computergrafik (cont.) Hinzu kommen Anwendungsgebiete, insbesondere: - Visualisierung von Informationen (scientific/information visualization) - Konstruktion, CAD (Computer Aided Design) - Fertigung, CAM (Computer Aided Manufacturing) - Benutzeroberflächen - virtuelle Umgebungen - Computerspiele -6-3

4 . Grundlagen Einfachste Grafikarchitektur Prozessor Framebuffer Memory -7. Grundlagen Der Framebuffer

5 . Grundlagen 3D Grafik Virtuelle Kamera -9. Grundlagen Die Computergrafik-Pipeline / Die Rendering-Pipeline Der Prozess der Bildsynthese, also die Abbildung eines Modells eines Objektes bzw. einer Szene auf ein Bild auf dem Bildschirm nennt man Rendering. Eine konkrete Implementierung dieses Prozesses in Soft- und/oder Hardware beschreibt man als Rendering-Pipeline. Die einzelnen Stufen der Pipeline setzen die noch vorzustellenden Basis-Algorithmen der Computergrafik um. Die einzelnen Stufen können jeweils in Soft- und/oder Hardware implementiert sein! Der Aufbau von Rendering-Pipelines kann sich je nach Art und Umsetzung des Renderings stark unterscheiden! -0-5

6 . Grundlagen Die Computergrafik-Pipeline / Die Rendering-Pipeline (cont.) Genereller Aufbau: front-end (geometry processing) back-end (rasterization) display traversal modeling transformation viewing operation visible-surface determination scan conversion shading image object model or scene model / scene graph -. Grundlagen Visualisierung Funktion Scientific/Information Visualization Beispiele VTK, AVS, Khoros, SGI Explorer, IBM Data Explorer, Volvis Grundkonzepte - Daten, - Anwendungsobjekte, - Kognition - -6

7 . Grundlagen Der Visualisierungsprozess / Die Visualisierungs-Pipeline Daten Pre-Processing transform the data into something we can understand Interaktion Computergrafik Kognition Daten sammeln -3. Grundlagen Softwarearchitekturen 3D-Anwendung Anwendungsumgebung high-level 3D-API * low-level 3D-API * Hardware * API bedeutet "application programming interface" -4-7

8 . Grundlagen Anwendungsumgebung Funktion 3D Autorensysteme Beispiele VRML, WorldUp, Realax Grundkonzepte -Objekte, - Verhalten, - Interaktionen -5. Grundlagen High-level API Funktion Programmierschnittstelle zu einer 3D-Szenenbeschreibung Beispiele OpenInventor, Iris Performer, Java3D, Direct3D Retained Mode, PHIGS+ Grundkonzepte - Szenengraph, -Geometrie, - Material, - Hierarchien, - Abhängigkeiten -6-8

9 . Grundlagen Low-level API Funktion Schnittstelle zur Hardware und Framebuffer Beispiele OpenGL, Direct3D Immediate Mode, GKS Grundkonzepte - Geometrie-Pipeline, - Beleuchtungs-Pipeline, - Rasterung -7. Grundlagen Hardware Funktion Grafiksubsysteme, Framebuffer, Ein-/Ausgabegeräte Grundkonzepte - Speichermanagement, - Peripheriegeräte, -Texturen Beispiele Geometriebeschleuniger, Maus -8-9

10 . Grundlagen Softwarearchitekturen: Modeling - Rendering Modellierwerkzeug Rendersoftware Bild/Film Interaktive Systeme Beispiele: 3DStudio MAX, Alias Maya, Avid Softimage, Cinema4D, Rhino3D, Blender Dateischnittstelle Batchverarbeitung Beispiele: RenderMan, BMRT, MentalRay, POVRAY, RayShade, Radiance -9. Grundlagen Entwicklung: Modell-Komplexitäten -0-0

11 . Grundlagen Entwicklung: Renderzeiten - Bildschirmtechnologien Röhrenbildschirm / CRT (cathode ray tube) mit Rasterdisplay, einfarbig Prinzip: Kathodenstrahlröhre (s/w-fernseher!) - Elektronenkanone mit Strahlerzeugung - Steuergitter zur Helligkeitsregelung - Hochspannung zur Elektronenbeschleunigung - Vakuum-Glasröhre - Helligkeitseindruck durch Elektroneneinschlag in nachleuchtender Phosphorschicht - Bild muss ständig neu aufgebaut werden (Bildwiederholfrequenz) - -

12 Bildschirmtechnologien (cont.) Röhrenbildschirm / CRT (cathode ray tube) mit Rasterdisplay, einfarbig (cont.) - Steuerung des Elektronenstrahls durch Strahlablenkung (Magnetfeld oder elektrisches Feld) - Ablenkung in vorgegebenen Schrittweiten auf fest vorgegebenen Zeilen Unterteilung (Rasterung) des Bildschirms in Bildelemente: pixel (picture elements) - typische (Raster-)Bildschirmauflösungen: 800x600, 04x768, 80x04, 600x00-3 Bildschirmtechnologien (cont.) Röhrenbildschirm / CRT mit Rasterdisplay, einfarbig (cont.) -4 -

13 Bildschirmtechnologien (cont.) Röhrenbildschirm / CRT (cathode ray tube) mit Rasterdisplay, farbig Prinzip: Farb-Fernseher - Mischung der Farben aus den Grundfarben Rot, Grün, Blau - Aufbau entspricht s/w-röhrenbildschirm, zusätzlich: - drei Elektronenkanonen (deltaförmig angeordnet) - drei Phosphorpunkte (rot, grün, blau) pro Pixel deltaförmig auf der Phosphorschicht angeordnet - Lochmaske vor der Phosphorschicht - Elektronenstrahlen (moduliert) schießen gleichzeitig durch die Lochmaske -5 Bildschirmtechnologien (cont.) Röhrenbildschirm / CRT mit Rasterdisplay, farbig (cont.) -6-3

14 Bildschirmtechnologien (cont.) Flüssigkristallbildschirm / LCD (liquid crystal display) Prinzip: - zwei Glasplatten im Abstand weniger µm schließen Flüssigkristall ein - über zwei transparente Elektroden an beiden Glasplatten kann ein elektrisches Feld im Flüssigkristall erzeugt werden - Einrahmung der Anordnung durch zwei um 90 o gedrehte Polarisationsfilter - Bildschirm wird durch künstliches Licht von hinten beleuchtet; dieses wird durch hinteren Polarisationsfilter polarisiert -7 Bildschirmtechnologien (cont.) Flüssigkristallbildschirm / LCD (cont.) - die organischen Moleküle im Flüssigkristall drehen die Polarisationsrichtung um 90 o, falls kein elektrisches Feld anliegt - bei maximalem elektrischen Feld wird die Polarisationsrichtung idealerweise nicht gedreht -8-4

15 Bildschirmtechnologien (cont.) Flüssigkristallbildschirm / LCD (cont.) -9 Bildschirmtechnologien (cont.) Flüssigkristallbildschirm / LCD (cont.) - für Farbdarstellungen werden drei Flüssigkristallzellen zu einem RGB-Farbtripel zusammengefasst - die drei Elementarfarben werden über Farbfilter über den Zellen erzeugt - die Zellen werden matrixartig angeordnet -30-5

16 Rasterung Motivation: Die Rasterbildschirmtechnologie erfordert die Zerlegung aller darzustellenden geometrischen Objekte in Bildschirmpunkte. Rasterungs-Prozess Problemstellung: (am Beispiel einer Linie/Geraden) Darstellung einer Linie auf einem Rasterbildschirm erfordert die Bestimmung der am besten passenden Punkte im Raster bzw. Gitter (geeignete ganzzahlige Rundung). -3 Rasterung (cont.) Beispiel: Mögliche Rasterkandidaten P =(x,y ) P =(x,y ) -3-6

17 Rasterung (cont.) Beispiel: Rasterkandidaten P =(x,y ) P =(x,y ) -33 Rasterung (cont.) Anforderungen: - Linien sollen gerade erscheinen - Linien sollen gleichmäßig hell erscheinen - Linien sollen schnell gezeichnet werden - Algorithmus muss leicht in Hardware implementierbar sein DDA-Algorithmus (digital differential analyzer), Digitaler Integrierer -34-7

18 Rasterung (cont.) Bresenham-Algorithmus für Geraden: Abhängig von der Steigung wird die x- oder y-koordinate immer um eine Einheit geändert. Die andere Koordinate wird entweder nicht oder ebenfalls um eine Einheit geändert, entsprechend der kleineren Abweichung der Geraden zum nächsten Gitterpunkt in Koordinatenrichtung. y P P x hier: - Ursprung des zugeordneten Koordinatensystems in P -. Oktant -P und P auf Raster -35 Rasterung (cont.) y i+ =y i + y i+ =y i zu zeichnende Gerade Entweder Punkt oder Punkt wird gezeichnet, je nachdem, welcher näher zur Geraden liegt. Realisierung mittels Entscheidungsgröße E: - mißt Abweichung zwischen exaktem Punkt und Mitte zwischen beiden möglichen Rasterpunkten - Vorzeichen von E als Kriterium für Rundung auf nächsten Rasterpunkt -36-8

19 Rasterung (cont.) -37 Rasterung (cont.) Nach (trickreichen) Umformungen entsteht der Bresenham- Algorithmus für den ersten Oktanten (ausschließlich ganzzahlige Operanden und Operationen): // (x, y), (x, y) not equal, integer values x = x; y = y; dx = x-x; dy = y-y; e = *dy-dx; // init for(i=; i<=dx; i++) // main loop { plot(x, y); if(e >= 0) { y = y+; e = e-*dx; } x = x+; e = e+*dy; } // plot(x, y); -38-9

20 Rasterung (cont.) Beispiel: dx dy x y e i plot P = P = Rasterkonvertierungseffekte und Aliasing Aliasing Allgemein versteht man unter Aliasing-Effekten die fehlerhafte Rekonstruktion eines (kontinuierlichen) Ausgangssignals durch eine Abtastung mit zu geringer Frequenz. Hintergrund: Im Frequenzbereich bandbegrenzte Signale müssen mit mehr als der doppelten Grenzfrequenz abgetastet werden, um eine exakte Rekonstruktion zu ermöglichen

21 Rasterkonvertierungseffekte und Aliasing (cont.) Phänomen: Die hochfrequenten (unterabgetasteten) Frequenzen verschwinden nicht einfach, sie erscheinen als neue (falsche!) Frequenzen mit niedrigerer Frequenz. Beispiel: räumliches Aliasing -4 Rasterkonvertierungseffekte und Aliasing (cont.) Phänomen: (cont.) Pixels are sampled at a rate times the detail frequency Pixels are sampled at a rate less the detail frequency -4 -

22 Rasterkonvertierungseffekte und Aliasing (cont.) Aliasing im Umfeld der Computergrafik: - visuelle Effekte, die auf echtes Aliasing zurückzuführen sind, z. B. Schachbrettmuster - visuelle Artefakte, die auf Rasterkonvertierungseffekte zurückgehen, z. B. Treppeneffekte bei schrägen Linien - zusätzlich: Unterscheidung zwischen örtlichem (spatial) und zeitlichem (temporal) Aliasing, z. B. scheinbar rückwärtsdrehende Wagenräder im Western -43 Rasterkonvertierungseffekte und Aliasing (cont.) Anti-Aliasing im Umfeld der Computergraphik: - alle Methoden (z. B. Oversampling, Filterung), um Aliasing-Effekten entgegenzuwirken - ein echtes Beseitigen ist oft (schon theoretisch) nicht möglich (falls Signale nicht bandbegrenzt sind, hilft zwar höhere Abtastfrequenz (Oversampling), beseitigt aber Probleme nicht!) - Bei Effekten, die auf Rasterkonvertierung zurückzuführen sind, spricht man bei Anti-Aliasing-Verfahren auch von Verfahren zur Bildkantenglättung

23 Rasterkonvertierungseffekte und Aliasing (cont.) Aliasing-Effekte in der Computergrafik: - Textur-Artefakte - Treppeneffekte beim Rastern von Kurven - Verschwinden von Objekten, die kleiner als ein Pixel sind - Verschwinden von langen, dünnen Objekten - Detailverlust bei komplexen Bildern - Aufblinken kleiner Objekte bei Bewegungen / Animationen - Bewegungsirritationen bei zeitlichem Aliasing -45 Rasterkonvertierungseffekte und Aliasing (cont.) Beispiel: Textur-Artefakte, unendliches Schachbrettmuster visuelle Artefakte, wenn Periodizität in der Textur Größenordnung der Pixel erreicht zweifaches Oversampling (doppelte Frequenz) verringert Artefakte -46-3

24 Rasterkonvertierungseffekte und Aliasing (cont.) Beispiel: Treppeneffekte, jagged edges Treppeneffekte, da das Zeichnen von Punkten nur an Rasterpositionen möglich ist geglättete Linie durch Benutzung mehrerer Intensitäten bei Nachbarpixel -47 Rasterkonvertierungseffekte und Aliasing (cont.) Beispiel: Aliasing bei Polygonen -48-4

25 Anti-Aliasing Überabtastung, Oversampling, Supersampling: - einfachstes globales (d. h. das gesamte Bild betreffende) Anti-Aliasing-Verfahren - jedes Pixel wird mit einer höheren Auflösung berechnet, als es schließlich dargestellt wird - der resultierende Grauwert (Farbwert) ist der gewichteten Durchschnitt aller beteiligten Subpixelwerte - Theorie: digitale Filter - Übliche Filterkerne (Crow, 98): -49 Anti-Aliasing (cont.) Überabtastung, Oversampling, Supersampling: (cont.) Subpixel Abtastpunkt -50-5

26 Anti-Aliasing (cont.) Bei Linien und spitzen Dreiecken (dünnen Polygonen) kann es trotz Supersampling zu überraschenden Effekten kommen! -5 Anti-Aliasing (cont.) (Fortsetzung) - Abhilfe für dieses Problem schafft erst eine (korrekte) Berechnung der überdeckten Fläche im Pixel! - Die praktische Anwendung dieser Methode schließt allerdings eine exakte analytische Berechnung der wirklich im Pixel überdeckten Fläche aus. Näherungsverfahren -5-6

27 Anti-Aliasing (cont.) (Fortsetzung) -53 Anti-Aliasing (cont.) Gegenüberstellung: Spitzes Dreieck ohne Glättung Spitzes Dreieck mit Oversampling Spitzes Dreieck mit korrekter Berechnung der überdeckten Fläche -54-7

28 Anti-Aliasing (cont.) Bemerkung: Stochastische Methoden Stochastisches Sampling: - Oversampling mittels Monte-Carlo-Methoden - Intensitäten an zufälligen Punkten im Pixel ermittelt und Ergebnis gemittelt Einsatz von Monte-Carlo-Methoden bei Berechnung der vom Polygon im Pixel überdeckten Fläche Stochastische Methoden erhöhen zwar Effizienz, neigen aber zum Flimmern von Objekten in Animationen! -55 Temporales Aliasing Tritt auf, falls sich einige Teile einer Animation relativ zur Bildwiederholfrequenz zu schnell verändern auch hier gilt das Abtasttheorem: Vermeidung durch (zeitliche) Abtastung mit mehr als der doppelten Detailfrequenz der Bewegung klassisches Beispiel: Wagenräder in Wildwestfilmen - Wahrnehmung der Bewegung über bewegte Speichen - je nach Abtastung der Bewegung, können die Räder stillstehen, (langsam/schnell) rückwärts- oder vorwärtsdrehen -56-8

29 Temporales Aliasing (cont.) Beispiel: Rad mit 8 Speichen Wiederholfrequenz Abtastfrequenz besonders störend: variierende Radgeschwindigkeit im Bereich -57 Temporales Aliasing (cont.) -58-9

30 .4 Literatur und mehr... Allgemeine Literatur zur Veranstaltung: [WAT00] [WAT0] [WAT9] [ANG97] [WOL00] [FOL97] Watt A.: 3D Computer Graphics, Addison-Wesley, third edition, 000. Watt A.: 3D-Computergrafik, Addison-Wesley, Übersetzung der dritten Auflage, 00. Watt A., Watt M.: Advanced Animation and Rendering Techniques, Addison-Wesley, 99. Angel E.: Interactive Computer Graphics A top-down approach with OpenGL, Addison-Wesley, 99. Wolfe R.: 3D Graphics A Visual Approach, Oxford University Press, 000. Foley J., van Dam A., Feiner S., Hughes J.: Computer Graphics Principles and Practice, Addison-Wesley, second edition, Literatur und mehr... Web-Ressourcen: - ACM - IEEE Technical Committee on Visualization and Graphics - EG European Association for Computer Graphics - Gesellschaft für Informatik, Fachausschuss 4. Graphische Datenverarbeitung

31 .4 Literatur und mehr... Lesenswert: [BLI96] Blinn J.: Jim Blinn s Corner - A trip down the graphics pipeline, Morgan Kaufmann, 996 [DOD97] Dodsworth: Digital Illusion - Entertaining the Future with High Technology, Addison-Wesley, 997. [TUF97] Tufte: Visual Explanations - Images and Quantities, Evidence and Narrative, Graphics Press, 997. [BLI98] Blinn J.: Jim Blinn's Corner - Dirty Pixels, Morgan Kaufmann,