OpenGL ES 2.0. OpenGL ist eine Bibliothek zur Ansteuerung von Grafikhardware

Transkript

1 Begriffsbestimmung Was ist OpenGL (Open Graphics Library) OpenGL ist eine Bibliothek zur Ansteuerung von Grafikhardware Plattform- und Programmiersprachenunabhängig Darstellung komplexer 2D- und 3D-Szenen auf Basis von Echtzeitberechnungen Heute als Standardschnittstelle auf praktisch allen Plattformen mit 3D-Unterstützung verfügbar (Auf Microsoft-Systemen allerdings Dominanz von DirectX)

2 Begriffsbestimmung Was ist OpenGL ES (Open Graphics Library for Embedded Systems) OpenGL ES ist eine abgerüstete Version der Open GL Grafikbibliothek optimiert für Systeme mit begrenzten Hardwareressourcen und beschränkter Performance durch: - Entfernung von Funktionen mit hohem Ressourcenverbrauch - Beschränkung auf die Verarbeitung von Basisdatentypen (Integer, Float) - Restrukturierung interner Verarbeitungsabläufe Einsatzgebiete: - Smartphone und Tablet PC (Android, ios) - Home Entertainment (Smart TV etc.) - Eingebettete Systeme auf Linux-Basis (Medizintechnik, Industriesteuerung, ) Versionen: ab Android ab Android 2.2 (API level 8) 3.0 ab Android 4.3 (API level 18)

3 Begriffsbestimmung Persönliche!! Einschätzung zu OpenGL ES + Gute Performance auf Systemen mit geringen Hardwareressourcen + Reproduzierbare, stabile Applikationsausführung ohne Überraschungen o ausschließlich Grafikbibliotheken, keine Synchronisation mit Sound, Netzwerk - starke Brüche (Paradigmenwechsel) zwischen verfügbaren Versionen (1.X, 2.X) - Prinzipien der objektorientierten Programmierung werden teilweise durchbrochen bzw. unsauber implementiert - Merkliche Inkonsistenzen zwischen einzelnen Teilen (möglicherweise durch unterschiedliche Entwickler) - Vergleichsweise wenig entwicklerfreundlich (hoher Aufwand zur Erstellung der notwendigen Grundstrukturen, begrenzte Entwicklerunterstützung, kryptisch, )

4 Grundphilosophie Die Basis für jede grafische Darstellung unter OpenGL bilden Vertices (Einzahl Vertex ). Vertices sind Raumvektoren in einem kartesischen Koordinatensystem. OpenGL verwendet ausschließlich das rechtshändige (right-handed) Koordinatensystem. Ein vollständiger 3D-Vertex besitzt also je eine X, Y und Z Komponente, die seine Lage im Koordinatensystem (im Zusammenhang mit der Konstruktion grafischer Objekte auch als Model Space bezeichnet) eineindeutig bestimmen. Die Z-Komponente muss dabei nicht zwingend definiert werden. Dies vereinfacht das Handling bei der ebenfalls möglichen 2D-Darstellung. Vertices müssen für die weitere Verarbeitung in einer speziellen Datenstruktur, dem Vertex Buffer, zur Verfügung stehen.

5 Grundphilosophie Die Verarbeitung der Daten aus dem Model Space in Bildpunkte für die Darstellung auf dem Display erfolgt in einem mehrstufigen Prozess (Rendering) auf der Grafikhardware (GPU) in Form von Hardware/Firmware (Rasterizer, Output Merging) bzw. Software (Vertex Shader Software im Vertex Processor, Fragment Shader Software im Fragment Processor ). Vertex-Daten (X,Y,Z) Bildpunkt-Koordinaten (X,Y) Bildpunkt-Farbwerte (R,G,B) Seit der Version 2.0 von OpenGL ES müssen die Shaderprogramme vom Entwickler bereit gestellt werden (keine Unterstützung von Hardware-Shadern). Dafür wird in der Regel die Entwicklungssprache GLSL (Graphics Library Shader Language) eingesetzt.

6 Grundphilosophie Vertex Processing Pipeline Der Rasterizer Im Rasterizer erfolgt die Umwandlung der Vertex-Daten aus dem Model Space(s) in bildpunktbezogene Daten (Screen Space). Im ersten Schritt erfolgt hierbei die Zusammenfassung von einem oder mehreren Vertices zu Primitiven (Primitives). Wie dies geschieht, ist vom erwarteten Primitiven- Typ (Primitive Type) abhängig, der bei der Initialisierung des Renderprozesses dem Rasterizer als Parameter zur Verfügung gestellt werden muss. OpenGL ES 2.0 kennt folgende Primitive Types:

7 Grundphilosophie Vertex Processing Pipeline Der Rasterizer Im zweiten Verarbeitungsschritt werden die primitivenspezifischen Bildpunktkoordinaten für die Darstellung auf dem Display errechnet. Hierfür muss bekannt sein, ob das gesamte Diplay (Fullscreen) oder nur ein rechteckiger Ausschnitt davon (Viewport) für die Darstellung verwendet werden soll. Dies geschieht durch die Übergabe eines graphischen OpenGL Context an den Rasterizer. Der Context ist Architekturabhängig und muss vom Betriebssystem bereitgestellt werden. Der Kontext verweist auf einen Speicherbereich im Grafikspeicher, der entweder das gesamte Display oder einen Ausschnitt davon (in der Regel ein systemspezifisches Fenster) repräsentiert und beinhaltet einen oder mehrere Viewports. Auf diesen Viewport wird ein nullzentrierter würfelförmiger Bereich des Model Space (Clipping Volume) gemappt.

8 Grundphilosophie Vertex Processing Pipeline Der Rasterizer Model Space Viewport Y X 1 W i d t h 1 1 X H e i g h t Z Clipping Cube Y

9 Grundphilosophie Vertex Processing Pipeline Der Vertex Shader Der Vertex Shader dient dem Aufbereiten der Vertexdaten für die Weiterverarbeitung im Rasterizer. Dies geschieht, indem die Komponentenwerte (X,Y,Z) mit Hilfe mathematischer Operationen gezielt verändert werden. Damit lassen sich Operationen wie: - Verschieben / Bewegen - Skalieren - Drehen / Spiegeln etc. realisieren. Auch alle für die Erzeugung eines möglichst realistischen 3D-Eindrucks notwendigen Operationen werden mit Hilfe der Vertex Shader Software erzeugt. Eine Vertex Shader Software muss vom Entwickler in jedem Fall zur Verfügung gestellt werden, auch wenn keine der genannten Operationen ausgeführt wird, da anderenfalls der Rasterizer keine Datenquelle besitzt. Eine detaillierte Beschreibung der Arbeitsweise des Vertex Shaders erfolgt zu einem späteren Zeitpunkt.

10 Grundphilosophie Vertex Processing Pipeline Der Fragmant Shader Dem Fragment Shader werden vom Rasterizer die 2D Koodinaten aller auf dem Viewport zun zeichnenden Bildpunkte übermittelt. Aufgabe des Fragment Shaders ist es, für diese Bildpunkte den jeweiligen Farbwert (R,G,B) zu ermitteln und diesen an die Output Merging Einheit weiterzugeben. Im einfachsten Fall gibt der Fragment Shader für jeden Bildpunkt den gleichen, vom Entwickler festgelegten, Farbwert weiter. Es entsteht dann ein einfarbiges Primitive (Punkt, Linie, Fläche). Im aufwendigsten Fall ermittelt der Fragment Shader den Farbwert eines zugehörigen Pixels einer Bilddatei (Texturierung) und verarbeitet diesen weiter, um spezielle Effekte (Licht, Spiegelung, Glanz, Transparenz, Nebel, Schatten, ) zu erzeugen. Auch auf die Funktionsweise des Fragment Shaders wird nachfolgend detaillierter eingegangen.

11 Grundphilosophie Vertex Processing Pipeline Output Merging Das Output Merging ist notwendig, da aus Performancegründen häufig mehrere Shader gleichzeitig Primitive für den gleichen Viewport verarbeiten, die dann koordiniert zur Darstellung gebracht werden müssen. Dafür ist es notwendig, dass der Rasterizer erkennt, ob ein Bildpunkt des Viewport im aktuellen Rendervorgang bereits verändert wurde. In diesem Fall muss er entscheiden ob: - Der bestehende Inhalt des Bildpunktes beibehalten werden muss, - Der bestehende Inhalt des Bildpunktes durch den neuen Inhalt überschrieben werden muss, - Der bestehende Inhalt des Bildpunktes mit dem neuen Inhalt kombiniert werden muss und ggf. wie Darüber hinaus sorgt das Output Merging dafür, dass die Daten neu gerenderter Bilder nur dann zum Display gelangen, wenn Sie den visuellen Eindruck nicht stören (Synchronisation).

12 Basisklassen Die Klasse GLSurfaceView Die Klasse GLSurfaceView ist eine speziell auf die Darstellung vom mittels OpenGL erzeugten grafischen Inhalten angepasste Implementierung der Android-Klasse SurfaceView. Sie bietet u.a. folgende Features: - Bereitstellung eines Surface für Android - Bereistellung des Interface GLSurfaceView.Renderer zur Verbindung des Surface mit dem Renderer - Bereitstellung eines eigenen Threads für das Rendering - Initiierung und Steuerung des Renderprozesses (on-demand oder kontinuierlich) Das Interface GLSurfaceView.Renderer muss vom Entwickler zwingend implementiert werden.

13 Basisklassen Das Interface GLSurfaceView.Renderer Das abstrakte Interface GLSurfaceView.Renderer implementiert drei wichtige Methoden zur Steuerung des Renderprozesses: public abstract interface Renderer { void onsurfacecreated(gl10 gl, EGLConfig config); /* Wird aufgerufen, wenn ein neuer Zeichenbereich erzeugt wurde */ void onsurfacechanged(gl10 gl, int width, int height); /* Wird aufgerufen, wenn sich der Zeichenbereich geändert hat */ void ondrawframe(gl10 gl); /* Wird aufgerufen, wenn ein neues Bild gezeichnet werden soll */ } Sie müssen zwingend vom Entwickler überschrieben werden, auch wenn kein Inhaltscode notwendig/gewünscht ist.

14 Texturierung Das Aufbringen einer Textur (Bild, Grafik) ist die häufigste Art der Gestaltung von grafischen Objekten. Grundsätzlich können alle unterstützten Primitives texturiert werden. Allerdings ist die Sinnhaftigkeit bei Punkten und Linien selten gegeben. Zur Erzeugung einer Textur für OpenGL ES wird unter Android die Systemklasse Bitmap verwendet. Die Bilddaten können dabei entweder aus einer grafischen Systemressource oder unmittelbar aus einer auf Datenträger befindlichen Datei (.jpg,.png, ) bezogen werden.

15 Texturierung Über Texturkoordinaten (s,t) wird gesteuert, wie eine Textur auf ein Primitive, z.b. ein Polygon übertragen wird. Dazu werden einer Textur unabhängig von ihrer tatsächlichen Größe normierte Dimesionswerte zugewiesen. Der Ursprung der Textur erhält die Texturkoordinaten 0,0. Ihre Ausdehnung in X- und Y- Richtung beträgt jeweils 1 (auch wenn die Textur nicht quadratisch ist!). Die den Vertices eines Polygons zugeordneten Texturkoordinaten legen nun fest, welcher Punkt der Textur welchem Eckpunkt des Polygons zugeordnet wird. Die Zwischenbereiche des Polygons werden mit den (eventuell) interpolierten Zwischenwerten der Textur gefüllt. Werden für die Vertices lediglich Texturkoordinaten von 0 und 1 angegeben, so wird die gesamte Textur dargestellt. 0, 0 1, 0 Texturkoordinaten s,t 0, 0 1, 0 1, 0 0, 1 1, 1 0, 1 0, 1 1, 1

16 Texturierung Werden für s und t Werte zwischen 0 und 1 angegeben, so wird nur ein Ausschnitt der Textur dargestellt. 0, 0 0.5, 0 1, 0 0, 0 0.5, 0 0, 0.5 0, 1 1, 1 0, , 0.5 Werden für s und t Werte größer 1 angegeben, so ist die davon Abhängig, welche Voreinstellung über die Funktion gltexparameter() vorgenommen wurde. Unterstütze Modi sind GL_REPEAT und GL_CLAMP, die sich für s und t unabhängig einstellen lassen. 0, 0 3, 0 0, 0 3, 0 0, 3 3, 3 0, 3 3, 3 GL_REPEAT GL_CLAMP

17 Texturierung Texture Filtering Texturen müssen für die Darstellung häufig vergrößert bzw. verkleinert werden. Dafür benötigt OpenGL eine Information, wie bei Verkleinerung bzw. Vergrößerung (GL_TEXTURE_MIN_FILTER, GL_TEXTURE_MAG_FILTER) vorzugehen ist. Die Steuerung erfolgt mit Hilfe der Funktion gltexparameteri und entsprechenden Parametern. Beim Nearest Point Sampling (einfachsten Verfahren, geringster Rechenaufwand) wird auf jeden zu erzeugenden Bildpunkt (Fragment) das nächstliegende Texel der Textur kopiert. Die höchste Qualität wird durch Bilineare Interpolation (aufwendigstes Verfahren, höchster Rechenaufwand) erreicht. Hierbei wird zwischen den vier umschließenden Texeln interpoliert. Parameter: GL_NEAREST Parameter: GL_LINEAR Darüber hinaus sind weitere Verfahren implementiert, die qualitativ dazwischen liegen.

18 Vertextransformation Grundlagen Sollen an grafischen Objekten Manipulationen hinsichtlich Form, Größe, Lage oder Position ausgeführt werden, müssen die Raumkoordinaten der entsprechenden Vertices verändert werden. Dies kann für einfache Transformationen prinzipiell durch die direkte Anpassung der Daten geschehen. Beispiel: Ein Objekt soll um den Betrag von +1 auf der X-Achse verschoben werden. Dies kann bewirkt werden, indem auf alle X-Werte im Vertexarray/Vertexbuffer der konstante Wert 1.0f aufaddiert wird. Für kompliziertere Transformationen wie beispielsweise Rotation, Spiegelung etc. ist dieses Verfahren eher ungeeignet. Hierfür werden in der Regel Transformationsmatrizen benutzt. Diese können mit Hilfe von OpenGL-Funktionen erstellt werden. Die Neuberechnung der Vertices erfolgt dann durch einfache Multiplikation mit der Transformationsmatrix. Diese Matrixoperationen können prinzipiell sowohl im Anwendungsprogramm als auch im Shader ausgeführt werden. Wegen der höheren Performance wird eine Ausführung im Shader in der Regel bevorzugt.

19 Vertextransformation Model Transformation / Model Matrix Die Model Matrix enthält alle Transformationsdaten, die durch Umrechnung eines im Model Space konstruierten Objektes dessen Aussehen beeinflussen. Wird die Model Matrix von Frame zu Frame entsprechend angepasst, lassen sich dynamische Effekte wie lineare Bewegung, Rotation, Größenänderung, Formänderung etc. erreichen. Für die Erzeugung der entsprechenden Matrizen sind u.a. folgende Funktionen verfügbar: setidentitym: Erzeugt eine Identitätsmatrix (keine Transformation) rotatem: Erzeugt eine Matrix zur Rotation um einen definierbaren Winkel translatem: Erzeugt eine Matrix zur Verschiebung um einen definierbaren Betrag (x,y,z) scalem: Erzeugt eine Matrix zur Skalierung um einen definierbaren Betrag (x,y,z) multiplymm: Multipliziert zwei Matrizen miteinander (Verknüpfung von zwei Transformationen)

20 Vertextransformation View Transformation und Projection Transformation Um insbesondere im 3D-Bereich eine realistische Darstellung zu erreichen, müssen nicht nur Eigenschaften und Verhalten der dargestellten Objekte sondern auch Eigenschaften und Verhalten - des Betrachters bzw. des Aufnahmeapparates (Kamera) und - des Wiedergabeapparates (Monitor) Berücksichtigung finden. Das hierbei zu Grunde liegende Modell ist das Viewing Frustum. Es zeigt die Sichtverhältnisse einer Kameraoptik mit einem bestimmten Öffnungswinkel (x,y - clipping) ergänzt durch mittels near plane und far plane definierbar eingeschränkte Sichtverhältnisse in z-richtung (z - clipping). Die dargestellten Eigenschaften werden durch View Matrix und Projection Matrix definiert. Darüber hinaus ermöglicht die Projection Matrix eine Anpassung der Projektionsverhältnisse an das Wiedergabegerät.

21 Vertextransformation View Transformation / View Matrix Die View Matrix definiert: - Die Position der Kamera (3D-Vector) - Das Betrachtungsziel (Mittelpunkt des sichtbaren Bereiches) (3D-Vector) - Die Ausrichtung der Kamera im Raum (wo ist oben) (3D-Vector) Die View Matrix kann über die OpenGL-Funktion setlookatm() erzeugt werden. Projection Transformation / Projection Matrix Die Projection Matrix definiert: - Den Öffnungswinkel der Kameraoptik (Gradmaß) - Die Position von Near Plane und Far Plane auf der z-achse - Den Aspect Ratio des Wiedergabegerätes (Display / Monitor) Die Projection Matrix kann über die OpenGL-Funktion perspectivem() erzeugt werden.

22 Vertextransformation Transformationsreihenfolge Um die Transformationen aus Model, View und Projection Matrix zu Kombinieren müssen die Matrizen multipliziert werden. Dies kann wie bereits dargestellt sowohl im Anwendungsprogramm als auch im Vertex Shader passieren. Dabei muss die vorgegebene Reihenfolge Projektion Matrix * View Matrix * Model Matrix * Vertex unbedingt eingehalten werden, das es sonst zur fehlerhaften Darstellung kommt. Zuweilen kann es sinnvoll sein, die Multiplikation der Transformationsmatrizen im Anwendungsprogramm auszuführen. Das Ergebnis wird dann häufig als ModelViewProjection Matrix (MVP-Matrix) bezeichnet. Diese Bezeichnung ist etwas irreführend da auch hier gilt: MVP Matrix = Projektion Matrix * View Matrix * Model Matrix Im Shader muss dann noch die Multiplikation mit den Vertices stattfinden.