Frameworks: Agenda. Aufgabe von Medien-Frameworks. Microsoft DirectX SDL. Microsoft Windows Media Java Media Framework

Transkript

1 Frameworks: Agenda Aufgabe von Medien-Frameworks Microsoft DirectX SDL Microsoft Windows Media Java Media Framework Vorführung: DirectX SDK Samples Vorführung: WindowsMedia9 HD

2 DirectX: Literatur DirectX SDK (DirectX portal page) (MS developer network) (Docs und Beispiele) Bargen, Donnelly: Inside DirectX, Microsoft Press, 1998 Root, Boer, DirectX complete, McGraw-Hill, 1999 Sirotin, Debeloff, Urri: DirectX-Programmierung mit Visual C++, Addison-Wesley, 1999 Petzold, Programming Windows95, Microsoft Press, 1996 Stroustrup, C++ Programming Language, Addison-Wesley, 1997 Fosner, Real-Time Shader Programming with DirectX9, Morgan-Kaufmann, 2003 Scherfgen, 3D-Spieleprogrammierung (DirectX9), Hanser, 2003 c't Artikelserie zu Delphi mit DirectX, 1999 bis 2000

3 DirectX: Übersicht Direct<X>: Multimedia-Schnittstellen für Windows DirectDraw Direct3D DirectShow high-performance 2D-Graphik 3D-Graphik Videowiedergabe DirectSound DirectMusic grundlegende Audiofunktionen (3D) Software-Synthesizer DirectInput DirectSetup DirectPlay Speech SDK schnelle Treiber für Tastatur/Maus/Joystick/... einfache und sichere Installation Multiplayer / Internet Spracheingabe und -ausgabe was fehlt?...

4 DirectX: DirectDraw DirectDraw: Grundfunktionen für 2D-Graphik direkte (low-level) Verwaltung des Bildspeichers front buffer / back buffer / surface flipping hardware overlays bit-blitting Applikation kein Ersatz für das GDI: Linien, Fonts, etc. per GDI HEL: Hardware Emulation Layer HAL: Hardware Abstaction Layer DDI: GDI Device Driver Interface "FoxBear" Demo Graphics Device Interface GDI Display Driver Graphikkarte DirectDraw HEL HAL

5 DirectX: Direct3D "world-class game and interactive 3D-graphics on a computer running Microsoft windows" (MS DirectX overview) geräteunabhängiger Zugriff auf 3D-Hardware nutzt Hardwarebeschleunigung, soweit vorhanden oder Softwareemulation Transformation, Clipping Z-Buffer / W-Buffer Rendering mit Flat- / Gouraud-Shading Texturen, Mip-Mapping diverse Lichtquellen Funktionsumfang vergleichbar mit OpenGL (seit DirectX7) programmierbare "Shader" und HLSL-Sprache (seit DX8)

6 DirectX: DirectShow "streaming media architecture" Wiedergabe und Aufnahme von Datenströmen Formatkonvertierung komprimierte Audio/Videodaten verwendet Hardwarefunktionen, soweit vorhanden WAV, MP3,... MPEG, AVI,... basiert auf WDM-Treibern aber auch Unterstützung von "legacy"-treibern (video for windows) in DirectX9 überarbeitet, Wiedergabe jetzt über 3D-Pipeline

7 DirectX: DirectSound Audiowiedergabe: flexibler Audiomixer nutzt Audiohardware soweit möglich, sonst Software schnell, geringe Latenz Sampleraten-/Formatkonvertierung 3D-Audiofunktionen Position und Richtung von Hörer und Schallquellen Doppler-Effekt, entfernungsabhängige Dämpfung HRTF-Funktionen seit DirectX9 bis 192 KHz, mehrkanalfähig weitere Details: Vorlesung PC-Technologie

8 DirectX: DirectMusic "message-based musical data" Noten, Akkorde, Phrasierung,... MIDI-Schnittstelle Klangerzeugung über Software-Synthesizer und Wiedergabe über DirectSound oder Ansteuerung externer Synthesizer DLS (downloadable sounds / SoundFont2) DirectMusic Producer Hardwareunterstützung ab Windows98/2000

9 DirectX: DirectInput Treiberschicht zu Eingabe-Geräten Treiber für sehr viele Geräte umgeht die normalen Windows-Treiber minimale Latenz Unterstützung von force-feedback Geräten diverse Krafteffekte / -kennlinien vgl. Immersion iforce Studio

10 3D-Graphik: Prinzip Standard-Prinzip für 3D-Graphik: 3D-Modellierung der Objekt-Oberflächen über Polygone oder Freiformflächen Umsetzung in Dreiecksnetze Perspektiv-Koordinatentransformation (statt Volumen) (z.b. Beziersplines) Beleuchtungsberechnung für jedes einzelne Dreieck "aufgeklebte" Texturen für jedes einzelne Dreieck Zerlegen der Dreiecke in Rasterlinien Berechnung der Bildfarben für jeden Punkt auf jeder Linie Sichtbarkeitstest über "z-buffer" extrem rechenaufwendig, aber gut parallelisierbar Spezialhardware: GPU "graphics processing units"

11 Graphik: 3D-Pipeline Szenengraph in SW Objektphysik in SW low-level Funktionen zunehmend in Hardware SW HW PC-Technologie SS

12 DirectX8: "shader" kombiniert bisherige APIs: DirectDraw und Direct3D 3D-Pipeline teilweise programmierbar

13 DirectX 8: Graphik-Pipeline kompatibel mit DirectX 7 neue Fkt. nur auf "neuer" HW

14 DirectX 8: Beispiele für VertexShader morphing / twining animation matrix palette skinning user-defined lighting models general environment mapping procedural geometry developer defined algorithms

15 DirectX 8: PixelShader PixelShader: Programmiersprache für Pixel-Ops: direkter Zugriff auf die Graphik-Hardware, insb. für Textur-Operationen: beliebige Textur-Operationen per-pixel lighting bump-mapping per-pixel environment mapping other developer-defined algorithms in DirectX9 nochmal deutlich erweitert in Zusammenarbeit mit ATI und nvidia

16 Direct3D: Shader Beispiele externe Folien, MS DX8 Overview (PowerPoint) ATI "wood shader"

17 DirectX 8: Multitexturing Überlagerung mehrerer Texturen z.b. für light-maps (siehe oben) oder bump-mapping (rechts) Ati Radeon: Geforce 2: 2 Pipes, je 3 Texturen 4 Pipes, je 2 Texturen

18 DirectX 8/9: HLSL "High Level Shader Language" C-ähnliche Programmiersprache für Shader Compiler erzeugt effizienten Code für Graphikchips diverse Technologiebeispiele von ATI und nvidia: realistisch aussehende Haut 3D-Holzmaserung spiegelnde und brechende Glasflächen begegte, spiegelnde und brechende Wasseroberflächen Partikeleffekte, Feuer,... siehe: "GPUGems"-Buch, GDC-2004 Präsentationen

19 DirectX 8: Audio Integration von DirectSound und DirectMusic: 3D-Audio für alle Quellen (.wav,.asf, DLS,...) DLS2 SW-Synthesizer (6-stage envelopes, effects, LFOs,...)

20 DirectX 8: Voice Communication DirectPlayVoice: Echtzeit-Sprachkommunikation in DirectPlay Verwaltung über den DirectPlay Server automatische Verwaltung jeder DirectPlay Voice Session automatische Kalibrierung der Bandbreite/Latenz

21 DirectX 8/9: DirectShow & DVD DirectX 8 Videobeschleunigung volle Unterstützung von Windows Media (ASF/WMV) im Prinzip MPEG-2 Unterstützung inkl. DVD-Player in DirectX 9 wieder komplett überarbeitet: "Video Mixing Renderer Filter VMR-9" erstmals Unterstützung für De-Interlacing erstmals Unterstützung für DVB-T/-S/-C erfordert Windows XP WMV-HD Demos

22 DirectX: COM Component Object Model: Microsoft's Komponentenmodell entwickelt für OLE (object linking and embedding) Interaktion zwischen Software-"Objekten" (Komponenten) über Schnittstellen (Interfaces) als Tabelle mit Zeigern auf C-Funktionen Interface-Hierarchie, IUnknown Schnittstelle wird nach Definition nie mehr verändert (GUID) statt dessen Einführung neuer Schnittstellen Speicherverwaltung mit Referenzzählung QueryInterface() / AddRef() / Release()

23 DirectX: vtable COM-Funktionsaufrufe: vtable: Tabelle mit Funktionspointern COM-Referenz ist Pointer auf eine vtable "long pointer to Direct Draw interface" lpdd -> lpvtbl ->Release( lpdd ); lpdd -> Release(); /* C */ // C++ keine Ausnahmebehandlung Fehlercodes jeder Funktion prüfen! if (FAILED( lpddsback->getdc( &hdc )) {... } if (SUCCEEDED( lpddsback->getdc( &hdc )) {... }

24 DirectX 9: Managed DirectX DirectX 9 erlaubt Integration in.net-framework: Schnittstelle von DirectX-Funktionen nach.net Nutzen der.net Klassenbibliothek aus DirectX-Applikationen Speicherverwaltung über.net Ausnahmebehandlung über.net für alle.net-sprachen: neue Beispiele in C#, VB.NET,... Performanceanforderung: mindestens 90% der Leistung von nativen C++

25 SDL: "Simple DirectMedia Layer" (

26 SDL: Beispiel /* Print out all the keysyms we have, just to verify them */ #include <stdio.h> #include <ctype.h> #include "SDL.h" int main(int argc, char *argv[]) { SDLKey key; } if ( SDL_Init(SDL_INIT_VIDEO) < 0 ) { fprintf(stderr, "Couldn't initialize SDL: %s\n", SDL_GetError()); exit(1); } for ( key=sdlk_first; key<sdlk_last; ++key ) { printf("key #%d, \"%s\"\n", key, SDL_GetKeyName(key)); } SDL_Quit(); return(0);