Zusammenfassung MIDI

Transkript

1 Zusammenfassung MIDI Metasprache 16 Kanäle je Leitung, General MIDI channel messages: Note on (9x), Note off (8x) system messages: Start (FA), Stop (FC) Protokoll RS 232 asynchron, 31,25kBaud, 10Bit je Infobyte Zeitbasis: PPQ oder SMPTE

2 MIDI Begriffe (Geräte) Synthesizer Empfang von MIDI-Daten, Interpretation, Klanggenerator (FM, Wave) (Tonhöhe (Pitch), Anschlagdynamik (Velocity), Klangfarbe(Timbre)) Sequenzer Aufzeichnung und Speicherung von MIDI-Daten in Spuren (Tracks) Wiedergabemodus (senden von MIDI-Daten) als Software: Editor für MIDI-Daten (graphisch)

3 MIDI Begriffe (Synthesizer) Hüllkurve zeitlicher Tonverlauf (ADSR-Modell) Quelle:

4 MIDI Begriffe (Musik) Pitch Note, Tonhöhe (C2... g8) Pitch Wheel (+/-) C2=0,..., c1=48, (30Hex) 12 Töne je Oktave Velocity Anschlagdynamik, bestimmt die relative Lautstärke

5 MIDI Tonumfang C2... g8

6 MIDI Kodierung 11 Oktaven je 12 (Halb)töne c1= 4*12 = x 12 ~ 128 ;-) => 7 Bit 128 Noten 128 Lautstärkestufen 128 Stereopositionen 128 Klangfarben z.b. 57= 39Hex = Kammerton a 440,0 Hz

7 General MIDI (Auszug)

8 MIDI Messages

9 VERGLEICH (Sampling MIDI) Originalklänge Metadaten Samples Kommandos Instrumente Synthesizer Reproduktion Interpretation 10,5 Mio Byte/Min 20 kbyte/min Samplerate Kommandofolge Nyquist, Aliasing Seriell => Parallel Rauschen (SNR) Standard (GMIDI) Mischen Komponieren - Editieren

10 Graphik Farbsehen Farbmodelle Ausgabegeräte Auflösung Formate

11 FARBSEHEN - Retina

12 FARBSEHEN - Retina Stäbchen (rod) Rezeptoren für Helligkeit (sehr empfindlich) Zapfen (cone) Rezeptoren für Farbe 3 Arten mit unterschiedlicher Empfindlichkeit für Rot, Blau, Grün

13 Rot, Grün, Blau FARBSEHEN - Spektrum

14 FARBSEHEN Rot, Grün, Blau (Spektrum)

15 Licht als Welle Wellenlängen max Rot: nm 560 nm Grün: nm 530 nm Blau: nm 430 nm Verteilung der Zapfen Rot: 64% Grün: 32% Blau: 4%

16 FARBSEHEN Empfindlichkeit für Rot, Grün, Blau (Spektrum) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

17 FARBSEHEN Sonnenlicht im Tagesverlauf 60 blau (kurzer Weg => kurzwelliges Licht => blau) 45 weiß 15 rot (langer Weg => langwelliges Licht => rot)

18 FARBSEHEN Farbe als Überlagerung von drei Farbanteilen Gesucht sind Modelle, die durch alleinige Addition oder Subtraktion von drei Farbkomponenten alle Farben des sichtbaren Lichts erzeugen können RGB???

19 FARBSEHEN RGB Kurven zur Erzeugung aller Farben 0,05B + 0,06G 0,09R ~ 500nm Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

20 FARBSEHEN Farbe als Überlagerung von drei Farbanteilen RGB-Problem: Manche Farben erfordern + und - wenn RGB (reine Farben) verwendet werden z.b. Wellenlänge 500nm Verwendung nicht reiner Farben x,y,z mit gewünschtem Spectralverlauf

21 FARBMODELLE E CIE-Modell 1931: CIE (Commission Internationale de L'Eclairage) (spektrale Verteilung) Statt RGB Verwendung der Primitiven xyz => Alle Farben Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

22 FARBMODELLE CIE chromaticity diagram xyz als 3D- Anordnung oder Projektion in 2D (Hufeisen-Modell) (Annahme: x+y+z=1) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

23 FARBMODELLE L*a*b (Lab) Color Model Verfeinertes CIE Modell 1976 L: Luminanz a: Grün (-a) bis Rot (+a) b: Blau bis Gelb genutzt in Photoshop Quelle: Adobe Photoshop Elements

24 FARBMODELLE (HSB) Farb- Kreis QuelleAdobe Photoshop Elements Chrominanz: H: Hue ( ) Farbton (B) S: Saturation (%) Sättigung (A) (Grauanteil im Verhältnis zum Farbton 0%=Grau) Luminanz: B: (Brightness) (%) Helligkeit (C) (0%: Schwarz, 100%: Weiß) Farbton (Rad) (D)

25 FARBMODELLE (HSB) Chrominanz: H: Hue ( ) Farbton (B) S: Saturation (%) Sättigung (A) Luminanz: B: (Brightness) (%) Helligkeit (C) Menschliches Sehvermögen: H: 128 Farbtöne S: 130 Stufen (Levels) B: Stufen (blau...gelb) => 21 * 128 * 130 ~ verschiedene Farben

26 FARBMODELLE (RGB) Farbwürfel (diagonal: Komplementfarben) R:(FF,00,00) Komplement (Ergänzung zu (FF,FF,FF)) (FF,FF,00) G:(00,FF,00) (FF,00,FF) B:(00,00,FF) 3 x 8 = 24 Bit 2^24 = Farben True Color (zur Erinnerung: unterscheidbar: !) => 3 x 6 = 18 Bit => 2^18 = (00,FF,FF)

27 Websichere Farben Minimale Information: gleichmäßiger Anteil von RGB Kubikzahlen (8, 27, 64, 125 oder 216) 6 x 6 x 6 = 216, Auswahl über 8 Bit-Adresse 216 Farben, die Plattform-unabhängig von allen Browsern verwendet werden. Teilsatz der 8-Bit-Farbpaletten unter Mac OS. Durch die ausschließliche Verwendung dieser Farben wird gewährleistet, dass Bilder, die für das Internet bestimmt sind, auch auf Systemen mit 256 Farben korrekt angezeigt werden.

28 FARBMODELLE (RGB) Komplementfarbe (10s Konzentration auf roten Kreis) R:(FF,00,00)

29 FARBMODELLE (RGB) Komplementfarbe (10s Konzentration auf Kreis) R:(FF,00,00)

30 FARBMODELLE (RGB) Komplementfarbe (10s Konzentration auf Kreis)

34 FARBMODELLE (RGB) Beamer ( Lichtfarben ) Addition (von Helligkeit )

35 FARBMODELLE (CMY) Drucker ( Körperfarben ) Cyan Magenta Yellow Subtraktion (von Helligkeit )

36 FARBMODELLE (RGB CMY) RGB CMY Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

37 Umrechnung: FARBMODELLE (CMY RGB) Komplement C =1 R R =1 C CMYK: K Black Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

38 FARBMODELLE (Vergleich) L a b umfassend RGB und CMYK nur Teilbereich z.b. Kein reines Gelb

39 Bild - Auflösung Monitor - Auflösung Bild - Auflösung: (ppi) Bildelemente: Pixel (Kunstwort: Picture Elements) Pixelanzahl = Pixel pro Zoll (pixels per inch, ppi) = Bit-Map Elemente im Graphikspeicher Monitor / Drucker- Auflösung: (dpi) Bildpunkte pro Zoll (dots per inch, dpi) Farbpunkte pro Zoll

40 1x1 Zoll Bild mit 144ppi Bildschirm-Auflösung auf Bildschirm mit 72dpi wird auf 2x2 Zoll Fläche dargestellt. Faktor 2 in jede Richtung! => 4-fache Größe, 4-facher Speicherbedarf

41 Bild - Auflösung, Bildgröße (ppi) Anzahl der Elemente im Graphikspeicher => Eigenschaft des Bildes Beispiel: 1x1 Zoll benötigt bei 72 ppi => Pixel (72^2) 300 ppi => Pixel x 4 => x 16 => quadratische Abhängigkeit 72ppi 200 % 300ppi

42 Bild - Auflösung, Bildgröße 13 x 9 Bild mit 600 dpi gescannt: (3152 x 2128) Pixel x 3 Byte/Pixel gespeichert als BMP kbyte 6,7 Mio Pixel JPEG 417 kbyte GIF kbyte => BMP => 6,5 MByte

43 BMP kbyte

44 BMP kbyte

45 JPEG 417 kbyte

46 Monitor - Auflösung Gesichtsfeld: Bereich des scharfen Sehens Seitenverhältnis (aspect ratio) ~ 4:3 z.b. 640 x 480 VGA (video graph. array) Beamer: 1024 x 768 XGA (1024 x ¾ = 768) 15 Monitor: 800 x 600 S-VGA Bildschirmauflösung: Punkte pro Zoll, dots per inch (dpi) Einstellbar, üblich dpi 15 Monitor: 12 : = x 72 = x 72 =

47 Monitor - Auflösung Gesichtsfeld: Bereich des scharfen Sehens Seitenverhältnis (aspect ratio) ~ 4:3 z.b. 640 x 480 VGA (video graph. array) Beamer: 1024 x 768 XGA (1024 x ¾ = 768) 15 Monitor: 800 x 600 S-VGA Bildschirmauflösung: Punkte pro Zoll, dots per inch (dpi) 20 Monitor: 16 : x 72 = x 72 =

48 Varianten Monochrom (Schwarz/Weiß) 1Pixel=1Bit 640x480 => 37,5kByte Graustufen (Gray Scale) 1Pixel=1Byte 640x480 => 300kByte True Color 1Pixel=3Byte 640x480 => 900kByte Auch mit 4Byte (1für ) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

49 True Color 1Pixel=3Byte (+1Byte ) 640x480 => 900kByte (JPEG) Varianten 8-Bit Farbe 256 aus Farben 640x480 => 300kByte Color Look-Up Table (GIF) Quelle: Ze-Nian Li : Script Multimedia Systems, Simon Fraser University, Canada

50 Ebenfalls in dpi Drucker-Auflösung Üblich: Laser dpi Tintenstrahl dpi Gute Qualität bis zu 150 ppi Interpolation Bis zu 32 Tröpfchen pro Pixel, 1,2 Mio Farben

51 FARBMODELLE (RGB CMY) Monitor: Addition Drucker: Subtraktion RGB CMY zu dunkler Fläche wird Helligkeit addiert Lichtfarben Prisma von heller Fläche wird Helligkeit entfernt Körperfarben auch in Fotographie

52 ZUSAMMENFASSUNG Farbe: Überlagerung von Farbwerten RGB Additiv CMY Subtraktiv Auflösung: Kompromiss zwischen Qualität und Speicherbedarf ppi dpi Bild im Speicher Ein-/Ausgabegerät

53 Graphik - Formate Vektorgraphik geometrische Figuren, exakte Berechnung auf beliebige Größe (ppi) Rastergraphik feste Anzahl von Bildpunkten Wiedergabe durch Interpolation z.b. 1 ppi => 2 dpi (ppi) (dpi)

54 Vektorformate Raster- und Vektorformate - Mathematische Beschreibung der Objekte - Jedes Bildelement (Primitive) wird durch seine Parameter gespeichert - Postscriptsprachen - Vektordaten werden nur verlustfrei komprimiert - Darstellung von Grafiken, Buchstaben Vorteile - frei skalierbar - Kompakte Darstellung des Bildes Nachteile - nicht für komplexe Bilder (Fotos) Typische Vektorformate WMF, EPS - Darstellung plattformabhängig - Verschiedene Programme - verschiedene Algorithmen zur Konstruktion der Vektorobjekte

55 WMF (Windows Meta File) Vektorformat eng mit dem System Windows von Microsoft verknüpft für den Austausch von Grafiken über die Zwischenablage (Clipboard) speichert Grafiken als eine Folge von Funktionsaufrufen (Konstruktionsanweisungen) mit den dazugehörigen Parametern. "Graphic Device Interface" (GDI) für die Ausgabe auf die entsprechende Hardware. GDI enthält Bibliotheken von grafischen Objekten (Kreise, Rechtecke, Ellipsen, Kreisbögen usw.)

56 Aufbau der WMF-Datei Maßeinheit der WMF-Objekte ist ein twip (twentieth of a point = 1/1440 Zoll) 1440 / 20 =72 => 72ppi Header (18 byte) 0 0 Record... 1 bis n mal wiederholen Record

57 Aufbau der WMF-Datei Header: Speicherort der WMF-Datei (1= Hauptspeicher, 2=Platte) Länge des Headers in Words (1 Word = 2 Byte) die benutzte Windows-Version die Gesamtlänge der WMF-Datei in Words die Anzahl der in der Datei gespeicherten Objekte die Länge des längsten vorhandenen Objektsatzes Record: die Länge des Records in Words die Nummer der GDI-Funktion (definiert in windows.h) die Parameter der Funktion

58 Raster- und Vektorformate Rasterformate - Rechteckige Matrix mit kleinen Bildelementen (Pixel) - Jedem Bildelement entspricht ein Farbwert - Je ein Farbwert wird in Bilddatei gespeichert (Farbpalette) - Speicherung: sowohl verlustfrei als auch verlustbehaftet komprimiert - Darstellung von Fotos Vorteile - Plattformunabhängig - Detaillierte Darstellung der Bildobjekte Typische Rasterformate sind GIF, JPEG, PNG, TIFF, BMP Nachteile - Rasterbilder werden schlecht skaliert - Viel größere Datenmenge als im Vektorbild Zwei Typen der Raster- und Vektordateien - Bildschirmabbildung und Druck

59 GIF (Graphics Interchange Format) Entwicklung : GIF87a : GIF89a Ziel Rasterbilder in Netzen Eigenschaften - Plattformunabhängig - Interlacing Bild wird in bis zu 4 Schichten abgespeichert Ladezeit erscheint kürzer, der Ladevorgang wird sichtbar gemacht - Transparenz Eine Farbe des Bildes kann man als transparent definieren Durch zusätzlichen Alpha-Kanal, der zusammen mit der Datei gespeichert ist, gewährleistet - Animation aufeinander folgende GIF-Bilder in einer Datei (GIF-Animation)

60 GIF (Graphics Interchange Format) Vorteile - Kleine Datei - Größe - Viele Möglichkeiten für Webseitengestaltung Nachteile - nur 256 Farben - feine Schattierungen als Streifen mit verschiedenen Farbdichten - Lizenzgebühren für LZW-Algorithmus Verwendung - gut für Logos, Schemata, Graphiken

61 GIF (Datei-Format) GIF-Signatur - GIF-Kennung und Version Screen Descriptor - Informationen über das Gesamtbild Globale Farbtabelle - RGB-Modell - kann fehlen, falls lokale Paletten Beliebig viele Teilbilder - Bestehend aus: Bildinformationsblock (Image Descriptor) optionale lokale Farbtabelle (RGB) Rasterdaten (Bilddaten) GIF-Erweiterungsblock - für spätere Erweiterungen der Spezifikation GIF-Terminator - Beendet die GIF-Datei GIF-Signatur Screen Descriptor [Globale Farbtabelle] Image Descriptor [Lokale Farbtabelle] Bilddaten [GIF- Erweiterungsblock] GIF-Terminator Beliebig oft wiederholbar Beliebig oft wiederholbar

62 JPEG (Joint Photographic Experts Group) Entwicklung Ziel - JPEG: Expertengremium - Seit 1988 erarbeitet international gültige Standards auf ISO und ITU-Basis für JPEG - Austausch von Fotos im WWW - Anzeigen von Fotos in Präsentationen Eigenschaften - Plattformunabhängig Vorteile - 16,8 Mio. Farben - Kleine Größe einer Datei Nachteile - Verlustbehaftete Komprimierung - Wiederherstellung des Original-Bildes unmöglich

63 Komprimierungsmethode JPEG (Joint Photographic Experts Group) - Verlustbehaftete Komprimierung - Nicht auf der Suche der identischen Elemente, wie in LZW, sondern auf dem Unterschied zwischen Bildelementen gegründet - Die Daten werden in den Farbenraum Y U V (Y Cb Cr) konvertiert Y - Helligkeit (Luminanz) V - Chrominanz U - Chrominanz - ½ oder ¾ der Information über die Farbe entfernt - Dann werden die Blöcke 8*8 Pixel analysiert - Diskrete Cosinus Transformation (DCT) Y=f(R,G,B), U=f(R,G,B), V=f(R,G,B) Y Y 4:1:1 UV Y Y 8*8 Y Y 4:2:2 UV UV Y Y Für jeden Block wird der Satz der Zahlen gebildet (DC- und AC-Koeffizienten) Erste einige Zahlen stellen die Farbe des Blocks insgesamt dar Nachfolgende Zahlen stellen feine Details dar - Quantisierung (Normalisierung) DC AC AC AC AC AC Ein bestimmter Teil der Zahlen, die feine Details darstellen, entfernt

64 Komprimierungsmethode JPEG (Joint Photographic Experts Group) - Im letzen Schritt wird die Huffman-Codierung verwendet Entwicklung: 1952 Der Zeichensatz analysiert wird, um die Frequenz jedes Symbols zu bestimmen Für die am meisten sich treffenden Symbole eine Darstellung als minimal mögliche Anzahl der Bits verwendet Die Huffman-Codierung im JPEG baut auf der Tatsache auf, dass in der Sequenz der AC-Koeffizienten sehr viele Nullwerte existieren Unterformate des JPEG-Formats - Baseline Optimized Die Dateien werden ein bisschen besser komprimiert Nicht alle Programme unterstützen - Progressive JPEG Unterstützung des Fade-In-Effekts (Interlacing) Verwendung - Eignet sich gut für Fotos

65 JPEG-Datei (JFIF-Datei) JPEG (Joint Photographic Experts Group) - JFIF-Dateien besitzen eine Menge von Markierungen Start of Image (SOI) Start of Image - Anfang der JPEG-Datei APPO JFIF Marker End of Image - Ende der JPEG-Datei APPO JFIF Marker Optional APPO JFIF Extensiion Header - Definiert einen Informationsblock Tables - Besteht aus: Start of Frame Länge des Informationsblocks Zeichenkette JFIF Tables1 Version Einheit der Auflösung (dpi, dots per cm) Auflösung in X- und Y-Richtung Thumbnail in X- und Y-Richtung Start of Scan 1 Scan 1 Data Thumbnail Image (RGB-Werte) (optional) Extension Header Tables m - Definiert zusätzliche Bildinformation Start of Scan n Tables Tables 1 Tables m - Quantisierungstabellen - Huffmantabellen Scan n Data Start of Frame End of Image (EOI) Start of Scan - Definiert das Frame - Anfang der komprimierten Daten

66 PNG (Portable Network Graphics) Entwicklung , Vermeidung von Lizenzgebühren (Firma Unisys) Ziel - Alternative für GIF und JPEG - Darstellung verschiedener Typen von Rasterbildern Eigenschaften -Plattformunabhängig - keine deutliche Teilung zwischen verschiedenen Typen von Paletten - Verlustfreie Komprimierung - Vorhergehende Filterung der Information - Interlacing - Transparenz (Alpha-Kanal mit 254 Schichten) - Gamma-Korrektion

67 PNG (Portable Network Graphics) Vorteile - Unterstützt 8-, 24-, 48-bit Farben - Lizenzfrei Nachteile - Dateigröße nicht immer geringer als im GIF- und JPEG-Format - Nicht von allen Programmen unterstützt Komprimierungsmethode - Verlustfreie Komprimierung Verwendet eine Variante der LZ77-Komprimierung (Grundlage für die LZW-Komprimierung) Komprimierte Daten enthalten die Zeichen und Kodes für eine Dekomprimierung Verwendet 32-Kbyte gleitendes Fenster ( slide Window ) für Dekomprimierung - Huffman-Codierung Verwendung - Eignet sich sowohl für Fotos, als auch für Logos, Signete

68 Aufbau einer PNG-Datei PNG (Portable Network Graphics) - Besteht aus Chunks - Es gibt Basischunks und andere werden von der Applikationen ergänzt Chunks haben folgendes Format: Länge (Bytes) Typ Daten CRC PNG Signature - Die PNG-Datei als solche kennzeichnet IHDR Chunk - Definiert eine Bildinformation (Höhe, Breite usw.) PLTE Chunk - Definiert eine Bildpalette - Es kann nur eine Palette sein PNG Signature IHDR Chunk PLTE Chunk IDAT Chunk 1 IDAT Chunk n IEND Chunk Chunk=Block Basic chunkcs IDAT Chunk - Enthält die komprimierten Daten - Alle IDAT Chunks müssen aufeinander folgen IEND Chunk - Ende der PNG-Datei

69 GIF oder JPEG? Formate auf Webseiten: Fotos Logos Text als Bild

70 Fotos Farbenanzahl 256 Optimal GIF (200x270 Pixel) 14,8Kb JPEG (200x270 Pixel) 11,9Kb

71 Fotos Farbenanzahl < 256 GIF (32 Farben) JPEG (unkomprimiert) 12,0 KB 66,0 KB Optimal

72 Logos GIF 16 Farben 2,18 Kb GIF 4 Farben 1,35 Kb OPTIMAL JPEG Qualität 20 % 3,53 Kb

73 Text als Bild GIF ist bessere Wahl GIF 16 Farben 2,51 Kb GIF 3 Farben 1,54 Kb JPEG Qualität 20% 3.07Kb

74 Zusammenfassung Graphik - Formate Vektorgraphik - PS, EPS, WMF geometrische Figuren, exakte Berechnung auf beliebige Größe Rastergraphik - BMP, GIF, JPEG, PNG feste Anzahl von Bildpunkten (ppi) Wiedergabe durch Interpolation (dpi) Problem: Mac-Entwurf (Vektor) => PC (GIF)