DIGITAL AUDIO. Zu diesem Foliensatz wurden zahlreiche Audiobeispiele gezeigt, die in der PDF-Version nicht enthalten sind.

Transkript

1 DIGITAL AUDIO Zu diesem Foliensatz wurden zahlreiche Audiobeispiele gezeigt, die in der PDF-Version nicht enthalten sind.

2 Übersicht Was ist Audio? Eigenschaften von Schallwellen Das menschliche Ohr Räumliches Hören, Töne, Klänge & Geräusche Warum Audio digitalisieren? Analog zu Digital Probleme der AD/DA-Wandlung Psychoakustik Kompression (MP3) Übertragung (MIDI) Audio Retrieval AGENDA 2

3 physikalische Grundlagen

4 Was ist Audio? I Töne Sprache Geräusche Musik... Was ist Audio? 4

5 Was ist Audio? II Schall Schwingungen (Wellen) die sich in einem Träger räumlich ausbreiten (Veränderung des Drucks) Flüssigkeiten Festkörpern Gasen (Schallgeschwindigkeit: 330m/s = 1188 km/h) periodische Schwingungen (Klänge)... Musikinstrumente Gesang Wind nichtperiodische Schwingungen... Sprache Geräusche Was ist Audio? 5

6 Was ist Audio? II Amplitude objektiv: Energie des Klanges subjektiv: Lautstärke der Schwingung Was ist Audio? 6

7 Was ist Audio? III Frequenzen Infraschall: 0 bis 20 Hertz (Hz) Hörschall: 20 bis 20 khz Ultraschall: 20 khz bis 1 GHz Hyperschall: 1 GHz bis 10 THz Was ist Audio? 7

8 Was ist Audio? IV Was ist Audio? 8

9 Longitudinal- und Transversalwellen Longitudinalwelle (a): Oszillatoren schwingen in der Ausbreitungsrichtung Transversalwelle (b): Oszillatoren schwingen quer zur Ausbreitungsrichtung Eigenschaften von Schallwellen 9

10 Wellenlänge Die Länge einer Welle (d.h. der Abstand bis zur nächsten Wiederholung) bestimmt sich aus der Periodenlänge T und der Ausbreitungsgeschwindigkeit c Eigenschaften von Schallwellen 10

11 Re exion Re exionsgesetz (Einfallswinkel gleich Ausfallswinkel) gilt für Schallwellen nur, wenn die Grenz äche groß genug im Vergleich zur Wellenlänge ist d.h. in kleineren Räumen keine Re exion tiefer Frequenzen Rauigkeit der Ober äche führt zu di user (zerstreuender) Re exion, wenn Unebenheiten in der Größenordnung der Wellenlänge d.h. auch bei zentimetergroßen Unebenheiten wirkt Wand auf tie requenten Schall als "glatt" Eigenschaften von Schallwellen 11

12 Absorption, Brechung Ein Teil der Schallenergie wird nicht re ektiert Absorptionsgrad abhängig vom Material und der Schallfrequenz Dissipation: Umwandlung in Wärmeenergie Transmission: Weiterleitung im absorbierenden Medium Aufteilung der absorbierten Energie in Dissipation und Transmission frequenzabhängig: niedrige Frequenzen höhere Transmission (Körperschall) Auch Schall wird gebrochen, z.b. bei Luftschichten verschiedener Temperatur Eigenschaften von Schallwellen 12

13 Beugung Schall-"Schatten" entsteht erst, wenn ein Gegenstand groß genug im Vergleich zur Wellenlänge ist Bei Gegenständen in Größenordnung der Wellenlänge tritt Beugung auf Wellen iessen "um das Hindernis herum" Wellen werden von einem Spalt zerstreut Eigenschaften von Schallwellen 13

14 Ton, Klang und Geräusch Ton, Klang oder Geräusch sind vom Menschen wahrnehmbare kleine Luftdruckänderungen Primäremp ndungen der Tonwahrnehmung: Tonhöhe (Bsp. verschiedene Klaviertasten) Lautstärke (Bsp. Trommelanschlag) Klangfarbe (Bsp. gleicher Ton auf verschiedenen Instrumenten) Ton: reine Sinusschwingung Klang: Überlagerung von mehreren Sinusschwingungen alle drei Primäremp ndungen wahrnehmbar Geräusch: entsteht durch unregelmäßige Schwingungen einer Schallquelle nur Lautstärke wahrnehmbar Klänge und Geräusche 14

15 Anatomie

16 Das menschliche Ohr Das menschliche Ohr 16

17 Das menschliche Ohr Aussenohr: HRTF = Head Related Transfer Function Mittelohr: Trommelfell, Hammer, Amboss, Steigbügel: Verstärkung der Kraftwirkung Innenohr: Schnecke (cochlea) Aufgerollte Röhren (Gänge), gefüllt mit Lymph üssigkeit Das menschliche Ohr 17

18 Schnecke (Cochlea) Das menschliche Ohr 18

19 Räumliches Hören Stereo-E ekt Unterschiedliche Lautstärke des Schallereignisses an beiden Ohren Zeitliche Verzögerung des selben Schallereignisses in seiner Wahrnehmung durch beide Ohren Verzögerungsmessung liefert Information über Entfernung der Quelle Kann ein einseitig tauber Mensch räumlich hören? Eingeschränkt: ja! Re exion und Beugung an Umwelt und Ohrmuscheln liefern umfangreiche Information Frequenzabhängigkeit der Ortung: Niedrige Frequenzen generell schlechter zu orten Konsequenz physikalischer Tatsachen (Wellenlänge:Hindernis) Siehe z.b. Subwoofer -Technologie Räumliches Hören 19

20 Laufzeitdi erenzen Räumliches Hören 20

21 Head Related Transfer Functions (HRTF) Für alle Positionen rund um den Kopf Impulsantwort von der Position zu beiden Ohren messen (HRIR) Fourier-Transformation davon ist die HRTF Enthält alle physikalischen cues für die Lokalisierung HRTF von Mensch zu Mensch verschieden Sobald HRTF für beide Ohren bekannt ist, kann mit einem Kopfhörer Raumklang (also auch vorne/hinten und oben/ unten) erzeugt werden Räumliches Hören 21

22 Räumliches Hören 22

23 Digitalisierung

24 Warum Digital? Qualität der Reproduktion Qualität ist NUR abhängig von der Analog/Digital/Analog- Konvertierung Qualität ist unabhängig von Verarbeitung (z. B. Geräte) Transport (z. B. Kabel) Speicherung (z. B. Festplatte, Magnetband, CD) Möglichkeiten der Konvertierung/Bearbeitung verlustfreies Kopieren nicht-sequentieller Zugri nicht-destruktives Editing platzsparendere Speicherung... Warum Digital? 24

25 Analog zu Digital I PAM (Puls Amplitude Modulation) Ermittlung von Amplitudenwerten innerhalb eines Zeitintervalls Analog zu Digital 25

26 Analog zu Digital II PWM (Puls Width Modulation) Ermittlung von Impulsen, deren Länge die Intensität des analogen Signals wiedergibt Analog zu Digital 26

27 Analog zu Digital III PCM (Pulse Code Modulation) universelles Verfahren zur Digitalisierung von analogen Zeitreihen Sampling Abtastung des analogen Signals in einem festgelegten Zeitintervall Verwendung von PAM Quantisierung Zuordung eines ganzzahligen Wertes innerhalb eines festgelegten Zahlenbereiches Analog zu Digital 27

28 Probleme der AD/DA-Wandlung I Nyquist Abtast-Theorem Harry Nyquist ( ) Mathematisch bewiesen durch Claude E. Shannon und Vladimir Aleksandrovich Kotelnikov die Abtastrate (Sampling Frequenz) muss doppelt so hoch sein, wie die höchste Frequenz des abzutastenden Signals Folge: Frequenz-Überlappung (Aliasing) ggf. falsche Rekonstruktion des Signals Nyquist Shannon Kotelnikov Probleme der AD/DA-Wandlung 28

29 Probleme der AD/DA-Wandlung II Quantisierungsrauschen Fehler durch Rundung bei der Digitalisierung Probleme der AD/DA-Wandlung 29

30 Probleme der AD/DA-Wandlung II Beispiele Probleme der AD/DA-Wandlung 30

31 Probleme der AD/DA-Wandlung III Verzerrungen (Clipping) Übersteuerung des Eingangsignals Abschneiden der Spitzen eines Signals Folge von Variablenüberläufen Probleme der AD/DA-Wandlung 31

32 Audio-Kompression Dynamikkompression Einsatz nichtlinerarer (logarithmischer) Quantisierung kleine Signale werden mit niedrigeren Bitwerten kodiert Reduktion Abtastrate / Reduktion Abtastgenauigkeit Beispiele: A-law, u-law Entropiekodierung typ. Kompresssionsraten: Beispiele: LPAC (Losless Predictive Audio Compression) FLAC (Free Losless Audio Codec) Apple Losless Psychoakustische Kompression Verwendung von Subband-Kodierung & Maskierung dadurch Entfernung von irrelevanten Daten Reduktion der Datenrate Beispiele: MP3, AAC Kompression 32

33 Psychoakustik

34 Psychakustik - Tonhöhenemp ndung Hörbarer Frequenzbereich Niedrigste Frequenz: 16 Hz Höchste Frequenz kein einheitlicher Wert individuell sehr unterschiedlich altersabhängig - junger Mensch / Kinder: bis ca Hz - alter Mensch: sinkt bis unter Hz Tonfrequenzbereich: 16 Hz Hz Tonhöhenemp nden Änderung mit Logarithmus der Frequenz (nicht linear) Lautstärke beein usst Tonhöhenemp ndung 34

35 Das menschliche Ohr 35

36 Psychoakustik - Lautstärkeemp nden Grenzen des Lautstärkeemp ndens untere Grenze: gerade noch wahrnehmbare Lautstärke Obere Grenze: höchste ohne Schmerzgefühl zu ertragende Lautstärke Mindestdruck auf Ohr erforderlich Hörfeld (Hör äche, Hörbereich): Bereich, in dem in Abhängigkeit von Frequenz und Schalldruckpegel ein Schallereignis (Reiz) ein Hörereignis auslöst Altersabhängigkeit im Alter verschiebt sich Hörschwelle im oberen Frequenzbereich ca. ab 60 Jahre: 10 khz: Hörschwelle um ca. 20 db angehoben 5 khz: Hörschwelle um ca. 15 khz angehoben ca. ab 40 Jahre: Verschiebung etwa halb so groß keine Beeinträchtigung der allgemeinen Hörfähigkeit: optimaler Bereich < 4000 Hz 36

37 Psychoakustik - Hörfeld Lautstärke Pegelwert, relativ zur Lautstärke von 1000 Hz Tönen L = 20 * lg p p0 [ phon] Hörschwelle Lautstärkepegel eines Tones beliebiger Frequenz errechnet sich aus dem Schalldruck des als gleichlaut empfundenen 1000 Hz Tones. 37

38 Psychoakustik Hörschwelle unterschiedliche Emp ndlichkeit (Lautstärkeeindruck) des Gehörs für verschiedene Frequenzbereiche höchste Emp ndlichkeit im Bereich von 2 khz bis 4kHz Psychoakustik 38

39 Psychoakustik - Maskierung Überdeckung eines Frequenzbereiches durch ein Störsignal (gleichzeitige Maskierung) Zeitliche Maskierung verdeckt auch nach Abschalten des Störsignals den betre enden Frequenzbereich (zeitliche Maskierung) Psychoakustik 39

40 Psychoakustik - Maskierung Psychoakustik 40

41 Psychoakustik - Maskierung 41

42 Psychoakustische Kompression

43 Entstehung von MPEG Audio 43

44 Was bietet MPEG A/V Bitstrom A/V Encoder nur hinsichtlich der Bitstrom-Syntax spezifiziert Konformer Decoder kann alle legalen MPEG-Bitströme verarbeiten Konformer Bitstrom Konformer Bitstrom Konformer Bitstrom 44

45 Eigenschaften - Modi Unterschiedliche Kompressionsmodi Verarbeitung von PCM Audiosignalen mit 32 khz, 44,1 khz, 48 khz Komprimierter MPEG-Bitstrom hat Datenrate zwischen 32 und 224 kbit/s pro Kanal (Kompressionsrate 2,7-24) 3 Kompressionsebenen Layer I (vereinfachtes Musicam) Layer II (Musicam) Layer III (MP3) Integration zusätzlicher Daten in den Bitstrom Komprimierter Datenstrom unterstützt 4 Modi: Single Audio Channel (Monophonic Mode) 2 unabhängige Audio Kanäle (Dual Monophonic Mode) Stereo Mode Joint Stereo Mode 45

46 Eigenschaften - Datenraten Layer I Layer II Layer III Bitrate < 2*192 kbps < 2*128 kbps < 2 * 96 kbps CD-Qualität fast CD-Qualität 2*192 kbps 2*96 kbps 2*128 kbps 2* 96 kbps - 2*64 kbps Komplexität gering > Layer I > Layer II Verzögerung > 19 ms > 35 ms > 59 ms Applikation CD-I DCC DAB, DVB, CD-I, ISDN HQ Audio via ISDN 46

47 Kompression MP3 (I) Übersicht Kurzform von MPEG-1 Audio Layer 3 Verwendung der»psychoakustischen Kompression«Nicht für den Menschen hörbare Informationen werden entfernt Entfernung von Redundanzen Kompression von Audiodaten bei vermeintlich geringem Qualitätsverlust Kanalkopplung (Stereo) Di erenzsignalbildung Entfernung nicht hörbarer Frequenzen und maskierter Audioinformation Karl-Heinz Brandenburg, Harald Popp: An Introduction to MPEG Layer 3. EBU Technical Review, Juni Kompression 47

48 Kompression MP3 II Algorithmus (Übersicht) Kompression 48

49 Kompression MP3 III Algorithmus (1) - Filterbank Anwendung eines Faltungs lters, um ein Signal in 32 Bänder zu unterteilen Transformation von Zeit- in Frequenzbereich Aliasing durch überlappen der Frequenzbänder Unterteilung der Bänder durch modi zierte DCT in 18 Teilbänder Kompression 49

50 Kompression MP3 IV Algorithmus (2) - Psychoakustisches Modell erneute Transformation in den Frequenzbereich Transformierung der Frequenzachse Unterteilung in tonale und nicht-tonale Komponenten Anwenden der Maskierungsfunktion nden der minimalen Maskierung für jedes Subband Berechnung Signal-Maskierungs-Verhältnisses Kompression 50

51 Kompression MP3 V Algorithmus (3) - Quantisierung Unterteilung des Datenstromes in Frames Ein Frame entspricht einem Tonsignal über eine bestimmte Zeiteinheit Jeder Frame enthält 384 (1152) Samples, die Abtastwerte aus 32 Teilbändern repräsentieren Aus jedem Teilband stammen 12 (36) Werte Kompression 51

52 Kompression MP3 V Algorithmus (3) - Quantisierung Berechnung FFT: Transformation in Frequenzraum Ermittlung Schalldruckpegel in jedem Subband Ermittlung der Hörschwelle in jedem Subband Ermittlung der tonalen und nicht-tonalen Anteile Bestimmung der relevanten Maskierungstöne Berechnung individueller Maskierungsschwellen Berechnung der globalen Maskierungsschwellen Bestimmung der minimalen Maskierungsschwellen in jedem Subband Bestimmung des Quantisierungsrauschen in jedem Subband 52

53 Kompression MP3 V Algorithmus (4) - Format des Datenstroms Header: de niert den Layer Datenrate Abtastfrequenz Datenteil: CRC optional Side Informations: - verweis auf Hu mann-codierung - Zeiger auf Datenfeld - Flag, ob CRC verwendet Hauptdaten: - Dateblöcke der 1152 Samples - Hu mann kodiert Kompression 53

54 Kompression MP3 V Algorithmus (5) - Kodierung des Stereo-Signals Bestimmung der Richtung je nach Frequenz Umwandlung Stereosignal in Mitte/Seite Kodierung ein Mittensignal (L+R) ein Seitensignal (L-R) Seitensignal gut komprimierbar, da weniger Informationen als Monosignal Kompression 54

55 Kompression MP3 Zusammenfassung PCM-Samples Transformation in Frequenzraum Aufteilung in Frequenzbänder (Approximation der critical bands) Adaptive Quantisierung (entsprechend PA-Modell) Entropie-Kodierung Aufbau Bitstrom 55

56 Kompression MP3 V Datenrate von 32 bis zu 320 KBit/s Samplingrate 32/44,1/48 khz mit 16 Bit Stereo Abb. zeigt typische Kompressionsartefakte bei der Fourier-Transformation Kompression 56

57 Dekomprimierung geringer Aufwand (asymetrisches Kompressionsverfahren) Rekonstruktion der kodierten Frequenzsamples Rückwandlung in Zeitbreich über inverse MDCT und inverse Filterbank 57

58 Advanced Audio Coding (AAC) Vergleich zu MP3 bessere Qualität bei gleicher Dateigröße tonale und geräuschhafte Elemente im Eingangssignal e ektiver erkannt und kodiert Pre-Echo Problem (Kompressionsartefakte) verbessert. Unterstützung für Multichannel-Audio (bis 48) Bis zu 96 KHz Abtastfrequenz DRM-Verfahren»FairPlay«implementiert Entwicklung Standardisiert bei der ISO MPEG2/MPEG4, EBU-Recommendation Dolby (AC3), Fraunhofer IIS (MP3), AT&T, Sony, Nokia... Erweiterung HE-AAC für niedrige Bitraten MPEG-4 High E ciency Advanced Audio Coding, mit Spectral Band Replication (SBR) auch AACplus v1 Mit Parametric Stereo (PS) auch AACplus v2 Kompression 58

59 Hörbeispiele Audiocodecs Kompression 59

60 MIDI

61 Übertragung - MIDI (I) MIDI (Musical Instrument Digital Interface) standardisiertes Protokoll zur Steuerung elektronischer Musikinstrumente und Musike ektgeräte physikalische Schnittstelle Überbegri für die Musik, die diesem Standard genügt 1984 entwickelt Standardisierung und Weiterentwicklung durch International Midi Organisation (IMA) MIDI Manufacturers Association(MMA) Übertragung 61

62 Übertragung - MIDI (II) Komponenten Sequenzer Komponieren/Wiedergabe von Musik mit Rechner MIDI Sequenzen werden in MIDI- Dateien gespeichert Synthesizer Synthetische Erzeugung und Manipulation von Klängen Sampler Wie Synthesizer, jedoch synthetisiert ein Sampler Töne aus einer Palette von Instrument-Samples Übertragung 62

63 Übertragung - MIDI III Datenformat instrumentenbezogene Kodierung Lautstärke Grundfrequenz Bezeichnung des Instruments MIDI-Nachrichten bestehen aus einem Statusbyte und bis zu 3 Datenbytes Statusbyte 1 B B B K K K K Datenbyte 0 _ Statusbyte kündigen eine Aktion an und gliedern sich in Kanal- und Systembefehle. Kanalbefehle (BBB) beziehen sich auf der insgesamt 16 Kanäle (KKKK), mit denen jeweils ein angeschlossenes Instrument assoziiert ist Übertragung 63

64 Übertragung - MIDI (IV) Vorteile MIDI-Dateien sind plattformübergreifend MIDI-Dateien sind sehr klein: 1 min Musik ca Kbyte MIDI Kodierung entspricht der Vorgehensweise beim klassischen Komponieren Nachteile Ohne wirklich gute Instrumente kein schöner Klang, da synthetische Klangerzeugung keine Sprache oder Geräusche MIDI-Dateien klingen auf unterschiedlichen Systemen, je nach eingesetzten Geräten unterschiedlich Übertragung 64

65 Übertragung MIDI V General Midi (GM) Standard-Erweiterung ermöglicht geräteunabhängig möglichst originalgetreue Wiedergabe Midi über IEEE 1394 (FireWire) Verwendung aktueller Technologien und Protokolle Übertragung 65

66 Exkurs

67 Audio Retrieval Tempoerkennung Verfahren zur automatischen Schätzung des Rhythmus beschreibenden Elemente Tempo, Taktart und Mikrotime Query by Humming (QbH) Melodieerkennung/Musiktitelerkennung auf Grundlage gesungener oder anderer monophoner Melodien Bsp: Statistische Klassi kation... Jedes Geräusch hat typische Werte (loudness, pitch, brightness, bandwidth) Trainingsset von Geräuschen einer Klasse ermöglicht Einordnung (Bsp. Gelächter, Beifall, Kinder) Audio Retrieval 67

68 Film:

69 Literatur»Taschenbuch Multimedia«HENNING, PETER A., Fachbuchverlag Leipzig, 2. Au age 2001, gebundene Ausgabe, 603 Seiten, ISBN , ca. 20»Multimedia Technologie«Grundlagen, Komponenten und Systeme Steinmetz, Henning, Springer Verlag Heidelberg, 3. überarbeitete Au age 2000, gebundene Ausgabe, 968 Seiten, ISBN , ca. 55»The Art of DIGITAL AUDIO«Watkinson, John, Focal Press Oxford, Third Edition 2001, Hardcover, 752 Seiten, ISBN , ca. 84 Literatur 69

70 Links Links 70