mp3: Ein Algorithmus erobert die Welt

Transkript

1 mp3: Ein Algorithmus erobert die Welt Prof. Dr.-Ing. Karlheinz Brandenburg TU Ilmenau, Institut für Medientechnik Fraunhofer Institut für Digitale Medientechnologie November 2005 Prof. Karlheinz Brandenburg, Page 1

2 Überblick Einführung: Träume werden manchmal war Die Anfänge Eine Idee, die als unmöglich gilt Erste Erfolge Grundlagenforschung, Standardisierung und mehr Der Weg in den Markt Was kommt als Nächstes? Prof. Karlheinz Brandenburg, Page 2

3 mp3 überall? mp3 = Musik im Internet!? Status 2005: Mehr als 500 Mio. Software-Player DVD-Spieler, Autoradios, CD-Spieler: alle mit mp3 für viele gilt: digitale Musik =.mp3 Befreiung der Musik vom physikalischen Trägermedium Speicherung / Übertragung um Faktor 12 (oder mehr) billiger Was steckt dahinter? Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 3

4 Träume 1983 Es gab Datenreduktion für Bilder, Video, Sprache, nicht für Musik Musikaufzeichnung sollte besser gehen als nur mit CC Digitaler Hörrundfunk soll viel besser klingen Kann man denn nicht Musik über das Telefon auch in guter Qualität übertragen? Prof. Seitzer: welche Qualität ist möglich? -> Doktorand K. Brandenburg Prof. Karlheinz Brandenburg, Page 4

5 Was ist Audiocodierung Datenreduzierte Speicherung / Übertragung von Audiosignalen hoher Qualität im Normalfall nicht verlustfrei (Verringerung von irrelevanten Anteilen) Qualitätskriterium ist der subjektive Unterschied zum Original Grundidee gehörangepaßte Codierung Die Signalsenke ist das Kriterium: das menschliche Gehör Das Ohr ist ein feines Instrument, aber wir hören nicht alles laute Töne verdecken leisere Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 5

6 Schlüsseltechnologie Audiocodierung Audiocodierung ermöglicht Speicherung der vielfachen Musikmenge Gehörangepaßte Codierung verändert die Audioqualität nicht oder kaum Wo überall Speicherkapazität oder Bandbreite Geld kostet, ist Audiocodierung von Vorteil: digitales Radio Übertragung zum Sender / Studio Speicherung großer Musikmengen (Archive) Speicherung am Computer Übertragung über das Internet Audioabspieler ohne Mechanik Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 6

7 Grundlagenforschung: Ende der 70 er Jahre Prof. Seitzer: Idee von Musik über ISDN erste gehörangepaßte Verfahren: MIT Lincoln Labs (Codierung) AT&T Bell Laboratories (Messung) Anfang der 80 er Jahre Beginn der Arbeiten in Erlangen (und Duisburg) Echtzeitrealisierung aufbauend auf Arbeiten von Zelinski/Noll (HHI) erste Ergebnisse und Veröffentlichungen kann ja nicht funktionieren wird nicht gebraucht 1986: technisch der Durchbruch (OCF) Prof. Karlheinz Brandenburg, Page 7

8 Grundlagen: Psychoakustik (z.b. nach Zwicker) 80 db 60 f =0,25 m f =1kHz f m m =4kHz L T Ruhehörschwelle 0,02 0,05 0,1 0,2 0, khz Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 8 Maskierer f T

9 Demo: Das "13 db-miracle (Johnston/Brandenburg 1989) Original-Signal Original + weißes Rauschen, S/N = 13,6 db Original + Rauschen an der Hörschwelle, S/N = 13,6 db Differenzsignal (moduliertes Rauschen) Differenzsignal (gefärbtes Rauschen, an der Hörschwelle) Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 9

10 Gehörangepaßte Audiocodierung: Digital Audio Input Filter Bank Bit or Noise Allocation Quantized Samples Bitstream Formatting Encoded Bitstream Signal to Mask Ratio Psychoacoustic Model Prof. Karlheinz Brandenburg, Page 10

11 Erste Kontakte mit deutscher Industrie 1983, (damals) großer deutscher Unterhaltungselektronik-Hersteller: Wird nicht funktionieren Wer braucht das? 1986, erste Konferenzveröffentlichungen: Wird nicht funktionieren Wer braucht das? 1988 Das Patent ist nichts wert Wir haben uns schon für andere Technik entschieden Prof. Karlheinz Brandenburg, Page 11

12 Das Team 1987 Prof. Karlheinz Brandenburg, Page 12

13 Standardisierung: Der Weg in MPEG Dezember 1988: erstes Treffen von MPEG Audio alle bekannten Forschungsgruppen nehmen teil Fraunhofer stellt OCF-Echtzeitsystem vor Die Anforderungen an MPEG-Audio spiegeln deutlich den Einfluß von DAB wieder MPEG erzwingt Zusammenarbeit, unser Cluster Fraunhofer / Universität Erlangen-Nürnberg AT&T Bell Laboratories Deutsche Thomson-Brandt (jetzt Thomson) CNET Die bayrischen Vorschläge sind am Ende an der Spitze Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 13

14 Was ist "mp3" Die Bezeichnung für den Standard ISO/IEC JTC1/WG11 MPEG-1 IS Layer-3 MPEG: Moving Pictures Experts Group MPEG-1: Ein Standard für Bewegtbilder (Video in VHS-Qualität) und Begleitton entwickelt für Begleitton für Video digitalen Rundfunk Layer-3 ist einer von drei Modi im Standard Prof. Karlheinz Brandenburg, Page 14

15 Block-Diagramm Layer-3 Prof. Karlheinz Brandenburg, Page 15

16 Welche MPEG-Standards gibt es? MPEG-1: Dez. 1992, VCD MPEG-2: ab 1994, digitales Fernsehen mit MPEG-2 Advanced Audio Coding (AAC) MPEG-4: ab 1999, Multimedia, Streaming kein MPEG-3 (war mal geplant, durch MPEG-2 überholt) MPEG-7: ab 2001, Multimedia Content Description MPEG-21: ab 2003, Multimedia Framework Prof. Karlheinz Brandenburg, Page 16

17 Status 1992: Professionelle Anwendungen: MPEG Layer-2 (Jingle-Abspieler, ISDN) MPEG Layer-3 (nur einzelne Geräte) Dolby AC-2 und andere Consumeranwendungen: MPEG Layer-1 (DCC) MPEG Layer-2 DAB CD-I (mit Video) Dolby AC-2 kein MPEG Layer-3 Prof. Karlheinz Brandenburg, Page 17

18 FhG-Strategie 1993 Setzen auf den Markt für Profigeräte Beginn der Zusammenarbeit mit Micronas (damals Intermetall) Telos Systems setzt auf Layer-3: kleine amerikanische Firma eigene Kapazität zur Entwicklung von Hardware sehr gutes Marketing im Rundfunkbereich wichtigste Person: Steve Church Dialog-4 (Ludwigsburg) setzt auf Layer-3 Juli 1993: Gründung der Abteilung AMM AES New York 1993: Stimmungsumschwung Prof. Karlheinz Brandenburg, Page 18

19 1994 / 1995: FAQ (Harald Popp), Internet als Vertriebsweg Shareware als Marketinginstrument: gute Encoder/Decoder zum Testen für alle Erste Pläne zu Echtzeitdecodierung auf PC s weitere Anwender im Profibereich, Telos erreicht erheblichen Marktanteil MPEG-2 Audio LSF-Erweiterungen werden fertiggestellt Der erste MASC - Layer-3 - Decoderchip läuft Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 19

20 1995: Die Strategie funktioniert Worldspace entscheidet sich für Layer-3, erste Consumeranwendung PC's werden schnell genug für Echtzeitdecodierung erster WinPlay Erste Kontakte zur Musikindustrie und Rechteorganisationen (über ein EU-gefördertes Projekt) Ricki Adar will gesichterten Musikvertrieb mit MP3 und Kopierschutz starten Bewusstes Setzen auf das Internet als Marketing-Instrument Erste Kopierschutzsysteme aus Erlangen Prof. Karlheinz Brandenburg, Page 20

21 Der Weg in den Markt: MP3 und das Internet Oder: vom Aussenseiterdasein zum Erfolg

22 Wie mp3 sich im Internet durchsetzte: Prof. Karlheinz Brandenburg, Page : Winplay3 als Demo, Name mp3 ( ) Registriercodes bald im Netz verfügbar l3enc / l3dec eigentlich nur für Profinutzer oder Bastler, Encoder sind teuer IUMA mit Musik im Layer-2-Format Macromedia lizensiert Layer : andere Decoder werden geschrieben erste Lizenz an Microsoft 1997: ein Windows-Encoder wird gestohlen mp3.com startet

23 Probleme der Musikindustrie mit mp3: Folgendes wurde plötzlich um den Faktor 12 (die typische Kompressionsrate) billiger: Kosten der Speicherung von Musik am PC Kosten des Transfers von Musik über CD-ROM Kosten der Übertragung von Musik über Internet Beginnend mit amerikanischen Studenten, wurde der Austausch von mp3-musik zum Volkssport Analoge Kassetten erlauben keine Kopie der Kopie, mp3's behalten ihre Qualität (solange nicht zwischendurch decodiert/encodiert wird) die Herkunft von mp3's ist nicht feststellbar (anonymes Veröffentlichen ist möglich) Prof. Karlheinz Brandenburg, Page 23

24 Reaktionen der Musikindustrie zunächst: "geht uns nichts an" ab 1997: langsames Verstehen der Situation, Versuch durch Schließung von Web-Sites.mp3 zu verbannen Bis vor kurzem war es schwierig, legale elektronische Vertriebsrechte zu bekommen: wer soll in Zukunft das Geschäft betreiben? oft ist die Rechtslage völlig unklar seit Ende 1997 Entstehen einer "alternativen" Musikverlagsbranche: elektronischer Vertrieb ohne Sicherheitssysteme seit 1999: Peer-to-Peer - Systeme gesicherte Systeme haben es bis jetzt doppelt schwer: kein Content, Konkurrenz zu.mp3 Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 24

25 Piraten und die Musikindustrie erste mp3-websites Ende 1996 / Anfang 1997 Sommer 1997: Gerichtsbeschlüsse, Bekanntmachung in USA Today Reaktion: mehr Piraten Rio PMP300 (erster mp3-player in den Läden) im Sommer 1998 angekündigt Herbst 1998: Gerichtsverfahren gegen Diamond Die RIAA verliert das Gerichtsverfahren Reaktion: mehr Piraten Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 25 Ende 1999: Napster tritt auf : viele der neuen Firmen werden aufgekauft 2003: die Musikindustrie kündigt wieder einmal neue Services an, Apple ist erfolgreich

26 Musik früher, heute und in Zukunft Musik wurde schon immer kopiert aber: Tonbandkopien sind immer schlechter als die Schallplatte die Kopie von der Kopie ist nicht mehr anhörbar Wo wird für Musik gezahlt, wo nicht? Schallplatte / CD: zahlen Radio: nur Grundgebühr (Radiostation zahlt) Privatkopie: Lehrkassettenabgabe etc. Hintergrundmusik, Restaurants etc: indirekt Produktpiraterie: Problem durch kommerzielle Anbieter, die nicht an die Rechteinhaber zahlen Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 26

27 Szenarien für die Zukunft (1) "Musik ist frei" Keine Sicherheitssysteme Keine Verfolgung des Musikvertriebs durch Piraten Alternative Einnahmequellen für Künstler und Vertrieb: Konzerte, Werbung, Verkauf nur physikalischer Medien Modell ist sehr unbeliebt bei Künstlern und Verlagen Vertrauensmodell keine Sicherheitssysteme, aber der Anspruch auf Schutz des Copyright bleibt bestehen Wer lebt in Wohnungen ohne Türen? Prof. Karlheinz Brandenburg, Page 27

28 Szenarien für die Zukunft (2) gesichertes, standardisiertes System: mit der Erzeugung von Musik werden Rechte vergeben und eingebettet ("darf kopiert werden") Standard macht die Benutzung einfach schöner Traum, derzeit aber ohne Realisierungschance mehrere Vertriebswege die "Großen" (vielleicht weniger Marktanteil) mehr unabhängige Firmen, jede/r kann Musik veröffentlichen und vertreiben auf jeden Fall: mehr Musik verfügbar Prof. Karlheinz Brandenburg, Page 28

29 Was kommt nach mp3? Fortschritte in der Audiocodierung Die Stereoanlage der Zukunft

30 Fortschritte in der Audiocodierung 1994: Bessere Nachfolger zu MPEG-Audio werden gesucht Wenn schon Konkurrenz, dann von uns selber 1997: MPEG Advanced Audio Coding (AAC) 2001: HE-AAC (High Efficiency AAC) Verwendung von AAC Japanisches Fernsehen/Rundfunk Amerikanisches Satellitenradio (XM Radio) Apple itunes music shop 3rd generation mobile (Musikdownload) Prof. Karlheinz Brandenburg, Page 30

31 Welche Bitrate ist für gute Qualität notwendig? kbit/s ASPEC, MUSICAM würde heutige Hörtests nicht bestehen kbit/s MPEG-1 Layer kbit/s MPEG-1 Layer-3 (".mp3") einschließlich joint stereo -Techniken manche Signale klingen fürchterlich kbit/s MPEG-2 Advanced Audio Coding kbit/s AAC-based MPEG kbit/s AAC+ (CT enhancements) gut genug für viele Anwendungen, siehe die Demo Prof. Karlheinz Brandenburg, Page 31

32 Demo: Can you hear it (Version 4, 2000)? Jedes? bezeichnet entweder O (Original, 1536 kbit/s pro Stereosignal) oder C (codiert, 48 kbps pro Stereosignal, Faktor 32!) (AAC, verbessert von Coding Technologies) Trumpet solo O??? Speech O??? Abba O??? Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 32

33 Die Stereoanlage der Zukunft (so nicht ) Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 33

34 Die Stereoanlage der Zukunft: merkt sich die Musik: jede CD nur einmal einlegen, immer wieder abspielen können hilft mir beim Suchen von Musik query by humming, ich pfeife meiner Anlage etwas vor Suche nach Merkmalen in meiner Musiksammlung Suche im Internet wo kann ich Neues probehören / kaufen? hilft mir beim Zusammenstellen meiner Lieblingsmusik was klingt ähnlich, ist aber neu? spiel mir meine Lieblingsmusik für diese Uhrzeit Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 34

35 AudioID - Systemüberblick Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 35

36 AudioID Prof. Karlheinz Brandenburg, Page 36

37 Beispiele für die Melodie basierte Suche Funktionalität Suche nach melodischen Phrasen / Motiven in Datenbanken transkribierter Musik (z.b. MIDI) Basierend auf MPEG-7 Metadaten-Beschreibung Verfügbarkeit schneller Suchalgorithmen für nicht-exakte Suche, z.b. angelehnt an»dna Sequencing«-Technologien Fehlertolerant gegenüber Benutzereingaben Anwendungen Prof. Karlheinz Brandenburg, bdg@iis.fraunhofer.de Page 37 Musikhandel / Serviceanbieter für Mobiltelefonnetze Themensuche in Musik-Katalogen Musik-Wissenschaften Karaoke-Systeme / Spiele»Query by Humming / Playing / Singing«

38 Query by Humming im Saturn-Markt München Prof. Karlheinz Brandenburg, Page 38

39 Andere Forschung Klangfeldsynthese Viel mehr Daten Viel besseres Erlebnis Klang wird revolutioniert Prof. Karlheinz Brandenburg, Page 39

40 Musik wie im Konzertsaal: Stereo ist gut, Surround-Klang ist besser, aber: nur solange Anlage und Akustik sehr gut sind nur solange ich an der richtigen Stelle sitze nur für einzelne Hörer Virtuelle Akustik bringt den Konzertsaal nach hause: elektronische (Teil-) Korrektur der Akustik Klangfeldsynthese (akustische Holographie) unscheinbare Flachlautsprecher wir sind jetzt in Reihe 7, Sitz 18 des Musikvereinssaals in Wien die Sängerin kann virtuell im Raum stehen Prof. Karlheinz Brandenburg, Page 40

41 Wellenfeldsynthese Sekundärquellen Huygens sches Prinzip (1690) Primärquelle Prof. Karlheinz Brandenburg, Page 41 Diemer de Vries, Rinus Boone (TU Delft, NL)

42 Wellenfeldsynthese Zeitverzögerung, Amplitudenskalierung Prof. Karlheinz Brandenburg, Page 42

43 Wellenfeldsynthese Prof. Karlheinz Brandenburg, Page 43

44 Das erste Kino mit Klangfeldsynthese Prof. Karlheinz Brandenburg, Page 44

45 Bregenzer Festspiele 2005 Prof. Karlheinz Brandenburg, Page 45

46 Vorstellung: Institut für Medientechnik TU Ilmenau Prof. Karlheinz Brandenburg, Page 46 Trägt den Studiengang Medientechnologie Einziger medientechnischer Studiengang an einer Universität Studenten pro Jahr Fachgebiete Elektronische Medientechnik Audiovisuelle Technik Medienproduktion Angewandte Mediensysteme Verbindungen zu weiteren Medienstudiengängen in Ilmenau: Medienwirtschaft Angewandte Medienwissenschaften

47 Institut für Digitale Medientechnologie IDMT Gegründet als FhG IIS/AEMT: 2000 Eigenständiges Institut: 2004 Standorte: Ilmenau URL: Mitarbeiter: 56 Abteilungen: Technologie der Unterhaltungselektronik Metadaten Audioapplikationen Prof. Karlheinz Brandenburg, Page 47

48 Ausblick Es gibt weiterhin Spitzenforschung in Deutschland und Europa Der Weg zur Umsetzung ist steinig Zitat Max Rauner, die Zeit: Vision, Überstunden und Sturheit Gute Ideen haben es in Deutschland immer noch schwieriger, Unterstützung zu bekommen Es gibt viele faszinierende neue Themen Das digitale Zeitalter hat erst angefangen Prof. Karlheinz Brandenburg, Page 48