Akustische Kommunikation Akustische Wahrnehmung. Audiodesign. (Interaktive) Medieninstallation. Game Audio. AUDIO DESIGN in der Kreativindustrie

Transkript

1 Audiodesign Akustische Kommunikation Akustische Wahrnehmung Hannes Raffaseder Audiodesign Akustische Kommunikation und Akustische Gestaltung 1 Hannes Raffaseder Medienmusik für Film und Fernsehen Do-It-Yourself Communities Audiodesign (Interaktive) Medieninstallation Game Audio AUDIO DESIGN in der Kreativindustrie Musikproduktion Musikaufnahme Audio-Branding Corporate Sound Sound für Werbung Audio-Art Medien-Performance Usergenerated Content Sonification und Auditory Displays Sound-Design (für Film and Video) Podcasts Sounddesign für Events Produkt-Sound-Design Audiodesign Akustische Kommunikation und Akustische Gestaltung 2 Hannes Raffaseder 1

2 Audiodesign Audio Design befasst sich zunächst mit den Eigenschaften, Funktionen, Wirkungen und Bedeutungen der gesamten akustischen Umwelt, um diese in weiterer Folge analysieren, bewerten, kategorisieren und schließlich konkreten Absichten folgend gestalten zu können. Audiodesign Akustische Kommunikation und Akustische Gestaltung 3 Hannes Raffaseder Besondere Merkmale der akustischen Wahrnehmung Die Omnipräsenz des Hörens Immersiv Sound als Folge dynamischer Prozesse Ursache und Wirkung Gleichzeitigkeit von Entstehung, Ausbreitung und Wahrnehmung Jetzt oder Nie Sound und Emotion Sound und Gedächtnis Dynamische akustische Ereignisse vs. statische visuelle Objekte Gleichzeitige Wahrnehmung mehrerer akustischer Streams Akustische Ereignisse als aktivierende Sinnesreize Interaktiv Schwierigkeiten bei der verbalen Beschreibung Audiodesign Akustische Kommunikation und Akustische Gestaltung 4 Hannes Raffaseder 2

3 Veränderte Medientechnologien 1877: Erfindung des Phongraphen durch Thomas A. Edison 1977: Digitale Schallaufzeichnung 1982: CD Compact Disc 1987: DAT Digital Audio Tape 1982: MD Mini Disc 1997: : ADSL Breitband-Internet in Österreich 2001: Apple ipod 2006: HSDPA Mobiles Breitband in Österreich... Audiodesign Akustische Kommunikation und Akustische Gestaltung 5 Hannes Raffaseder Das Digitale Zeitalter Neue Technologien Neue Werkzeuge Neue Arbeitsabläufe Neuer Umgang mit den digitalen Medien Neue Seh- und Hörgewohnheiten Neue Erwartungen an Produkte Einheit von realen / analogen UND virtuellen / digitalen Welten Audiodesign Akustische Kommunikation und Akustische Gestaltung 6 Hannes Raffaseder 3

4 Veränderte Arbeitsabläufe FRÜHER: Lineare, oft hierarchisch gegliederte Arbeitsabläufe mit abgegrenzten Aufgabenbereichen, definierten Schnittstellen Komponist Interpret Publikum Sounddesign Tonmeister - verschiedene Ansichten - kleine Netzwerke - wenig Kommunikation, kaum Austausch von Ideen - keine gemeinsame Sprache Kamera Forscher Entwickler Regie Schnitt Spezifischer Kontext Audiodesign Akustische Kommunikation und Akustische Gestaltung 7 Hannes Raffaseder Veränderte Arbeitsabläufe HEUTE: Interdisziplinäre, kollaborative, zyklische Arbeitsabläufe Kontext Technik DESIGN Wahrnehmung Audio trifft Video Technik trifft Design Redaktion trifft Produktion ProSumer: Produzent trifft Konsument Inhalt Wirtschaft Audiodesign Akustische Kommunikation und Akustische Gestaltung 8 Hannes Raffaseder 4

5 Veränderte Wahrnehmung Schall ist speicherbar und nicht mehr flüchtig Wahrnehmung wann und wo auch immer statt jetzt oder nie - ipod statt Konzert - Sound kommt aus dem Web, wie Wasser aus der Leitung Akustische Ereignisse benötigen keine (sichtbare) Schallquelle mehr Akustische Ereignisse benötigen keinen (sichtbaren) Auslöser mehr Schallereignisse sind nicht mehr zwingend Folgen dynamischer Prozesse Das irreversible Prinzip von Ursache und Wirkung wurde aufgehoben Akustische Ereignisse sind beliebig oft reproduzierbar (Background)sounds- und loops (akustische Objekte) als Raumkunst, Filme/Video (visuelle Ereignisse) als Zeitkunst Audiodesign Akustische Kommunikation und Akustische Gestaltung 9 Hannes Raffaseder Veränderte Hörgewohnheiten Beispiel: Sound als räumliches Phänomen: Vom akustischen Ereignis zum klingenden Objekt? Akustische Kunst: Raum-Klang-Installationen, Klangobjekte Ambient Music Einsatz von Sound zur Gestaltung der Atmosphäre von (öffentlichen) Räumen: z.b. Supermarkt, Restaurant, Wellness, Club, Rave,... Hören von Musik in öffentlichen Räumen, um sich abzukapseln, den eigenen, privaten Raum zu definieren Surround-Sound und Wellenfeldsynthese Audiodesign Akustische Kommunikation und Akustische Gestaltung 10 Hannes Raffaseder 5

6 Das Digitale Zeitalter Ziele von digitalem Audio Design? möglichst originalgetreue Abbildung der akustischen Realität möglichst originalgetreue Reproduktion des ursprünlichen Ereignisses möglichst authentisch wirkende Sounds Probleme: Veränderungen von Grundprinzipien der akustischen Wahrnehmung werden nicht mitgedacht Veränderungen der Hörgewohnheiten bleiben unbeachtet Veränderungen im Kontext der Wahrnehmung bleiben unberücksichtigt Neue Möglichkeiten neuer Technologien und Medien oft zu wenig beachtet Audiodesign Akustische Kommunikation und Akustische Gestaltung 11 Hannes Raffaseder Audiovisuelle Wahrnehmung Assoziative Verknüpfung von Sinnesreizen Sinnesreize liefern in sich geschlossene Reizqualitäten Übergänge von hell nach dunkel, von laut nach leise etc. Keine Übergänge von hell nach leise Wahrnehmung der Umwelt nur in Fragmenten Sehen Hören Umwelt Audiodesign Akustische Kommunikation und Akustische Gestaltung 12 Hannes Raffaseder 6

7 Assoziative Verknüpfung Bei gleichzeitiger Wahrnehmung: assoziative Verknüpfung und kausale Zusammenhänge zwischen Sinnesreizen Korrelation mit früheren Erfahrungen Sehen Erfahrung Hören Umwelt Audiodesign Akustische Kommunikation und Akustische Gestaltung 13 Hannes Raffaseder Assoziative Verknüpfung Kombination unterschiedlicher Fragmente Ergänzung fehlender Information aufgrund der Erfahrung Wahrnehmung von Objekt 1 Objekt 1 Sehen Hören Erfahrung Umwelt Audiodesign Akustische Kommunikation und Akustische Gestaltung 14 Hannes Raffaseder 7

8 Assoziative Verknüpfung Beispiel: Pistole + Knall = Schuss wird akzeptiert, falls kein eindeutiger Widerspruch zur Erfahrung besteht. Vergleiche: Schüsse in Computerspielen Audiodesign Akustische Kommunikation und Akustische Gestaltung 15 Hannes Raffaseder Assoziative Verknüpfung Das Ganze ist mehr als die Summe seiner Teile! Mehrwert (Michel Chion: Sound and Vision) Viele Möglichkeiten für kreative akustische Gestaltung Objekt 1 Sehen Objekt 2 Erfahrung Hören Sehen Erfahrung Hören Fehlinterpretationen möglich! Audiodesign Akustische Kommunikation und Akustische Gestaltung 16 Hannes Raffaseder 8

9 Video-Beispiel Material\lufthansa spot - teil 1.avi Material\lufthansa spot - teil 2.avi Material\lufthansa spot - komplett.avi Audiodesign Akustische Kommunikation und Akustische Gestaltung 17 Hannes Raffaseder Audiovisuelle Wahrnehmung Das Ganze ist mehr als die Summe seiner Teile! Gegenseitige Beeinflussung von unterschiedlichen Sinneswahrnehmungen Akustische Ereignisse liefern immer Beträge zur Wirkung, Bedeutung, Funktion eines Medienprodukts Konzentration auf eine einzige Reizqualität kann höchstens in Ausnahmefällen zu optimalen Ergebnissen führen! Intermodale bzw. multisensuelle Ansätze in Konzeption, Produktion, Analyse und Lehre notwendig Audiodesign Akustische Kommunikation und Akustische Gestaltung 18 Hannes Raffaseder 9

10 Visuelle Illusionen Audiodesign Akustische Kommunikation und Akustische Gestaltung 19 Hannes Raffaseder Akustische Illusionen Shepard Scale Melody of Scilence Audiodesign Akustische Kommunikation und Akustische Gestaltung 20 Hannes Raffaseder 10

11 Audiovisuelle Wechselwirkungen Bauchredner-Effekt McGurk-Effekt Sound Induced Flash Illusion Schiebetür-Effekt Beeinflussung der Wahrnehmung von Zeit und Raum Beeinflussung von Emotionen und Stimmungen Audiodesign Akustische Kommunikation und Akustische Gestaltung 21 Hannes Raffaseder Sound Induced Flash Illusion z.b. Shams L, Ma WJ, Beierholm U: Sound-induced flash illusion as an optimal percept. Neuroreport 2005, 16: Audiodesign Akustische Kommunikation und Akustische Gestaltung 22 Hannes Raffaseder 11

12 Sound Induced Flash Illusion Audiodesign Akustische Kommunikation und Akustische Gestaltung 23 Hannes Raffaseder Sound Induced Flash Illusion Audiodesign Akustische Kommunikation und Akustische Gestaltung 24 Hannes Raffaseder 12

13 Sound Induced Flash Illusion Audiodesign Akustische Kommunikation und Akustische Gestaltung 25 Hannes Raffaseder Sound Induced Flash Illusion Audiodesign Akustische Kommunikation und Akustische Gestaltung 26 Hannes Raffaseder 13

14 Schiebetür Audiodesign Akustische Kommunikation und Akustische Gestaltung 27 Hannes Raffaseder Schiebetür Audiodesign Akustische Kommunikation und Akustische Gestaltung 28 Hannes Raffaseder 14

15 Schiebetür Audiodesign Akustische Kommunikation und Akustische Gestaltung 29 Hannes Raffaseder Schiebetür Audiodesign Akustische Kommunikation und Akustische Gestaltung 30 Hannes Raffaseder 15

16 Schiebetür Audiodesign Akustische Kommunikation und Akustische Gestaltung 31 Hannes Raffaseder McGurk-Effekt Tonspur: Ba Ba Video: Ga Ga Wahrnehmung: Da Da McGurk H, MacDonald J: Hearing lips and seeing voices. Nature 1976, 264: Material\McGurk_large.mov Audiodesign Akustische Kommunikation und Akustische Gestaltung 32 Hannes Raffaseder 16

17 Multisensuelle Gestaltung Das Ganze ist mehr als die Summe seiner Teile! ABER: There is almost never any collaboration between the composer and the sound designer, or between the composer and the supervising sound editor. And that's a shame. Randy Thom, A Few Notes On Music in The Final Mix, Intermodale bzw. multisensuelle Ansätze in Konzeption, Produktion, Analyse und Lehre notwendig Audiodesign Akustische Kommunikation und Akustische Gestaltung 33 Hannes Raffaseder Multisensuelle Gestaltung Intermodale Konzeption vs. visuelle Dominanz Sinnesorgane im Lauf der Evolution optimiert! Multimedialer Einheitsbrei oder Eigenständigkeit der Sinne? Berücksichtigung der jeweiligen Stärken ist entscheidend! Gegenseitige Ergänzung und Entlastung als Ziel Audio Design befasst mit den besonderen Eigenschaften der akustischen Wahrnehmung und den Wirkungs- und Bedeutungsebenen akustischer Ereignisse und berücksichtigt dabei multisensuelle Wechselwirkungen. Audiodesign Akustische Kommunikation und Akustische Gestaltung 34 Hannes Raffaseder 17

18 Ebenen der akustischen Wahrnehmung Akustische Wahrnehmung Ziel Überwachung Handlung Reflex Zuhören Hören Orientierung Kommunikation Konstruktion/Kreation (Re)aktion Interaktion Interpretation/Erfahrung Audiodesign Akustische Kommunikation und Akustische Gestaltung 35 Hannes Raffaseder Wirkungs- und Bedeutungsebenen 1. Direkte Wirkungen 2. Bedeutung durch Konvention 3. Informationsgehalt 4. Symbolgehalt Audiodesign Akustische Kommunikation und Akustische Gestaltung 36 Hannes Raffaseder 18

19 Direkte Wirkungen Unmittelbare (körperliche) Wirkung - aktivierende oder beruhigende Wirkung - stimmungsregulierende Wirkung - Beeinflussung von Körperfunktionen (z.b. Puls-, Atemfrequenz) vgl. Musiktherapie vgl. Kreide auf Tafel vgl. diverse basale Lautäußerungen bei Tier und Mensch (z.b. Angst, Lust, Hunger, ) Audiodesign Akustische Kommunikation und Akustische Gestaltung 37 Hannes Raffaseder Bedeutung durch Konvention Schallereignis als abstraktes Zeichen Erlernen der Konstruktion bzw. Konvention vgl. Sprache vgl. diverse funktionale Klänge: Earcons Audiodesign Akustische Kommunikation und Akustische Gestaltung 38 Hannes Raffaseder 19

20 Informationsgehalt Akustische Ereignisse als Folge physikalischer Prozesse Verknüpfung von akustischen Ereignissen mit konkreten Ereignissen, Objekten bzw. Erfahrungen Elementare Verknüpfung freie Assoziation - unmittelbar, ohne Vorkenntnis erfahr- bzw. auswertbar - vgl. dick, scharf, hell, geradlinig, aufsteigend, Ikonische Verknüpfung konkrete Assoziation - Identifikation von Quelle, Anregung und/oder Raum - Zuordnung wahrgenommener Merkmale zu bekannten Ereignissen - vgl. Lautmalerei vgl. diverse funktionale Klänge: Auditory Icons Audiodesign Akustische Kommunikation und Akustische Gestaltung 39 Hannes Raffaseder Informationsgehalt Informationsgehalt eines akustischen Ereignisses Schallquelle Raum Anregung Ort Form Größe Material Art Größe Art Stärke Rhythmus Geschwindigkeit Bewegung Beschaffenheit des Auslösers Audiodesign Akustische Kommunikation und Akustische Gestaltung 40 Hannes Raffaseder 20

21 Symbolgehalt Lautobjekt als Metapher für einen Sachverhalt Beispiele Sirene = Alarm Glocke = Kirche klingendes Glas = Feierlichkeit abhängig vom kulturellen, historischen, sozialen Kontext innerhalb eines Kulturkreises gut und intuitiv verständlich Audiodesign Akustische Kommunikation und Akustische Gestaltung 41 Hannes Raffaseder Symbolgehalt Lautereignis als Metapher für einen Sachverhalt abhängig vom kulturellen, historischen, sozialen Kontext innerhalb eines Kulturkreises gut und intuitiv verständlich Beispiel 1: Beispiel 2: Meeresbrandung Fischer Arbeit Student in Österreich Ferien, Sonne, Strand Schreibmaschine 1950 Fortschritt 2006 Nostalgie Audiodesign Akustische Kommunikation und Akustische Gestaltung 42 Hannes Raffaseder 21

22 Symbolgehalt Hektik Bergsteigen aktive Erholung Stress Klettern Gefahr Gebirge gute Luft Lärm hohes Tempo Autobahn Gebirgsbach unberührte Natur Ruhe Zivilisation Möven Rauschen Vogelzwitschern Technologie schlechte Luft Technisches Gerät Wellen Meer Brandung Surfen Tsunami Radio Defekt Strand Medien Sonne Kein Sport schlechte Unglück Empfang Qualität Urlaub Nachrichten Hitze Freizeit Mögliches assoziatives Bedeutungsnetzwerk für das Schallereignis Rauschen Beispiel 3: Meeresbrandung vs. Verkehr Signal: breitbandiges Rauschen Bedeutung: völlig verschieden Kontext entscheidet, wie wir ein akustisches Ereignis wahrnehmen Audiodesign Akustische Kommunikation und Akustische Gestaltung 43 Hannes Raffaseder Problemfelder und Herausforderungen Die semantische Lücke Die technologische Lücke Die wissenschaftliche Lücke Die Ausbildungslücke Audiodesign Akustische Kommunikation und Akustische Gestaltung 44 Hannes Raffaseder 22

23 Die Semantische Lücke Universeller Kontext: historisches, soziales, kulturelles, visuelles, akustisches, Umfeld des Ereignisses bzw. der Wahrnehmung Schallereignis: Technische Messung Semantische Lücke Lautereignis: Menschliche Wahrnehmung Individuelle Prägungen: persönliche Erfahrungen, subjektive Erinnerungen und Erwartungshaltungen, individuelle Stimmungen und Befindlichkeiten Audiodesign Akustische Kommunikation und Akustische Gestaltung 45 Hannes Raffaseder Der Designprozess Kontext: soziales, historisches, kulturelles, visuelles, akustisches, Umfeld Physikalisches Objekt bzw. Ereignis Schallereignis Design Grundfrequenz Pegel Signalform Nachhall Zeitstruktur Sinnesreiz Wahrgenommenes Objekt bzw. Ereignis Wahrnehmung Tonhöhe Lautstärke Klangfarbe Raum Zeitstruktur Lautereignis Erinnerung Objekte Ereignisse Konventionen pers. Erfahrungen ZIEL Anforderung intendierte Wirkung verbale Beschreibung Designprozess ERGEBNIS Reaktion erzielte Wirkung verbale Beschreibung Audiodesign Akustische Kommunikation und Akustische Gestaltung 46 Hannes Raffaseder 23

24 Die technologische Lücke Technological Gap High-Technologies z.b. Ambisonic, WFS, HDTV, Blu Ray, Low-Technologies z.b. Desktop Audio, Freie Software steigende Komplexität steigender Kostendruck Geforderte Quote Monopolisierung Konvergenz der Inhalte Do-it-Yourself-Generation Usergenerated Content Freie Inhalte Individualisierung, Differenzierung Diversifikation der Inhalte Qualität? Audiodesign Akustische Kommunikation und Akustische Gestaltung 47 Hannes Raffaseder Die wissenschaftliche Lücke Scientific Gap Digital Technologies Emerging Technologies z.b. Kognitionsforschung, Biound Nanotechnologie etc. Audiodesign Akustische Kommunikation und Akustische Gestaltung 48 Hannes Raffaseder 24

25 Die Ausbildungslücke Educational Gap Anwendungsorientierte Ausbildung, handwerkliche Fähigkeiten Kritische Reflexion medialer Inhalte, Qualitätsbewusstsein Medienkompetenz als entscheidender Wettbewerbsfaktor in zahlreichen Branchen Medienkompetenz? Audiodesign Akustische Kommunikation und Akustische Gestaltung 49 Hannes Raffaseder Forderungen an Digitales Audio Design Schließen der Lücken (Semantic, Technological, Scientific und Educational Gap) Entwurf und Nutzung kollaborativer, interdisziplinärer Arbeitsabläufe Multisensuelle Konzeption Kreative Nutzung neuer Technologien: Produktion statt Reproduktion Einbeziehung der Nutzer: Interaktivität Rückbesinnung auf die Stärken / Besonderheiten der akustischen Wahrnehmung Bewusstes Wahrnehmen und Gestalten der akustischen Umwelt Authentizität? Neudefinition des Verhältnisses von realer, analoger und virtueller, digitaler Umgebung Qualität? Evaluierung gültiger Standards, ev. Adaptierung, Neu-Definition Audiodesign Akustische Kommunikation und Akustische Gestaltung 50 Hannes Raffaseder 25

26 Aktuelle Forschungen als Lösungsansätze AllThatSounds: Assoziativ, Semantische Kategorisierung von Audiodaten Erleichtert das Finden von passenden Sounds für Medienproduktionen GeMMA: Generativ Music for Media Applikations Algorithmische Kompositions- und Synthesemethoden zur (teil)automatischen Komposition von interaktiver, generativer Medienmusik Berücksichtigung von Stimmungen/Emotionen entsprechend dem Circumplex-Modell of Affects nach J.A. Russel (vgl. Russell, J.A. (1980). A circumplex model of affect. Journal of Personality and Social Psychology: 39, ) Audiodesign Akustische Kommunikation und Akustische Gestaltung 51 Hannes Raffaseder AllThatSounds Sound Uploader /User Sounds Deskriptive Analyse Maschinelle Analyse ATS Sounddatenbank mit optimierten Verwaltungs- und Suchsystem User Analyse Semantische Analyse Audiodesign Akustische Kommunikation und Akustische Gestaltung 52 Hannes Raffaseder 26

27 Weiterführende Informationen: Hannes Raffaseder, Audiodesign, Hanser Verlag, Zweite überarbeitete und erweiterte Auflage ab Februar Kontakt: Audiodesign Akustische Kommunikation und Akustische Gestaltung 53 Hannes Raffaseder 27