Diplomthema: Hören oder Sehen - ein spielerischer Vergleich

Transkript

1 FAKULTÄT INFORMATIK INSTITUT FÜR SOFTWARE- UND MULTIMEDIATECHNIK PROFESSUR FÜR COMPUTERGRAPHIK UND VISUALISIERUNG Diplomverteidigung Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Betreuer: Dr.-Ing. Wilfried Mascolus Verantwortlicher Hochschullehrer: Prof. Dr. rer. nat. Stefan Gumhold Dresden, 29. September 2011 Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann

2 Hören oder Sehen - ein spielerischer Vergleich Aufgabenstellung: Es soll ein interaktives 3D-Computerspiel entwickelt werden, dass vorwiegend in der horizontalen Ebene abläuft, in der das menschl. Gehör Schall am besten orten kann. Dazu ist parallel eine abschaltbare visuelle Variante mit vorzusehen. Ziel: akustische Navigationsunterstützung durch räuml. Wahrnehmung von Navigationssymbolen beispielhafte Anwendung der erarbeitenten Prinzipien in einem 3D-Computerspiel Dokumentation der Konzepte und Umsetzung, um Grundlage für spätere Arbeiten zu schaffen Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann

3 Gliederung 1. Grundlagen 2. Der Soundcursor -Ansatz 3. Techniken zur akustischen Navigationsunterstützung 4. Das Spiel - Lauschangriff 5. Zusammenfassung und Ausblick Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann

4 1. Grundlagen Lokalisationshinweise: Entfernung abstandsabhängige Lautstärkeabschwächung Ausbreitungsdämpfung (frequenzabhängig) Verhältnis Direktschall zu Diffusschall Schallfrequenz [Hz] Dämpfung [db] , , Ausbreitungsdämpfung in Luft [db/100m] (bei T>15 C und Luftfeuchte > 50%) Verhältnis Direktschall zu Diffusschall (l.), Raumimpulsantwort (m.), Schallausbreitung mit Reflektion an Hindernis (r.) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 1

5 1. Grundlagen Lokalisationshinweise: Richtung interaurale Laufzeit- und Pegeldifferenzen richtungsabhängige Filterwirkung von Ohr, Kopf und Oberkörper (HRTF) interaurale Laufzeitdifferenz (l.), interaurale Pegeldifferenz (r.) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 2

6 1. Grundlagen Lautstärkewahrnehmung Hörschwelle: Frequenzabhängig, abhängig von Ermüdungs-, Gewöhnungs- und Maskierungseffekten Maskierung: Beeinflussung der Empfindungsschwelle eines akustischen Reizes durch einen anderen (akustischen) Reiz Maskierungseffekte: Maskierung mit weißem Rauschen (l.), Maskierung mit schmalbandigen Signal bei 1 khz (r.) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 3

7 1. Grundlagen OpenAL 1.1 Gain Manipulation der Lautstärke (Halbierung entspricht Abschwächung des Lautstärkepegels um 6 db) Pitch Manipulation der Abspielgeschwindigkeit einer Wavedatei (Verdoppelung entspricht der Verdoppelung der Abspielgeschwindigkeit und damit der Verschiebung der Tonhöhe um eine Oktave) Darstellung einer Wavedatei, reiner Sinuston 500Hz (Screenshot Ableton Live) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 4

8 2. Der Soundcursor -Ansatz Ansatz: Steuerung eines akustisch wahrnehmbaren Mauszeigers auf 2D-Fläche Klangquellen sollen mit dem Cursor selektiert werden können durch geeignete Transformation der Klänge kann Position der Klänge im Raum best. werden kontinuierliches Mapping der Position auf Pitch-/Gainattribut stufenweises Mapping auf Pitch-/Gainattribut Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 5

9 2. Der Soundcursor -Ansatz Screenshot Soundcursor -Ansatz Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 6

10 2. Der Soundcursor -Ansatz Probleme: Vergleichbarkeit vs. Unterscheidbarkeit der verwendeten Klänge kontinuierliches Mapping zu ungenau Hilfsmittel (Geigercursor/akustische Taschenlampe) bringen nur geringe Verbesserung Fazit: nur stufenweises Mapping für Spiel verwendbar Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie

11 3. Techniken zur akustischen Navigationsunterstützung Navigationshilfe Radar (radiale, parallele Ausgabe): Schematische Darstellung des Radaransatz, Richtungen für Kollisionsberechnung (l.), Soundobjekte an Kollisionspunkten (r.) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie

12 3. Techniken zur akustischen Navigationsunterstützung Navigationshilfe Radar: radiale Ausgabe + nur ein zusätzliches Soundobjekt in der akust. Szene Geometrieveränderungen können übersehen werden Richtungen schwer vergleichbar parallele Ausgabe + Veränderungen in Raumgeometrie gut wahrnehmbar + Richtungen gut vergleichbar akustische Szene wirkt schnell überfüllt Sounds beeinflussen sich gegenseitig in Wahrnehmung Richtungen vorn/hinten nicht unterscheidbar Fazit: parallele Ausgabe in Spiel verwendet (abschaltbar, eigene Lautstärkeregelung, keine Ausgabe entgegen der Blickrichtung) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 9

13 3. Techniken zur akustischen Navigationsunterstützung Navigationshilfe Wegmarkensystem: Wegführung mit Wegmarkensystem Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 10

14 3. Techniken zur akustischen Navigationsunterstützung Navigationshilfe Wegmarkensystem: akustische Darstellung der Marker durch Earcons (kurze melodieähnliche Tonfolge) nächste Wegmarke: hohe, aufsteigende Tonfolge (C6, F6#, F6#) vorherige Wegmarke: tiefe, absteigende Tonfolge (C3#, A#2, A#2) Earcons zueinander disharmonisch & zeitlich verschoben Spieler kann vor- und rückwärts durch die virtuelle Umgebung navigieren geeignete Positionierung der Wegmarken wichtig Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 11

15 3. Techniken zur akustischen Navigationsunterstützung Navigationshilfe virtueller Führer : Screenshot virtueller Führer Wegführung mit virtueller Führer -Ansatz Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 12

16 3. Techniken zur akustischen Navigationsunterstützung Navigationshilfen für Wegfindung: Wegmarkensystem + Navigation vorwärts sowie rückwärts möglich + Konzept gut erweiterbar (für semantische/hierarchische Wegführung) künstlich, Bedeutung der Wegmarken muss erlernt werden virtueller Führer + intuitiv, schnell zu erlernen Positionierung des Roboters schwierig keine Rückwärtsnavigation möglich Fazit: virtueller Führer nur für einfache Level (ohne einzusammelnde Elemente) nutzbar Verwendung des Wegmarkensystems für das Spiel Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 13

17 3. Techniken zur akustischen Navigationsunterstützung Headtracking: Headtrackingsystem mir Infrarot-Markersystem umständliche Konfiguration unzuverlässig Screenshot Freetrack-Applikation Headtrackingsystem Webcam benötigt gute Lichtverhältnisse höhere Latenzen als IR-Markersystem Screenshot FaceTrackNoIR-Applikation Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 14

18 4. Das Spiel - Lauschangriff Anwendung der getesteten Elemente: Wegmarkensystem Radar (parallele Ausgabe) Lokalisierung der Klangobjekte durch: interaurale Pegeldifferenzen abstandsabhängige Lautstärkeabschwächung Zusätzliche Elemente für das Spiel: Erstellung der 3D-Modelle sowie geeigneter Klänge und Geräusche für Spielelemente Vermittlung des Zustands des Roboters/Inventars durch Sprache Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 15

19 4. Das Spiel - Lauschangriff Spielkonzept: Bergungsroboter wird durch unterirdischen Gebäudekomplex gesteuert schrittweise Einführung in die Spielelemente und Navigationshilfen Anstieg des Schwierigkeitsgrades im Verlauf des Spiels Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 16

20 4. Das Spiel - Lauschangriff Der Spieler muss: auf ausreichendes Energieniveau achten, Gefahren ausweichen, Objekte einsammeln, den Ausgang finden. Screenshots der Spielelemente: Falle (l.), Wachroboter (m.), Ladestation (r.), Werkzeug (r.o.) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 17

21 4. Das Spiel - Lauschangriff Minispiel Türcode : Soundcursor -Ansatz mit stufenweisem Mapping (3x3 Felder) aktuelles Zielfeld wird für kurze Zeit graphisch, akustisch angezeigt Start des nächsten Levels wenn Zahlencode vollständig eingegeben wurde Shematische Darstellung Minispiel Türcode Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 18

22 4. Das Spiel - Lauschangriff Akustische Elemente des Spiels: Lokalisierung durch interaurale Pegeldifferenzen & Lautstärkeabschwächung Verwendung unterschiedlicher Arten von akust. Signalen (Sprache, Earcons, Auditory Icons) Verwendung geeigneter Metaphern für Klänge und Geräusche Tabelle1 Spielelement/Aktion Sound Metapher Falle tiefes Brummen Trafobrummen Wachroboter elektr. Rasierapparat (Fahrgeräusch) elektr. Motor Kamerablende Bewegung von mechanischen Teilen Piepen & Roboterstimme Roboter (R2D2) Werkzeug Drehmomentschlüssel Werkzeug Tastenfelder Tastenton (Handy) Telefontaste Ladestation Spielautomat Terminal, Spielautomat Fahrstuhl Fahrstuhlgong + Zugabteil + Fahrstuhltür Fahrstuhl Element eingesammelt Registrierkasse Mehrwert für Spieler Fahrgeräusch elektr. Rasierapparat elektr. Motor Energieabzug Zischen Stromschlag Sounds für Spielelemente (nicht vollständig) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 19

23 4. Das Spiel - Lauschangriff Umsetzung des Spiels: 3D-Modelle für Level und Spielinhalte mit Autodesk Maya erzeugt Sounds mit Ableton Live und versch. Synthesizern erzeugt Import der Modelle mit OgreMax Konfiguration der Level und Verknüpfung der Sounds mit 3D-Modellen in XML-Datei Tabelle1 Bibliothek/Framework Beschreibung Grafik Ogre3D [OGRE] Szenengraphbasierte Grafik-Render-Engine GUI Crazy-Eddies-GUI [CEGUI] GUI-Framework für Ogre3D Sound OpenAL [OAL] Open-Audio-Library Kollisionsbehandlung OgreAL [OGAL] Minimal-Ogre-Collision-Toolkit [MOC] Ogre-Wrapper für OpenAL Toolkit für Strahlen-Schnittberechnung auf Vertexebene Tools OgreMaxSceneLoader [OMS] Tool zum Export von 3D-Szenen aus Autodesk Maya [AM] TinyXML [TXML] FreeTrackInterface Tool zum Laden und Speichern von XML-Dateien Schnittstelle zwischen der Testumgebung und den Applikationen FreeTrack [FT] und FaceTrackNoIR [FTNIR] verwendete Bibliotheken/Frameworks Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 20

24 5. Zusammenfassung und Ausblick Zusammenfassung: Soundcursor -Ansatz: verwendete Lokalisationhinweise für pixelgenaue Selektion nicht ausreichend Bergungsroboter -Ansatz: interaurale Pegeldifferenzen und Lautstärkeabschwächung grundlegend ausreichend für das Auffinden von Schallquellen (ohne Hindernisse) Radarsystem zur Erkennung von Hindernissen und Öffnungen im Nahbereich nützlich Wegmarkensystem für Wegführung gut geeignet (Wegmarken und Spielelemente müssen entlang des Weges sinnvoll positioniert werden) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 21

25 5. Zusammenfassung und Ausblick Ausblick: Implementierung von interauralen Zeitdifferenzen Umsetzung von Occlusion-, Obstruction-, Exclusioneffekten Verwendung der Anfangszeitlücke (für Entfernungs-/Raumwahrnehmung) kontextabhängige Verstärkung einzelner Schallquellen Umsetzung einer semantischen Wegführung (mehr Eingriffsmöglichkeiten durch Nutzer) Diplomthema: Hören oder Sehen - ein spielerischer Vergleich Michael Bißmann Folie 22