Digitale Analyse Graphischer Literatur!

Transkript

1 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Digitale Analyse Graphischer Literatur! Dr. Alexander Dunst (Amerikanistik, Paderborn) Dr. Rita Hartel (Informatik, Paderborn) Dr. Sven Hohenstein (Kognitionswissenschaft, Potsdam) Dr. Jochen Laubrock (Kognitionswissenschaft, Potsdam) DHd-Jahrestagung 2015 Karl-Franzens-Universität Graz

2 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Graphische Literatur! 2

3 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur I. Zentrale Fragestellungen! und Methoden!

4 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Zentrale Fragestellungen! Zusammenspiel von Text und Bild im multimodalen Medium Leserseitige Konstruktion komplexer Erzählungen Beschreibung spezifischer Narrativität graphischer Literatur literarische, quasi-filmische Erzähltechniken Systematische Beschreibung des Genres graphischer Roman historische Entwicklung struktureller, thematischer oder narrativer Innovationen Interkulturelle Unterschiede!! USA, Europa und Asien 4

5 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Herausforderungen und Chancen! Graphische Literatur paradigmatisch für die Dominanz von Text-Bild- Kombinationen in der Gegenwartskultur DH derzeit text-fokussiert: Digitale Analyse visueller Erzählformen in den Anfängen Methoden der Bildanalyse von Interesse für verschiedene Bereiche der DH Annotations-Werkzeuge potenziell von Nutzen für Archivierung, Abruf und Analyse von illustrierten Texten, Film, Fernsehen, Fotografie und Computerspielen! 5

6 6 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Methodenkombination! Kulturwissenschaft: Narratologie, Intermedialitätsforschung, Kulturgeschichte Korpuserstellung, Quantitative Analyse des Genres, Beitrag zu einer empirisch fundierten Narratologie multimedialer Erzählformen Informatik: XML, Annotationstool, maschinelle Bildverarbeitung, lernende Systeme Rechnerunterstütze, teilautomatisierte Annotation und Analyse von Comics und graphischen Romanen, Vorbereitung für EyeTracking Kognitionswissenschaft: experimenteller Zugang, Blickbewegungsmessung, Aufmerksamkeitsmodellierung Quantifizierung der Aufmerksamkeitslenkung, Analyse medialer Eigenarten, Brückenschlag narrative Strukturen empirischer Leser

7 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur II. Digitale Annotation

8 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Zielsetzung Graphic Narrative Markup Language (GNML)! Operationalisierbare Fragen: Wie oft wechselt die Aufmerksamkeit des Lesers von Text zu Bild Was ist der relative (visuelle) Anteil eines Charakters an der gesamten Erzählung? GNML-Annotation ermöglicht It s time now, Peter. Mrs. Saavedra is waiting for you. abstrakte Sicht auf visuelle Daten ermöglicht effiziente, automatisierte Analyse Ortskoordinaten Voraussetzung für Eyetracking-Maße Auster, Karasik and Mazzuchelli, City of Glass: The Graphic Novel Sicht des Lesers Virginia Stillman Peter Stillman I am filled with hope. GNML-Sicht 8

9 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur GNML: Kurzbeschreibung! Version 1.0, XML-basierte Beschreibungssprache Basierend auf den Standards Text Encoding Initiative (TEI) und Comic Book Markup Language (CBML; Walsh, 2012) Repräsentiert Meta-Daten (Titel, Autor, ) Panel-Ort und -Übergang Charaktere und Objekte: Ort, Identität, Beziehung Visuelle Beziehungen Logische Beziehungen Texte: Ort und Inhalt, Typ " (Panel, Sprech-, Denkblase, " Onomatopoeia: WOOOM!) Auster, Karasik and Mazzuchelli, City of Glass: The Graphic Novel It s time now, Peter. Mrs. Saavedra is waiting for you. Virginia Stillman Peter Stillman I am filled with hope. GNML-Sicht <panel> <gl:area/> <gl:character who="p. Stillman"> <gl:area/> <relation who="v. Stillman"/> </gl:character> <gl:character who="v. Stillman"> <gl:area/> <relation who="p. Stillman"/> </gl:character> <balloon who="v. Stillman"> <gl:area/> <p>it's time now...</p> </balloon> <balloon who="p. Stillman"> <gl:area/> <p>i am filled...</p> </balloon> </panel> GNML-Daten 9

10 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur GNML-Editor "! Software zur Erfassung und Bearbeitung von GNML-Daten Erlaubt intuitives, visuelles Annotieren graphischer Literatur Erkennt automatisch Comic-Panels - Auch irreguläre Panel-Formen oder -Anordnungen werden erkannt. Komfort und verringerte Fehleranfälligkeit bei der Datenerfassung durch flexible Auto-Vervollständigungsmechanismen Editor mit automatisch erkannter Panel-Anordnung 10

11 11 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Herausforderungen für Informatik! GNML! Ausbau um alle relevanten Aspekte graphischer Literatur abzudecken GNML-Editor! Automatische Texterkennung auch für irreguläre Text-Fonts Nutzung von OCR (optical character recognition) wenn möglich Nutzung von Lernenden Systemen, wenn OCR versagt (Handschriften-Erkennung) Automatische Erkennung anderer Objekte (z.b. Finden und Identifizieren von Charakteren

12 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur III. Kognitionswissenschaftliches Fallbeispiel!

13 13 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Kognitionswissenschaftliche Experimente!

14 Verteilung der Aufmerksamkeit!

15 Verteilung der Aufmerksamkeit!

16 Verteilung der Aufmerksamkeit!

17 Verteilung der Aufmerksamkeit!

18 Verteilung der Aufmerksamkeit!

19 Verteilung der Aufmerksamkeit!

20 20 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Verteilung der Aufmerksamkeit! 1. Text 2. Gesichter 3. Protagonisten 4. Andere Charaktere 5. Handlungsrelevante Objekte 6. Saliente Objekte 7. Hintergrund

21 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur IV. Kulturwissenschaftliches Fallbeispiel!

22 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Vorarbeiten: Literatur- und Kulturwissenschaft! Beginn Erstellung und Annotation eines Korpus des USamerikanischen Graphischen Romans Sichtung und Kritik narratologischer Ansätze zum graphischen Roman Vergleichende Pilotstudien: Intermediale Analyse Roman/ Graphischer Roman (City of Glass) und Film/Graphischer Roman (Ghost World) 22

23 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Kulturwissenschaftliches Fallbeispiel: Netzwerkanalyse City of Glass Paul Auster, Paul Karasik and David Mazzuchelli, City of Glass, the Graphic Novel, intr. Art Spiegelman (London: Faber, 2005). Paul Auster, City of Glass, in: The New York Trilogy (London: Faber 1999).

24 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Netzwerkanalyse Graphischer Roman: Kategorien der Interaktion!

25 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur " " Zusammenfassung I. Digitale und teil-automatisierte Annotation und Analyse II. Quantitative Beschreibung der spezifischen Struktur graphischer Literatur III. Kognitionswissenschaftliche Studien zur Leser-Rezeption <panel> <gl:area/> <gl:character who="p. Stillman"> <gl:area/> <relation who="v. Stillman"/> </gl:character> <gl:character who="v. Stillman"> <gl:area/> <relation who="p. Stillman"/> </gl:character> <balloon who="v. Stillman"> <gl:area/> <p>it's time now...</p> </balloon> <balloon who="p. Stillman"> <gl:area/> <p>i am filled...</p> </balloon> </panel>

26 26 Nachwuchsgruppe Hybride Narrativität: Digitale und Kognitive Methoden zur Erforschung Graphischer Literatur Kontakt und Homepage! Kontakt: Dr. Alexander Dunst Dr. Rita Hartel Dr. Sven Hohenstein Dr. Jochen Laubrock Homepage/Blog: