Digital Humanities in Bewegung Ansätze für die computergestützte Filmanalyse. Vortrag auf der DHd 2016, Leipzig

Transkript

1 Digital Humanities in Bewegung Ansätze für die computergestützte Filmanalyse Vortrag auf der DHd 2016, Leipzig Manuel Burghardt, Lehrstuhl für Medieninformatik, Universität Regensburg E- Mail: Ein wenig kalauernd habe ich den Vortrag Digital Humanities in Bewegung genannt, um damit zweierlei zum Ausdruck zu bringen: So wird im Titel einerseits der Untersuchungsgestand der bewegten Bilder, also des Films, aufgegriffen, zugleich aber auch angedeutet, dass sich in den DH in den letzten Jahren zunehmend eine Hinwendung auch zu nicht- textuellen Daten abzeichnet, und deshalb dort im Bereich Filmanalyse- Tools tatsächlich einiges in Bewegung ist. Vortragsgliederung: Teil 1 Einführung: Quantitative Filmanalyse Teil 2 Beyond Shot Lenghts: Weitere quantifizierbare Parameter für die Filmanalyse Teil 3 Tools für die computergestützte Filmanalyse Teil 4 Diskussion und Ausblick 1

2 Teil 1 Einführung: Quantitative Filmanalyse Ich werde im ersten Teil des Vortrags einen Überblick zur quantitativen Filmanalyse geben, und dann einige Prototypen zur computergestützten, quantitativen Filmanalyse vorstellen. 2

3 Weiche und harte Methoden in der Filmanalyse Wirft man zunächst einen Blick in die gängigen Lehrbücher zur Filmanalyse, so wird deutlich, dass für den Untersuchungsgegenstand Film ein breites Methodenspektrum sowohl weicher, qualitativer Ansätze, als auch harter, quantitative Methoden zur Verfügung steht. Quellen: Korte, H. (2004): Einführung in die Systematische Filmanalyse. Berlin: Erich Schmid Verlag. 3

4 Quantitative Filmanalyse im Jahr 1912 Bevor nun gleich aufzeigt wird, wie man quantitative Parameter von Filmen computergestützt erheben kann, möchte ich zunächst kurz demonstrieren, dass quantitative Ansätze der Filmanalyse weit in die prädigitale Zeit zurückreichen. So wird etwa im hier ausschnittsweise abgebildeten Artikel (1912) zu Methoden und Praktiken der Filmanalyse ein gewisser Dr. Stockton erwähnt, der für die Diskussion um die Bedeutung und Relevanz langer und kurzer Szenen tagelang Filmmaterial sichtet, und ausgestattet mit Stoppuhr, tragbarer Zählmaschine und anderen Utensilien penibel die Anzahl und Länge einzelner Szenen sowie die darin auftretenden, wichtigen Personen dokumentiert und analysiert. Quellen: Beispiel und Bild übernommen aus: Tsivian, Y. (2014). Vortrag auf der 1. Cinemetrics Conference, 2014, Chicago. Video online verfügbar unter 4

5 Analyse von Szenen und Einstellungen Diese frühen quantitativen Kategorien, also etwa Anzahl und Länge der Szenen, sind bis heute wesentliche Parameter der Filmanalyse, und können noch weiter untergliedert werden in einzelne Einstellungen (Shots), und diese wiederum in einzelne Frames. Quellen: Mamber, S. (2002). Space-time mappings as database browsing tools. In Media Computing (pp ). Springer US. 5

6 The numbers speak (Teil 1) Barry Salt, der gemeinhin als einer der Mitbegründer des Felds der sogenannten Cinemetrics gilt, hebt die Analyse einzelner Szenen und Einstellungen auf eine neue Ebene der Detailanalyse. In seinem Artikel The Numbers Speak präsentiert Salt eine Analyse der Länge aller Szenen und Einstellungen des Filmklassikers The Adventures of Robin Hood, aus dem Jahre Salt misst die Länge jeder einzelnen Einstellung (in Fuß, d.h. anhand der Länge der physischen Filmrolle), und berechnet unter anderem durchschnittliche Einstellungslängen (ASL = Average ShotLength) für einzelne Szenen sowie für den gesamten Film. Salt interpretiert beispielhaft die Zahlen für einige Szenen. So stellt er etwa fest, dass die Einstellungslängen in der Tavernenszene, in der Lady Marianne zusammen mit den Männern von Robin Hood die Rettung des Protagonisten vom Galgen plant, im Vergleich zur durchschnittlichen Einstellungslänge im gesamten Film sehr viel größer ist, was inhaltlich die sorgfältige Planung der Rettungsaktion wiederspiegelt. Quellen: Beispiel und Bild übernommen aus: Salt, B. (2006). Moving into Pictures. Starwood. 6

7 The numbers speak (Teil 2) Im Gegensatz dazu ist in der Szene, in der die Rettungsaktion beginnt und die ersten Pfeile von Robins Männern abgeschossen werden, die durchschnittliche Einstellungslänge mit 3.66 Fuß sehr kurz, was die Lebendigkeit und auch einen gewissen chaotischen Charakter der Rettung Robin Hoods unterstreicht. Quellen: Beispiel und Bild übernommen aus: Salt, B. (2006). Moving into Pictures. Starwood. 7

8 The numbers speak (Teil 3) Während die Zahlen für die Interpretation einzelner Szenen zunächst wenig neue Erkenntnisse bringen welche man ebenso gut durch qualitative Analysemethoden herausfinden hätte können so sind sie umso interessanter, wenn man sie aus einer größeren Distanz betrachtet, und für den Film als Gesamtes analysiert. Ordnet man beispielsweise alle Einstellungen des Film in einem Histogrammanhand ihrer jeweiligen Länge an, so ergibt sich ein Zipf sche Verteilung, die u.a. auch in der Linguistik sehr häufig zu beobachten ist. Im Grunde zeigt dass Histogramm, dass der Großteil der Einstellungen eine Länge zwischen 2 und 6 Fuß haben, und das mit zunehmender Länge der Einstellungen deren Häufigkeit deutlich abnimmt. Quellen: Beispiel und Bild übernommen aus: Salt, B. (2006). Moving into Pictures. Starwood. 8

9 The numbers speak (Teil 4) Erhöht man die Distanz der analytischen Perspektive nun noch weiter, und vergleicht mehrere Filme, so wird deutlich, dass in einem Großteil der Filme eine Zipf sche Verteilung der Einstellungslängen zu beobachten ist. In Analogie zum aus der Literaturwissenschaft bekannten Konzept von Franco Morettis Distant Reading, wurde auf der letztjährigen DHd- Konferenz in Graz von Howanitz der Begriff des Distant Watching eingeführt, der auch in diesem Kontext passend scheint. Durch Distant Watching treten etwa Häufungen oder auch Muster in der Abfolge einzelner Einstellungen und Szenen zutage, die wiederum Rückschlüsse zu charakteristischen Film- Epochen, Genres, Regisseure, etc. erlauben. Quellen: Beispiel und Bild übernommen aus: Salt, B. (2006). Moving into Pictures. Starwood. Howanitz, G. (2015): Distant Waching: Ein quantitativer Zugang zu YouTube- Videos, in: Book of Abstracts, DHd

10 Cinemetrics Um nun zu segmentierten Filmdaten zu kommen, stellt das Portal cinemetrics.lv ein Annotationswerkzeug zur Verfügung, mit welchem über ein grafisches Interface beliebige Filme in einzelne Einstellungen segmentiert werden, und mit weiteren Informationen z.b. zur Einstellungsgröße also bspw. Nahaufnahme oder Totale versehen werden können. Das Herzstück der Cinemetrics- Seite stellt eine Datenbank mit mehreren tausend, bereits vollständig segmentierten Filmen dar, die über eine Webschnittstelle abgerufen werden können. In diesem Beispiel sieht man etwa die Analyse des alten russischen Films Hedgehog in the Fog. Neben diversen Statistiken, wie der Zahl der Einstellungen, der durchschnittliche Einstellungslänge, usw. findet sich auch ein Histogramm, welches die Länge der einzelnen Einstellungen entlang der Zeitachse des Films visualisiert. Die unterschiedlichen Farben stellen zusätzlich annotierte Informationen dar, in diesem Falle das Auftreten bestimmter Tiere in bestimmten Einstellungen (gelb = hedgehog, orange = owl, etc.). Quellen: Bilder und Beispiele übernommen aus dem Cinemetrics- Demovideo: 10

11 Teil 2 Beyond Shot Lenghts: Weitere quantifizierbare Parameter für die Filmanalyse Während das eben vorgestellte Cinemetrics- Tool eine manuelle Segmentierung von Filmen voraussetzt, möchte ich nun bewusst über das mehr oder weniger etablierte Zählen von Szenen und Einstellungen hinausgehen, und einige, in der systematischen Filmanalyse bislang weitestgehend unbeachtete, weitere (automatisch) quantifizierbare Filmcharakteristika vorschlagen. 11

12 Sprache Ein naheliegender, quantitativ erfassbarer Faktor bei der Filmanalyse ist etwa die verwendete Sprache, also die Dialoge zwischen den Figuren. 12

13 Untertitel als transkribierte Sprachdaten Wenn Sie sich an dieser Stelle fragen, wie man automatisch an die gesprochene Sprache von Filmen in einem maschinenlesbaren Format herankommt, dann muss man dazu nicht erst umständlich automatische Spracherkennung oder ähnliche Methoden anwenden, sondern kann relativ einfach auf eine Vielzahl frei verfügbarer Untertitel, z.b. über opensubtitles.orgzurückgreifen. Die Untertitel- Dateien sind immer nach dem hier abgebildeten Schema aufgebaut, d.h. sie enthalten eine Nummerierung der einzelnen Sprach- Sequenzen, die Start- und Endzeit der jeweiligen Sequenz sowie den tatsächlich gesprochenen Text. Anhand dieser Daten können dann typische korpuslinguistische Analyse bzgl. der Wortfrequenzen, der Wortarten sowie auch der Sentiment- Analyse vorgenommen werden. 13

14 Metadaten Als weiteren quantitativ erfassbaren Parameter möchte ich die online in hohem Maße verfügbaren Metadaten zu Filmen in die quantitative Analyse mit einbeziehen. Über frei verfügbare Plattformen wie die Internet Movie Database (IMDb) sind nicht nur Informationen wie etwa Jahr, Genre, Regisseur und Schauspieler, sondern auch Bewertungen von professionellen Kritikern sowie auch von ganz normalen Benutzern digital vorhanden und auswertbar. 14

15 Internet Movie Database Eine der bekanntesten,online verfügbaren Quellen ist die Internet Movie Database, die umfangreiche Metadaten zu zahlreichen Filmen und Serien bereit stellt. Neben Informationen zu Jahr, Genre, Regisseur stehen u.a. auch die Bewertungen von IMDb- Benutzern zur Verfügung, und erlauben so Rückschlüsse über die Popularität einzelner Filme. 15

16 Farbe Zuletzt möchte ich die Verwendung von Farbe im Film als quantifizierbares Kriterium vorschlagen. Farbe als Gegenstand in der Filmanalyse ist dabei durchaus kein Novum; jedoch wurde bislang die Farbgestaltung eines Films zumeist mit qualitativen Methoden analysiert. Ein prominentes Beispiel stellt hier etwa die umfangreiche Datenbank von Barbara Flückinger dar, die für Filme unterschiedlicher Epochen Informationen zu den jeweils verwendeten Colorierungstechniken und der damit einhergehenden, typischen Ästhetik der Filme gesammelt hat. Quellen: Flückinger, B.: Timeline of Historical Filmcolors, verfügbar unter 16

17 Farbprofile Die Extraktion von häufigen Farben bzw. charakteristischen Farbprofilen wird heute durch eine Vielzahl verfügbarer Clustering- Tools und Programmbibliotheken ermöglicht. So gibt es bspw. auch zahlreiche Webservices, die es dem Benutzer erlauben Bilder direkt im Browser auf typische Farbprofile hin zu analysieren. Quellen: Webtool zur Analyse von Bildern: 17

18 MovieBarcodes Eine der bekanntevisualisierungsform für die Verwendung häufiger Farben in Filmen sind die sog. MovieBarcodes; dabei wird jeder Frame eines Films auf die Breite eines Pixels gestaucht. Durch die Aneinanderreihung der einzelnen Frames entsteht so ein farbiger Barcode, der anzeigt welche Farben besonders häufig auftreten. Beim hier abgebildeten Film handelt es sich übrigens um Matrix (1999) Quellen: matrix prints 18

19 Teil 3 Tools für die computergestützte Filmanalyse In diesem Abschnitt möchte ich drei Prototypen vorstellen, die jeweils auf unterschiedliche, quantifizierbare Aspekte von Filmen abzielen und damit die Untersuchung ganz unterschiedlicher Fragestellungen erlauben. 19

20 Prototypen für die computergestützte Filmanalyse (1) Das erste Tool analysiert die Sprache von Filmen anhand typischer linguistischer Parameter wie Wortfrequenzen oder POS- Tagging und visualisiert die Ergebnisse in einem interaktiven Web- Interface. (2) Das zweite Tool erlaubt die Analyse von Serien in Hinblick auf die Nutzerbewertungen auf IMDb sowie hinsichtlich der in der Seriensprache verwendeten Sentimente und Emotionen. (3) Das dritte Tool kombiniert die Parameter Farbe und Sprache, und aligniert beide Parameter in einer vergleichenden Darstellung. 20

21 21

22 22

23 Das Tool erlaubt die Suche nach einem beliebigen Film, für den dann automatisch der englischsprachige, bestbewertete Untertitel von opensubtitles.org heruntergeladen wird. Folgende Informationen werden dann in einer Übersicht dargestellt: Grundlegende Metadaten, Angaben zur Dauer des Films, eine Sentimentanalyseder Top 5 der negativen und positiven Wörter sowie grundlegende Frequenzanalysen. Außerdem kann über eine Suchfunktion nach bestimmten Wörtern und Phrasen gesucht werden. 23

24 Zudem wird für frei definierbare Analyseintervalle, z.b. jeweils 5 Minuten, dargestellt wieviel im Film jeweils gesprochen wird. 24

25 Mit einem Klick auf eines der Analyseintervalle wird sämtlicher gesprochener Text in diesem Intervall dargestellt. Die Farben zeigen die automatisch erkannten Wortarten an. 25

26 26

27 27

28 SAT erlaubt zunächst die Suche nach einer beliebigen Serie. 28

29 In der Serienübersicht kann dann analysiert werden, ob es bestimmte Trends bei der IMDb- Bewertung oder dem Sentiment- Score gibt. Beispielsweise ist es häufiger der Fall, dass bestimmte Staffeln durchgehend schlechter bewertet wurden als andere (z.b. The Sopranos, Scrubs ). In anderen Fällen ergeben sich interessante Muster, wie etwa bei The Wire, wo innerhalb der Staffeln die Bewertung jeweils steigt, um dann beim Start einer neuen Staffel wieder leicht zu fallen. Anhand des Wertebereichs der Sentiment- Scores lässt sich ablesen, ob eine Serie im Allgemeinen eher eine freundliche oder eine düstere Atmosphäre verbreitet. Ersteres ist typischerweise bei Comedy- Serien wie The Big Bang Theory der Fall, wo der Sentiment- Score fast immer im positiven Bereich zu finden ist. Anders verhält es sich im Drama- Genre, wo es durchaus vorkommt, dass die Werte überwiegend negativ sind ( The Sopranos, The Wire ). Zudem lässt sich auf einen Blick überprüfen, ob es Korrelationen zwischen IMDb- Bewertungen und Sentiment- Score gibt. Betrachtet man beispielsweise die letzten beiden Staffeln von Breaking Bad, so erkennt man einen Negativtrend, was den Sentiment- Score betrifft, während die IMDb- Bewertung jeweils ansteigt. Sentiment- Lexikon: Nielsen, Finn Å. (2011): A new ANEW: evaluation of a word list for sentiment analysis in microblogs, in: Proceedings of the ESWC2011 Workshop on Making Sense of Microposts: Big things come in small packages

30 Zusätzlich zum Sentimentgraph werden grundlegende Emotionen in einem Spiderchartdargestellt. Emotionslexikon: Mohammad, Saif M. / Turney, Peter D. (2010): Emotions evoked by common words and phrases: Using Mechanical Turk to create an emotion lexicon, in: Proceedings of the NAACL HLT 2010 Workshop on Computational Approaches to Analysis and Generation of Emotion in Text

31 In der Graphendarstellung können bestimme Folgen nach darin auftretenden Figuren gefiltert werden; gelb dargestellt sind hier etwa alle Folgen von Breaking Bad in denen der Anwalt Saul Goodman auftritt. 31

32 Das Tool erlaubt auch eine Detailansicht für einzelne Episoden. Hier kann über das Mausrad beliebig gezoomt werden, und mit Klick auf einen bestimmten Dialog dieser mitsamt der Sentiment- Analyse angezeigt werden. 32

33 33

34 34

35 Das Tool generiert MovieBarcodes für beliebige vorher prozessierte Serien und Filme, und stellt sie in einer Übersicht in jedem aktuellen Browser dar. Technische Hinweise: (1) Die Extraktion der einzelnen Frames erfolgte mit der frei verfügbaren FFmpeg- Library ( (2) Das Farbclustering wurde mit dem frei verfügbaren OpenCV- Framework ( 35

36 In der Detailansicht werden Farbinformation und Sprachanalyse in einer parallelen Ansicht dargestellt, um so potenzielle Korrelationen zwischen dem Sentiment der Sprache und besonders markanten Schlüsselwörtern sowie auch der Farbverwendung identifizieren zu können. 36

37 Zusätzlich kann mit Klick an eine beliebige Stelle des MovieBarcodes jeder Frame einzeln angezeigt werden, zusammen mit dem entsprechenden Untertitel sowie einer Analyse der dominanten Farben im jeweiligen Bild. 37

38 38

39 Aktuell sind die Prototypen als rein explorative Tools gedacht, mit denen ausgetestet werden soll wie und ob man über frei verfügbare, und automatisch quantifizierbare Filmparameter die Filmanalyse sinnvoll bereichern kann. Wir verstehen die Tools zunächst im Sinne von Clement et al. (2008), d.h. das Ziel ist es zunächst neue Muster und Strukturen für die Filmanalyse aus der Distant Watching - Perspektive aufzuzeigen, die bislang kaum Berücksichtigung finden. Der Titel der Session Abseits ausgetretener Pfade passt deshalb als Motto für die hier vorgestellten Tools sehr gut J Quelle: Clement et. Al (2008). How not to read a million books. Online verfügbar über < 39

40 Nächste Schritte Aktuell laufen eine Reihe von Experimenten mit unterschiedlichen Kollegen aus dem Regensburger Institut für Information und Medien, Sprache und Kultur. Wir nehmen deren Feedback auf, und entwickeln die Tools sukzessive weiter. Mittelfristig ist auch geplant die optimierten Tools der Community zur Verfügung zu stellen. Ein Beispiel für eine aktuelle Weiterentwicklung der hier vorgestellten Ideen ist etwa die Konzeption eines Informationssystems, in welchem mehrere 100 Filme anhand grundlegender Farben, Metadaten und Schlüsselwörtern aus den Dialogen durchsucht werden können. Beispielhafte Abfrage: Finde alle Filme aus dem Genre Horror, in denen mind. zu 20% die Farbe Rot sowie das Schlüsselwort Vampir vorkommt. Für weiteres Feedback bzw. Ideen zu weiteren Features bei den Prototypen sind wir jederzeit dankbar, Kontakt: 40

41 41