Jakob Jünger, M.A. Till Keyling, M.A. Facepager. Ein Programm zur automatisierten Datenerhebung im Netz

Transkript

1 Jakob Jünger, M.A. Till Keyling, M.A. Ein Programm zur automatisierten Datenerhebung im Netz

2 Agenda 1. Grundlagen der automatisierten Datenerhebung 2. Überblick über den 3. Fallstricke automatisierter Datenerhebung

3 Erhebung von Daten im Web Server Client Webseite Browser REST-API Erhebungstool

4 Erhebung von Daten im Web graph.facebook.com/ Tatort? access_token=xxx Tatort

5 Hintergrund 2011: Entstehung an der LMU München als Tools zur Speicherung von Facebook-Seiten Seit 2012: Gemeinsame Kooperation Aktuell > API Zugriffe, 60 Nutzer aus 5 Ländern (Facebook API) Open-Source-Projekt auf GitHub: Presets und Installationsdateien (Mac OS, Windows):

6 - Übersicht Datensätze Details eines Datensatzes Abfragebereich Statusmeldungen des Programms Festlegen von Spalten

7 Workflow

8 Workflow

9 Workflow

10 Workflow

11 Workflow

12 Funktionen API-Module: Facebook, Twitter, Generic, Abfrageparameter frei einstellbar Presets zur Dokumentation und zum Austausch von Erhebungsdesigns Sukzessive (hierarchische) Abfrage, Abfrage paginierter Ergebnisse Einfacher Timer Anzeige der Daten anpassbar Exportieren als CSV-Datei oder über die Zwischenablage

13 Anforderungen an Tools zur Datenerhebung Abstraktion: Unterschiedliche APIs Kontrolle: Steuerbarkeit jeder Abfrage Transparenz: Offenlegung des Codes Standardisierung: Universelle Exportformate Spezialisierung: Trennung von Datenerhebung & Auswertung

14 Selektionsschritte im Prozess der Datengenerierung Forscher Tools API Scraping Rohdaten Ausgewählte Probleme: Vollständigkeit von Daten Validität von Indikatoren Transparenz von APIs Code/Affordances Meaning /Welt

15 Vollständigkeit der Daten Repräsentation über API unterscheidet sich von Repräsentation im Web 366 von 570 Kommentaren abrufbar Fehlt Request Status Error: Bad Request

16 Validität von Aktivitätsmessungen Mehr als 10 Posts pro Tag......eingespeist über RSS Graffiti...hauptsächlich Artikel aus der Frankfurter Neuen Presse

17 Transparenz der APIs Veränderte Berechnungsgrundlagen von Parametern YouTube: Channel-Parameter Total Upload Views Mangelnde Dokumentation API-Versionssprünge

18 Fazit Automatisierte Datenerhebung erleichtert aufwändige Erhebungsarbeit Leitprinzipien bei der Entwicklung: Abstraktion, Kontrolle, Transparenz, Standardisierung, Spezialisierung Automatisierte Datenerhebung garantiert nicht gute Forschung Verführerische Verfügbarkeit: Daten sprechen nicht für sich! Verführerische Einfachheit: Dokumentationen lesen!

19 Vielen Dank für Ihre Aufmerksamkeit!

20 Literatur Bruns, A. (2013). Faster than the speed of print: Reconciling big data social media analysis and academic scholarship. First Monday, 18(10). Abgerufen von De Choudhury, M., Lin, Y. R., Sundaram, H., Candan, K. S., Xie, L., & Kelliher, A. (2010). How does the data sampling strategy impact the discovery of information diffusion in social media. In Proceedings of the 4th International AAAI Conference on Weblogs and Social Media (S ). Abgerufen von Gehrau / Fretwurst / Krause (2005) (Hrsg.) Auswahlverfahren in der Kommunikationswissenschaft. Köln: Herbert von Halem Verlag. Gerlitz, C., & Rieder, B. (2013). Mining One Percent of Twitter: Collections, Baselines, Sampling. M/C Journal, 16(2). Abgerufen von Giglietto, F., Rossi, L., & Bennato, D. (2012). The Open Laboratory: Limits and Possibilities of Using Facebook, Twitter, and YouTube as a Research Data Source. Journal of Technology in Human Services, 30(3-4), doi: / González-Bailón, S., Wang, N., Rivero, A., Borge-Holthoefer, J., & Moreno, Y. (2012). Assessing the bias in communication networks sampled from twitter. Available at SSRN Abgerufen von Mahrt, M., & Scharkow, M. (2013). The Value of Big Data in Digital Media Research. Journal of Broadcasting & Electronic Media, 57(1), doi: / Morstatter, F., Pfeffer, J., Liu, H., & Carley, K. M. (2013). Is the sample good enough? comparing data from twitter s streaming api with twitter s firehose. Proceedings of ICWSM. Abgerufen von Seibold, B. (2002). Die flüchtigen Web-Informationen einfangen. Publizistik, 47(1), doi: /s Vis, F. (2013). A critical reflection on Big Data: Considering APIs, researchers and tools as data makers. First Monday, 18(10). doi: /fm.v18i Welker, M., & Wünsch, C. (Hrsg.). (2010). Die Online-Inhaltsanalyse: Forschungsobjekt Internet. Köln: Halem