Crawling & APIs. Valentin Deyringer Centrum für Informations- und Sprachverarbeitung

Größe: px

Ab Seite anzeigen:

Download "Crawling & APIs. Valentin Deyringer 19.05.15. Centrum für Informations- und Sprachverarbeitung"

Hetty Ritter
vor 8 Jahren
Abrufe

1 Crawling & Valentin Deyringer Centrum für Informations- und Sprachverarbeitung

2 Inhalt 1 Motivation - Anwendungen

3 Davids Socializer Der Oberlehrer 3/19 Valentin Deyringer Crawling &

4 mood predicts the stock market 1 Social Media Management Systeme (z.b. Hootsuite) Social Media Monitoring Tools (z.b. von Vico oder Valuescope) 1 Bollen, J. Mao, H., & Zeng, X. (2011) 4/19 Valentin Deyringer Crawling &

5 Application Programming Interface / Programmierschnittstelle Kommunikation zwischen Programmen hier nur Webservices meist über HTTP-Anfragen (GET, HEAD, POST,...) Rückgabewerte meistens JSON Format oft Authentifizierung nötig (OAuth) 5/19 Valentin Deyringer Crawling &

6 Google+ USGS... 6/19 Valentin Deyringer Crawling &

7 Graph API Objekte: Node (User, Pages, Groups,... ) Verbindung zwischen Objekten: Edge (ist befreundet mit, ist ein Kommentar zu,... ) Eigentschaften von Objekten: Field (id, text,... ) HTTP-Request liefert JSON Objekt v1.x am 30. April ausgelaufen 7/19 Valentin Deyringer Crawling &

Kommentar zu,... ) Eigentschaften von Objekten: Field (id, text,.

8 Anfragen: GET h t t p s : / / graph. facebook. com / ? f i e l d s=f i r s t n a m e, gender Antwort (je nach fields): { } i d : f i r s t n a m e : V a l e n t i n gender : male 8/19 Valentin Deyringer Crawling &

9 Veröffentlichen von z.b. Statusupdate: POST graph. facebook. com/user ID/ f e e d? message= MESSAGE&a c c e s s t o k e n=access TOKEN 9/19 Valentin Deyringer Crawling &

10 API (Stream & REST) (re)tweeten antworten favorisieren Tweets abfragen... 10/19 Valentin Deyringer Crawling &

11 { } c r e a t e d a t : Sat May : 0 3 : , i d : , i d s t r : , t e x t : t h i s i s a #tweet!!,... u s e r : { i d : , name : t w i t t e r u s e r l a n g : en,... } 11/19 Valentin Deyringer Crawling &

12 i m p o r t i m p o r t tweepy j s o n # s e t c r e d e n t i a l s i n c r e d e n t i a l s. py from c r e d e n t i a l s i m p o r t ( API KEY, API SECRET, ACCESS TOKEN, ACCESS TOKEN SECRET ) 12/19 Valentin Deyringer Crawling &

13 c l a s s F a v L i s t e n e r ( tweepy. s t r e a m i n g. S t r e a m L i s t e n e r ) : d e f o n d a t a ( s e l f, data ) : data = j s o n. l o a d s ( data ) # l o a d j s o n r e s p o n s e t r y : a p i. c r e a t e f a v o r i t e ( data [ i d ] ) # f a v t h e t w e e t e x c e p t : p a s s # e r r o r s a r e not h a n d l e d y e t r e t u r n True d e f o n e r r o r ( s e l f, s t a t u s ) : p r i n t ( s t a t u s ) 13/19 Valentin Deyringer Crawling &

14 l i s t e n e r = F a v L i s t e n e r ( ) # a u t h e n t i c a t e and l o a d API auth = tweepy. OAuthHandler ( API KEY, API SECRET ) auth. s e t a c c e s s t o k e n (ACCESS TOKEN, ACCESS TOKEN SECRET) a p i = tweepy. API ( auth ) # s e t up stream stream = tweepy. Stream ( auth, l i s t e n e r ) stream. f i l t e r ( t r a c k =[ i n s e r t c o o l s t r i n g ] ) Code auf GitHub 14/19 Valentin Deyringer Crawling &

s e t a c c e s s t o k e n (ACCESS TOKEN, ACCESS TOKEN SECRET) a p i = tweepy.

15 keine API vorhanden (News, Foren,... ) API nicht zugänglich (z.b. chefkoch.de) 15/19 Valentin Deyringer Crawling &

16 vorhandene Tools (z.b. Scrapy) kommerzielle Anbieter (z.b. import.io) oder Datenlieferanten (z.b Boardreader für Foren) selbst implementieren... 16/19 Valentin Deyringer Crawling &

17 Privatsphäre-Einstellungen der User AGBs der Plattformen schöpferische Höhe Datenbankrecht 17/19 Valentin Deyringer Crawling &

18 bieten viele Möglichkeiten - einfach selbst ausprobieren! Web 2.0 enthält unmengen an Daten rechtliche Aspekte nicht vergessen! 18/19 Valentin Deyringer Crawling &

19 Bollen, J., Mao, H., & Zeng, X. (2011). mood predicts the stock market. Journal of Computational Science, 2(1), (Stand ) 19/19 Valentin Deyringer Crawling &

de/archives/175-social-media-monitoringdatenschutz-was-unternehmen-beim-durchsuchen-des-social-webbeachten-sollten.html 2 http://www.

Ähnliche Dokumente

Flash, Network und Facebook. Steven Mohr steven@stevenmohr.de

Flash, Network und Facebook. Steven Mohr steven@stevenmohr.de Flash, Network und Facebook Steven Mohr steven@stevenmohr.de Gliederung 1. Wie ist eine Facebook-App aufgebaut 2. Basics 3. Erste Demo einer kleinen Flash-Facebook-App 4. Friends, Achievements und Invites