Webspider mit curl. PHPWorld Kongress München, 9. November 2010 Stefan Fischerländer

Transkript

1 Webspider mit curl PHPWorld Kongress München, 9. November 2010 Stefan Fischerländer

2 suchmaschinen optimierung consulting Kurzvorstellung - Stefan Fischerländer Stefan Fischerländer SEO-Schulungen und -Consulting Suchmaschinen-Technologie Referenzen: Cooles Start-Up / Klassischer Mittelständler / Großverlag Kontakt stefan@fischerlaender.de 2

3 Agenda 1. Motivation: Parallele HTTP-Requests 2. Einführung in curl 3. Das curl-multi-interface 4. Parsen von HTML-Quelltext 5. Ein kompletter Webcrawler in PHP

4 Motivation Parallele HTTP-Requests? Webcrawler Kontinuierliche Abfrage sehr vieler URLs Mashup Webanwendung fordert im Hintergrund mehrere Ressourcen via HTTP an. Unternehmenseinsatz Zusammenführen von Daten aus verschiedenen Quellen. Beispiel: Ein Online-Marketing-Dashboard verknüpft Daten aus den Google Analytics, Adwords-Account und Sistrix-SEO-Tool.

5 Lösungsansätze file_get_contents Wenige Einflussmöglichkeiten (Timeout, User-Agent) Serielle Ausführung Multithreading PHP!? AJAX Mashup nur client-seitig mehr JS als PHP curl viele Optionen zur Steuerung Parallele Ausführung (im Multi-Interface)

6 curl: Single-Interface (I) Installation: siehe php.net Einfachster Aufruf: $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, ' curl_exec($ch); curl_close($ch);

7 curl: Wichtige Optionen (I) CURLOPT_RETURNTRANSFER curl_exec gibt Inhalt zurück und nicht nach STDOUT $data = curl_exec($ch) CURLOPT_HEADER Nimmt HTTP-Header in Ergebnis auf CURLOPT_TIMEOUT Setzt den Timeout für die gesamte Übertragung CURLOPT_CONNECTTIMEOUT Setzt den Timeout für den Verbindungsaufbau CURLOPT_USERAGENT Legt den User-Agent fest, der für den Request benutzt wird.

8 curl: Wichtige Optionen (II) CURLOPT_FOLLOWLOCATION Folgt automatisch Redirects CURLOPT_MAXREDIRS Legt fest, wie viele Redirects maximal verfolgt werden. CURLOPT_AUTOREFERER Legt fest, ob bei Redirects automatisch ein entsprechender Referrer-Header gesetzt wird.

9 curl: Single-Interface (II) Einsatz weiterer Optionen: $ch = curl_init(); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 8); curl_setopt($ch, CURLOPT_URL, ' print curl_exec($ch); curl_close($ch);

10 Serielle Ausführung: Theorie... Anrufzeiten summieren sich Beispiel: Mashup aus drei Quellen Quelle 1: 1,0 Sekunden Quelle 2: 1,0 Sekunden Quelle 3: 0,5 Sekunden Gesamt: seriell: 2,5 Sekunden parallel: 1,0 Sekunden

11 Serielle Ausführung:... und Praxis Der Aufruf langsamer URLs: curl_setopt($ch, CURLOPT_URL, ' $data1 = curl_exec($ch); curl_setopt($ch, CURLOPT_URL, ' $data2 = curl_exec($ch); curl_setopt($ch, CURLOPT_URL, ' $data3 = curl_exec($ch); print $data1. $data2. $data3;

12 curl: Multi-Interface (I) Grundsätzliche Vorgehensweise: 1. curl-multihandle anlegen 2. mehrere Single-Handles anlegen und per curl_multi_add_handle() ans Multihandle anfügen 3. Abarbeitung durch mehrfachen Aufruf von curl_multi_exec() starten 4. Abarbeitung mittels curl_multi_select() ohne Polling durchführen bis keine aktiven Single- Handles mehr existieren 5. Geladene Daten weiterverarbeiten

13 curl: Multi-Interface (II) $mh = curl_multi_init(); for($i=0; $i<count($urls); $i++) { $ch[$i] = curl_init(); curl_setopt($ch[$i], CURLOPT_URL, $urls[$i]); curl_setopt($ch[$i], CURLOPT_RETURNTRANSFER, true); curl_multi_add_handle($mh, $ch[$i]); } do { $mrc = curl_multi_exec($mh, $active); } while( $mrc == CURLM_CALL_MULTI_PERFORM ); while($active && $mrc == CURLM_OK) { if (curl_multi_select($mh, TIMEOUT)!= -1) { do { $mrc = curl_multi_exec($mh, $active); } while( $mrc == CURLM_CALL_MULTI_PERFORM ); } } for($i=0; $i<count($urls); $i++) { $data = curl_multi_getcontent( $ch[$i] ); }

14 Ergebnis parsen JSON-API json_decode() XML SimpleXML HTML BeautifulSoup (Python) Reguläre Ausdrücke Simple HTML DOM Parser DOMDocument::loadHTML() und XPath Firefox-Addons: Webdeveolper, XPath Checker

15 Webcrawler in PHP (I) Unterschied: Es werden mehr URLs geladen als curl-singlehandles bereit stehen. curl-singlehandles müssen also wiederverwendet werden. Vorgehensweise: Während curl_multi_select() das Ende einer Übertragung erkennen. Geladene Daten sichern. Das Singlehandle mit neuer URL laden.

16 Webcrawler in PHP (II) Einige Zahlen zur Performance: 5 Slots: 238ms / URL 10 Slots: 87ms / URL 20 Slots: 69ms / URL Gemessen bei jeweils URLs, 3 MBit/s DSL auf 0815-Hardware.

17 Webcrawler in PHP (III) Extraktion von Links aus den geladenen HTML- Seiten Reguläre Ausdrücke (fehleranfällig) DOMDocument und XPath (langsam) -mature-html-parser-for-php Hinzufügen der neu gefundenen (und noch nicht besuchten) URLs zur URL-Todo-List. Performante Verwaltung der URLs ist eines der Hauptprobleme für einen realen Crawler.

18 Zusammenfassung curl erlaubt, HTTP-Kommunikation genauer zu steuern als mit file_get_contents() und ist komfortabler als fsockopen(). Das Multi-Interface ist verwirrend und auf php.net schlecht dokumentiert, erlaubt aber sehr einfach parallele HTTP-Übertragungen. curl arbeitet zuverlässig, auch der Abruf von zigtausenden URLs in einem Prozess ist möglich.

19 Vielen Dank!