Reverse Link-Engineering Crawler-based Market Research

Transkript

1 Reverse Link-Engineering: Crawler-based Market-Research by (Gipfelstolz & ITam)

2 Agenda Vorstellung Einführung Sedcards Live-Demo (NDA required) Q&A

3 Stefan Fischerländer SEO-Consulting seit 2000 Gründer der SEO-Agentur Gipfelstolz Referenzen u Suchmaschinentricks.de (seit 2000) u Keyword-Datenbank ( ) u Neomo ( ) u u Deutsche Websuche (Index 200 Mio. Dokumente) Kooperation GelbeSeiten.de: Spezialsuche Gesundheit

4 Thomas Mindnich Seit 1996 selbständig im Performance-Marketing Geschäftsführender Gesellschafter ITam GmbH seit März 2002

5 Agenda Vorstellung Einführung Sedcards Live-Demo (NDA required) Q&A

6 Beer 2 Business Mit einfachen Mitteln lassen sich erstaunliche Ergebnisse erzielen! Learnings aus SEODay-links-links-links Vortrag von Stefan Aber: Lassen sich auch böse Ideen aus unseren Bierlaunen so einfach umsetzen? Ziele: Link-Graph als Basis Mit eignen oder fremden Crawlern & Tools Market Research Learnings für eigene SEO- Arbeit

7 History of Links Lycos, Januar 1997 Lycos uses a best-first search based on the popularity heuristic. We define popularity as the number of external Web servers with at least one link. Quelle: Lycos: Design choices in an Internet search service PageRank: Patentanmeldung Januar 1997 HITS: 1999 Hilltop: 1999 Trust-Rank: 2004

8 Google Changes: Link Evaluation Search quality highlights: 40 changes for February 2012: Link evaluation. We often use characteristics of links to help us figure out the topic of a linked page. We have changed the way in which we evaluate links; in particular, we are turning off a method of link analysis that we used for several years. We often rearchitect or turn off parts of our scoring in order to keep our system maintainable, clean and understandable. Characteristics & Methods Von wo kommt der Link? (URL, Domain, ) Welche harten oder weichen Attribute hat der Link? Linktext, Content, sidewide, Linkumfeld, Alter, nofollow/dofollow, redirects, Wohin zeigt der Link? (URL, Domain, ) SEO Metrics: Pagerank, Websitenalter, Content, Linkumfeld, Affiliation of Linking Sites, Aber auch: linking intend warum wurde der Link gesetzt? Paid Links, Link Schemes,...

9 Agenda Vorstellung Einführung Sedcards Live-Demo (NDA required) Q&A

10 #1 Screaming Frog Desktop-basierter Website-Crawler Level Aufwand Kosten Erkenntnis Schneller Zugriff auf interne und ausgehende Verlinkung, übersichtlicher als Xenu, mehr Detaildaten Nur geeignet für kleine Projekte, nur Adhoc-Analysen

11

12 #2 80legs Level Custom Web Crawling (high-scale) Data Extraction Pre-Build Feeds & Apps Aufwand Kosten Erkenntnis ü ü ü Daten-Scraping in hoher Skalierung IP-Sperren kein wirkliches Problem API-Anbindung: Auslagern wiederkehrender Tasks Ø keine Datenbank & kein Index

13 80legs ( Crawl Packages Apps Return Page Content Regular Expression Matcher Link Tracer Link Mapper Custom Eigene Apps kann man auch fremd entwickeln lassen (Freelancer- Plattformen) API-Zugriff für Integration in eigene Systeme

14 #3 SEO Tools Level Searchmetrics, Cemper Tools, Sistrix, XOVI, SEOlytics, SEOmoz, SEO Diver, MajesticSEO, Bing API, Yahoo Boss, Aufwand Kosten Erkenntnis Einfache Verfügbarkeit, historische Analysen Nur vorgegebene Auswertungsmöglichkeiten auf vorhandenem Datenbestand

15 Backlink Tools überprüfen Domain-Pop Unser Crawl Seomoz MajesticSEO Sistrix google.de spiegel.de amazon.de amazon.com bonn.de sistrix.de eisy.eu

16 Größe der Tools fürs dt. Web Tool Faktor Anzahl URLs / Deutschland Unser Crawl 1,0 13,9 Mio. Seomoz 12,7 175 Mio. MajesticSEO 12,1 170 Mio. Sistrix Schätzung! 17,3 240 Mio.

17 #4 Bing-API Co-Citation mit linkfromdomain- Operator Level Aufwand Kosten Erkenntnis Schnelle und kostengünstige Mini-Analysen. Einfaches Scrapen von SERPs. Nur für Spezialfälle geeignet

18 18 Co-Citation Sucht zu einer gegebenen URL verwandte URLs. Idee: Wenn eine Quelle auf mehrere Seiten verlinkt, müssen die verlinkten Seiten verwandt sein.

19 Anwendungsfall Ausgangsdaten: Ein Set fragwürdiger Websites Frage: Will ich von dort einen Link? Lösung: Co-Citation Umsetzung: linkfromdomain-abfrage in Bing über alle diese Domains aggregieren unter Nutzung der Bing-API

20 Ein Beispiel Input: 16 böse Domains Von dort vielfach verlinkte Websites: fre...en.net (7) st...ht.de (6) erb...te.de (6) nec...nn.de (6) pr...s.de (6) la...le.de (5) al...x.de (5)

21 #5 Google Level Alerts API -> Push(Rss, Brand-SEO Aufwand Kosten Erkenntnis Einfache Real-Time-Analysen von Linkaufbau-Taktiken. Push! Funktioniert nur für manche Brands

22 Google Alerts Als oder RSS-Feeds möglich Somit auch automatische/scriptbasierte Weiterverarbeitung möglich Große Link-Building-Brands alerten lassen Updates über Technik/Taktik Neue Links heute werden ja wieder deutlich mehr Brand-Links gesetzt Bsp: neue deutsche Startups funktionieren super

23 #6 Own Crawl Eigene Datenbank (Index), befüllt vom eigenen Crawler Level Aufwand Kosten Erkenntnis Detaillierte Analysen, bedarfsgerechter Datenaufbau und individuelle Abfragemöglichkeiten alte Daten, nicht unerheblicher Aufwand J

24 24 Größenangaben 13,9 Mio. gecrawlte URLs 0,6 Mio. gecrawlte Domains (?) 109 Mio. gefundene Links 2,0 Mio. bekannte Domains IP-Adressen Infos

25 Anteil DomPop nofollow DomPop mister-wong.de 49% facebook.com 11% Nofollow rtl.de 9% uni-muenchen.de 6%

26 Wort Anzahl de www com h3p mehr auf der imdb und in abo online blog die shop suche the von facebook at forum twi3er Linktexte

27 27 Hyperlink-Induced Topic Search Ordnet jeder URL (abhängig von der Query!) zwei Werte zu: Hub und Authority Hub = Linkt auf gute Inhaltsseiten (=Authority) Authority = Wird von vielen Hubs verlinkt HITS Das ist der Hintergrund der Idee, beim Linkbuilden gut platzierte Konkurrenzseiten mitzuverlinken.

28 Seiten, die die Query enthalten (189) Alle ein- und ausgehenden Links, der im Root-Set enthaltenen URLs (1.767) biathlon Root-Set Für jede URL U aus dem Base-Set wird jeweils der Authority- und der Hub-Wert berechnet. IL u = Incoming Links der URL U (Anzahl: M) OL U = Outgoing Links der IL u,1 URL U (Anzahl: N) AUTH(U) = HUB(IL U,1 ) HUB (IL U,M ) HUB(U) = AUTH(OL U,1) AUTH (OL U,N ) Base-Set Diese Berechnungen werden mehrmals hintereinander durchgeführt bis sich die Werte nur mehr gering ändern. (ca. 5 Durchläufe genügen) Nach jedem Durchlauf werden die Werte normiert.

29 h3p:// h3p:// Grün = Auch in den Google Top-10 vertreten. h3p:// online.de/ h3p:// h3p:// h3p://de.wikipedia.org/wiki/biathlon h3p:// antholz.it/ h3p:// aufschalke.de/ h3p:// ski.de/72- Termine.htm h3p:// ruhpolding.de/ HITS: biathlon

30 Anfälligkeit ausnutzen, um Cliquen zu entdecken! Ein Beispiel: Unter den Hubs für hotel finden sich: hot...te.de rhe...el.de rhe...els.de Die drei Domains haben unterschiedliche IP- Adressen. HITS und Cliquen

31

32 Man nehme eine der zuvor gefundenen Linknetz-Domains und lasse darüber den Co- Citation-Algorithmus laufen. In diesem Fall waren die ersten 100 Co-Domains offensichtlich alle aus diesem Linknetz. Auch hier hilft Co- Citation

33 Co-Citation $ perl co-citation.pl ho...te.de ho...te.de:13 ger...p.info:12 sch...el.biz:10 ger...el.net:8 bu...tel.de:8 feu...fo.de:8 woc...le.de:7 mit...in.net:7 fer...ne.de:7 him...ten.de:7 ritt...hl.de:7

34 #7 Blogping-Scraping Blogpings über API ziehen, Blogs crawlen und Links auswerten Level Aufwand Kosten Erkenntnis Real-Time Market-Research nur einzelne Segmente des Backlink-Profils

35 (Live-Demo)

36

37

38 Agenda Vorstellung Einführung Sedcards Live-Demo (NDA required) Q&A

39 Q&A

40 Counter SEO Schutz vor den bösen Reverse-Engineers Beim Kommentarspam ausgefallene Vornamen benutzen Keine Pings an Pingomatic aus den Blogsystemen Footprints lauern überall (z.b. zeitliche Muster) Christoph Cemper: Ein guter Link ist der, den die Konkurrenz nicht hat. Gibt es diesen Link ohne Exklusivitätsvereinbarung überhaupt noch? Linknetze findet man auch ohne persönlichen Kontakt zum Owner heraus

41 Danke!