Das SEO-Praxisbuch 2015

Transkript

1

2

3 Das SEO-Praxisbuch 2015 von Dr. Thorsten Schneider Art.-Nr Version vom Autorisiertes Curriculum für das Webmasters Europe Ausbildungs- und Zertifizierungsprogramm 2014 by Webmasters Press Nordostpark 7, Nürnberg, Germany

4

5 Das vorliegende Fachbuch ist urheberrechtlich geschützt. Alle Rechte vorbehalten. Die Verwendung der Texte und Abbildungen, auch auszugsweise, ist ohne schriftliche Genehmigung des Verlags urheberrechtswidrig und daher strafbar. Dies gilt insbesondere für die Vervielfältigung, Übersetzung oder Verwendung in elektronischen Systemen sowie für die Verwendung in Schulungsveranstaltungen. Die Informationen in diesem Fachbuch wurden mit größter Sorgfalt erarbeitet. Trotzdem können Fehler nicht vollständig ausgeschlossen werden. Autoren und Herausgeber übernehmen keine juristische Verantwortung oder irgendeine Haftung für eventuell verbliebene fehlerhafte Angaben und deren Folgen.

6 Über den Autor Dr. Thorsten Schneider ist Web-Spezialist der ersten Stunde. Nach einem naturwissenschaftlichen Studium absolvierte er Mitte der 1990er Jahre eine der weltweit ersten Webmaster- Ausbildungen an der kanadischen Dalhousie University, arbeitete anschließend als Internet- Experte in einer Netzwerkfirma in Mainz und gründete dann die Webmasters Akademie, die er heute als Direktor und Leiter des Fachbereichs Web Business & Online Marketing leitet. Er ist außerdem Präsidiumsmitglied des Europäischen Webmasterverbandes Webmasters Europe e.v. (WE) und aktiv an der Entwicklung des internationalen WE-Ausbildungs- und Zertifizierungsprogramms beteiligt. Kontakt zum Autor profiles.google.com/u/0/ de.webmasters-europe.org/blog/autoren/dokschneider twitter.com/dok_schneider

7 Informationen zu dieser Buchreihe Dieses Buch ist Teil unserer Buchreihe zum Zertifizierungsprogramm des Europäischen Webmasterverbandes, Webmasters Europe e.v. (WE). Das Webmasters Europe Ausbildungs- und Zertifizierungsprogramm ist modular aufgebaut und bietet Abschlüsse und Zertifizierungen auf verschiedenen Ebenen an von der Experten- Zertifizierung für einzelne Themen bis hin zu Diploma-Abschlüssen für Webdesigner, Web- Entwickler, Webmaster und Online Marketing Manager. Nähere Informationen dazu finden Sie unter Unsere Buchreihe bietet Ihnen nicht nur eine fundierte und praxisnahe Einführung in das jeweilige Thema, sondern ist von Webmasters Europe e.v. offiziell autorisiert zur Vorbereitung auf die WE-Zertifikatsprüfungen. Damit haben Sie die Garantie, dass alle prüfungsrelevanten Themen behandelt werden.

8

9 Inhaltsverzeichnis Vorwort 13 1 Die Macht der Suchmaschinen Wie groß ist eigentlich das World Wide Web? Die Anfänge der Suchmaschinen Einige Fakten zur Suchmaschinen-Nutzung Marktanteile: Wer herrscht wo? Yahoo! Bing Funktionsweise von Suchmaschinen Die Architektur von Suchmaschinen Das Webcrawler-System Der Scheduler Der Index Das Such-Interface Google und das PageRank-Verfahren Das Unternehmen Google Inc. Wie funktionierten Suchmaschinen vor Google? Die Hypothese der Google-Gründer Ein hilfreiches Modell: Der Zufalls-Surfer Der PageRank-Algorithmus Tools zur Anzeige des PageRanks Die Google Toolbar PageRank-Tools für den Firefox-Webbrowser Interpretation des PageRank-Wertes Weiterentwicklung des PageRank-Verfahrens Das BadRank-Konzept Welche Rolle spielt der PageRank heute noch? Die Googlebots Die Freshbots Die Deepbots Das Google-Suchinterface Universal Search Die Google Spezial-Suchmaschinen Google Bildersuche Google Videos Google Maps Google News Google Shopping Google Bücher

10 Google Scholar Google Blogsuche Die Suchergebnisseite Google und das semantische Web Das Problem: Mein Computer versteht mich nicht! Technische Ansätze für das semantische Web HTML Microdata Aufbau der HTML-Mikrodaten Globale Attribute der HTML-Mikrodaten Verknüpfung von Objekten und Eigenschaften Den Quellcode prüfen mit dem Google Test-Tool für strukturierte Daten Woher kommen die Werte für die Microdata Properties? Der Google Knowledge Graph Was genau ist der Knowledge Graph? Wie arbeitet der Knowledge Graph? Welche Begriffe kennt der Knowledge Graph? Woher bezieht der Knowledge Graph seine Informationen? Welche Implikationen hat der Knowledge Graph? Die Status-Analyse: Wie steht s um meine Site(s)? Der Google PageRank Die Seiten im Google-Index Backlinks Backlinks über Google finden SEOmoz, Linkscape und der Open Site Explorer Majestic SEO ahrefs.com backlinktest.com Google Webmaster-Tools Relevante Keywords finden Der Prozess der Suchmaschinenoptimierung Ziele der Suchmaschinenoptimierung Strategische SEO-Ziele Projektziele für SEO-Projekte Keyword-Kandidaten ermitteln Brainstorming Kundenbefragungen Wettbewerberanalyse Der MetaGer-Web-Assoziator Relevante Keywords ermitteln mit dem Google Keyword-Planer Was das Suchvolumen wirklich bedeutet Google Trends

11 Kostenpflichtige Keyword-Datenbanken Onpage-Optimierung Optimierung des Text-Contents Content-Qualität als Ranking-Faktor Google will Sie verstehen Von der Keyworddichte zur Termgewichtung mit IDF*WDF Optimierung des HTML-Codes Keine Framesets! Gültiges HTML Mustergültige Struktur Keyword-Verteilung Eingebundene Dateien optimieren Bilder Videos CSS-Dateien und Skripte PDF-Dateien Semantische Optimierung mit HTML-Microdaten Lohnt der Aufwand? Breadcrumbs Personen Unternehmen und Organisationen Produkte Bewertungen und Erfahrungsberichte Veranstaltungen Video Onpage-Optimierung für den Google Knowledge Graph Umgang mit»duplicate Content«Ursachen von Duplicate Content Auswirkungen von Duplicate Content Was tun bei Duplicate Content? Kein Flash! Offpage-Optimierung Domainname und URL Struktur der Website Schnelligkeit und Verfügbarkeit der Website Ladezeiten prüfen mit dem Google PageSpeed Analyzer Ihre To Do's IP-Adresse des Webservers HTTPS-Protokoll Webanwendungen Die Steuerdatei robots.txt Linkaufbau und strategische Optimierung PageRank erhöhen durch Link Building Was Sie nicht tun sollten Was Sie tun sollten

12 Selbst gezielt Backlinks setzen Gezielter Linktausch und gezielte Bitte um Backlinks Verlinkenswerten Content schaffen Die Nachricht verbreiten Für die richtigen Linktexte/Ankertext sorgen Trust steigern durch Authority Links Local SEO Suchanfragen mit lokalem Bezug Lokale Ranking-Faktoren Adresse Eintrag in Google My Business Erfolgskontrolle Erfolgskontrolle mit Google Personalisierungsfunktionen deaktivieren Lokalisierungsfunktionen beachten Sich über neue Links informieren lassen Erfolgskontrolle mit Startpage Unerlaubte Tricks Doorway Pages Cloaking Link-Kauf Hilfreiche Firefox-Erweiterungen SearchStatus SeoQuake Lösungen 184 Index 195

13 Vorwort Meine erste Senseo-Kaffeemaschine kaufte ich bei Amazon, zu einer Zeit, als ich Amazon noch für einen reinen Online-Buchhändler hielt. Schuld daran war Google. Denn als ich»senseo«in das Suchfeld von Google eingab, erschien ein Link zu Amazon auf einem der obersten Plätze der Suchergebnisseite. Der Preis war o. k., und mit Amazon hatte ich schon bei Buchbestellungen gute Erfahrungen gemacht also war die Senseo mit ein paar Klicks bestellt und Amazon um ein paar Euro reicher. Mir wurde damals bewusst, wie wichtig es ist, im Web gut gefunden zu werden, um wirtschaftlich in diesem Medium erfolgreich zu sein. Gerade für ein Unternehmen, das neu und noch unbekannt ist und nicht über das Marketing- Budget eines Konzerns verfügt, bietet das Web hervorragende Möglichkeiten, sich von seiner Zielgruppe finden zu lassen. Genau darum geht es in diesem Buch. Schritt für Schritt werden Sie lernen, was getan werden kann und muss, um mit den für Sie relevanten Suchbegriffen auf die erste Ergebnisseite von Google (und dort möglichst weit nach oben) zu gelangen, denn nur dann werden Sie in einem signifikanten Umfang Interessenten abholen und auf Ihre Website leiten. Und das ist die Basis für den wirtschaftlichen Erfolg im Web. Je mehr Besucher Sie auf Ihre Website bekommen, desto größer sind auch Ihre Chancen, neue Kunden zu gewinnen und Ihre Umsätze zu steigern. Eine gute Visibility (Auffindbarkeit in Suchmaschinen) war natürlich auch für den fantastischen Erfolg von Amazon eine wichtige Basis. Wenn Sie (mit Google) irgendetwas suchen, das es bei Amazon zu kaufen gibt, werden Sie (fast) immer einen Link zur entsprechenden Artikelseite bei Amazon auf der ersten Google-Suchergebnisseite finden. Erreichen können Sie das nur, wenn Sie sich eingehend mit Suchmaschinenoptimierung (englisch: Search Engine Optimization, SEO) beschäftigen. Wenn Sie verstehen, wie Google»denkt«und welche Kriterien (Google nennt diese»signale«) Google bei der Berechnung des Rankings wie stark berücksichtigt. Alle im Web erfolgreichen Unternehmen beschäftigen sich mit SEO. Inzwischen ist eine ganze Branche an Dienstleistern rund um SEO entstanden. Es gibt unzählige Unternehmen und freie Experten, die sich mit nichts anderem beschäftigen, es gibt zahlreiche Bücher und Kongresse zum Thema. Das macht es für Sie nicht unbedingt einfacher, eine Webseite auf die erste Ergebnisseite zu bringen. Aber umso wichtiger ist es, sich eingehend mit dem Thema SEO zu beschäftigen. Sonst überlassen Sie den Erfolg Ihren Wettbewerbern! Die gute Nachricht ist jedoch: SEO ist keine Hexerei. Sie können mit etwas Aufwand (aber dafür ohne Geld) unglaublich viel erreichen. Das werde ich Ihnen in diesem Buch beweisen. Der große Vorteil von SEO gegenüber vielen anderen Marketing-Maßnahmen ist, dass der Effekt nachhaltig ist und nicht so schnell verpufft. Auch wenn Google seine Algorithmen ständig weiterentwickelt und verbessert, halten sich Webseiten, die fundiert (und ohne unlautere

14 Tricks anzuwenden) optimiert sind, hartnäckig in den oberen Ranking-Plätzen, ohne dass Sie allzu viel nachjustieren müssen. Einschränkend möchte ich anmerken, dass das alleine natürlich nicht reicht. SEO ist kein Allheilmittel gegen wirtschaftlichen Misserfolg. Die Basis dafür sind immer gute Produkte oder Dienstleistungen, die die Bedürfnisse einer Zielgruppe optimal erfüllen. Ein weiterer wichtiger Faktor ist Ihre Website selbst. Informationsarchitektur, Inhalt und Usability müssen stimmen, sonst flüchten die Besucher Ihrer Website schneller wieder als sie gekommen sind. Nur wenn diese Voraussetzungen erfüllt sind, kann SEO seine ganze Wirkung entfalten, und aus Ihren Besuchern werden tatsächlich auch Kunden. Und SEO ist nicht die einzige Online-Marketing-Maßnahme, die Sie im Web 2.0-Zeitalter ergreifen müssen, um im Web maximal erfolgreich zu sein. Aber es ist die Basis für alles Weitere. Bevor Sie über Social Media Marketing, Partnernetzwerke, -Marketing oder gar virales Marketing nachdenken, sollten Sie unbedingt zuvor Ihre SEO-Hausaufgaben gemacht haben. Ich habe versucht, in diesem Buch die richtige Balance zwischen technischen Hintergründen und praktischer Umsetzung zu finden. Die Bücher, die ich zum Thema bisher gelesen habe, waren mir entweder technisch zu tiefgehend oder zu oberflächlich: Blind irgendwelche Anleitungen und Tipps umzusetzen kann gefährlich sein. Daher finde ich es sehr wichtig, dass Sie sich nach der Lektüre dieses Buchs ein eigenes Urteil bilden können und Behauptungen über SEO kritisch hinterfragen und bewerten können. Die Kunst der effektiven SEO besteht vor allem auch darin, Wesentliches von Unwesentlichem zu unterscheiden und sich auf das Wesentliche zu konzentrieren. Natürlich bin ich auch auf Ihre Meinung sehr gespannt, freue mich über Lob und Tadel, konstruktive Kritik und Verbesserungsvorschläge. Gerne können Sie mich z. B. über XING kontaktieren. In diesem Sinne wünsche ich Ihnen viel Spaß bei der Lektüre, viel Erfolg bei Ihrer SEO-Arbeit und freue mich darauf, den einen oder anderen von Ihnen auch einmal online oder in Real Life kennen zu lernen. Ihr Dr. Thorsten Schneider

15 1.1 Wie groß ist eigentlich das World Wide Web? 15 Die Macht der Suchmaschinen 1 In dieser Lektion lernen Sie: wie groß das World Wide Web ist und wie viele es nutzen. wie Internetnutzer Suchmaschinen nutzen. wie sich Web-Verzeichnisse von Suchmaschinen unterscheiden. welche Suchmaschinen sich den Markt wie aufteilen. 1.1 Wie groß ist eigentlich das World Wide Web? Seit der Erfindung des World Wide Web (WWW) durch Tim Berners-Lee im Jahre 1990 hat sich das Internet in vielen Ländern zu einem Massenmedium entwickelt. Aktuell (d. h. im Jahr 2014) nutzen weltweit mehr als 2,8 Milliarden Menschen das Internet 1, und das Internet besteht aus mehr als einer Milliarde Hosts. 2, 3 Eine interessante Frage ist, aus wie vielen einzelnen (unterschiedlichen und indexierbaren) Webseiten 4 das WWW besteht. Ein Website-Betreiber konkurriert letztlich mit all diesen Seiten um die Auffindbarkeit im Web. Da es unmöglich ist, die einzelnen Seiten direkt zu zählen, gibt es dazu nur Schätzungen. Diese beruhen größtenteils auf der Auswertung der Größe des Suchindex der großen Suchmaschinen. Wenn man davon ausgeht, dass eine Suchmaschine wie Google bemüht und prinzipiell in der Lage ist, alle im WWW erreichbaren und zugänglichen Seiten zu indexieren, entspräche die Größe des Index ziemlich genau der Summe aller Seiten im WWW. Leider verrät Google dies schon seit einigen Jahren nicht mehr. Bis September 2005 blendete Google die Zahl der Dokumente im Index auf der Startseite des Suchinterfaces ein (vergl. Abb. 1.1), dann verschwand diese Zahl. Der damalige Google CEO Eric Schmidt begründete dies damit, dass keine einheitliche Zählweise existiere. Google-Konkurrent Yahoo! warb zu diesem Zeitpunkt nämlich mit einer größeren Zahl auf seiner eigenen Startseite wofür Google die höhere Zahl an nicht bereinigten Dubletten verantwortlich machte. Viele Seiten im WWW lassen sich ja unter unterschiedlichen URLs 5 aufrufen, obwohl sie inhaltlich identisch sind. Eine Dublettenbereinigung ist also sinnvoll, wenn man die tatsächliche Zahl unterschiedlicher Webseiten ermitteln möchte. Offenbar lösten Google und Yahoo! ihren Streit um den größten Ein Host bezeichnet in diese Zusammenhang (etwas vereinfacht ausgedrückt) einen Server, der über eine IP- Adresse und einen dieser IP-Adresse zugeordneten Namen im Internet erreichbar ist, z.b. oder ftp.suse.de 3. Quelle: 4. Begriffserläuterung: Eine Website besteht aus einer Vielzahl einzelner Webseiten, die jeweils mit einer weltweit eindeutigen Adresse, URL genannt, aufgerufen werden können. 5. URL = Uniform Ressource Locator, eindeutige Adresse eines Dokumentes im WWW wie z. B.

16 16 1 Die Macht der Suchmaschinen Abb. 1.1 Startseite von Google im September Quelle: web.archive.org/web/ / Index damit, dass sie übereinkamen, öffentlich keine Angaben zur Größe ihres Index mehr zu machen. Heute kennt also niemand (außer vielleicht Google) die Größe des WWW genau. Es gibt aber wissenschaftliche Ansätze zur Abschätzung der Größe des WWW. Der Niederländer Maurice de Kunder hat im Rahmen seiner Master-Abschlussarbeit an der Tilburg University eine Methode entwickelt, die auf der Analyse der Suchindexe der Suchmaschinen Google und Bing basiert. Je nachdem, welchen Index man analysiert, erhält man für die Größe des WWW verschiedene Zahlen. Diese liegen für den Google-Index zwischen ca. 14 Milliarden und ca. 50 Milliarden Webseiten. Die genau Methodik erklärt de Kunder auf seiner Website Abb. 1.2 Eine wissenschaftliche Methodik zur Ermittlung der Größe des World Wide Web hat Maurice de Kunder entwickelt 6.

17 1.2 Die Anfänge der Suchmaschinen Die Anfänge der Suchmaschinen Bereits seit den Anfängen des WWW gab es Bestrebungen, Webseiten mit relevanten Informationen auffindbar zu machen. Einer der ersten Ansätze waren von Hand gepflegte Listen von Webservern, die mit dem Internet verbunden waren. Der Erfinder des WWW, Tim Berners- Lee, pflegte in den ersten Jahren eigenhändig eine solche Liste und veröffentlichte sie auf dem Webserver des Forschungsinstituts CERN, an dem er tätig war. Andere Web-Kataloge ordneten die Websites in Kategorien und Unterkategorien ein und konstruierten so ein hierarchisches Verzeichnis, das man durchblättern oder durchsuchen konnte. Diesen Ansatz verfolgten u. a. das bekannte Yahoo!-Verzeichnis 7 und später das von der Firma Netscape ins Leben gerufene Open Directory Project ODP 8. Beide gibt es auch heute noch. Als sich das enorme Wachstum des WWW abzeichnete, wurde klar, dass von Hand gepflegte Listen auf Dauer nicht funktionieren konnten. Die Lösung konnte nur darin bestehen, eine Software zu programmieren, die das WWW permanent nach neuen Webservern und Webseiten durchsucht und einen Index der gefunden Seiten automatisch erstellt. Die erste Suchmaschine wurde 1993 entwickelt und hatte den Namen JumpStation. Sie benutzte bereits einen Web-Robot, eine Software, die Webseiten im WWW finden und automatisch einen Index dieser Seiten erstellen konnte. Aufgrund der limitierten Hardware-Ressourcen, die dieser Suchmaschine zur Verfügung standen, extrahierte JumpStation nur die Titel und Überschriften aus den gefundenen Webseiten und speicherte diese in ihrem Index ab. Ein Jahr später erschien mit WebCrawler jedoch eine Suchmaschine, die den gesamten Text einer Webseite herunterlud und für den Aufbau ihres Suchindex verwendete. Bei WebCrawler konnten die Suchenden daher nach beliebigen Begriffen und Begriffskombinationen suchen und erhielten als Ergebnis eine Liste von Webseiten, auf denen diese Begriffe irgendwo im Text vorkamen. Das Prinzip der Volltext-Indexierung ist auch heute noch der Standard bei allen aktuellen Suchmaschinen. Schon zu dieser Zeit war klar, dass Suchmaschinen im WWW zukünftig eine entscheidende Rolle spielen würden. Entsprechend groß war das Interesse von Visionären dieser Zeit, eigene Suchmaschinen zu entwickeln. Bis Mitte der 1990er Jahre entstanden u. a. die Suchmaschinen Lycos, AltaVista, Excite, Infoseek, Northern Light und Inktomi (die später von Yahoo! aufgekauft wurde). Der Wettbewerb zwischen verschiedenen Suchmaschinen-Betreibern wurde in den kommenden Jahren so groß, dass der Webbrowser-Hersteller Netscape 1996 von fünf Suchmaschinen jeweils 5 Millionen Dollar pro Jahr nur dafür kassieren konnte, dass er in seiner Browser-Software auf jede dieser fünf Suchmaschinen in Rotation verlinkte! 1.3 Einige Fakten zur Suchmaschinen-Nutzung Heute gehören Suchmaschinen zu den am meisten genutzten Anwendungen des WWW. Die Autoren der bekannten Internetstudie W3B (»WWW-Benutzer-Analyse«) gehen davon aus, dass fast alle (98%) Internetnutzer Suchmaschinen verwenden 9 und bestätigen damit nur, dir.yahoo.com/ 8.

18 18 1 Die Macht der Suchmaschinen was wir uns alle schon gedacht haben. Laut einer weiteren (nicht veröffentlichten) W3B-Studie werden Suchmaschinen von Internetnutzern in jeder Phase des Kaufentscheidungsprozesses genutzt, nicht nur zu Beginn, sondern oftmals auch noch kurz vor dem tatsächlichen Kauf. Fast ein Drittel der Suchmaschinennutzer geht davon aus, dass Anbieter, die in den Suchergebnissen immer wieder weit oben auftauchen, führende, bekannte Anbieter sind und glaubt außerdem, dass ein Anbieter, der bei der Suche nach einem Produkt in der Ergebnisliste nicht auftaucht, das Produkt gar nicht führt. 10 Diese Erkenntnisse der Marktforschung machen mehr als deutlich, wie wichtig es für den Erfolg im Web ist, in Suchmaschinen gut gefunden zu werden. 1.4 Marktanteile: Wer herrscht wo? Wenn man sich den aktuellen, globalen Marktanteil verschiedener Suchmaschinen anschaut, bekommt man den Eindruck, dass Google den Markt deutlich beherrscht: Global gehen mehr als 80% aller Anfragen an Suchmaschinen an Google. 11 Sieht man sich jedoch verschiedene Regionen der Erde an, so erkennt man, dass es durchaus signifikante regionale Unterschiede gibt. So hat Google im deutschen Sprachraum einen Marktanteil von über 95%. In Googles eigener Heimat USA ist der Marktanteil mehr als 10% niedriger als hierzulande. In einigen Ländern dominieren sogar lokale Suchmaschinen, und Google landet nur auf dem zweiten Platz, so z. B. in Russland, China und Südkorea. 12 Land Google-Marktanteil (%) Größter Google-Konkurrent (%) Indien 97,9 Yahoo! (1,1) Niederlande 97,8 Bing (1,3) Brasilien 97,6 Bing (1,7) Deutschland 95,2 Bing (1,7) Frankreich 91,6 Bing (3,6) Großbritannien 91,5 Bing (3,0%) USA 84,6 Yahoo! (8,1%) Tschechien 77,2 Seznam (21,2%) Japan 72,1 Yahoo! (25,3%) Südkorea 35,2 Naver (55,4%) Tabelle 1.1 Marktanteile von Google in verschiedenen Ländern. Quelle: suchmaschinen-marktanteile.htm marketshare.hitslink.com/ 12.

19 1.5 Yahoo! 19 Land Google-Marktanteil (%) Größter Google-Konkurrent (%) China 30,2 Baidu (66,4%) Russland 25,4 Yandex (69,0%) Tabelle 1.1 Marktanteile von Google in verschiedenen Ländern. Quelle: suchmaschinen-marktanteile.htm Wie Sie Tabelle 1.1 entnehmen können, gibt es offenbar nur drei Länder, in denen Google nicht Marktführer ist: Russland, China und Südkorea. Führend sind dort jeweils lokale Suchmaschinen, die aber in anderen Ländern keine Rolle spielen. Auf dem globalen Markt gibt es nur zwei mehr oder weniger ernst zu nehmende Google-Kontrahenten, nämlich Bing und Yahoo! Bevor wir uns dem globalen Marktführer Google zuwenden, möchte ich diese beiden etwas näher beleuchten. 1.5 Yahoo! Die Wurzeln des Unternehmens Yahoo! reichen bis ins Jahr 1994 zurück, als die beiden Studenten Jerry Yang und David Filo eine Website mit dem Namen»David and Jerry's Guide to the World Wide Web«online brachten. Diese Website beinhaltete einen hierarchisch aufgebauten Katalog von Websites, der von den beiden händisch gepflegt und erweitert wurde. Schon nach wenigen Monaten wurde das Verzeichnis in Yahoo! umbenannt. Das Unternehmen entwickelte sich zu einem Portal weiter, das über Werbeeinnahmen Geld verdienen konnte und baute seinen Webkatalog immer weiter aus. Als ein von Menschen gepflegtes Verzeichnis, in das neue Websites nur nach Prüfung ihres Nutzwerts aufgenommen wurden, war Yahoo! praktisch das Gegenmodell zu dem Ansatz der Suchmaschinen, die bestrebt waren, über automatisierte Verfahren alle öffentlich zugänglichen Webseiten des WWW auffindbar zu machen. Allerdings musste auch Yahoo! einsehen, dass ein redaktionell geführtes Web-Verzeichnis mit dem starken Wachstum des WWW nicht mithalten kann. Ab dem Jahr 2000 bot Yahoo! auch eine Web-Suche an und war dafür Lizenznehmer von Google. Durch den Erwerb der Suchmaschine Inktomi holte sich Yahoo! eine eigene Suchtechnologie ins Haus, so dass der Vertrag mit Google 2004 gekündigt wurde und Yahoo! in direkte Konkurrenz zu Google und Microsofts Bing-Suchmaschine trat. Nachdem Microsoft im Jahr 2008 erfolglos versuchte hatte, Yahoo! zu übernehmen, einigten sich die beiden Unternehmen überraschenderweise 2009 auf eine Kooperation: Die Yahoo!- Suchtechnologie ist 2013 komplett durch Microsoft Bing ersetzt worden, alle Suchanfragen an die Yahoo!-Websites werden heute von Bing beantwortet. 1.6 Bing Bing heißt die aktuelle Suchmaschine von Microsoft und ist bereits der dritte Versuch des IT- Giganten aus Redmond, im Suchmaschinenmarkt Fuß zu fassen. Die erste Microsoft-Suchmaschine nannte sich MSN Search und erschien 1998, im Gründungsjahr von Google. MSN Search verfügte bereits über einen eigenen Suchindex und ein Web-Crawler-System, griff jedoch teilbzw. zeitweise auch auf Suchergebnisse anderer Suchmaschinen (Inktomi, Looksmart, Alta- Vista) zu. In den folgenden Jahren entwickelte Microsoft dann aber eine eigene Suchtechnologie, die 2006 unter dem Namen Windows Live Search (ab 2007 nur noch Live Search genannt)

20 20 1 Die Macht der Suchmaschinen unter der Domain live.com veröffentlicht wurde. Im Juni 2009 schließlich erfolgte die Umbenennung in die neue Marke Bing (bing.com). Nach der überraschenden Vereinbarung mit Yahoo! 2009 gelang Microsoft im Sommer 2011 ein weiterer spektakulärer Deal: Der chinesische Suchmaschinenbetreiber Baidu kündigte an, dass Suchanfragen an Baidu mit englischen Begriffen zukünftig an Bing weitergeleitet werden. Microsoft hat in den letzten Jahren in den USA offenbar Marktanteile dazugewinnen können. Eine Studie sieht Bing und Yahoo! zusammen aktuell bei fast 30% 13. Außer Google und Bing spielen andere Suchmaschinen aktuell kaum eine Rolle. Zwar gab und gibt es immer wieder Versuche, mit Neuentwicklungen und neuen Technologien die Marktmacht der Suchmaschinen-Giganten zu brechen, bisher war aber kein Versuch von dauerhaftem Erfolg gekrönt. Zu diesen gescheiterten Projekten gehören u. a. Cuil, Viewzi, Wikia Search und SearchMe. Darüber hinaus gibt es aber auch noch zahlreiche zwar noch aktive aber wenig erfolgreiche Projekte wie z. B. Wolfram Alpha (leitet seine Suchergebnisse inzwischen an Bing weiter), Excite (fristet ein Nischendasein), Altavista (gehört heute Yahoo!), Exalead (erfolgloser europäischer Google-Kontrahent) und zahlreiche weitere Projekte. Jüngster Herausforderer, der Erwähnung verdient, ist die Suchmaschine Blekko ( die im November 2010 mit 24 Millionen Dollar Risikokapital, 19 Ingenieuren und einigen neuen Ideen an den Start ging. Eine Kernidee von Blekko besteht darin, die Suchenden bei der Berechnung der Relevanz von Suchergebnissen stark einzubeziehen. Dazu können (registrierte) Benutzer die Suchergebnisse kategorisieren, kommentieren und eigene Suchfilter erstellen, die sie wiederum anderen Nutzern zur Verfügung stellen können. 1.7 Testen Sie Ihr Wissen! 1. Wie lässt sich die Größe des WWW näherungsweise ermitteln? 2. Warum ist es für den Erfolg einer Website so extrem wichtig, in Suchmaschinen gut gefunden zu werden? 3. In welchen Ländern der Erde ist Google nicht Marktführer? 4. Wie heißen die marktführenden Suchmaschinen in diesen Ländern? 5. Woher bezieht die Suchmaschine Yahoo! ab 2013 ihre Ergebnisse? Engine-Rankings

21 2.1 Die Architektur von Suchmaschinen 21 Funktionsweise von Suchmaschinen 2 wie Suchmaschinen aufgebaut sind. wie Suchmaschinen funktionieren. In dieser Lektion lernen Sie: 2.1 Die Architektur von Suchmaschinen Wie Sie bereits gesehen haben, besteht das World Wide Web aktuell aus mindestens 14 Milliarden Webseiten. Wenn Sie wissen möchten, welche dieser Webseiten Informationen zu einem bestimmten Thema enthalten, müssten Sie sich im Prinzip alle Seiten anschauen und diese beurteilen. Das würde reichlich lange dauern (nehmen wir einmal an, Sie wären ein absoluter Schnell-Leser und würden sich jede Sekunde eine neue Webseite anschauen, dann bräuchten Sie genau genommen 444 Jahre natürlich ohne Ihre Zeit mit essen, trinken, schlafen und anderen unnützen Dingen zu vertrödeln ). Natürlich würde niemand auf die Idee kommen, auf diese Weise relevante Informationen zu finden. Suchmaschinen haben aber im Prinzip dasselbe Problem. Sie müssen alle Seiten des World Wide Web analysieren, um Ihnen eine Auswahl von Seiten auf der Suchergebnisseite als relevant für Ihre Suchwörter zu präsentieren. Dabei ist es technisch schlicht unmöglich, diese mehr als 14 Milliarden Seiten live zu durchsuchen, wenn ein Benutzer auf der Webseite einer Suchmaschine eine Anfrage absetzt. Selbst wenn eine Suchmaschine in der Lage wäre, viele Milliarden Webseiten gleichzeitig aufzurufen: Diese herunterzuladen und zu analysieren würde Zeit kosten und die Geduld des Suchenden arg strapazieren, ganz davon abgesehen, dass der eine oder andere Webserver sicherlich in die Knie ginge, wenn er alle auf ihm gespeicherten Webseiten gleichzeitig ausliefern müsste. Suchmaschinen müssen also einen anderen Ansatz verfolgen. Das Grundprinzip besteht darin, die im World Wide Web auf Servern gespeicherten Dokumente zunächst herunterzuladen, zu analysieren und einen durchsuchbaren Index anzulegen. Etwas vereinfacht dargestellt, bestehen heutige Suchmaschinen aus vier Systemkomponenten: dem Webcrawler-System dem Index dem Scheduler dem Such-Interface

22 22 2 Funktionsweise von Suchmaschinen 2.2 Das Webcrawler-System Das Webcrawler-System besteht aus Computerprogrammen, die das World Wide Web automatisch durchsuchen und Webseiten herunterladen und analysieren können. Die Webcrawler (auch Spider, Searchbot oder (Suchmaschinen-)Robot genannt) sind softwaretechnisch sehr ähnlich zu einem Webbrowser wie Sie ihn kennen, z. B. Firefox oder Internet Explorer. Der Crawler startet auf einer beliebigen Webseite, lädt diese für die weitere Analyse und Verarbeitung in den Store Server herunter und erstellt eine Liste der auf dieser Webseite vorhandenen Hyperlinks zu anderen Webseiten. Diese Liste wird an den Scheduler übergeben. Dabei werden u. a. auch die HTTP-Statuscodes ausgewertet, die die Webserver beim Übertragen der Dokumente an die Webcrawler mitschicken. Ist z. B. eine URL, die ein Webcrawler aufzurufen versucht, nicht mehr gültig, weil die Datei inzwischen auf dem Server gelöscht wurde, liefert der Server den HTTP-Statuscode 404 File not found zurück. Die URL muss also aus dem Dokumentenindex entfernt werden, und der Scheduler muss keine weiteren Crawler zu dieser Adresse mehr entsenden. 2.3 Der Scheduler Der Scheduler sammelt und verwaltet die Adressen der Webseiten (URLs) und steuert die automatisierte Aussendung von Crawlern zu diesen Adressen. Er bekommt von den Crawlern ständig neue URLs gemeldet, die diese in den besuchten Webseiten finden und gleicht diese mit den bekannten URLs ab. Da nahezu alle Webseiten direkt oder indirekt miteinander verlinkt sind, können die Crawler auf diese Weise durch das gesamte World Wide Web wandern und die gefundenen Seiten herunterladen. Es wird dabei jedoch immer auch Seiten geben, die die Crawler nicht finden können, z. B. weil es keinen einzigen Link von anderen Webseiten auf sie gibt, sie also völlig isoliert sind. Oder weil man diese Seiten erst erreicht, wenn man zuvor ein Formular ausfüllt oder sich registriert, was ein Crawler typischerweise nicht tut. Die Seiten, die Suchmaschinen aus solchen Gründen nicht finden, bezeichnet man übrigens als Deep Web. Manche Experten gehen davon aus, dass das Deep Web nochmals deutlich größer ist als das von Suchmaschinen-Robots durchsuchbare Web.