Nachhaltige Suchmaschinen-Optimierung

Transkript

1

2

3 Nachhaltige Suchmaschinen-Optimierung von Dr. Thorsten Schneider Art.-Nr Version vom Autorisiertes Curriculum für das Webmasters Europe Ausbildungs- und Zertifizierungsprogramm 2012 by Webmasters Press Nordostpark 7, Nürnberg, Germany

4

5 Das vorliegende Fachbuch ist urheberrechtlich geschützt. Alle Rechte vorbehalten. Die Verwendung der Texte und Abbildungen, auch auszugsweise, ist ohne schriftliche Genehmigung des Verlags urheberrechtswidrig und daher strafbar. Dies gilt insbesondere für die Vervielfältigung, Übersetzung oder Verwendung in elektronischen Systemen sowie für die Verwendung in Schulungsveranstaltungen. Die Informationen in diesem Fachbuch wurden mit größter Sorgfalt erarbeitet. Trotzdem können Fehler nicht vollständig ausgeschlossen werden. Autoren und Herausgeber übernehmen keine juristische Verantwortung oder irgendeine Haftung für eventuell verbliebene fehlerhafte Angaben und deren Folgen.

6

7 Über den Autor Dr. Thorsten Schneider ist Web-Spezialist der ersten Stunde. Nach einem naturwissenschaftlichen Studium absolvierte er Mitte der 1990er Jahre eine der weltweit ersten Webmaster-Ausbildungen an der kanadischen Dalhousie University, arbeitete anschließend als Internet-Experte in einer Netzwerkfirma in Mainz und gründete dann die Webmasters Akademie, die er heute als Direktor und Leiter des Fachbereichs Web Business & Online Marketing leitet. Er ist außerdem Präsidiumsmitglied des Europäischen Webmasterverbandes Webmasters Europe e.v. (WE) und aktiv an der Entwicklung des internationalen WE-Ausbildungs- und Zertifizierungsprogramms beteiligt. Kontakt zum Autor profiles.google.com/u/0/ de.webmasters-europe.org/blog/autoren/dokschneider twitter.com/dok_schneider

8 Informationen zu dieser Buchreihe Dieses Buch ist Teil unserer Buchreihe zum Zertifizierungsprogramm des Europäischen Webmasterverbandes, Webmasters Europe e.v. (WE). Das Webmasters Europe Ausbildungs- und Zertifizierungsprogramm ist modular aufgebaut und bietet Abschlüsse und Zertifizierungen auf verschiedenen Ebenen an von der Experten-Zertifizierung für einzelne Themen bis hin zu Diploma-Abschlüssen für Webdesigner, Web-Entwickler, Webmaster und Online Marketing Manager. Nähere Informationen dazu finden Sie unter Unsere Buchreihe bietet Ihnen nicht nur eine fundierte und praxisnahe Einführung in das jeweilige Thema, sondern ist von Webmasters Europe e.v. offiziell autorisiert zur Vorbereitung auf die WE-Zertifikatsprüfungen. Damit haben Sie die Garantie, dass alle prüfungsrelevanten Themen behandelt werden.

9 Inhaltsverzeichnis Über den Autor 7 Vorwort 13 1 Die Macht der Suchmaschinen Wie groß ist eigentlich das World Wide Web? Die Anfänge der Suchmaschinen Einige Fakten zur Suchmaschinen-Nutzung Marktanteile: Wer herrscht wo? Yahoo! Bing Funktionsweise von Suchmaschinen Die Architektur von Suchmaschinen Das Webcrawler-System Der Scheduler Der Index Das Such-Interface Google und das PageRank-Verfahren Das Unternehmen Google Inc. Wie funktionierten Suchmaschinen vor Google? Die Hypothese der Google-Gründer Ein hilfreiches Modell: Der Zufalls-Surfer Der PageRank-Algorithmus Tools zur Anzeige des PageRanks Die Google Toolbar PageRank-Tools für den Firefox-Webbrowser Interpretation des PageRank-Wertes Weiterentwicklung des PageRank-Verfahrens Das BadRank-Konzept Welche Rolle spielt der PageRank heute noch? Die Googlebots Der Freshbot Der Deepbot Das Google-Suchinterface Universal Search Die Google Spezial-Suchmaschinen Google Bildersuche Google Videos Google Maps Google News Google Shopping

10 Google Bücher Google Scholar Google Blogsuche Die Suchergebnisseite Google und das semantische Web Das Problem: Mein Computer versteht mich nicht! Technische Ansätze für das semantische Web HTML Microdata (HTML- Mikrodaten) Aufbau der HTML-Mikrodaten Globale Attribute der HTML-Mikrodaten Verknüpfung von Objekten und Eigenschaften Den Quellcode prüfen mit dem Google Test-Tool für strukturierte Daten Woher kommen die Werte für die Microdata Properties? Aufgaben zur Selbstkontrolle Der Google Knowledge Graph Was genau ist der Knowledge Graph? Wie arbeitet der Knowledge Graph? Einige Beispiele Welche Begriffe kennt der Knowledge Graph? Woher bezieht der Knowledge Graph seine Informationen? Welche Implikationen hat der Knowledge Graph? Die Status-Analyse: Wie steht s um meine Site(s)? Der Google PageRank Die Seiten im Google-Index Backlinks Backlinks über Google finden Der Yahoo! Site Explorer SEOmoz, Linkscape und der Open Site Explorer Majestic SEO Weitere Backlink-Checker Google Webmaster-Tools Relevante Keywords finden Der Prozess der Suchmaschinenoptimierung Ziele der Suchmaschinenoptimierung Strategische SEO-Ziele Projektziele für SEO-Projekte Keyword-Kandidaten ermitteln Brainstorming Kundenbefragungen Wettbewerberanalyse Der MetaGer-Web-Assoziator Relevante Keywords ermitteln mit dem Google Keyword Tool Google Trends Kostenpflichtige Keyword-Datenbanken

11 9 Onpage-Optimierung Keine Framesets! Kein Flash! Gültiges HTML Optimale Keyworddichte Keyword-Verteilung Semantische Optimierung Lohnt der Aufwand? Autoreninformationen in Suchergebnissen Breadcrumbs Personen Unternehmen und Organisationen Produkte Bewertungen und Erfahrungsberichte Veranstaltungen Video Onpage-Optimierung für den Google Knowledge Graph Duplicate Content Ursachen von Duplicate Content Auswirkungen von Duplicate Content Was tun bei Duplicate Content? Offpage-Optimierung Domainname und URL Schnelligkeit und Verfügbarkeit der Website Ladezeiten prüfen mit dem Google PageSpeed Analyzer Ihre To Do's IP-Adresse des Webservers Webanwendungen Die Steuerdatei robots.txt Linkaufbau und strategische Optimierung PageRank erhöhen durch Link Building Was Sie nicht tun sollten Was Sie tun sollten Selbst gezielt Backlinks setzen Gezielter Linktausch und gezielte Bitte um Backlinks Verlinkenswerten Content schaffen Die Nachricht verbreiten Für die richtigen Linktexte/Ankertext sorgen TrustRank steigern durch Authority Links Local SEO Suchanfragen mit lokalem Bezug Lokale Ranking-Faktoren Adresse Eintrag in Google Places

12 13 Erfolgskontrolle Erfolgskontrolle mit Google Personalisierungsfunktionen deaktivieren Lokalisierungsfunktionen beachten Sich über neue Links informieren lassen Unerlaubte Tricks Doorway Pages Cloaking Link-Kauf Hilfreiche Firefox-Erweiterungen SearchStatus SeoQuake Lösungen 187 Index 200

13 Vorwort Meine erste Senseo-Kaffeemaschine kaufte ich bei Amazon, zu einer Zeit, als ich Amazon noch für einen reinen Online-Buchhändler hielt. Schuld daran war Google. Denn als ich»senseo«in das Suchformular von Google eingab, erschien ein Link zu Amazon auf einem der obersten Plätze der Suchergebnisseite. Der Preis war o. k., und mit Amazon hatte ich schon bei Buchbestellungen gute Erfahrungen gemacht also war die Senseo mit ein paar Klicks bestellt und Amazon um ein paar Euro reicher. Mir wurde damals bewusst, wie wichtig es ist, im Web gut gefunden zu werden, um wirtschaftlich in diesem Medium erfolgreich zu sein. Gerade für ein Unternehmen, das neu und noch unbekannt ist und nicht über das Marketing-Budget eines Konzerns verfügt, bietet das Web hervorragende Möglichkeiten, sich von seiner Zielgruppe finden zu lassen. Genau darum geht es in diesem Buch. Schritt für Schritt werden Sie lernen, was getan werden kann und muss, um mit den für Sie relevanten Suchbegriffen auf die erste Ergebnisseite von Google (und dort möglichst weit nach oben) zu gelangen, denn nur dann werden Sie in einem signifikanten Umfang Interessenten abholen und auf Ihre Website leiten. Und das ist die Basis für den wirtschaftlichen Erfolg im Web. Je mehr Besucher Sie auf Ihre Website bekommen, desto größer sind auch Ihre Chancen, neue Kunden zu gewinnen und Ihre Umsätze zu steigern. Eine gute Visibility (Auffindbarkeit in Suchmaschinen) war natürlich auch für den fantastischen Erfolg von Amazon eine wichtige Basis. Wenn Sie (mit Google) irgendetwas suchen, das es bei Amazon zu kaufen gibt, werden Sie (fast) immer einen Link zur entsprechenden Artikelseite bei Amazon auf der ersten Google-Suchergebnisseite finden. Erreichen können Sie das nur, wenn Sie sich eingehend mit Suchmaschinenoptimierung (englisch: Search Engine Optimization, SEO) beschäftigen. Wenn Sie verstehen, wie Google»denkt«und welche Kriterien (Google nennt diese»signale«) Google bei der Berechnung des Rankings wie stark berücksichtigt. Alle im Web erfolgreichen Unternehmen beschäftigen sich mit SEO. Inzwischen ist eine ganze Branche an Dienstleistern rund um SEO entstanden. Es gibt unzählige Unternehmen und freie Experten, die sich mit nichts anderem beschäftigen, es gibt zahlreiche Bücher und Kongresse zum Thema.

14 Das macht es für Sie nicht unbedingt einfacher, eine Webseite auf die erste Ergebnisseite zu bringen. Aber umso wichtiger ist es, sich eingehend mit dem Thema SEO zu beschäftigen. Sonst überlassen Sie den Erfolg Ihren Wettbewerbern! Die gute Nachricht ist jedoch: SEO ist keine Hexerei. Sie können mit etwas Aufwand (aber dafür ohne Geld) unglaublich viel erreichen. Das werde ich Ihnen in diesem Buch beweisen. Der große Vorteil von SEO gegenüber vielen anderen Marketing-Maßnahmen ist, dass der Effekt nachhaltig ist und nicht so schnell verpufft. Auch wenn Google seine Algorithmen ständig weiterentwickelt und verbessert, halten sich Webseiten, die fundiert (und ohne unlautere Tricks anzuwenden) optimiert sind, hartnäckig in den oberen Ranking-Plätzen, ohne dass Sie allzu viel nachjustieren müssen. Einschränkend möchte ich anmerken, dass das alleine natürlich nicht reicht. SEO ist kein Allheilmittel gegen mangelhaften wirtschaftlichen Erfolg. Die Basis dafür sind immer gute Produkte oder Dienstleistungen, die die Bedürfnisse einer Zielgruppe optimal erfüllen. Ein weiterer wichtiger Faktor ist Ihre Website selbst. Informationsarchitektur, Inhalt und Usability müssen stimmen, sonst flüchten die Besucher Ihrer Website schneller wieder als sie gekommen sind. Nur wenn diese Voraussetzungen erfüllt sind, kann SEO seine ganze Wirkung entfalten, und aus Ihren Besuchern werden tatsächlich auch Kunden. Und SEO ist nicht die einzige Online-Marketing-Maßnahme, die Sie im Web 2.0-Zeitalter ergreifen müssen, um im Web maximal erfolgreich zu sein. Aber es ist die Basis für alles Weitere. Bevor Sie über Social Media Marketing, Partnernetzwerke, E- Mail-Marketing oder gar virales Marketing nachdenken, sollten Sie unbedingt zuvor Ihre SEO-Hausaufgaben gemacht haben. Ich habe versucht, in diesem Buch die richtige Balance zwischen technischen Hintergründen und praktischer Umsetzung zu finden. Die Bücher, die ich zum Thema bisher gelesen habe, waren mir entweder technisch zu tiefgehend oder zu oberflächlich: Blind irgendwelche Anleitungen und Tipps umzusetzen kann gefährlich sein. Daher finde ich es sehr wichtig, dass Sie sich nach der Lektüre dieses Buchs ein eigenes Urteil bilden können und Behauptungen über SEO kritisch hinterfragen und bewerten können. Die Kunst der effektiven SEO besteht vor allem auch darin, Wesentliches von Unwesentlichem zu unterscheiden und sich auf das Wesentliche zu konzentrieren. Natürlich bin ich auch auf Ihre Meinung sehr gespannt, freue mich über Lob und Tadel, konstruktive Kritik und Verbesserungsvorschläge.

15 In diesem Sinne wünsche ich Ihnen viel Spaß bei der Lektüre, viel Erfolg bei Ihrer SEO- Arbeit und freue mich darauf, den einen oder anderen von Ihnen auch einmal online oder in Real Life kennen zu lernen. Ihr Dr. Thorsten Schneider

16 16 1 Die Macht der Suchmaschinen 1 Die Macht der Suchmaschinen In dieser Lektion lernen Sie: wie groß das World Wide Web ist und wie viele es nutzen. wie Internetnutzer Suchmaschinen nutzen. wie sich Web-Verzeichnisse von Suchmaschinen unterscheiden. welche Suchmaschinen sich den Markt wie aufteilen. 1.1 Wie groß ist eigentlich das World Wide Web? Seit der Erfindung des World Wide Web (WWW) durch Tim Berners-Lee im Jahre 1990 hat sich das Internet in vielen Ländern zu einem Massenmedium entwickelt. Aktuell (d. h. im Jahr 2013) nutzen weltweit mehr als 2,4 Milliarden Menschen das Internet 1, und es gibt mehr als 900 Millionen Websites 2. Eine interessante Frage ist, aus wie vielen einzelnen (unterschiedlichen und indexierbaren) Webseiten das WWW besteht. Ein Webseiten-Betreiber konkurriert ja letztlich mit all diesen Seiten um die Auffindbarkeit im Web. Da es unmöglich ist, die einzelnen Seiten direkt zu zählen, gibt es dazu nur Schätzungen. Diese beruhen größtenteils auf der Auswertung der Größe des Suchindex der großen Suchmaschinen. Wenn man davon ausgeht, dass eine Suchmaschine wie Google bemüht und prinzipiell in der Lage ist, alle im WWW erreichbaren und zugänglichen Seiten zu indexieren, entspräche die Größe des Index ziemlich genau der Summe aller Seiten im WWW. Man müsste also nur Google fragen, wie groß ihr Index ist

17 1.1 Wie groß ist eigentlich das World Wide Web? 17 Abb. 1.1 Startseite von Google im September Quelle: web.archive.org/web/ / Leider verrät Google dies schon seit einigen Jahren nicht mehr. Bis September 2005 blendete Google die Zahl der Dokumente in ihrem Index auf der Startseite des Suchinterfaces ein (vergl. Abb. 1.1), dann verschwand diese Zahl. Der damalige Google CEO Eric Schmidt begründete dies damit, dass keine einheitliche Zählweise existiere. Google-Konkurrent Yahoo! warb zu diesem Zeitpunkt nämlich mit einer größeren Zahl auf seiner eigenen Startseite wofür Google die höhere Zahl an nicht bereinigten Dubletten verantwortlich machte. Viele Seiten im WWW lassen sich ja unter unterschiedlichen URLs 3 aufrufen, obwohl sie inhaltlich identisch sind. Eine Dublettenbereinigung ist also sinnvoll, wenn man die tatsächliche Zahl unterschiedlicher Webseiten ermitteln möchte. Offenbar lösten Google und Yahoo! ihren Streit um den größten Index damit, dass sie übereinkamen, öffentlich keine Angaben zur Größe ihres Index mehr zu machen. Heute kennt also niemand (außer vielleicht Google) die Größe des WWW genau. Es gibt aber wissenschaftliche Ansätze zur Abschätzung der Größe des WWW. Der Niederländer Maurice de Kunder hat im Rahmen seiner Master-Abschlussarbeit an der Tilburg University eine Methode entwickelt, die auf der Analyse der Suchindexe der großen Suchmaschinen Google, Yahoo! und Bing basiert. Je nachdem, welchen Index man analysiert, erhält man für die Größe des WWW verschiedene Zahlen. Diese liegen zwischen ca. 14 Milliarden und ca. 45 Milliarden. Die genau Methodik erklärt de Kunder auf seiner Website 3. URL = Uniform Ressource Locator, eindeutige Adresse eines Dokumentes im WWW wie z. B.

18 18 1 Die Macht der Suchmaschinen Abb. 1.2 Eine wissenschaftliche Methodik zur Ermittlung der Größe des World Wide Web hat Maurice de Kunder entwickelt 4. Die Zahl der Seiten im WWW liegt zwischen ca. 14 Milliarden (Analyse ausgehend vom Yahoo!-Index (YGB)) und ca. 45 Milliarden (Analyse ausgehend vom Google-Index (GYB)). 1.2 Die Anfänge der Suchmaschinen Bereits seit den Anfängen des WWW gab es Bestrebungen, Webseiten mit relevanten Informationen auffindbar zu machen. Einer der ersten Ansätze waren von Hand gepflegte Listen von Webservern, die mit dem Internet verbunden waren. Der Erfinder des WWW, Tim Berners-Lee, pflegte in den ersten Jahren eigenhändig eine solche Liste und veröffentlichte sie auf dem Webserver des Forschungsinstituts CERN, an dem er tätig war. Andere Web-Kataloge ordneten die Websites in Kategorien und Unterkategorien ein und konstruierten so ein hierarchisches Verzeichnis, das man durchblättern oder durchsuchen konnte. Diesen Ansatz verfolgten u. a. das bekannte Yahoo!-Verzeichnis und später das von der Firma Netscape ins Leben gerufene Open Directory Project ODP. Beide gibt es auch heute noch. Als sich das enorme Wachstum des WWW abzeichnete, wurde klar, dass von Hand gepflegte Listen auf Dauer nicht funktionieren konnten. Die Lösung konnte nur darin bestehen, eine Software zu programmieren, die das WWW permanent nach neuen Webservern und Webseiten durchsucht und einen Index der gefunden Seiten automatisch erstellt. 4.

19 1.3 Einige Fakten zur Suchmaschinen-Nutzung 19 Die erste Suchmaschine wurde 1993 entwickelt und hatte den Namen JumpStation. Sie benutzte bereits einen Web-Robot, eine Software, die Webseiten im WWW finden und automatisch einen Index dieser Seiten erstellen konnte. Aufgrund der limitierten Hardware-Ressourcen, die dieser Suchmaschine zur Verfügung standen, extrahierte JumpStation nur die Titel und Überschriften aus den gefundenen Webseiten und speicherte diese in ihrem Index ab. Ein Jahr später erschien mit WebCrawler jedoch eine Suchmaschine, die den gesamten Text einer Webseite herunterlud und für den Aufbau ihres Suchindex verwendete. Bei WebCrawler konnten die Suchenden daher nach beliebigen Begriffen und Begriffskombinationen suchen und erhielten als Ergebnis eine Liste von Webseiten, auf denen diese Begriffe irgendwo im Text vorkamen. Das Prinzip der Volltext-Indexierung ist auch heute noch der Standard bei allen aktuellen Suchmaschinen. Schon zu dieser Zeit war klar, dass Suchmaschinen im WWW zukünftig eine entscheidende Rolle spielen würden. Entsprechend groß war das Interesse von Visionären dieser Zeit, eigene Suchmaschinen zu entwickeln. Bis Mitte der 1990er Jahre entstanden u. a. die Suchmaschinen Lycos, AltaVista, Excite, Infoseek, Northern Light und Inktomi, die später von Yahoo! aufgekauft wurde. Der Wettbewerb zwischen verschiedenen Suchmaschinen-Betreibern wurde in den kommenden Jahren so groß, dass der Webbrowser-Hersteller Netscape 1996 von fünf Suchmaschinen jeweils 5 Millionen Dollar pro Jahr nur dafür kassieren konnte, dass er in seiner Browser-Software auf jede dieser fünf Suchmaschinen in Rotation verlinkte! 1.3 Einige Fakten zur Suchmaschinen-Nutzung Heute gehören Suchmaschinen zu den am meisten genutzten Anwendungen des WWW. Marktstudien zufolge benutzen mehr als 90% der Internetnutzer Suchmaschinen, davon ca. 40% sogar täglich. In dieser in den USA im Jahre 2008 durchgeführten Studie sagten mehr als 85% der Suchmaschinennutzer aus, dass sie mit Hilfe einer Suchmaschine die Informationen, nach denen sie suchten, auch gefunden hätten 5. In Deutschland nutzen laut ARD/ZDF-Onlinestudie % aller Onlinenutzer ab 14 Jahren in Deutschland Suchmaschinen mindestens einmal wöchentlich, das wären dann genauso viele wie Nutzer des Dienstes , der absoluten Killer-Applikation des Internets. Die Autoren der bekannten Internetstudie W3B (»WWW-Benutzer-Analyse«) gehen davon aus, dass fast alle (98%) Internetnutzer Suchmaschinen verwenden 6 und bestätigen damit nur, was wir uns alle schon gedacht haben. Laut einer weiteren (nicht veröffentlichten) W3B-Studie werden Suchmaschinen von Internetnutzern in jeder

20 20 1 Die Macht der Suchmaschinen Phase des Kaufentscheidungsprozesses genutzt, nicht nur zu Beginn, sondern oftmals auch noch kurz vor dem tatsächlichen Kauf. Fast ein Drittel der Suchmaschinennutzer geht davon aus, dass Anbieter, die in den Suchergebnissen immer wieder weit oben auftauchen, führende, bekannte Anbieter sind und glaubt außerdem, dass ein Anbieter, der bei der Suche nach einem Produkt in der Ergebnisliste nicht auftaucht, das Produkt gar nicht führt. 7 Diese Erkenntnisse der Marktforschung machen mehr als deutlich, wie wichtig es für den Erfolg im Web ist, in Suchmaschinen gut gefunden zu werden. 1.4 Marktanteile: Wer herrscht wo? Wenn man sich den aktuellen, globalen Marktanteil verschiedener Suchmaschinen anschaut, bekommt man den Eindruck, dass Google den Markt deutlich beherrscht: Global gehen mehr als 80% aller Anfragen an Suchmaschinen an Google. 8 Sieht man sich jedoch verschiedene Regionen der Erde an, so erkennt man, dass es durchaus signifikante regionale Unterschiede gibt. So hat Google im deutschen Sprachraum einen Marktanteil von über 95% (den Anteil von T-Online muss man zum Anteil von Google dazuaddieren, da die T-Online-Suche über Google läuft). In Googles eigener Heimat USA ist der Marktanteil mehr als 10% niedriger als hierzulande. In einigen Ländern dominieren sogar lokale Suchmaschinen, und Google landet nur auf dem zweiten Platz, so z. B. in Russland, China und Südkorea. 9 Land Google-Marktanteil (%) Größter Google-Konkurrent (%) Indien 97,9 Yahoo! (1,1) Niederlande 97,8 Bing (1,3) Brasilien 97,6 Bing (1,7) Deutschland 95,2 Bing (1,7) Frankreich 91,6 Bing (3,6) Großbritannien 91,5 Bing (3,0%) Tabelle 1.1 Marktanteile von Google in verschiedenen Ländern. Quelle: internet-fakten/suchmaschinen-marktanteile.htm marketshare.hitslink.com/ 9.

21 1.5 Yahoo! 21 Land Google-Marktanteil (%) Größter Google-Konkurrent (%) USA 84,6 Yahoo! (8,1%) Tschechien 77,2 Seznam (21,2%) Japan 72,1 Yahoo! (25,3%) Südkorea 35,2 Naver (55,4%) China 30,2 Baidu (66,4%) Russland 25,4 Yandex (69,0%) Tabelle 1.1 Marktanteile von Google in verschiedenen Ländern. Quelle: internet-fakten/suchmaschinen-marktanteile.htm Wie Sie Tabelle 1.1 entnehmen können, gibt es offenbar nur drei Länder, in denen Google nicht Marktführer ist: Russland, China und Südkorea. Führend sind dort jeweils lokale Suchmaschinen, die aber in anderen Ländern keine Rolle spielen. Auf dem globalen Markt gibt es nur zwei mehr oder weniger ernst zu nehmende Google-Kontrahenten, nämlich Bing und Yahoo! Bevor wir uns dem globalen Marktführer Google zuwenden, möchte ich diese beiden etwas näher beleuchten. 1.5 Yahoo! Die Wurzeln des Unternehmens Yahoo! reichen bis ins Jahr 1994 zurück, als die beiden Studenten Jerry Yang und David Filo eine Website mit dem Namen»David and Jerry's Guide to the World Wide Web«online brachten. Diese Website beinhaltete einen hierarchisch aufgebauten Katalog von Websites, der von den beiden händisch gepflegt und erweitert wurde. Schon nach wenigen Monaten wurde das Verzeichnis in Yahoo! umbenannt. Das Unternehmen entwickelte sich zu einem Portal weiter, das über Werbeeinnahmen Geld verdienen konnte und baute seinen Webkatalog immer weiter aus. Als ein von Menschen gepflegtes Verzeichnis, in das neue Websites nur nach Prüfung ihres Nutzwerts aufgenommen wurden, war Yahoo! praktisch das Gegenmodell zu dem Ansatz der Suchmaschinen, die bestrebt waren, über automatisierte Verfahren alle öffentlich zugänglichen Webseiten des WWW auffindbar zu machen. Allerdings musste auch Yahoo! einsehen, dass ein redaktionell geführtes Web-Verzeichnis mit dem starken Wachstum des WWW nicht mithalten kann. Ab dem Jahr 2000 bot Yahoo! auch eine Web-Suche an und war dafür Lizenznehmer von Google. Durch den Erwerb der Suchmaschine Inktomi holte sich Yahoo! eine eigene Suchtechnologie ins Haus, so dass der Vertrag mit Google 2004 gekündigt wurde und Yahoo! in direkte Konkurrenz zu Google und Microsofts Bing-Suchmaschine trat.

22 22 1 Die Macht der Suchmaschinen Nachdem Microsoft im Jahr 2008 erfolglos versuchte hatte, Yahoo! zu übernehmen, einigten sich die beiden Unternehmen überraschenderweise 2009 auf eine Kooperation: Die Yahoo!-Suchtechnologie soll bis 2013 komplett durch Microsoft Bing ersetzt werden, alle Suchanfragen an die Yahoo!-Websites sollen dann von Bing beantwortet werden. 1.6 Bing Bing heißt die aktuelle Suchmaschine von Microsoft und ist bereits der dritte Versuch des IT-Giganten aus Redmond, im Suchmaschinenmarkt Fuß zu fassen. Die erste Microsoft-Suchmaschine nannte sich MSN Search und erschien 1998, im Gründungsjahr von Google. MSN Search verfügte bereits über einen eigenen Suchindex und ein Web-Crawler-System, griff jedoch teil- bzw. zeitweise auch auf Suchergebnisse anderer Suchmaschinen (Inktomi, Looksmart, AltaVista) zu. In den folgenden Jahren entwickelte Microsoft dann aber eine eigene Suchtechnologie, die 2006 unter dem Namen Windows Live Search (ab 2007 nur noch Live Search genannt) unter der Domain live.com veröffentlicht wurde. Im Juni 2009 schließlich erfolgte die Umbenennung in die neue Marke Bing (bing.com). Nach der überraschenden Vereinbarung mit Yahoo! 2009 gelang Microsoft im Sommer 2011 ein weiterer spektakulärer Deal: Der chinesische Suchmaschinenbetreiber Baidu kündigte an, dass Suchanfragen an Baidu mit englischen Begriffen zukünftig an Bing weitergeleitet werden. Bing scheint auch in den USA aktuell Marktanteile zu gewinnen. Eine Studie sieht Bing und Yahoo! zusammen aktuell bei 30% 10. Ein Grund dafür scheint zu sein, dass im US- Einzelhandel der Internet Explorer unter Windows 7 mit vorinstallierter Bing-Toolbar ausgeliefert wird. Außer Google und Bing spielen andere Suchmaschinen aktuell kaum eine Rolle. Zwar gab und gibt es immer wieder Versuche, mit Neuentwicklungen und neuen Technologien die Marktmacht der Suchmaschinen-Giganten zu brechen, bisher war aber kein Versuch von dauerhaftem Erfolg gekrönt. Zu diesen gescheiterten Projekten gehören u. a. Cuil, Viewzi, Wikia Search und SearchMe. Darüber hinaus gibt es aber auch noch zahlreiche zwar noch aktive aber wenig erfolgreiche Projekte wie z. B. Wolfram Alpha (leitet seine Suchergebnisse inzwischen an Bing weiter), Excite (fristet ein Nischendasein), Altavista (gehört heute Yahoo!), Exalead (erfolgloser europäischer Google-Kontrahent) und zahlreiche weitere Projekte. Jüngster Herausforderer, der Erwähnung verdient, ist die Suchmaschine Blekko ( die im November 2010 mit 24 Millionen Dollar Risikokapital, 19 Ingenieuren und einigen neuen Ideen an den Start ging. Eine Kernidee von Blekko besteht darin, die Suchenden bei der Berechnung der Relevanz von Suchergebnissen 10.

23 1.6 Bing 23 stark einzubeziehen. Dazu können (registrierte) Benutzer die Suchergebnisse kategorisieren, kommentieren und eigene Suchfilter erstellen, die sie wiederum anderen Nutzern zur Verfügung stellen können. Interessant ist außerdem, dass Blekko seinen Suchalgorithmus offenlegt und zu jedem Suchtreffer zahlreiche Informationen darüber preisgibt, wie das Ranking zustande kam. Blekko ist daher mein derzeitiger Geheimtipp als Analyse-Werkzeug, und ich hoffe, dass die 24 Millionen noch eine Zeit lang reichen Testen Sie Ihr Wissen 1. Wie lässt sich die Größe des WWW näherungsweise ermitteln? 2. Warum ist es für den Erfolg einer Website so extrem wichtig, in Suchmaschinen gut gefunden zu werden? 3. In welchen Ländern der Erde ist Google nicht Marktführer? 4. Wie heißen die marktführenden Suchmaschinen in diesen Ländern? 5. Woher bezieht die Suchmaschine Yahoo! spätestens ab 2013 ihre Ergebnisse?

24 24 2 Funktionsweise von Suchmaschinen 2 Funktionsweise von Suchmaschinen In dieser Lektion lernen Sie: wie Suchmaschinen aufgebaut sind. wie Suchmaschinen funktionieren. 2.1 Die Architektur von Suchmaschinen Wie Sie bereits gesehen haben, besteht das World Wide Web aktuell aus mindestens 14 Milliarden Webseiten. Wenn Sie wissen möchten, welche dieser Webseiten Informationen zu einem bestimmten Thema enthalten, müssten Sie sich im Prinzip alle Seiten anschauen und diese beurteilen. Das würde reichlich lange dauern (nehmen wir einmal an, Sie wären ein absoluter Schnell-Leser und würden sich jede Sekunde eine neue Webseite anschauen, dann bräuchten Sie genau genommen 444 Jahre natürlich ohne Ihre Zeit mit essen, trinken, schlafen und anderen unnützen Dingen zu vertrödeln ). Natürlich würde auf die Idee, auf diese Weise relevante Informationen zu finden, niemand kommen. Suchmaschinen haben aber im Prinzip dasselbe Problem. Sie müssen alle Seiten des World Wide Web analysieren, um Ihnen eine Auswahl von Seiten auf der Suchergebnisseite als relevant für Ihre Suchwörter zu präsentieren. Dabei ist es technisch schlicht unmöglich, diese mehr als 14 Milliarden Seiten live zu durchsuchen, wenn ein Benutzer auf der Webseite einer Suchmaschine eine Anfrage absetzt. Selbst wenn eine Suchmaschine in der Lage wäre, viele Milliarden Webseiten gleichzeitig aufzurufen: Diese herunterzuladen und zu analysieren würde Zeit kosten und die Geduld des Suchenden arg strapazieren, ganz davon abgesehen, dass der eine oder andere Webserver sicherlich in die Knie ginge, wenn er alle auf ihm gespeicherten Webseiten gleichzeitig ausliefern müsste. Suchmaschinen müssen also einen anderen Ansatz verfolgen. Das Grundprinzip besteht darin, die im World Wide Web auf Servern gespeicherten Dokumente herunterzuladen, zu analysieren und einen durchsuchbaren Index anzulegen. Etwas vereinfacht dargestellt, bestehen heutige Suchmaschinen aus vier Systemkomponenten: dem Webcrawler-System dem Index dem Scheduler

25 2.2 Das Webcrawler-System 25 dem Such-Interface 2.2 Das Webcrawler-System Das Webcrawler-System besteht aus Computerprogrammen, die das World Wide Web automatisch durchsuchen und Webseiten herunterladen und analysieren können. Die Webcrawler (auch Spider, Searchbot oder (Suchmaschinen)-Robot genannt) sind softwaretechnisch sehr ähnlich zu einem Webbrowser wie Sie ihn kennen, z. B. Firefox oder Internet Explorer. Der Crawler startet auf einer beliebigen Webseite, lädt diese für die weitere Analyse und Verarbeitung herunter und erstellt eine Liste der auf dieser Webseite vorhandenen Hyperlinks zu anderen Webseiten. Diese Liste wird an den Scheduler übergeben. Dabei werden u. a. auch die HTTP-Statuscodes ausgewertet, die die Webserver beim Übertragen der Dokumente an die Webcrawler mitschicken. Ist z. B. eine URL, die ein Webcrawler aufzurufen versucht, nicht mehr gültig, weil die Datei inzwischen auf dem Server gelöscht wurde, liefert der Server den HTTP-Statuscode 404 File not found zurück. Die URL muss also aus dem Dokumentenindex entfernt werden, und der Scheduler muss keine weiteren Crawler zu dieser Adresse mehr entsenden. 2.3 Der Scheduler Der Scheduler sammelt und verwaltet die Adressen der Webseiten (URLs) und steuert die automatisierte Aussendung von Crawlern zu diesen Adressen. Er bekommt von den Crawlern ständig neue URLs gemeldet, die diese in den besuchten Webseiten finden und gleicht diese mit den bekannten URLs ab. Da nahezu alle Webseiten direkt oder indirekt miteinander verlinkt sind, können die Crawler auf diese Weise durch das gesamte World Wide Web wandern und die gefundenen Seiten herunterladen. Es wird dabei jedoch immer auch Seiten geben, die die Crawler nicht finden können, z. B. weil es keinen einzigen Link von anderen Webseiten auf sie gibt, sie also völlig isoliert sind. Oder weil man diese Seiten erst erreicht, wenn man zuvor ein Formular ausfüllt oder sich registriert, was ein Crawler typischerweise nicht tut. Die Seiten, die Suchmaschinen aus solchen Gründen nicht finden, bezeichnet man übrigens als Deep Web. Manche Experten gehen davon aus, dass das Deep Web nochmals deutlich größer ist als das von Suchmaschinen-Robots durchsuchbare Web.

26 26 2 Funktionsweise von Suchmaschinen Abb. 2.1 Architektur von Suchmaschinen: Verschiedene Komponenten arbeiten zusammen, um die Funktionalität einer Suchmaschine zu gewährleisten. 2.4 Der Index Die von den Crawlern heruntergeladenen Dokumente werden einer eingehenden Analyse unterzogen und dabei in ihre Bestandteile (Text, Bilder, HTML-Code) zerlegt. Ziel der Analyse ist, für jedes Dokument zu ermitteln, für welche Suchbegriffe es wie relevant ist. Dabei verwenden moderne Suchmaschinen wie Google inzwischen mehr als 100 verschiedene Kriterien. Der auf diese Weise aufgebaute Index dient dazu, bei späteren Suchanfragen über das Such-Interface verwendet zu werden. Um das zu erleichtern, wird ein sog. invertierter Index angelegt. Dabei werden den potentiellen Suchbegriffen, die aus den heruntergeladenen Web-Dokumenten gewonnen werden, jeweils die URLs der Dokumente zugeordnet. Anschließend berechnet die Suchmaschine für jeden der Suchbegriffe die Relevanz der einzelnen Dokumente. Ein sehr einfaches Kriterium für Relevanz kann z. B. sein, dass ein bestimmter Begriff oder eine Kombination von Begriffen in einem Dokument überhaupt vorkommt, wie häufig er vorkommt und an welcher Stelle des HTML-Dokumentes (z. B. im Titel oder in einer Überschrift) er steht. Jede Zuordnung hat eine berechnete Relevanz (Ranking), die darüber entscheidet, auf welcher Position der Suchergebnisliste eine URL gelistet wird. Gibt ein Nutzer nun einen Suchbegriff in die Suchmaschine ein, so durchsucht diese den zuvor aufgebauten Index, nicht etwas die Dokumente selbst (und schon gar nicht die Originaldateien auf den Servern im WWW). Der Index der Suchmaschine ist quasi ein Abbild des WWW und enthält Kopien der Dokumente des World Wide Web zu einem bestimmten Zeitpunkt.

27 2.5 Das Such-Interface 27 Ein großer Vorteil dieses Prinzips ist Geschwindigkeit. Mit entsprechendem technischen Aufwand kann der Index sehr schnell durchsucht werden. Bei Google z. B. dauert dieser Suchvorgang in der Regel weniger als ½ Sekunde! Abb. 2.2 Google benötigt nur 0,12 Sekunden, um ihren ca. 45 Milliarden Seiten starken Suchindex nach relevanten Webseiten für die Suchanfrage seo seminar zu durchsuchen und 12,9 Millionen Treffer zu finden. Das Prinzip hat aber auch Nachteile: den Index aufzubauen ist sehr aufwändig und erfordert einen enormen technischen Aufwand. Der Index muss permanent aktualisiert werden, was nicht minder aufwändig ist, da jeden Tag im WWW Webseiten hinzukommen, gelöscht oder geändert werden. Um den Index wenigstens tagesaktuell zu halten, müsste eine Suchmaschine jeden Tag das gesamte WWW crawlen, was selbst für Google eine nur schwer lösbare Aufgabe darstellt. Noch vor wenigen Jahren hat Google daher seinen Index nur einmal pro Monat aktualisiert, bis neue Websites komplett indexiert waren, dauerte mitunter Monate. Heute ist Google wesentlich schneller. Die aktuelle Index-Technologie (Codename: Caffeine) erlaubt es Google, den Index kontinuierlich upzudaten. Neue Webseiten werden u. U. (d. h., wenn es sich aus Sicht von Google um wichtige Seiten handelt) bereits innerhalb von wenigen Stunden in den Index aufgenommen. 2.5 Das Such-Interface Last but not least verfügen Suchmaschinen natürlich auch noch über ein Such-Interface in Form einer Website, auf der Internetnutzer ihre Suchbegriffe in ein Formular eingeben können. Die Startseite des Such-Interfaces ist bei den meisten modernen Suchmaschinen sehr einfach aufgebaut und konzentriert sich auf das Wesentliche: ein einzeiliges Formularfeld, in das der Suchende Suchwörter eingeben kann. Vorreiter für diese Form des Such-Interfaces war Google, die als erste erkannte, welche Bedürfnisse die Suchenden in Bezug auf das Such-Interface haben: das Suchinterface muss sehr schnell laden. Wer pro Tag viele Mal eine Suchmaschine verwendet, möchte nicht warten müssen, bis das Suchinterface in seinem Webbrowser geladen ist. Bei Google dauert es z. B. in der Regel nur Bruchteile einer Sekunde, bis das Suchinterface im Browser erscheint. das Suchinterface soll den Suchenden nicht mit Informationen»belästigen«, die diesen nicht interessieren. Auch das hat zuerst Google erkannt und präsentierte

28 28 2 Funktionsweise von Suchmaschinen schon 1998 ein Interface, das keine Nachrichten und keine Werbung enthielt, sondern sich auf den»suchschlitz«beschränkte. Ein wesentlicher Erfolgsfaktor der Suchmaschine Google bestand sicherlich darin, dass Google mehr als die Wettbewerber die Bedürfnisse der Suchenden verstand und das Suchinterface konsequent darauf ausrichtete. Die neueste Entwicklung bei Google ist Google Instant eine Technologie, die das Suchergebnis bereits einblendet, während der Suchende seine Suchwörter noch in das Suchformular eingibt. Abb. 2.3 Das Google-Suchinterface 1999: Konsequent auf die Bedürfnisse der Suchenden optimiert. Abb. 2.4 Das Google-Suchinterface 2011: Immer noch konsequent auf die Bedürfnisse der Suchenden optimiert.

29 2.5 Das Such-Interface 29 Die Profi-Suche Praktisch alle Suchmaschinen, die heute eine Rolle spielen, bieten den Suchenden neben dem einfachen Suchinterface auch eine komplizierter aufgebaute»profisuche«bzw.»erweiterte Suche«an. Hier kann der Suchende seine Suche mit zahlreichen Optionen verfeinern. Eine Statistik, wie viele Suchende anstelle des einfachen Suchinterfaces z. B. bei Google die erweiterte Suche verwenden, ist mir nicht bekannt. Ich vermute jedoch, dass dies nur ein sehr kleiner Teil der Suchenden insgesamt ist. Abb. 2.5 Die erweiterte Suche von Google ( Die erweiterte Suche erreichen Sie (nicht sehr intuitiv) über das Menü Einstellungen auf der Google-Startseite. Testen Sie Ihr Wissen 1. Aus welchen Systemkomponenten bestehen indexbasierte Suchmaschinen? 2. Welche Aufgabe hat das Subsystem Webcrawler? 3. Welche Aufgabe hat das Subsystem Scheduler? 4. Erklären Sie den Begriff Deep Web! 5. Was ist ein invertierter Index? 6. Wie arbeitet die Google Instant Search?