Gefunden werden im Internet

Transkript

1 Hessisches Ministerium für Wirtschaft, Verkehr und Landesentwicklung Gefunden werden im Internet hessen» Hier ist die Zukunft media Band 32

2

3 Gefunden werden im Internet hessen-media Band 32, 2. Auflage Prof. Dr. Paul Alpar Dipl.-Wirtschaftsmath. Markus Pfuhl Dipl.-Vw. Sebastian Pickerodt Hessisches Ministerium für Wirtschaft, Verkehr und Landesentwicklung

4 HA Hessen Agentur GmbH hessen-it Abraham-Lincoln-Straße Wiesbaden Telefon 0611/ Telefax 0611/ Internet Philipps-Universität Marburg Institut für Wirtschaftsinformatik Universitätsstraße Marburg Telefon 06421/ Telefax 06421/ Internet Redaktionsteam: Prof. Dr. Paul Alpar Dipl.-Wirtschaftsmath. Markus Pfuhl Dipl.-Vw. Sebastian Pickerodt Wolfram Koch Wolf-Martin Ahrend Gabriele Medewisch CIP-Kurztitelaufnahme der Deutschen Bibliothek Alpar, Paul: Gefunden werden im Internet / Paul Alpar; Markus Pfuhl; Sebastian Pickerodt. Philipps-Universität Marburg, Institut für Wirtschaftsinformatik. Wiesbaden: Hessisches Ministerium für Wirtschaft, Verkehr und Landesentwicklung, 2002 (hessen-media ; Bd. 32) ISBN Alle Rechte vorbehalten. Nachdruck, auch auszugsweise, verboten. Hessisches Ministerium für Wirtschaft, Verkehr und Landesentwicklung Geschäftsstelle hessen-media c/o HA Hessen Agentur GmbH Wiesbaden 2005 in Zusammenarbeit mit hessen-it Layout/Satz: WerbeAtelier Theißen, Lohfelden Druck: Druckhaus Marburg GmbH Bibliografische Informationen der Deutschen Bibliothek: Die Deutsche Bibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über abrufbar.

5 Das Internet gehört zwischenzeitlich zu den wichtigsten Medien unserer Zeit mit täglich steigenden Wachstumsraten. Dabei dient es sowohl der Informationsbeschaffung, der Unterhaltung, der Kommunikation als auch branchenübergreifend wirtschaftlichen Aktivitäten wie E-Business und M-Commerce. Aus diesem breiten Angebot heraus resultiert eine hohe Akzeptanz des Internets in allen Bevölkerungsschichten und Altersgruppen. So sind in Hessen über die Hälfte (56 %) aller Haushalte bereits online, damit nimmt Hessen eine Spitzenposition innerhalb Deutschlands ein. Bei über 8 Millionen registrierten Domains in Deutschland wird die Suche nach einer bestimmten Domain ohne die Kenntnis der genauen Webadresse immer schwieriger. Gleichzeitig zeigt es sich, dass Anbieter von anspruchsvollen Inhalten sich nur dann langfristig am Markt halten werden, wenn sie sich über den Verkauf der Inhalte refinanzieren können. Voraussetzung dafür ist jedoch, dass diese Inhalte vom Nutzer auffindbar sind. Da die meisten griffigen Adressen unterdessen vergeben sind, sind die Anbieter häufig gezwungen, auf weniger intuitive Adressen auszuweichen. Dieses Problem besteht auch nach der Einführung neuer Top-Level-Domains weiterhin. Jetzt gilt es, dem Nutzer die Möglichkeiten zur Suche nach Inhalten zu zeigen und dem Anbieter mögliche Strategien zu nennen, mit denen angebotene Inhalte optimal auffindbar in das World Wide Web gestellt werden können. Diese Veröffentlichung soll Ihnen bei dieser Aufgabe helfen und beschreibt Möglichkeiten, Ihre Inhalte so zu positionieren, dass Sie gefunden werden im Internet. Dr. Alois Riehl Hessischer Minister für Wirtschaft, Verkehr und Landesentwicklung

6 Gefunden werden im Internet 1 Einleitung Hilfsmittel zur Suche im Internet Suchmaschinen Metasuchmaschinen Kataloge Preisvergleichsmaschinen und Online-Marktplätze Konvergenz und Konsolidierung im Bereich der Suchdienste Erfassung vonwebsites durch Suchmaschinen und Kataloge Automatische Erfassung Manuelle Erfassung Bewertung und Ranking der indizierten Seiten On-the-page-Verfahren Off-the-page-Verfahren Handlungsempfehlungen für Betreiber von Websites Gestaltung der Website Anmeldung bei Suchmaschinen und Katalogen Einflussnahme auf Crawler Weitere Verfahren zur Bekanntmachung von Websites Spamming von Suchmaschinen... 40

7 6 Zusätzliche Empfehlungen für Betreiber von Online-Shops Zusammenarbeit mit Preisvergleichsmaschinen Anbieten auf Online-Marktplätzen Website Promotion Tools und spezialisierte Dienstleister Promoter, Monitore und Optimierer Mögliche Funktionen von Website Promotion Tools Auswahl von Dienstleistern Erfolgskontrolle Zusammenfassung und Ausblick Anhang Aktuelle Hilfsmittel zur Suche im Internet Beziehungen zwischen Suchmaschinen Suchspezifikation in ausgewählten Suchmaschinen Index Literatur Die Aktionslinie hessen-it hessen-media: Eine Initiative setzt Zeichen Schriftenreihe hessen-media... 66

8 Schriftenreihe hessen-media: Neuerscheinungen 2005 Gefunden werden im Internet (Band 32, 2. Auflage) Recht im Internet (Band 33, 2. Auflage) Online-Marketing für kleine und mittlere Unternehmen (Band 51) 2004 Softwareanbieter in Hessen 2004 (Band 50) Telekommunikationsanbieter in Hessen 2004 (Band 49) Wettbewerbsvorteile durch barrierefreie Internetauftritte (Band 48) Domainregistrierung International (Band 47) Wireless-LAN: Stand und Entwicklungspotenzial, Nutzungsansätze für KMU (Band 46) hessen» Hier ist die Zukunft media Die komplette Schriftenreihe finden Sie im Anhang oder im Internet unter (Bestellmöglichkeit und Download als PDF-Datei)

9 1 Einleitung Millionen von kommerziellen und nicht-kommerziellen Anbietern bieten Informationen im Internet an. Für sie alle stellt sich die Frage, wie man Internetnutzer auf das eigene Angebot aufmerksam machen kann. Die Betreiber von großen Websites geben viel Geld für klassische Werbung in On- und Offline-Medien aus. Kleinere Betreiber können das selten tun. Doch das ist auch nicht unbedingt notwendig. Umfragen zeigen, dass die meisten Internetnutzer eine für sie neue Website nicht aufgrund von Werbung, sondern aufgrund eines Suchvorgangs ausfindig machen. Um im Internet gefunden zu werden, scheint es am wichtigsten zu sein, in den Antworten der Internetsuchhilfen weit oben platziert zu sein (Umfrage von im Februar 2001). Laut Online-Reichweiten-Monitor 2003 II von Agirev ist die Nutzung von Suchwerkzeugen nach wie vor die zweithäufigste Tätigkeit nach dem Lesen und Schreiben von s. Zunächst werden im Folgenden die verfügbaren Hilfsmittel aus der Perspektive von Internetnutzern beschrieben, anschließend wird kurz auf ihre Funktionsweise eingegangen, bevor die Möglichkeiten für Website- Betreiber erörtert werden, möglichst weit vorne in den Suchergebnissen zu erscheinen. Einige Anmerkungen zur Erfolgskontrolle und ein zusammenfassender Ausblick bilden den Abschluss. 1

10 Hilfsmittel zur Suche im Internet 2 Hilfsmittel zur Suche im Internet Die Hilfsmittel werden in die Kategorien Suchmaschinen, Metasuchmaschinen und Kataloge unterschieden. Darüber hinaus werden Preisvergleichsmaschinen und Online-Marktplätze betrachtet, die insbesondere für Betreiber von Online-Shops von Bedeutung sind. 2.1 Suchmaschinen Mit dem Begriff Suchmaschine oder Search Engine werden Internetangebote bezeichnet, die eine Suche nach vom Benutzer frei wählbaren Begriffen oder Phrasen im WWW ermöglichen. Grundlage jeder Suchmaschine ist ein Datenbestand, der automatisch von den später beschriebenen Programmen (Crawlern) erfasst wird. Diese Programme besuchen automatisiert einzelne Internetseiten und erweitern so den Datenbestand um die gefundenen Seiteninhalte. Daneben greifen Suchmaschinen zunehmend auf weitere Datenbestände zu, z. B. auf redaktionell betreute Online- Datenbestände wie die Seitenbeschreibungen aus den unten beschriebenen Katalogen oder Inhalte aus Online-Enzyklopädien. Beim Aufruf der Website einer Suchmaschine erscheint ein Formular, in das man seine Suchanfrage eintragen und an die Suchmaschine übermitteln kann. Als Ergebnis erhält man eine Liste von Links, die zu Webseiten führen, die der Suchanfrage entsprechen. Die Ergebnisseiten von Suchmaschinen werden auch als Search Engine Result Page (SERP) bezeichnet. Je nach Suchmaschine sind Syntax, d. h. die Regeln zur Formulierung einer Suchanfrage, und Funktionsumfang unterschiedlich. Üblicherweise besteht aber die Möglichkeit, nach Internetseiten zu suchen, die mehrere Begriffe enthalten (so genannte Und -Verknüpfungen) oder die mindestens einen von mehreren Begriffen enthalten (so genannte Oder -Verknüpfungen). Zusätzlich können Begriffe ausgeschlossen werden, die nicht auf den Seiten enthalten sein sollen. Eine weitere Möglichkeit ist die Suche nach Zeichenketten, die in einem Wort enthalten sind, wie z. B. Blumen*. Das Ergebnis der Anfrage wären alle Seiten, die Wörter wie Blumenladen, Blumenstrauß etc. enthalten. Einige Suchmaschinen bieten 2

11 auch die Möglichkeit, nach speziellen Medientypen, wie z. B. Bildern, Musik und Videosequenzen, oder nach Internetseiten, die in einer bestimmten Sprache verfasst sind, zu suchen. Abbildung 1 verdeutlicht die Funktionsweise einer Suchmaschine. Benutzer (Browser) Anfrage Ergebnisliste Benutzerschnittstelle (HTML-Formular) Anfrage Ergebnis Suchmaschine Anfrage Ergebnis Internet Indizierung von Internetangeboten Datenbank der Suchmaschine Ergebnis der Indizierung Crawler Abbildung 1: Funktionsweise einer Suchmaschine Die in Deutschland mit Abstand am häufigsten genutzte Suchmaschine ist die von Google ( Googles Marktanteil in Deutschland lag 2004 zwischen 70 und 80 % [Stuber, 2004]. Die Suchsyntax von Google weist einige Besonderheiten auf. So werden die Stichworte oder Phrasen, die in das Suchfeld eingegeben werden, automatisch mit einer Und -Verknüpfung versehen, während eine Oder -Verknüpfung nicht möglich ist. Zwischen Klein- und Großschreibung wird nicht unterschieden und es ist keine Suche nach in einem Wort enthaltenen Zeichenketten möglich. Erst über ein erweitertes Suchformular können Oder -Verknüpfungen und weitere Einschränkungen bei der Suche (z. B. Suche nach einem bestimmten Dateiformat oder einer bestimmten Domain) vorgenommen werden. Die trotz dieser Einschränkungen sehr hohe Popularität liegt wohl zum Teil 3

12 Hilfsmittel zur Suche im Internet in der Qualität der Suchergebnisse begründet, die auf dem in Abschnitt Link-Analyse, Seite 19 beschriebenen Indizierungsverfahren beruht, zum Teil aber auch im mittlerweile sehr hohen Bekanntheitsgrad der Marke Google. Neben der Stichwortsuche bietet Google zusätzlich Formulare zur Suche nach Bildern und nach Texten im so genannten Usenet an, einem System von Diskussionsgruppen, das als separater Internetdienst neben dem WWW existiert. Außerdem besteht die Möglichkeit, nach aktuellen Nachrichten zu suchen und es existiert ein nach Kategorien gegliedertes Verzeichnis. Abbildung 2 zeigt eine SERP von Google auf die Anfrage Blumenladen. Oberhalb und rechts von den regulären Suchergebnissen zeigt Google kostenpflichtige Anzeigen, die ebenfalls zu den eingegebenen Suchworten passen (vgl. Abschnitt Pay-for-Performance, Seite 22). Google bietet mittlerweile eine Fülle von Zusatzfunktionen, die über die reine Suche hinausgehen. Gibt man z. B. zwei Städtenamen ein, sucht Google nach Zugverbindungen zwischen diesen Städten, gibt man etwas ein, das wie eine Formel aussieht, liefert Google das Ergebnis, auf die Eingabe einer Telefonnummer hin zeigt Google günstige Vorwahlnummern an etc. Abbildung 2: Suche nach einem Blumenladen bei Google 4

13 Auf den Plätzen zwei und drei der beliebtesten Suchmaschinen in Deutschland folgten laut Nielsen Netratings im Februar 2004 die Suchfunktion des Microsoft-Onlinedienstes MSN ( sowie die Suchfunktion des T-Online-Portals. Tagesaktuelle, aber nicht unbedingt repräsentative Zahlen zeigen die Auswertungen von webhits ( einem Anbieter von Webstatistiken. Danach liegt im Januar 2005 die Yahoo-Suche auf Platz zwei und MSN auf Platz drei. Ende 2004 hat Microsoft die MSN-Suchmaschine auf eine eigene technische Basis gestellt. Bislang hatte dieser Dienst die Suchergebnisse von Inktomi und Overture bezogen. In der überarbeiteten Suchmaske, die in Abbildung 3 zu sehen ist, hat der Benutzer die Möglichkeit, die Reihenfolge der angezeigten Suchergebnisse nach den Kriterien Aktualität, Popularität und Genauigkeit der Übereinstimmung mit der Suchanfrage zu beeinflussen. Neben Dokumenten aus dem WWW liefert die Suchmaschine auch passende Artikel aus der Encarta-Enzyklopädie von Microsoft. Außerdem kann auch gezielt nach Nachrichten und Bildern gesucht werden. Abbildung 3: Suchmaske der neuen MSN-Suche Einige Suchmaschinen bieten darüber hinaus weitere Funktionen, die den Benutzer beim Auffinden der gewünschten Funktion unterstützen sollen. So kann man bei Seekport ( einen von acht Themenbereichen vorwählen, um die gelieferten Ergebnisse einzugrenzen. 5

14 Hilfsmittel zur Suche im Internet 2.2 Metasuchmaschinen Einzelne Suchmaschinen können nur einen Teil des Internets abdecken. Google hat nach Aussagen der Betreiber mehr als acht Milliarden Internetseiten weltweit erfasst. Im Juli 2004 waren aber mehr als 285 Millionen Rechner an das Internet angeschlossen ( auf denen jeweils wieder mehrere hundert Seiten zum Abruf bereit stehen können. Man geht davon aus, dass Google als Suchmaschine mit dem umfangreichsten Index nur ca. 60 % der deutschsprachigen Domains findet [Pothe, 2004]. Deshalb kann es hilfreich sein, die Ergebnisse mehrerer Search Engines zu verwenden, um eine möglichst breite Antwortmenge zu erhalten. In diesem Fall kann man entweder mehrere Anfragen an verschiedene Suchmaschinen stellen, oder aber auf die Dienste einer Metasuchmaschine zurückgreifen. Eine Metasuchmaschine ist zunächst ähnlich aufgebaut wie normale Suchmaschinen. Auch hier trägt man die Suchanfrage in ein Webformular ein. Beim Abschicken des Formulars an den Server wird aber nicht eine Suche im eigenen Datenbestand des Anbieters durchgeführt, sondern die Anfrage wird automatisch in die Fragesyntax einer Vielzahl von Suchmaschinen übersetzt und an diese übermittelt. Die zurückgelieferten Suchergebnisse werden von der Metasuchmaschine geordnet, aufbereitet und dem Benutzer in Form einer Linkliste zur Verfügung gestellt. Da nicht alle Suchmaschinen über die gleichen Funktionalitäten bei der Formulierung von Suchanfragen verfügen, unterliegen die Metasuchmaschinen Restriktionen in Bezug auf die Flexibilität einer Anfrage. Standardanfragen, wie Und -Verknüpfungen, sowie die Suche nach Phrasen sind jedoch gemeinhin möglich. 6

15 In Deutschland bietet Metager ( ein Dienst des Hochschulrechenzentrums Hannover, eine Metasuchmaschine an. Bei der Benutzung kann ausgewählt werden, bei welchen Suchdiensten eine Anfrage erfolgen soll. Die Möglichkeiten zur Anfrageformulierung sind, wie zu erwarten, eingeschränkt, da alle angefragten Suchdienste in der Lage sein müssen, die Anfrage zu interpretieren. Der Nutzer kann sowohl Und - als auch Oder -Verknüpfungen machen, nach Stichworten im Seitentitel suchen oder auch Stichworte ausschließen. Die Anfrage wird dann an die ausgewählten Suchdienste übermittelt und es wird eine Ergebnisliste erstellt, aus der ersichtlich ist, welche Suchmaschinen zum Ergebnis beigetragen haben. Die ebenfalls deutschsprachige Metasuchmaschine Anyfinder ( bereitet die Suchergebnisse zusätzlich auf, indem automatisch Kategorien generiert werden, die eine Präzisierung der Anfrage erlauben. 2.3 Kataloge Im Gegensatz zu Suchmaschinen arbeiten Kataloge nicht mit automatisch erzeugten Indizes, sondern sie verwalten Linklisten zu verschiedenen Themenbereichen. Die Linklisten sind hierarchisch in Kategorien gegliedert, so dass man sich über ein Themengebiet informieren kann, ohne bestimmte Stichwörter zur Suche zu verwenden. Der Nutzer eines Katalogs hat die Möglichkeit in einer Übersichtsliste einen bestimmten Themenbereich auszuwählen, z. B. Wirtschaft. Nach der Themenauswahl auf oberster Ebene werden untergeordnete Themenbereiche, z. B. Existenzgründung oder Bauwirtschaft, angezeigt. Auch hier kann wieder ein Bereich ausgewählt werden, so dass man seine Anfrage sukzessive verfeinern kann. Ab der dritten Ebene werden meistens neben weiteren Untergliederungen auch Links zu Webseiten angezeigt, die der gewünschten Kategorie zugeordnet sind. Abbildung 4 zeigt als ein Beispiel für einen Katalogdienst die deutschsprachige Startseite des Open Directory Project ( 7

16 Hilfsmittel zur Suche im Internet Abbildung 4: Die deutschsprachige Startseite des Open Directory Project Die Besonderheit dieses Dienstes besteht darin, dass er auf die Arbeit ehrenamtlicher Redakteure zurückgreift und das gesamte Verzeichnis zur freien Verwendung zur Verfügung stellt. Auch eine Eintragung von Websites gegen Geld findet nicht statt. Die Firma Netscape verwaltet das Projekt formell und stellt technische Infrastruktur zur Verfügung, nimmt aber laut Satzung (social contract) keinen Einfluss auf die inhaltlichen Entscheidungen der Redakteure. Bedeutung erlangt der Dienst auch dadurch, dass er gleichzeitig als Verzeichnisdienst der Suchmaschine Google fungiert und seine Inhalte auch bei der Schlagwortsuche in Google berücksichtigt werden. 8

17 2.4 Preisvergleichsmaschinen und Online-Marktplätze Eine Reihe von Websites ist auf die Suche nach Produkten spezialisiert, die in Online-Shops angeboten werden. Die Crawler normaler Suchmaschinen können solche Angebote oft nicht erfassen, da es sich bei den Angebotsseiten von Online-Shops normalerweise um so genannte dynamische Seiten handelt, die erst im Augenblick des Aufrufs erzeugt werden (vgl. Abschnitt Probleme bei der Seitengestaltung, Seite 28). Im Gegensatz zu Online-Marktplätzen unterstützen solche Sites jedoch keine Transaktionen, sondern liefern lediglich Informationen über mögliche Anbieter eines bestimmten Produktes sowie über deren Preise. Die meistbesuchten Preisvergleichsdienste waren Anfang 2004 kelkoo, das T-Online Shopping-Portal, geizkragen.de sowie guenstiger.de [Nielsen Netratings, Februar 2004]. Weitere Beispiele für solche Dienste sind froogle und preissuchmaschine.de. froogle setzt, ähnlich wie die oben beschriebenen allgemeinen Suchmaschinen, in erster Linie auf Stichwortsuche zum Auffinden eines gewünschten Produkts und bedient sich dabei der Technologie der Suchmaschine Google. Die Mehrzahl der übrigen Dienste bietet dagegen tief verzweigte Produktkategorien für die Suche. Während guenstiger.de für einen bestimmten Artikel jeweils nur den niedrigsten Preis listet, der dem Dienst bekannt ist, liefern die meisten Dienste die Preise mehrere Anbieter. Kapitel 10 enthält eine Tabelle weiterer Produktbzw. Preissuchmaschinen. Wie man eigene Angebote an die genannten Dienste übermittelt, wird in Abschnitt 6.1 näher erläutert. 9

18 Hilfsmittel zur Suche im Internet Online-Marktplätze präsentieren die Angebote verschiedener Händler auf einer gemeinsamen Plattform. Darüber hinaus stellen sie die Infrastruktur für einen Teil der Transaktionsabwicklung zur Verfügung, z. B. eine Warenkorbfunktion und Zahlungsfunktionen. Bekannte Marktplätze sind für viele Surfer die erste Anlaufstation auf der Suche nach online zu erwerbenden Produkten. Daher können sich Angebote auf solchen Marktplätzen auch dazu eignen, Besucher zu einem eigenen Online-Shop zu führen. Dabei sind allerdings die Regeln der Marktplatzbetreiber zu beachten, die in der Regel keine offensichtliche Werbung in den gelisteten Angeboten und keine direkte Verlinkung externer Seiten zulassen. Die größte Reichweite unter den Online-Marktplätzen wiesen Anfang 2004 Amazon und ebay auf [Nielsen Netratings, Februar 2004]. Das Einstellen von Angeboten bei diesen und ähnlichen Diensten wird in Abschnitt 6.2 beschrieben. Eine Tabelle mit weiteren Marktplätzen findet sich in Kapitel 10. Abbildung 5: Die Preisvergleich-Plattform Preissuchmaschine.de 10

19 2.5 Konvergenz und Konsolidierung im Bereich der Suchdienste Die aktuelle Entwicklung deutet darauf hin, dass die Unterscheidung in Suchmaschinen und Kataloge immer unschärfer wird. Viele Suchmaschinen, z. B. Google, bieten neben der klassischen Stichwortsuche inzwischen Katalogbereiche an. Auf der anderen Seite bietet der vormals wichtigste Katalog Yahoo inzwischen eine eigene Suchmaschine an ( Andere große Portale, z. B. AOL ( verzichten auf die Entwicklung eigener Suchtechnologie und integrieren stattdessen die Suchfunktion eines Spezialisten auf ihrer Site, in diesem Fall von Google. Daneben findet eine Konsolidierung unter den Betreibern der Suchmaschinen statt. Insbesondere hat Yahoo in jüngerer Zeit die Betreiber der Suchmaschinen Inktomi und Overture aufgekauft und deren spezifische Verfahrensweisen in seine eigene Suchfunktion integriert. Overture wiederum hat die bekannte Suchmaschine AltaVista übernommen, lässt sie aber bislang (Januar 2005) als eigenständige Marke bestehen, wobei Alta- Vista auf seinen SERP die unten erläuterten bezahlten Suchergebnisse von Overture einblendet. Mit großem Interesse werden die Anstrengungen von Microsoft beobachtet, eine eigene leistungsfähige Suchtechnologie für das frei zugängliche Portal seines Onlinedienstes MSN zu entwickeln, das früher die Suchfunktion von Yahoo genutzt hat. 11

20 Erfassung von Websites durch Suchmaschinen und Kataloge 3 Erfassung von Websites durch Suchmaschinen und Kataloge 3.1 Automatische Erfassung Crawler sind Programme, die von Suchmaschinen benutzt werden, um Webseiten zu finden und zu erfassen. Andere Bezeichnungen sind Spider, Robot(er) oder SoftBot (von Software Robot). Wie der Name nahe legt, krabbeln diese Programme durch das Internet. Sie beginnen auf einer Startseite, deren URL ihnen manuell, z. B. durch die Anmeldung einer Webseite beim Suchmaschinenbetreiber, mitgeteilt wird. Oft werden auch andere Quellen, wie z. B. Artikel in Newsgruppen oder Linklisten von Portalen, zur Auswahl einer Startseite benutzt. Manche Suchmaschinenbetreiber, z. B. Overture, bieten gegen Bezahlung die Garantie, dass der Crawler eine bestimmte Website aufnimmt (so genannte Paid Inclusion). Im Gegensatz zu den Pay-for-Performance-Angeboten (vgl. Absatz Payfor-Performance, Seite 22) ist damit jedoch keine Garantie für eine bestimmte Platzierung in den SERP verbunden. Der Roboter erfasst nun alle Hyperlinks einer Webseite und folgt diesen zu neuen Seiten. Auch auf den neuen Seiten werden wieder alle Links erfasst und der Vorgang wird solange fortgesetzt, bis keine neuen Seiten mehr gefunden werden oder bis ein Abbruchkriterium, z. B. eine gewisse Menge von erfassten Seiten, überschritten wird. Ein weiteres Abbruchkriterium ist die Anzahl der Ebenen, die ein Roboter abarbeitet, die so genannte Spidering Depth. Alle Internetseiten einer Domain, die per Link von der Startseite aus zu erreichen sind, werden der zweiten Ebene zugeordnet. Seiten, die von der zweiten Ebene aus per Link zu erreichen sind, gehören zur dritten Ebene usw. Überschreitet die Ebenenzahl die Spidering Depth des Roboters, so wird die Indizierung des Internetangebots abgebrochen. Crawler führen keinen Programmcode auf fremden Rechnern aus. Stattdessen kann man sich unter einem Crawler vielmehr einen automatischen Websurfer vorstellen, der seitenweise durch die Informationsangebote des Internets surft. 12

21 Neben der Erfassung der Links einer Webseite untersucht der Crawler auch deren Inhalt. Diesen Vorgang nennt man Indizierung. Einige Roboter indizieren nur den Titel eines Dokumentes und seine Meta-Tags (Meta- Tags sind zusätzliche Informationen, die am Anfang der Seite gespeichert, von einem Browser aber nicht angezeigt werden, vgl. Abschnitt Meta- Tags, Seite 27). Andere überprüfen den gesamten Text. Bei dieser vollständigen Indizierung wird aus den Texten der vom Crawler besuchten Webseiten eine Wortliste erzeugt, die dem Datenbestand der Suchmaschine angefügt wird. Sie ist somit die Grundlage jeder stichwortbasierten Suche in einer Suchmaschine. Die Liste enthält allerdings nicht alle Wörter, die auf einer Seite enthalten sind. So genannte Stoppworte, das sind z. B. Worte wie und, ein, wie, werden nicht erfasst, da sie für die spätere Suche keinen Erkenntnisgewinn liefern. Auch mehrfach genannte Worte werden nur einmal in die Wortliste aufgenommen, wobei aber die Häufigkeit ihrer Nennung vermerkt wird. Zusätzlich zur Erfassung von Stichworten werden von vielen Crawlern auch die gesamten Texte einer Webseite erfasst, um in der Suchmaschine die Möglichkeit zur Suche nach Phrasen oder umfangreicheren Texten zu ermöglichen. Um einen technischen Einblick in die Funktions- und Arbeitsweise eines Roboters zu geben, soll diese anhand von Mercator, einem System des früheren Compaq Systems Research Centers, erläutert werden. Weiterentwicklungen von Mercator bilden die Grundlage des Crawlers, der von der Suchmaschine Altavista eingesetzt wird, die inzwischen von Overture (vgl. Abschnitt Pay-for-Performance, Seite 22) übernommen wurde. Abbildung 6 verdeutlicht die Funktionsweise des Crawlers. Mercator ist aufgegliedert in mehrere gleichzeitig arbeitende, identische Teilprogramme, so genannte Threads. Alle Threads greifen auf eine gemeinsame Liste von URLs zu (hier mit URL Frontier bezeichnet) die sie nacheinander abarbeiten und die zugehörigen Dokumente analysieren. Der erste Schritt ist die Extraktion einer URL aus der Liste (1). Je nachdem, ob es ein Link zu einer WWW-Adresse oder zu einer FTP-Adresse ist, wird im Schritt (2) das zum entsprechenden Protokoll gehörige Modul benutzt, um die Seite herunterzuladen. Diese wird an das Rewind Input System (RIS, Schritt 3) übergeben, dass die Dokumente für die nachfolgenden Schritte zur Abarbeitung bereithält. 13

22 Erfassung von Websites durch Suchmaschinen und Kataloge Internet Mercator DNS Resolver 2 3 HTTP FTP Protocol Modules RIS Content Seen? Processing Modules Doc FPs 4 5 Link Extractor Tag Counter GIF Stats URL Filter Log Log URL Seen? URL Set URL Frontier Queue Files 1 Abbildung 6: Funktionsweise eines Crawlers am Beispiel von Mercator Nun wird überprüft, ob das Dokument schon unter einer anderen URL gefunden wurde (Content-Seen-Test, Schritt 4). Ist dies der Fall, wird das Dokument nicht weiter bearbeitet und die URL wird aus der Liste gelöscht. Ist das Dokument noch nicht bearbeitet worden, wird, abhängig vom MIME-Type des Dokuments (der MIME-Type informiert den anfragenden Computer, welche Applikation zur Darstellung bzw. Wiedergabe des Dokuments ausgeführt werden muss), ein weiteres Modul geladen (5), das die Analyse des Dokuments vornimmt, wie z. B. das Zählen und Auswerten von Tags. Zusätzlich werden die auf der Seite enthaltenen Links extrahiert und einem Filter übergeben (6). Der Filter dient dazu, dass bestimmte Dokumente, z. B. dynamisch erzeugte Webseiten, nicht weiter bearbeitet werden. Abschließend wird noch überprüft, ob die neuen URLs schon einmal besucht wurden (7) und wenn dies nicht der Fall ist, werden die Adressen an die URL Frontier übergeben (8). Dann wiederholt sich der Ablauf. 14

23 3.2 Manuelle Erfassung Bei der manuellen Erfassung von Internetseiten wird jede Seite, die zur Aufnahme in den Katalog angemeldet wurde, von einem Mitarbeiter des Katalogbetreibers besucht und begutachtet. Dabei können die Inhalte der Seite wesentlich genauer beurteilt werden als bei einer automatischen Erfassung. Wenn der Erfasser entscheidet, dass die Seite in den Katalog aufgenommen wird, erscheint sie dort mit einer kurzen Inhaltsbeschreibung, die je nach Katalog entweder vom Betreiber der Website oder vom Erfasser erstellt wird. Da der personelle Aufwand zur Bewertung der Seiten verständlicherweise ein Engpass ist, kommt es selten zu einer zweiten Bewertung einer abgelehnten Website. Daher ist darauf zu achten, dass vor der Anmeldung bei einem manuell erstellten Katalog alle Vorarbeiten geleistet wurden. Neben den erwähnten inhaltlichen Kriterien gehören dazu auch eine ansprechende optische Darstellung und technisch einwandfrei gestaltete und browserunabhängige Seiten. Da bei den großen Katalogen ähnlich hohe Anmeldezahlen wie bei automatisch indizierenden Suchmaschinen vorliegen, kann es zu langen Verzögerungen kommen, bis eine Seite besucht und bewertet wird. Yahoo Deutschland empfiehlt Anmeldern sogar, die Anmeldung alle vier Wochen zu wiederholen, falls sie noch nicht erfolgreich war, um eine Bearbeitung durch die Redakteure sicher zu stellen. 15

24 Bewertung und Ranking der indizierten Seiten 4 Bewertung und Ranking der indizierten Seiten Eine Anfrage an eine Suchmaschine wird von dieser in der Regel mit einer Liste von URLs beantwortet, die auf Seiten verweist, die der Anfrage entsprechen. Zu den meisten Anfragen finden sich aber mehrere passende Internetseiten im Datenbestand einer Suchmaschine. Welche von diesen die Beste zur Beantwortung der Anfrage des Suchenden ist, lässt sich nur subjektiv beantworten. Die Suchmaschinen versuchen aber, mithilfe von Relevanzangaben, die Eignung von Internetseiten zur Beantwortung einer Anfrage zu verdeutlichen. Im einfachsten Fall kann diese durch eine Rangfolge (so genanntes Ranking), nach der die Ergebnismenge sortiert ist, geschehen. Andere Verfahren stellen die Eignung graphisch, z. B. mit unterschiedlich vielen Sternen oder mit Prozentangaben dar. Zur Messung der Relevanz setzen die verschiedenen Suchmaschinen unterschiedliche Berechnungsverfahren ein, die gar nicht oder nur grob veröffentlicht werden. Grundlage der meisten Berechnungen sind aber die in diesem Abschnitt erläuterten Bewertungskriterien. Eine gute Position innerhalb dieses Rankings ist Grundlage dafür, von potentiellen Besuchern gefunden und besucht zu werden. Laut einer Studie besuchen mehr als 80 % der Nutzer von Suchmaschinen nur die ersten beiden SERP (vgl ). Da zehn bis fünfzehn Links auf einer SERP angezeigt werden, ist es entscheidend, dass die eigene Seite unter den Top-20 der Treffer aufgelistet wird. 4.1 On-the-page-Verfahren Unter dokumentbezogene bzw. On-the-page-Verfahren fallen solche, die ausschließlich den Inhalt des Dokuments selbst heranziehen, um seine Relevanz bezüglich einer Suchanfrage zu ermitteln. Darunter finden sich zum einen Verfahren, die aus dem Information Retrieval stammen, einem Forschungsgebiet, das sich mit der Suche nach Inhalten in Texten beschäftigt, zum anderen werden die Konstrukte der HTML-Syntax genutzt, um wichtige und unwichtige Inhalte auf einer Internetseite zu unterscheiden. 16