Identifikation von navigationsorientierten und kommerziellen Suchanfragen anhand einer Klickdatenanalyse

Identifikation von navigationsorientierten und kommerziellen Suchanfragen anhand einer Klickdatenanalyse von Sonja von Mach und Jessica Otte Kurzfassung Anhand einer klassifizierten Stichprobe von ca. 50 000 Suchanfragen wird untersucht, inwiefern die Zuordnung zu Anfragetypen mittels einer Klickdatenanalyse abgeleitet werden kann. Berücksichtigt werden dabei die Anfragetypen»navigationsorientiert«und»kommerziell«. Die Ergebnisse geben Aufschluss über den Einsatz dieser Methode und liefern Erkennungsmerkmale der genannten Suchanfragekategorien. Deskriptoren Information Retrieval Suchmaschine Suchanfrage Suchanfragetyp Klickdaten Abstract Keywords Identification of navigational and commercial queries using an analysis of clickthrough data Based on a sample of about 50 000 classified queries is examined, to what extent the assignment to a query type could be derived using an analysis of clickthrough data. The query types»navigational«and»commercial«are considered in this study. The results give information about the use of this method and delivers identifying features for the mentioned query types Information retrieval search engine query query classification clickthrough data Motivation und Zielsetzung Suchmaschinen stellen den bevorzugten Startpunkt bei einer Websuche dar. Täglich werden Millionen von Suchanfragen allein an die Websuchmaschine Google gestellt. Diese Anfragen spiegeln die unterschiedlichsten Informationsbedürfnisse wider. Eine Klassifizierung der Anfragen soll das hinter der Suchanfragen stehende Informationsbedürfnis charakterisieren und damit verständlicher machen, warum gesucht wird. Grund für diese Einteilung in sogenannte Anfragetypen ist, dass unterschiedliche Anfragen ebenso unterschiedlich zusammengesetzte Suchergebnisse benötigen. Die Typisierung soll folglich helfen, dass Informationsbedürfnis des Suchenden einzugrenzen und daran angepasste Suchergebnisse zu liefern. Die gängige Klassifizierung von Suchanfragen wurde von BRODER (2002, S. 5f) aufgestellt und umfasst die Einteilung von Suchanfragen in die Kategorien»navigationsorientiert«,»transaktionsorientiert«und»informationsorientiert«. Eine navigationsorientierte Suchanfrage hat das Ziel, eine bestimmte, dem Suchenden bereits bekannte Website zu finden. Das Informationsbedürfnis kann folglich mit einem richtigen Treffer gestillt werden. Der Anfragetyp»transaktionsorientiert«charakterisiert eine Suche, die das Ziel hat eine web-gestützte Transaktion, also z. B. den Kauf einer Software oder den Download eines Dokuments, durchzuführen. Informationsorientierte Suchanfragen sollten nach Möglichkeit mehrere passende Treffer hervorbringen, denn hier geht es dem Suchenden darum, sich zu informieren und ein Thema zu beleuchten. Die Informationen liegen in diesem Fall in einer statischen Form vor, d. h. dass keine weitere Interaktion, abgesehen vom Lesen, durch den Nutzer notwendig ist. http://www.bui.haw-hamburg.de/haiss-vol1.html 39

VON MACH / OTTE 2009 Identifikation navigationsorientierten und kommerziellen Suchanfragen durch Klickdatenanalyse An diesen Anfragetypen orientierte sich auch T-Online, als das Unternehmen eine Zufallsstichprobe von knapp 50 000 Suchanfragen aus dem Jahr 2007 klassifizieren ließ. Die Suchanfragen stammen von der Websuche, die das Unternehmen seinen Nutzern auf dem Portal www.t-online.de anbietet. Bei dieser Suche werden die Suchergebnisse durch Google bereitgestellt, die Darstellungsart und weitere Zusatzoptionen werden von T-Online geliefert. Zur Klassifizierung der Suchanfragen wurden Personen eingesetzt, die durch eine Online-Registrierung bei einem Unternehmen als freie Mitarbeiter tätig sind. Den Mitarbeitern werden je nach Qualifikation unterschiedliche Arbeitsaufträge angeboten. Dabei handelt es sich z. B. um Bildklassifikationen oder der Verschlagwortung von Texten. Die ca. 50 000 klassifizierten Suchanfragen stellen den Anlass für die vorliegende Arbeit dar. Deren Ziel ist es, die Validität der Klassifizierung anhand des Klickverhaltens der User zu prüfen. Ausgehend von dieser Untersuchung kann anschließend gefolgert werden, ob sich die gewählte Prüfmethode, die der Analyse anhand des Klickverhaltens, eignet. Aus dieser Zielsetzung leiten sich die folgenden zusammenhängenden Forschungsfragen ab: Ist die Einordnung der Suchanfragen zu den Anfragetypen valide? Eignet sich die Analyse des Klickverhaltens um die Validität der Zuordnung zu prüfen? Anhand der Untersuchung sollen außerdem weitere Merkmale gesammelt werden, mit deren Hilfe die Zuordnung einer Suchanfrage zu einem bestimmten Anfragetyp festgestellt werden kann. Diese Hinweise können dann in Empfehlungen zur Optimierung der Websuche umgesetzt werden, damit diese die unterschiedlichen Informationsbedürfnisse ihrer Nutzer noch effizienter erfüllen kann. Zu Beginn wird der Stand der Forschung zu diesem Thema aufgezeigt, danach folgt eine Charakterisierung der analysierten Stichprobe. Anschließend wird der Lösungsansatz, der in dieser Untersuchung verfolgt wird, erläutert. Es schließt sich die Darstellung der Ergebnisse an und abschließend werden diese in einem Fazit diskutiert und ein Ausblick auf zukünftige Forschung zu diesem Bereich gegeben. Stand der Forschung Die Möglichkeit Suchmaschinenergebnisse automatisch durch die Nutzung von Klickdaten zu optimieren wurde von JOACHIMS 2002 diskutiert. Er nutzt die Klickdaten als Ersatz für Relevanzurteile und kommt zu dem Schluss, dass Klickdaten relative Präferenzurteile darstellen und als Trainingsdaten zur Verbesserung des Rankings der Suchergebnisse erfolgreich eingesetzt werden können (vgl. JOACHIMS 2002, S. 141). Auch MACDONALD / OUNIS (2009, S. 1) stellen fest, dass sich Klickdaten zur Beurteilung von Relevanz in Trainingsdatenbanken sehr gut eigenen, in einigen Fällen sogar besser als die Relevanzurteile menschlicher Bewerter. Weitere Arbeiten, wie z. B. von CHAO et al. 2008 oder DOU et al. 2008 stimmen dieser Sichtweise zu. Eine Koppelung von Klickdaten und Anfragetyp wird in diesen Studien allerdings nicht vorgenommen. In diesem Kontext ist eine Studie von LEE et al. (2005) zu nennen. Die Autoren legen ihrem Ziel, automatisch die Nutzerziele in der Websuche zu identifizieren, die Einteilung der Suchanfragen in navigations- oder informationsorientierte Anfragen zu Grunde (vgl. LEE et al. 2005, S. 392ff). Basis ihrer Studie ist unter anderem die Annahme, dass für navigationsorientierte Anfragen HAW Hamburg Department Information, 2009 40

HAW Abstracts in Information Science and Services Vol. 1 (2009), No. 01, Art. 03 Page 39 52 die Klicks auf einen einzigen Treffer fallen, während für informationsorientierte Anfragen eine breitere Streuung der Klickdaten zu beobachten ist (vgl. LEE et al. 2005, S. 394 f.). In einer Studie von LU et al. (2006) wird ebenfalls festgestellt, dass das Klickverhalten ein passendes Instrument ist, um eine navigationsorientierte Anfrage zu identifizieren (vgl. LU et al. 2006, S. 682 u. S. 688). Die Autoren teilen diese Annahme und berücksichtigen in ihrer Untersuchung neben dem genannten Anfragetyp Suchen des Typs»kommerziell«, der in den genannten Studien nicht untersucht wurde. Ebenfalls neu ist in der vorliegenden Untersuchung der Inhalt der aufgestellten Thesen, die zur Prüfung der Einordnung der Suchanfragen zu Anfragetypen eingesetzt werden. Diese werden im Abschnitt»Lösungsansätze und Hypothesen«beschrieben. Eine ähnliche Situation wie in der vorliegenden Arbeit liegt bei einer Studie von ROSE / LEVINSON (2004) vor. Hier wurde ebenfalls eine Klassifizierung von Suchanfragen durch Personen vorgenommen, die versucht haben, das originäre Informationsbedürfnis von der bloßen Suchanfrage abzuleiten. ROSE / LEVINSON ließen durch Probanden 500 Suchanfragen in die Anfragetypen»informational«,»navigational«und»resource«einordnen. Einer Hälfte der Probanden wurde lediglich die Suchanfrage zur Verfügung gestellt, die andere Gruppe erhielt Zusatzinformationen wie z. B. die Klick-Historie. Die Ergebnisse der Studie zeigen, dass die Beigabe der Zusatzinformationen zu keinem anderen Ergebnis führt, als die Einordnung nur anhand der Suchanfrage. Die Annahme, inwiefern Klickdaten wirklich Informationen über den Anfragetyp preisgeben oder ob deren Einsatz zur Überprüfung überflüssig ist, soll mit Hilfe der vorliegenden Arbeit an einer erheblich größeren Stichprobe von ca. 50 000 klassifizierten Suchanfragen erneut analysiert werden. CRASWELL et al. (2008, S. 87) weisen allerdings auf die Möglichkeit hin, dass ein Klick von der Position des Dokuments in der Ergebnisliste beeinflusst werden kann. Die Autoren sind sich der möglichen Beeinflussung bewusst, vertreten aber die Meinung, dass durch die Nutzung von akkumulierten Klicks verschiedener Nutzer auf eine Trefferposition eine Verzerrung vermieden wird. Datengrundlage Die Stichprobe der 49 919 Suchanfragen wurde vorher festgelegten Anfragetypen zugeordnet. Diese Kategorien teilen sich ein in navigationsorientierte, transaktionsorientierte, kommerzielle und lokale Suchanfragen. Diese Aufteilung orientiert sich an BRODER 2002, der, wie bereits im ersten Kapitel beschrieben, Suchanfragen an Websuchmaschinen in navigationsorientierte, transaktionsorientierte und informationsorientierte Suchanfragen unterschied (vgl. BRODER 2002, S. 5f). Statt des letztgenannten Informationstyps wurde die vorliegende Stichprobe zusätzlich in die Kategorien»lokale«und»kommerzielle«Anfragen eingeordnet. Lokale Anfragen müssen einen räumlichen Bezug aufweisen, z. B. zu einer bestimmten Stadt, einer Region oder einem Land. In die Kategorie»kommerzielle Anfragen«fallen Suchanfragen, die durch ein kommerzielles Interesse motiviert werden. Dies wird zu Grunde gelegt, wenn die Anfrage auf eine kostenpflichtige Handlung abzielt. Anfragen, die zu dieser Kategorie gezählt werden sind z. B. Produktrecherchen oder die Suche nach einer kommerziellen Website. http://www.bui.haw-hamburg.de/haiss-vol1.html 41

VON MACH / OTTE 2009 Identifikation navigationsorientierten und kommerziellen Suchanfragen durch Klickdatenanalyse Zur Klassifizierung der Anfragen wurden freie Mitarbeiter eingesetzt, die in dem vorliegenden Fall die Aufgabe hatten, mit Hilfe einer Anfragetypenbeschreibung die vorliegenden Suchanfragen zu klassifizieren. Pro Anfrage wurden zwei Bearbeiter eingesetzt, die unabhängig voneinander die Aufgabe hatten, diese Anfrage einzusortieren. Da vier Anfragetypen zur Verfügung standen, bestand folglich auch die Möglichkeit, vier verschiedene Kategorien zuzuordnen. Bei der endgültigen Bestimmung des Anfragetyps einer Suchanfrage wurde neben den Stimmen der beiden Bearbeiter auch ein Vertrauenswert, der auf der bisherigen Arbeit des jeweiligen Mitarbeiters basierte, mit einbezogen, so dass sich die endgültige Bestimmung des Anfragetyps zusammensetzt aus einer Berechnung aus den Stimmen der Bearbeiter, deren Übereinstimmung und einer Gewichtung, die sich unter Berücksichtigung des Vertrauenswerts ergibt. Auf diese Weise ergeben sich die folgenden Werte für die Anfragentypisierung: die Suchanfrage kann entweder eindeutig oder nicht eindeutig zu einem Anfragetyp zugeordnet werden. Außerdem kann natürlich auch festgelegt werden, dass für die Anfrage ein Anfragetyp nicht zutrifft. Den Wert nicht eindeutig erhält eine Suchanfrage dann, wenn nur einer der Bearbeiter für eine Zuordnung zu einem bestimmten Anfragetyp stimmte. Lösungsansätze und Hypothesen Zur Prüfung der Klassifizierung wird eine Analyse der Klickdaten der vorliegenden Stichprobe herangezogen. Diesem Untersuchungsansatz liegen die folgenden Thesen zu Grunde: 1. Für navigationsorientierte Suchanfragen erfolgt ein Hauptteil der Klicks auf den ersten Treffer. Dies bedeutet, dass für einen steigenden Anteil von Klicks auf den ersten Treffer einer Suchergebnisseite auch der Anteil der als navigationsorientiert eingeordneten Anfragen steigen sollte. Im Rückschluss heißt dies, dass der Klickanteil auf die erste Position für navigationsorientierte Suchanfragen im Vergleich zum Durchschnitt erhöht sein müsste. Die beschriebene These stützt sich auf Untersuchungen, die zeigen, dass Suchmaschinen in der Lage sind, für eine navigationsorientierte Anfrage den relevantesten Treffer, also die Ziel-Website, auf die erste(n) Trefferposition(en) zu bringen. LEWANDOWSKI (2009) untersuchte den Erfolg von navigationsorientierten Suchanfragen an verschiedenen Websuchmaschinen. In 84 % der Fälle konnte Google die Anfrage mit dem passenden Ergebnis auf der ersten Position befriedigen (vgl. LEWANDOWSKI 2009, S. 6). In einer Untersuchung von LU et al. (2006) konnte außerdem festgestellt werden, dass das Klickverhalten das passendste Instrument ist, um eine navigationsorientierte Anfrage zu identifizieren (LU et al. 2006, S. 682 u. S. 688). 2. Für kommerzielle Anfragen entfällt ein, im Vergleich zu den übrigen Anfragetypen, größerer Anteil der Klicks auf die bezahlten Treffer/Anzeigen. Bei dieser These konnten keine bisherigen Untersuchungsergebnisse herangezogen werden. Ist die These korrekt, müsste bei steigendem Klickanteil auf die Anzeigen auch die Einordnung in die Kategorie»kommerziell«ansteigen. Im Rückschluss müssten für kommerziell eingeordnete Suchanfragen im Vergleich zum Durchschnitt mehr Klicks auf die Anzeigen entfallen. HAW Hamburg Department Information, 2009 42

HAW Abstracts in Information Science and Services Vol. 1 (2009), No. 01, Art. 03 Page 39 52 Für die Untersuchung wurde ein unternehmensinternes Tool von T-Online bereitgestellt, das die Einsicht in die Klickdaten zu einzelnen Suchanfragen je Trefferposition erlaubte. Hier konnten die Klicks auf die organischen Suchergebnisse, also die Treffer, die durch den Suchalgorithmus geliefert werden, eingesehen werden. Zusätzlich zeigt dieses Werkzeug die Klicks, die auf die bezahlten Treffer (Anzeigen oder Ads) entfallen. Konkret konnten für die Analyse Klickdaten für die Anzahl der Klicks auf die ersten zehn organischen Suchergebnisse sowie die aufsummierten Klicks für die weiteren Positionen (Position 10+) eingesehen werden. Die Klicks auf die Anzeigen konnten für acht Positionen herangezogen werden. Die Daten wurden für einen Zeitraum von 19 Monaten (August 2007 bis März 2009) erhoben. Sie wurden nur herangezogen, wenn die Suchanfrage aus der Stichprobe in diesem Zeitraum mindestens 100 Klicks zu verzeichnen hatte. Diese Einschränkung wurde gewählt, um Verzerrungen in der Verteilung bei einer geringen Anzahl von Klicks vermeiden zu können. Dieses Filterkriterium erfüllen 24 807 Suchanfragen der vorliegenden Stichprobe, die damit die Grundgesamtheit für die Klickdatenanalyse bilden. Ergebnisse der Klickdatenanalyse Um die Forschungsfrage»Ist die Einordnung der Suchanfragen zu den Anfragetypen valide?«klären zu können, wird in einem ersten Schritt gezeigt, wie sich das Klickverhalten und die Einordnung zu den Anfragetypen für den Durchschnitt der 24 807 Suchanfragen darstellt. Anschließend können im Vergleich Unterschiede bei der Einordnung zu den Anfragetypen navigationsorientiert und kommerziell erkannt werden. Bild 1 zeigt das Klickverhalten für die organischen Trefferpositionen 1 bis 10+. Zur Mittelwertbildung je Trefferposition wurde der Median berechnet. Der Klickverlauf für die Grundgesamtheit wird in den folgenden Grafiken zum Vergleich wieder aufgegriffen. Bild 1 Klickverhalten auf die organischen Treffer für die Grundgesamtheit der 24 807 Suchanfragen http://www.bui.haw-hamburg.de/haiss-vol1.html 43

VON MACH / OTTE 2009 Identifikation navigationsorientierten und kommerziellen Suchanfragen durch Klickdatenanalyse Der größte Anteil der Klicks entfällt auf die erste Position der organischen Treffer mit einem Anteil von 31,04 %. Nach dieser Position ist ein starker Abstieg zur zweiten Position zu erkennen, diese erhält 23,22 % Klicks weniger. Anschließend werden die Abstände zwischen den Klickanteilen der einzelnen Positionen immer geringer. Auf die letzte Position einer Suchergebnisseite (POS 10) entfällt nur noch ein Anteil von 1,20 %. Ein leichter Anstieg ist für die Position 10+ zu verzeichnen, auf diese entfallen 3,22 % der Klicks. Dies liegt daran, dass die Klicks, die nicht auf der ersten Trefferseite getätigt werden, aufaddiert wurden. Relativ gesehen entfallen also nur sehr wenige Klicks auf die übrigen Trefferseiten. Dieser Klickverlauf deckt sich mit den Befunden anderer Studien, so beispielsweise mit der Untersuchung von NELSON / BAYRAK (2009, S. 2). Ihre Ergebnisse zeigen ebenfalls eine Konzentration auf die erste Trefferseite und den ersten Treffer, die übrigen Ergebnisseiten werden kaum genutzt. Das Klickverhalten auf die Anzeigen, also die bezahlten Treffer einer Websuchmaschine, ist aus Bild 2 ersichtlich. Bild 2 Klickverhalten auf die Anzeigen für die Grundgesamtheit der 24.807 Suchanfragen Der Verlauf des Klickgraphen für die Anzeigen ähnelt dem für die organischen Treffer, jedoch sind die Anteile der Klicks wesentlich geringer. Die erste Anzeige erhält 5,94 % der Klicks. Der Abfall der Klickanteile auf die zweite Anzeigenposition ist etwas geringer als der Abfall für die Klickanteile auf die ersten beiden organischen Trefferpositionen. Danach sinkt der Klickanteil allerdings viel stärker ab, als dies anteilig für die gleich positionierten Klickanteile der organischen Treffer der Fall ist. Dies und die Tatsache, dass die Positionen sechs bis acht nicht mehr besetzt sind, liegt daran, dass bei einer Suche immer unterschiedlich viele Anzeigen eingeblendet werden. Für die untersuchte Grundgesamtheit wurden durchschnittlich fünf Anzeigen ein ge setzt. Ein Anteil von 6 % der Anfragen wurde nicht mit einer Anzeige ausgestattet. Hingegen wurden 43 % der Suchanfragen acht Anzeigen zugewiesen. Diese Werte erklären die geringen oder nicht vorhan denen Klickwerte für die Positionen sechs bis acht. HAW Hamburg Department Information, 2009 44

HAW Abstracts in Information Science and Services Vol. 1 (2009), No. 01, Art. 03 Page 39 52 Bild 3 zeigt die Einordnung zu den einzelnen Anfragetypen für die untersuchte Grundgesamtheit. Die gestapelten Säulen zeigen die Einordnung zu den Anfragetypen mit»eindeutig«,»nicht eindeutig«und»anfragetyp trifft nicht zu«. Bild 3 Einordnung zu den Anfragetypen für alle Suchanfragen, die mindestens 100 Klicks erhalten haben Den größten Anteil der als eindeutig eingeordneten Suchanfragen nimmt der Typ der navigationsorientierten Suchanfragen ein (35,53 %), gefolgt von den kommerziellen (18,59 %) und den transaktionsorientierten Suchen (14,87 %). Den geringsten Anteil an eindeutigen Zuordnungen erhält die Kategorie lokale Suchanfragen (11,97 %). Die Bild zeigt allerdings deutlich, dass die Spannen für die Zuordnungen zu den Anfragetypen groß sind, sie erstrecken sich bspw. für die Kategorie navigationsorientiert von 35,53 bis 51,71 % der Anfragen. Die Beantwortung der Frage, wie valide diese Einordnung überhaupt ist, erhält damit eine höhere Dringlichkeit. Analyse der navigationsorientierten Anfragen Zur Prüfung der als navigationsorientiert eingeordneten Anfragen wird im Folgenden die These herangezogen, dass für navigationsorientierte Suchanfragen der größte Anteil der Klicks auf den ersten organischen Treffer entfällt. Das Klickmuster für navigationsorientierte Anfragen gibt darüber Aufschluss (siehe Bild 4). Hier zeigt sich neben dem Graphen für die Klicks für den Durchschnitt der organischen (ORG) Suchanfragen (ORG Klicks, N = 24 807) auch das Klickverhalten für die eindeutig navigationsorientiert (NAV) eingeordneten Suchanfragen (NAV 1) sowie der Graph für die nicht eindeutig navigationsorientiert klassifizierten Suchanfragen (NAV 0,5). Im Vergleich fällt auf, dass sich die These bestätigt, denn die als eindeutig navigationsorientiert eingeordneten Suchanfragen (NAV 1) weisen einen erhöhten Klickanteil auf den ersten Treffer auf. Es entfallen im Vergleich zum Durchschnitt 29,34 % mehr Klicks auf das erste organische Suchergebnis. Für das Merkmal»nicht eindeutig navigationsorientiert«(nav 0,5) erhöht sich der Anteil lediglich um 9,88 %. Bei einer Isolierung des Merkmals navigationsorientiert, d. h. dass für die Suchanfrage nur http://www.bui.haw-hamburg.de/haiss-vol1.html 45

VON MACH / OTTE 2009 Identifikation navigationsorientierten und kommerziellen Suchanfragen durch Klickdatenanalyse Bild 4 Klickverhalten auf die organischen Treffer für den Anfragetyp»navigationsorientiert«; Merkmalsausprägungen 1 und 0,5 im Vergleich diese Kategorie zutreffen darf, ergibt sich ein Klickanteil von 75,25 % für den ersten organischen Treffer. Schafft man einen Vergleich zu den übrigen Kategorien, zeigt sich, dass diese wesentlich weniger Klicks auf die erste Trefferposition erhalten, die eindeutig transaktionsorientierten Suchanfragen 38,38 % der Klicks auf den ersten Treffer, die eindeutig lokalen Suchanfragen 47,06 % und die eindeutig kommerziellen Suchanfragen 31,45 % der Klicks auf die erste Position. Diese Werte lassen den ersten Schluss zu, dass die Einordnung in der Tendenz korrekt durchgeführt wurde, sie entspricht der aufgestellten These. Außerdem zeigen sie, dass für die Einordnung»nicht eindeutig«im Vergleich zu»eindeutig«ein klarer Unterschied zu erkennen ist. Es besteht die Vermutung, dass Anfragen, die als nicht eindeutig navigationsorientiert zugeordnet wurden, teilweise aus navigationsorientierten Anfragen auf Grund des erhöhten Klickanteils auf den ersten Treffer, teilweise aber auch aus anderen Anfragetypen bestehen, da der Klickgraph, abgesehen von dem Klickanteil auf die erste Position, nah am Durchschnitt liegt. Einordnung für hohe Klickanteile auf die erste Position Um weitere Hinweise auf die Validität der Einordnung zu erhalten, wurde im Folgenden, ausgehend von den Klickdaten, die Einordnung zu dem Anfragetyp navigationsorientiert geprüft. Bild 5 zeigt die Einordnung der Suchanfragen für diese Kategorie für steigende Klickanteile auf die erste organische Position. Die gestapelten Säulen zeigen für das jeweilige Filterkriterium die Einordnung zu dem Anfragetypen navigationsorientiert mit den Merkmalen»eindeutig navigationsorientiert«,»nicht eindeutig navigationsorientiert«und»nicht navigationsorientiert«. Grundgesamtheit ist dabei jeweils die vorhandene Anzahl an Suchanfragen für das Filterkriterium. Die Grafik zeigt, dass der Anteil der Suchanfragen, die dem Anfragetyp navigationsorientiert eindeutig zugeordnet wurden, mit steigendem Klickanteil auf die erste Position ebenfalls ansteigt. Bei einem Klickanteil von gleich oder mehr als 90 % auf das erste Websuchergebnis wird mit einem Anteil von 80,55 % der Suchanfragen der Höhepunkt der als eindeutig navigationsorientiert einsortierten Suchanfragen HAW Hamburg Department Information, 2009 46

HAW Abstracts in Information Science and Services Vol. 1 (2009), No. 01, Art. 03 Page 39 52 erreicht. Der Anteil der Suchanfragen, die als nicht eindeutig navigationsorientiert bezeichnet werden, liegt bei 14,9 %. Bild 5 Einordnung der Suchanfragen in die Kategorie»navigationsorientiert«für steigende Klickanteile auf die erste organische Position Auch dieser Verlauf spricht für eine korrekte Einordnung. Allerdings stellt sich die Frage, warum ein Anteil von 14,9 % der Suchanfragen (229 Anfragen) nicht eindeutig zuzuordnen war und ein Anteil von 4,55 % der Suchanfragen (70 Anfragen) trotz des hohen Klickanteils nicht als navigationsorientiert bezeichnet wurden. Bei einer Prüfung der Einordnung nach den vorgegebenen Kriterien konnten Unregelmäßigkeiten aufgedeckt werden. Insgesamt wurden 7,81 % der Suchanfragen (120 Anfragen) fälschlicherweise nicht der Kategorie»eindeutig navigationsorientiert«zugeordnet. Die %anteile für die Zuordnung zur Kategorie navigationsorientiert vor und nach der Prüfung für einen Klickanteil von mindestens 90 % auf den ersten organischen Treffer stellen sich wie folgt dar: 88,35 % werden nun eindeutig dem Anfragetyp navigationsorientiert zugeordnet, 8,2 % nicht eindeutig und 3,45 % gehören nicht zu dem Anfragetyp. An dieser Stelle bleibt zu erwähnen, dass den Autoren bewusst ist, dass auch ihre Prüfung der Suchanfragen nicht fehlerfrei ist. Sie erfolgte jedoch mit einer strengen Orientierung an den Erkennungsmerkmalen für Anfragetypen, die an die Bearbeiter weitergegeben wurden. Die genannten Kriterien, die hinzugefügten Beispiele und das Klickverhalten halfen den Autoren bei ihrer Überprüfung. Die Autoren nehmen allerdings an, dass die Fehlerquote noch höher ist, jedoch konnte bei einigen Suchanfragen nicht sicher auf einen entsprechenden Domainnamen geschlossen werden. Zusammenfassend zeigen die beschriebenen Untersuchungen deutlich, dass die Einordnung in die Kategorie navigationsorientiert durch die freien Mitarbeiter in großen Teilen funktioniert. Allerdings besteht ein Fehleranteil, der mit Hilfe der Klickdatenanalyse aufgedeckt werden konnte. http://www.bui.haw-hamburg.de/haiss-vol1.html 47

VON MACH / OTTE 2009 Identifikation navigationsorientierten und kommerziellen Suchanfragen durch Klickdatenanalyse Analyse der kommerziellen Anfragen Für die als kommerziell (KOM) eingeordneten Anfragen erfolgt eine Orientierung an der These, dass ein im Vergleich zum Durchschnitt erhöhter Anteil der Klicks auf die bezahlten Anzeigen entfällt. Die Klickdaten für die einzelnen Anzeigenpositionen können der Bild 6 entnommen werden. Es werden die Klicks auf die Anzeigen für die eindeutig (KOM 1) und die nicht eindeutig (KOM 0,5) kommerziell klassifizierten Suchanfragen gezeigt. Zum Vergleich wird auch das Klickverhalten für den Durchschnitt herangezogen (AD Klicks, N = 24 807). Im Durchschnitt entfallen insgesamt 9,19 % der Klicks auf die Anzeigen, dabei werden die Positionen 1 bis 5 mit Klicks bedacht. Die Anfragen, die als eindeutig kommerziell eingeordnet wurden, erhalten hingegen insgesamt 20,3 % der Klicks auf die ersten sechs Anzeigen. Die nicht eindeutig kommerziellen Anfragen erhalten insgesamt durchschnittlich 15,12 % der Klicks auf die Anzeigen. Es werden die ersten sechs Anzeigenpositionen angeklickt. Betrachtet man lediglich den Anfragetyp eindeutig kommerziell, d. h. also, dass kein anderer Anfragetyp zutrifft, ergibt sich sogar ein Klickanteil von 41,99 % auf die Anzeigen (bei einer Grundgesamtheit von N=588 Suchanfragen). Außerdem werden nun alle acht Positionen angeklickt. Bild 6 Klickverhalten auf die Anzeigen für den Anfragetyp»kommerziell«; Merkmalsausprägungen 1 und 0,5 im Vergleich Die übrigen Anfragetypen weisen viel geringere Klickanteile auf die Anzeigen auf, lokale Anfragen 7,12 % und navigationsorientierte Anfragen nur 4,42 % der Klicks. Lediglich die transaktionsorientierten Anfragen haben einen Klickanteil von 12,67 % auf die Anzeigen. Deren Klickanteil auf die Anzeigen ist in diesem Fall erhöht, da transaktionsorientierte Anfragen in einem Viertel der Fälle auch kommerziell sind und folglich Überschneidungen bestehen. Aus einer deskriptiven Analyse der Daten konnte herausgearbeitet werden, dass ein Anteil von 25,97 % der Suchanfragen beiden Anfragetypen zuzuordnen war. Diese Werte legen den Schluss nahe, dass die Einordnung tendenziell korrekt durchgeführt wurde, denn die kommerziellen Anfragen haben einen doppelt so hohen Anteil an Klicks auf die Anzeigen als dies für den Durchschnitt der Fall ist. Der Wert, HAW Hamburg Department Information, 2009 48

HAW Abstracts in Information Science and Services Vol. 1 (2009), No. 01, Art. 03 Page 39 52 der bei einer Isolierung des Merkmals»eindeutig kommerziell«entsteht, untermauert die These, denn hier ist der Klickanteil fast fünfmal so hoch wie im Durchschnitt. Einordnung für erhöhte Klickanteile auf die Anzeigen In einem weiteren Schritt wird überprüft, wie die Einordnung für Anfragen mit einem hohen Anteil an Klicks auf die Anzeigen getätigt wurde. Diese Untersuchung soll Aufschluss darüber geben, ob es sich bei diesen, wie die Hypothese nahe legt, um kommerziell eingeordnete Anfragen handelt. Die Analyse soll zusätzlich zur vorangehenden Untersuchung des Klickverhaltens weitere Hinweise auf die Validität der Einordnung geben. Bild 7 zeigt die Zuordnung der Suchanfragen in die Kategorie»kommerziell«für steigende Klickanteile auf die Anzeigen. Die gestapelten Säulen der Grafik zeigen dabei für das jeweilige Filterkriterium die Einordnung zu dem Anfragetyp kommerziell mit den Merkmalen»eindeutig kommerziell«,»nicht eindeutig kommerziell«und»nicht kommerziell«. Die Säule rechts stellt die Einordnung für den Durchschnitt dar. Für das Filterkriterium»mehr oder gleich 90 % der Klicks auf die Anzeigen«können auf Grund einer zu kleinen Grundgesamtheit (44 Suchanfragen) keine validen Aussagen getroffen werden. Bild 7 Einordnung der Suchanfragen in die Kategorie»kommerziell«für steigende Klickanteile auf die Anzeigen Die Zuordnung zu dem Anfragetyp kommerziell steigt mit steigendem Klickanteil auf die Anzeigen an. Der höchste Anteil an kommerziellen Anfragen findet sich bei einem Anteil von 60 % auf die Anzeigen. Hier werden 52,07 % der Suchanfragen als eindeutig kommerziell und 28,43 % als nicht eindeutig kommerziell einsortiert. 19,50 % der Anfragen wurden als nicht kommerziell bezeichnet. Bei einer Erhöhung des Klickanteils auf die Anzeigen auf 70 % verringert sich der Anteil der als eindeutig kommerziell eingeordneten Suchanfragen um 18,74 %. http://www.bui.haw-hamburg.de/haiss-vol1.html 49

VON MACH / OTTE 2009 Identifikation navigationsorientierten und kommerziellen Suchanfragen durch Klickdatenanalyse Da die Anzahl der kommerziell eingeordneten Suchanfragen ihren Höhepunkt bei einem Klickanteil von gleich oder mehr als 60 % auf die Anzeigen erreicht, wurden die betreffenden Suchanfragen näher untersucht. Ein besonderer Schwerpunkt wurde dabei auf die Prüfung der nicht eindeutig kommerziellen Suchanfragen gelegt, die einen Anteil von 28,43 % der Suchanfragen (487 Anfragen) ausmachen. Insgesamt besteht also eine Spannweite von 52,07 bis 80,5 % der Suchanfragen, die kommerziell sein könnten. Nach einer Prüfung der Einordnung ergibt sich ein Anteil von 21,54 % der Suchanfragen (369 Anfragen), die anhand der Anfragetypenbeschreibung als eindeutig kommerziell eingeordnet hätten werden müssen. Nach der Prüfung zeigen sich nun folgende Anteile an Anfragetypen: für 73,61 % der Suchanfragen trifft das Kriterium»kommerziell«zu, wenn mehr oder gleich 60 % der Klicks auf die Anzeigen gehen. 10,39 % der Anfragen sind nicht eindeutig kommerziell und 15,99 % sind nicht kommerziell. Wie beschrieben, bricht der Anteil der als kommerziell eingeordneten Suchanfragen ab einem Klickanteil von mindestens 70 % der Klicks auf die Anzeigen ein. Da es sich dabei aber auch um eine falsche Einordnung handeln könnte, wurden auch diese Suchanfragen näher untersucht. Dabei ergab sich ein Anteil von 51,93 % der Anfragen, die eigentlich als eindeutig kommerziell bezeichnet hätten werden müssen. Weitere 21,5 % der Suchen hätten als nicht eindeutig kommerziell und ein Anteil von 26,57 % der Anfragen hätte als nicht kommerziell einsortiert werden müssen. Es besteht also auch bei mindestens 70 % der Klicks auf die Anzeigen immer noch ein im Vergleich zum Durchschnitt erhöhter Anteil von Klicks auf die Anzeigen, welcher allerdings nicht wie bei den vorherigen Anteilen ansteigt, sondern absinkt (von einem geprüften Anteil von 73,61 % eindeutig kommerziellen Suchanfragen auf einen geprüften Anteil von 51,93 % der Suchanfragen). Es kann geschlussfolgert werden, dass bei einer Orientierung an der These»Ein im Vergleich zum Durchschnitt erhöhter Anteil an Klicks auf die Anzeigen ist ein Indiz für kommerzielle Anfragen«die Einordnung tendenziell als korrekt bezeichnet werden kann. Nach einzelnen Prüfungen konnte der Anteil der als kommerziell einzuordnenden Anfragen allerdings noch wesentlich erhöht werden. Fazit und Ausblick Die Untersuchung der Klickdaten der Anfragetypen navigationsorientiert und kommerziell zeigte, dass die Klassifizierung dieser Anfragen zwar zum größten Teil korrekt durchgeführt wurde, die Analyse des Klickverhaltens konnte allerdings Fehleranteile aufdecken und die Spannweiten, die zwischen eindeutiger und nicht eindeutiger Einordnung zu einem Anfragetyp lagen, verringern. Die Antwort auf die Forschungsfragen»Ist die Einordnung der Suchanfragen zu den Anfragetypen valide?«lautet dementsprechend: der Hauptteil der Suchanfragen wurde korrekt zugeordnet, allerdings verhindert ein, insbesondere bei den kommerziellen Anfragen, Fehleranteil jedoch eine komplett schlüssige und damit verlässliche Klassifizierung der Suchanfragen. Mit Klärung der ersten Forschungsfrage kann auch die Frage nach der Eignung der Klickdatenanalyse zur Prüfung der Validität der Zuordnungen beantwortet werden. Die Nutzung der Klickdaten kann als erfolgreich beurteilt werden. Mit Hilfe der HAW Hamburg Department Information, 2009 50

HAW Abstracts in Information Science and Services Vol. 1 (2009), No. 01, Art. 03 Page 39 52 Klickmuster ließen sich Fehleranteile aufdecken und damit falsch zugeordnete Anfragetypen identifizieren. Ebenso konnten getätigte Zuordnungen bekräftigt werden. Demzufolge können auch die aufgestellten Thesen bestätigt werden, lediglich die Vermutung bezüglich der kommerziellen Anfragen muss eingeschränkt werden. Und zwar insofern, dass bei einem erhöhten Klickanteil auf die Anzeigen zwar von einem kommerziellen Interesse ausgegangen werden kann, wenn dieser Anteil allerdings über 70 % ansteigt, die Wahrscheinlichkeit, dass es sich um eine kommerzielle Anfrage handelt, sinkt. Im Rückschluss bedeutet dies, dass andere Typen von Anfragen gestellt werden, die diesen erhöhten Anteil von Klicks auf die Anzeigen auslösen. Eine Betrachtung der Einordnungen für mindestens 70 % der Klicks auf die Anzeigen zeigt, dass sich die Anteile der einzelnen Anfragetypen dem Durchschnitt der Einordnung für die 24 807 Suchanfragen annähern. Allerdings beträgt die Grundgesamtheit dieses Filterkriteriums nur 414 Suchanfragen, nach einer Einordnung zu den Anfragetypen finden sind in den jeweiligen Kategorien teilweise zu wenig Anfragen um valide Aussagen tätigen zu können. Anhand der aufgezeigten Klickmuster für die beiden Anfragetypen lassen sich Empfehlungen für die Websuche ableiten. Für navigationsorientierte Anfragen könnten bspw. nur noch die ersten drei Treffer eingeblendet werden, die übrigen Ergebnisse könnten in diesem Fall mit einem Link auf Wunsch ebenfalls sichtbar gemacht werden. Der Einsatz einer ähnlichen Methode kann bereits bei der US-Version der Suchmaschine Bing beobachtet werden. Eine weitere Möglichkeit wäre, bei einer navigationsorientierten Anfrage den User gleich auf die Website des ersten Treffers weiterzuleiten. Dies würde der Google- Funktion»Auf gut Glück!«gleichkommen. Bei einer Identifikation von kommerziellen Suchanfragen könnte die Suchergebnisseite, neben den organischen Suchergebnissen, mit mehr Anzeigen ausgestattet werden, die in diesem Fall vom User gewünscht sind und daher mit vermehrter Aufmerksamkeit bedacht werden. Insgesamt kommen die Autoren zu dem Schluss, dass sich die gewählte Prüfmethode für die Identifikation von Anfragetypen eignet. Allerdings darf nicht unbeachtet bleiben, dass mit der vorgestellten Methode nicht mit absoluter Sicherheit auf einen Anfragetyp gefolgert werden kann, da der Suchende nicht selbst nach seinem Informationsbedürfnis gefragt wurde. Diesem Einwand begegnen die Autoren mit dem Verweis auf unterschiedliche Studien (JOACHIMS 2002; MACDONALD / OUNIS 2009; CHAO et al. 2008; DOU et al. 2008), die zeigen, dass Klickdaten als Feedback des Users eingesetzt werden können und damit auch Hinweis auf seine Suchintention gegeben werden. Zusätzlich sollen in einer folgenden Untersuchung mit Hilfe einer Online-Befragung die originären Suchintentionen von Usern mit den Ergebnissen der Klickdatenanalyse verglichen werden. http://www.bui.haw-hamburg.de/haiss-vol1.html 51

VON MACH / OTTE 2009 Identifikation navigationsorientierten und kommerziellen Suchanfragen durch Klickdatenanalyse Literatur BRODER 2002 BRODER, Andrei: A taxonomy of web search. In: SIGIR Forum 36 (2002), Nr. 2, S. 3 10 CHAO et al. 2008 CHAO, Liu ; GUO Fan ; WANG, Yi-Min: Efficient Multiple-Click Models in Web Search. In: WSDM 2009 : Proceedings of the Second ACM International Conference on Web Search and Web Data Mining (Barcelona, ES 2009). New York : ACM, 2009, S. 124 131 CRASWELL et al. 2008 CRASWELL, Nick ; ZOETER, Onno ; TAYLOR, Michael ; RAMSEY, Bill: An Experimental Comparison of Click Position-Bias Models. In: WSDM 08 : Proceedings of the First ACM International Conference on Web Search and Data Mining (Stanford, US 2008). New York : ACM, 2008, S. 87 94 DOU et al. 2008 JOACHIMS 2002 LEE et al. 2005 DOU, Zhicheng ; SONG, Ruihua; YUAN, Xiaojie ; WEN, Ji-Rong: Are Click-through Data Adequate for Learning Web Search Rankings? In: CIKM 08 : Proceeding of the 17th ACM Conference on Information and Knowledge Management (Napa Valley, US 2008). New York : ACM, 2008, S. 73 82 Joachims, Thorsten: Optimizing Search Engines using Clickthrough Data. In: KDD-2002 : Proceedings of the Eigth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (Edmonton, CA 2002). New York : ACM, 2002, S. 133 142 LEE, Uichin ; LIU, Zhenyu ; CHO, Junghoo: Automatic Identification of User Goals in Web Search. In: WWW 05 : 14th International World Wide Web Conference (Chiba, JP 2005). New York : ACM, 2005, S. 391 400 LEWANDOWSKI 2009 LEWANDOWSKI, Dirk: The retrieval effectiveness of search engines on navigational queries [online]. URL: http://www.bui.haw-hamburg.de/fileadmin/user_upload/lewandowski/doc/aslib2009_preprint. pdf (Abruf: 2009-07-28). preprint LU et al. 2006 LU, Yumao ; PENG, Fuchun ; LI, Xin ; AHMED, Nawaaz: Coupling feature selection and machine learning methods for navigational query identification. In: CIKM 06 : Proceedings of the 15th ACM International Conference on Information and Knowledge Management (Atlanta, US 2006). New York : ACM, 2006, S. 682 689 MACDONALD / OUNIS 2009 MACDONALD, Craig ; OUNIS, Iadh: Usefulness of Quality Click-through Data for Training. In: WSCD 09 : Proceedings of the 2009 workshop on Web Search Click Data (Barcelona, ES 2009). New York : ACM, 2009, S. 1 5 NELSON / BAYRAK 2009 NELSON, Stephen ; BAYRAK, Coşkun: Categorizing Web Queries. In: SIGSOFT Software Engineering Notes 34 (2009), Nr. 2, S. 1 4 ROSE / LEVINSON 2004 ROSE, Daniel E. ; LEVINSON, Danny: Understanding User Goals in Web Search. In: WWW 04 : Proceedings of the 13th International Conference on World Wide Web (New York, US 2004). New York : ACM, 2004, S.13 19 Eingegangen: 2009-08-04 Sonja von Mach Ausbildung und Berufserfahrung als Fachangestellte für Medien- und Informationsdienste Fachrichtung Bibliothek. Danach Bachelor of Arts Abschluss in Bibliotheks- und Informationsmanagement an der Hochschule für Angewandte Wissenschaften Hamburg. E-Mail: Jessica Otte Bachelor of Arts Abschluss im Studiengang Bibliotheks- und Informationsmanagement an der Hochschule für Angewandte Wissenschaften Hamburg; Mitarbeit an dem studienbegleitenden Projekt»Einbindung von Frage-Antwort-Diensten in die Web-Suche«E-Mail: HAW Hamburg Department Information, 2009 52