Evaluation der Suchfunktion deutscher Unternehmenswebsites Martin Braschler, Zürcher Hochschule für Angewandte Wissenschaften Ben Heuwing, Thomas Mandl, Christa Womser-Hacker, Universität Hildesheim Josef Herget, Donau-Universität Krems Peter Schäuble, Eurospider AG (Zürich) Jürg Stuker, Namics AG (Zürich) Zusammenfassung Der Beitrag stellt eine umfangreiche Evaluation der Suchfunktionen von 35 deutschen Unternehmenswebsites vor. In der Studie soll die vom Nutzer wahrgenommene Qualität einer Website-Suche erfasst werden, und nicht die technische Funktionalität der jeweiligen Systeme. In leitfaden-basierten Evaluationen werden die Bereiche Suchindex, Anfrage-/Dokumentenvergleich, Benutzerinteraktion und Suchergebnisse untersucht. Die Zusammenfassung der Ergebnisse der Einzeltests in diesen Kategorien ermöglicht eine qualitative Beurteilung und Aussagen über die Positionierung von Ergebnissen relativ zum Gesamtfeld. Die Ergebnisse zeigen, dass bei Internetauftritten die Suchfunktion auf Websites oft zum Problem werden kann. Die Benutzer haben häufig Anlass, die Website zu verlassen, ohne ihr Ziel erreicht zu haben. Probleme zeigten sich bei der Vollständigkeit und Aktualität des Suchindexes sowie bei der Pflege und Präsentation ergänzender Metadaten. Zum Vergleich werden die Untersuchungen auch anhand der Google-Sitesearch durchgeführt. Dabei zeigt sich, dass eine genaue Kenntnis der eigenen Daten zu besseren Ergebnissen führen kann, dies nutzen Unternehmen aber nicht immer aus. 1. Besonderheiten von Suchfunktionen auf Unternehmenswebsites Nutzer empfinden heute die Möglichkeit, auf die Information einer umfangreichen Website über eine Suchfunktion zuzugreifen, als selbstverständlich (vgl. Quesenbery u.a. 2008). Dabei ersetzt sie nicht eine gut strukturierte Navigation. Suche und Navigation sollen sich vielmehr ergänzen (vgl. Alvarado u.a. 2006). Die Suchfunktion bietet dem Nutzer dabei die Möglichkeit zur expliziten Formulierung eines Informationsbedürfnisses. Soll die Suchfunktion ihrer zentralen Rolle in dem für Unternehmen sehr wichtigen Medium Website gerecht werden, muss sie Nutzern einen effektiven und effizienten Zugriff auf die vorhandene Information ermöglichen. Dabei besteht für den Anbieter der Website die Möglichkeit, die Suchfunktion bewusst als Kommunikationsinstrument einzusetzen. Die Ausgangslage für Suchfunktionen auf Unternehmenswebsites ( vertikale Site- Suchen) stellt sich dabei grundlegend anders dar als bei horizontalen Internet- 1
Suchdiensten, bei denen die möglichst breite Erschließung des Informationsangebotes vieler verschiedener Websites im Vordergrund steht. Gleichzeitig kann angenommen werden, dass Nutzer an die Standard-Funktionalitäten von Internet-Suchdiensten gewohnt sind. Bei einer Suchfunktion auf Unternehmenswebsites steht der erfolgreiche Dialog mit den Nutzern im Vordergrund. Nutzer sind möglichst ohne Umwege zur gewünschte Information zu führen, da ansonsten die Gefahr besteht, dass diese die Website verlassen. Außerdem sind die Informationsbedürfnisse meist spezifisch auf die Präzision der Ergebnisse abzielend (Precision), zum Teil aber auch orientiert an möglichst vollständigen Suchergebnissen (Recall). Im Kontext einer Unternehmenswebsite besteht dabei die Möglichkeit, die vorhandene Information entsprechend zu strukturieren und aufbereitet anzubieten. Das Spektrum an Technologien für Suchfunktionen ist sehr groß (unterschiedliche Anbieter und Retrieval-Engines, integrierte Suchfunktionen von Content-Management- Systemen und Datenbanken). Für den Nutzer spielen diese technischen Aspekte jedoch keine Rolle, aus seiner Sicht sind alle Aspekte relevant, die sich während der Nutzung präsentieren. Die vorliegende Evaluationsstudie berücksichtigt diese Faktoren und verfolgt einen Ansatz, der die Suchfunktion einer Unternehmenswebsites als Kombination von Software, Konfiguration und Informationsangebot in den Mittelpunkt stellt. Die vom Nutzer wahrgenommene Qualität einer Website-Suche soll erfasst werden, nicht die technischen Parameter oder Systeme, auf denen diese aufbaut. Damit wird ein anders ausgerichteter Evaluierungs-Ansatz verfolgt, als dies bei den an Effektivitätsmaßen orientierten Information-Retrieval-Studien und Evaluierungsinitiativen wie CLEF oder TREC (vgl. Womser-Hacker 2004) der Fall ist. In den Bereichen Suchindex, Anfragen- und Dokumentenvergleich, Benutzerinteraktion und Suchergebnisse werden eine Reihe von Einzeltests durchgeführt, welche die vorhandenen Funktionalitäten und ihre Qualität erfassen. Die Zusammenfassung der Ergebnisse der Einzeltest ermöglicht eine qualitative Beurteilung des Gesamtfeldes und damit auch Aussagen über die Positionierung von Ergebnissen relativ zum Gesamtfeld. Daraus kann abgeleitet werden, in welchen Bereichen akuter Handlungsbedarf besteht und wie groß das Potential für Verbesserungen ist. 2. Evaluationsraster und Durchführung Das eingesetzte Evaluationsraster ist von der 2006 zu Schweizer Unternehmenswebsites durchgeführten Studie (vgl. Braschler u.a. 2006) übernommen und zusätzlich optimiert worden. Zu den einzelnen Bereichen Suchindex, Anfrage-/Dokumentenvergleich, Benutzerinteraktion und Suchergebnisse gehören jeweils mehrere unterschiedliche Einzeltests (vgl. Tabelle 1), welche zum Teil mehrmals ausgeführt werden, beispielsweise für unterschiedliche Suchanfragen. Diese Ergebnisse werden bewertet und für die einzelnen Bereiche und Unterbereiche gewichtet und aggregiert. Die Kodierung und Gewichtung der Ergebnisse wurde dabei vor Beginn der Erhebung festgelegt. 2
Suchindex Vollständigkeit (8) Aktualität (2) Anfrage- und Dokumentenerschliessung (2) Anfrage- Benutzerinteraktion /Dokumentenvergleich Query-Ausführung (3) Präsentation der Ausdrucksstärke der Trefferliste (13) Abfragesprache (4) Nutzerführung (6) Metadaten-Qualität (4) Performance (1) Tabelle 1: Evaluationskriterien (jeweils mit Anzahl Einzeltests) Suchergebnisse Navigational Queries (4) Informational Queries (5) Factual Queries (5) Die Tests wurden manuell im Zeitraum von März bis Mai 2007 von mehreren Vertretern der beteiligten Institutionen durchgeführt. Das entwickelte Evaluationsraster ist anhand eines ausführlichen Test-Leitfadens spezifiziert, welcher genaue Anleitungen zur Durchführung der Einzeltests enthält. Die Evaluatoren erhielten eine gemeinsame Einführung in den Leitfaden und das Erfassungsformular, um eine übereinstimmende Interpretation der Anweisungen sicherzustellen. Die 35 untersuchten Websites nahmen auf Einladung teil und stammten aus den Branchen Versicherungen, Finanzdienstleister, Maschinen- und Fahrzeugbau, Informationstechnologie, Medizintechnik und Medien. Die Evaluation wurde mittels der öffentlich zugänglichen Suchfunktionen der Websites durchgeführt, ohne dass die teilnehmenden Unternehmen die Möglichkeit hatten, die Website für den Test vorzubereiten. Zusätzlich dient eine Evaluation auf Basis des Internet-Suchdienstes Google als Baseline. Hierfür wurde die Evaluation für 16 Websites durchgeführt, davon bei 13 Websites jeweils nur die inhaltsspezifischen Tests. Dabei schränkte das site -Attribut die Suche jeweils auf die Domain der Website ein. Während der Durchführung konnten einzelne Werte nicht erhoben werden. Beispielsweise waren in einigen Fällen keine passenden Zielseiten für die Evaluation des Umgangs mit bestimmten Sonderzeichen vorhanden. Auf einigen Websites wurden auch im Zeitraum der Erhebung nicht genug neue Seiten erstellt, um die Aktualität des Index zu testen. Dies wurde bei der Interpretation der Ergebnisse berücksichtigt. 3. Ergebnisse der Untersuchung Bei der Gesamtauswertung fällt auf, dass die Ergebnisse, gemessen am Median, bestenfalls mäßig ausfallen. Drei Viertel der untersuchten Suchfunktionen bleiben unter 70% der möglichen Punkte (vgl. Abbildung 1). Dabei sind alle Hauptkategorien in etwa gleich auf. Bei der Interpretation der Daten wurden Durchschnittswerte nur gebildet, wenn ausreichend Einzeltests durchgeführt werden konnten. Die Ergebnisse der Untersuchung lassen sich jeweils nur in Relation zum Gesamtfeld interpretieren. Bei drei der Hauptkategorien erreichen die besten Kandidaten mehr als 80%. Dies weist darauf hin, dass die gestellten Anforderungen durchaus lösbar sind. Allerdings liegen die besten Systeme nur selten bei allen Kriterien gleichzeitig vorne. So liegt nur eine Website in drei Kategorien unter den ersten fünf, vier immerhin in zwei Kategorien. Das theoretisch mögliche Bestergebnis wird für keines der Kriterien erreicht, in allen 3
Fällen gibt es also durchaus Raum für Verbesserungen. Insbesondere bei den Kriterien Suchindex und Suchergebnisse gibt es eine sehr große Streuung mit vielen Ausreißern nach unten. Der Rückstand dieser Ausreißer ist bei allen Kriterien größer als der Vorsprung der guten Ausreißer, lediglich bei der Benutzerinteraktion fallen kaum Ergebnisse am unteren Rand auf. Dabei fallen die Ergebnisse insgesamt etwas besser aus als bei der vorherigen Studie in der Schweiz (Braschler u.a.2006). Abbildung 1: Gesamtergebnis für die einzelnen Bereiche 2.1 Suchindex Das Kriterium Suchindex bezieht sich auf die Qualität der Datengrundlage. Die dazugehörigen Unterkriterien sind Vollständigkeit (für unterschiedliche Dateiformate und bei langen oder komplexen URLs), Aktualität (Suche nach neueren Dokumenten mit Datumsangabe) und Anfrage-/Dokumentenerschließung (Sonderzeichen, Tokenisierung). Bei der Untersuchung der Datenbasis in Hinblick auf Vollständigkeit verweisen die vielen Ausreißer nach unten auf deutliche Probleme (beispielsweise mit PDF- Dokumenten), obwohl einzelne positive Ausnahmen zeigen, dass die Aufgabe prinzipiell lösbar ist. Die Aktualität des Indexes war aufgrund fehlender aktueller Dokumente häufig nur schwierig zu messen. Hier ergibt sich ein ähnliches Bild wie bei der Vollständigkeit, einige positive Ausnahmen, aber auch viele Ausreißer nach unten. Die Untersuchung der Anfrage- und Dokumentenerschließung ergibt angemessene Ergebnisse. 2.2 Anfrage-/Dokumentenvergleich Die technisch korrekte Auswertung einer Benutzeranfrage und der Vergleich mit den vorhandenen Dokumenten wird untersucht. Dazu gehört die Anfrage-Ausführung (lange Anfragen, Umgang mit Stoppwörtern und Flexionen), die Ausdrucksstärke der Anfragesprache (Operatoren AND, OR, Distanz) und die korrekte Verwendung von Metadaten (Verwendung von Datum, Sprache, Dateiformat und Subkollektionen in der Anfrage). Es zeigt sich, dass eine zu einfache Herangehensweise bei der Ausführung der Anfrage 4
schnell zu Problemen führt. Die Untersuchungen der Ausdrucksstärke der Anfragesprache zeigen, dass nur selten boolesche Operatoren eingesetzt werden können und dass Stoppwörter (z.b. gegen, für ) häufig nicht für die Verwendung in Phrasensuchen erschlossen werden. Die breite Streuung des Teilnehmerfeldes bei den angebotenen Metadaten lässt sich eventuell darauf zurückführen, dass die Suchfunktionen nicht ausreichend mit den eingesetzten Content-Management-Systemen integriert sind. 2.3 Benutzerinteraktion Das Kriterium Benutzerinteraktion beurteilt den Teil der Suchapplikation, mit welchem der Nutzer direkt arbeitet: Die Präsentation der Trefferliste (z.b. Anzeige der Trefferanzahl, Navigationsmöglichkeiten in den Ergebnissen, korrekter Dokumententitel und Datum, Hervorhebung des Suchbegriffs), die Nutzerführung (z.b. Eingabefeld, Korrektur- und Vorschlagsfunktionen, Hilfefunktion und Erweiterte Suche) und die Performanz (Verarbeitungsgeschwindigkeit) Im Bereich der Benutzerinteraktion ergeben sich gute Resultate für das Unterkriterium Präsentation der Trefferliste. Die hohe Varianz der Ergebnisse ist jedoch aufgrund des Vorhandenseins etablierter Standards eher überraschend. Für die Nutzerführung sind die Ergebnisse tendenziell schlechter. Hier ist ein Teil der getesteten Funktionen mit einem hohen Implementationsaufwand verbunden, wobei die Mängel bei den einfacher umzusetzenden Qualitätsaspekten wohl auf einen starken technischen Fokus anstatt eines Nutzerfokus zurückzuführen sind. Bei der Beurteilung der Performanz der Suchfunktionen ergibt sich ein überraschend schlechter Mittelwert, verursacht durch einige deutliche Ausreißer, bei denen sich zusätzlich auch eine Abhängigkeit der Bearbeitungsgeschwindigkeit von der Länge der Anfrage zeigt. 2.4 Suchergebnisse Getestet wird die Relevanz der Suchergebnisse, indem verschiedene Typen von konkreten Suchanfragen gestellt werden. Es werden Navigationsanfragen (Seiten, von denen aus der Nutzer weiternavigieren kann), Informationsanfragen (verschiedene Informationen zu einem Thema zusammenstellen) und Faktenanfragen (konkrete Einzelinformationen) unterschieden. Die Anfragen sind so gewählt, dass entsprechende Inhalte auf jeder der getesteten Websites zu erwarten sind (z.b. Anfragen nach Adressen oder Vorstandsmitgliedern). Die Informationsanfragen wurden von den Evaluatoren für jede Website aus externen Quellen recherchiert. Von den drei untersuchten Anfragetypen führen Navigationsanfragen bis auf wenige Ausnahmen zu guten Ergebnissen. Bei den Informationsanfragen hingegen können die Suchfunktionen vor allem bei kleineren Dokumentenmengen häufig keine hilfreichen Resultate liefern. Hierbei fließt jedoch auch das Informationsangebot stark mit in das Ergebnis ein. Faktenanfragen sind nur zum Teil einfach zu beantworten, besonders Personenanfragen führen dabei aber häufig zu guten Ergebnissen. 2.5 Vergleich mit Google Beim Vergleich der Ergebnisse mit den mit Google durchgeführten Baselinetests fällt auf, dass die Google-Tests zwar gut, allerdings nicht unbedingt besser als mit den getesteten 5
Website-Suchfunktionen ausfallen. Vielmehr repräsentiert die Suche über Google lediglich eine durchschnittliche Leistung im Vergleich mit den eigenen Suchfunktionen der Unternehmenswebsites. Nur bei der Benutzerinteraktion schneidet Google besser ab, wobei dies auch auf die Gewöhnung an den Quasi-Standard zurückzuführen sein kann. Dass Google nicht immer die optimalen Ergebnisse liefert, liegt auch daran, dass es als horizontale Websuchmaschine offensichtlich nicht auf diese Aufgabenstellung ausgerichtet ist. So ist Google nicht für die eingeschränkte Datenmenge der Websites optimiert, und die Aktualität der Ergebnisse wird nicht von den Betreibern der Unternehmenswebsites gewährleistet. Abbildung 2: Gesamtergebnis der internen Suchfunktionen im Vergleich zur Google- Baseline (jeweils in Grau) 4. Diskussion und Fazit Zusammenfassend lässt sich sagen, dass die Studie viele sehr gute Beispiele für die erfolgreiche Implementierung einer Suchfunktion auf Unternehmenswebsites aufzeigt. Gleichzeitig wird aber auch ein großes Potenzial für Verbesserungen aufgedeckt. Hierbei sind insbesondere die Vollständigkeit und Aktualität des Suchindexes zu nennen, da die Suchergebnisse jeweils nur so gut wie die zugrunde liegende Datenbasis sein können. Durch eine bessere Pflege von Metadaten (z.b. Datum, Titel) könnten erhebliche Qualitätsverbesserungen erfolgen. Die Benutzerschnittstelle muss sich dabei an bewährten Standards orientieren und sollte eine für den Benutzer transparent funktionierende Suchmaschine präsentieren. Dabei kann der Websitebetreiber steuernd eingreifen und dem Benutzer häufige Informationsbedürfnisse vorwegnehmen (z.b. indem zu bestimmten Suchanfragen "Top-Treffer" angezeigt werden). Dies stellt eine Möglichkeit dar, die Websuche verstärkt als Kommunikationsinstrument zu begreifen und zu nutzen. 6
Literatur Alvarado, C.; Teevan J.; Ackerman, M.S.; Karger, D.: Surviving the Information Explosion: How People Find Their Electronic Information. MIT AI Lab 2003. <http://citeseer.ist.psu.edu/alvarado03surviving.html.> (abgerufen am 10.12.2006). Braschler, M.; Herget, J.; Pfister, J.; Schäuble, P.; Steinbach, M.; Stuker, J.: Evaluation der Suchfunktion von Schweizer Unternehmens-Websites. Churer Schriften zur Informationswissenschaft Schrift 12, 2006 <http://www.iudchur.net/fileadmin/uploads/pdf/csi/csi12_evaluation_suchfunktion.pdf> Quesenbery, W.; Jarrett, C.; Roddis, I.; Allen, S.; Stirling, V.: Search Is Now Normal Behavior. What Do We Do about That? In: Proceedings of the Usability Professionals Association Conference, electronic proceedings (2008). Womser-Hacker, C.: Theorie des Information Retrieval III: Evaluierung. In: Kuhlen, R.; Seeger, T.; Strauch, D. (Hrsg.): Grundlagen der praktischen Information und Dokumentation: Band 1: Handbuch zur Einführung in die Informationswissenschaft und Praxis. München: Saur 2004. Kapitel B9 S. 227-235 7