Vorträge zur FIS Bildung-Herbsttagung vom zum Thema (Selbst)Evaluation von Portalen und Informationssystemen

Transkript

1 Vorträge zur FIS Bildung-Herbsttagung vom zum Thema (Selbst)Evaluation von Portalen und Informationssystemen 1. Antje Gildhorn, ULB Münster: Evaluationsinstrumente im Rahmen von vascoda und deren spezifischen Aufwände und Erträge 2. Thorsten Wilhelm, Firma eresult: Web-Usability - Analyse, Verfahren & aktuelle Erkenntnisse; AJAX & Co.: Grenzen erkennen und Möglichkeiten nutzen 3. Frank Reese, Firma Ideal Observer: Erfolgsmessung von Fachportalen mit Traffic-Analysen

2 1 Überschrift Evaluationsinstrumente im Rahmen von vascoda und deren spezifische Erträge Texteingabe Antje Gildhorn, ULB Münster

3 2 Evaluation: Wozu? ubiquitäres Bedürfnis zum Datensammeln Qualitätsbeweis und Rechtfertigungsgrund Vielfältige Methoden mit diversen Fallstricken Subjektivität als allgegenwärtige Gefahr Nicht alle möglichen Merkmale können in einer endlichen Stichprobe abgebildet werden

4 3 Evaluation: Wozu? Weil jede Art menschlicher Reaktion vorstellbar ist, ist es von großer Bedeutung zu wissen, welche Reaktionen tatsächlich am häufigsten vorkommen und unter welchen Bedingungen Daher: Nutzerfokus! Keine voreilige Vereinheitlichung bei heterogenen Nutzergruppen Gleichbürsten von Nachteil

5 4 Evaluation: Methode und Vorgehen Evaluation: systematische Untersuchung zum Zweck der Beseitigung von Unsicherheiten (im Hinblick auf Entscheidungsprozesse) Messung einer Zielerreichung, aber Was ist das Ziel?

6 5 Evaluation: Methode und Vorgehen Festlegen von geeigneten Indikatoren (Inhalt, Effizienz, Technik, usability, Relevanz) Effiziente Ressourcenplanung (Kosten/Ergebnis) summative und formative Untersuchungen mit quantitativer und qualitativer Ausrichtung Bedarf Konzeption Umsetzung zyklisch und iterativ

7 Eingesetzte Instrumente Online Nutzerbefragung (2005, 2006, 2007 tbd.) Fokusgruppen in Fachclustern (2005) Experimente (2006, 2007) Monitoring (ab 2006 alle 6 Monate) LogFile-Analyse (kontinuierlich automatisiert, von Juli 2005 bis Juli 2006 inhaltlich fokussiert) usability-untersuchungen (2006, 2007) Instrumentenmix ist stets zu empfehlen 6

8 7 Online-Befragung - Methode Ich weiß, was der Nutzer will Weiß der Nutzer, was ich will und trifft das Produkt seine Vorstellungen und Bedürfnisse?

9 8 Online-Befragung - Methode Fragebogen erstellen - Skalieren der Themen (Zeitfenster) Fragebogen testen überarbeiten (Pretest) Punktuelle Repräsentativität (Fächer, Orte) Gepflegte Stichprobe Wissenschaftler an Universitäten (Quoten- und Zufallsauswahl, direkter Telefonkontakt) Web-Stichprobe Freiwillige über die vascoda Seite sowie die Teilnehmer aus Bibliotheken

10 Online-Befragung: Vor- und Nachteile Standardisiert / Strukturiert / Exakte Kriterienmessung Große Zielgruppe mit Generalisierung auf Grundgesamtheit Info-Gewinn durch Datenreduktion Schnell / einfach / kostenschonend Probanden können Problem durchdenken Hypothesen, Verhalten des Interviewers ist ohne Einfluss Ergänzung von offenen Fragen möglich Sehr unflexibel mit engem Raster nicht individuell / wer antwortet eigentlich? Geringer Rücklauf, Vorbereitung, offene Fragen erfordern zusätzliche Arbeit, Zeit und Know-how Ermittlung von Ursachen / Verbesserung und Lösung schwierig / Gefahr der Selbstselektion Keine Hilfe bei Verständnisproblemen 9

11 10 Aussagen und Erträge Auswertungsschritte: Analyse der Gesamtaussagen und Bewertungen Analyse der Gruppenunterschiede Selektion der Zufriedenheit stiftenden Faktoren Analyse der Freitextantworten (Qualitativ) Ergebnisse - guter Portalansatz, aber: Nutzungseffizienz (Effizienz der Suchfunktionalitäten und der Literaturbereitstellung) Inhaltsqualität (bibliographische Angaben) Inhaltsquantität Treffersortierung, Einschätzung der Anbieter, Volltextpreise

12 Fokusgruppen - Methode Verhaltensprüfung / individuelle Beschreibung real erlebter (Alltags-)situationen oder / und Hypothesenbildung Qualitatives problemzentriertes Interview / Gruppendiskussion zu Faktoren der Zufriedenheit 11

13 Fokusgruppen - Methode Moderationsleitfaden, Teilnehmerrekrutierung, Interviewabwicklung: Sammlung und Reflektion eigener Erfahrungen Filtern positver / negativer Erfahrungen (Ergänzung durch Fragebogenergebnisse) Bewertung der wesentlichsten Erfahrungen Sammlung von Vorschlägen zur Verbesserung (Erfolgsfaktoren) 12

14 Fokusgruppen: Vor- und Nachteile Frei, offen, nicht standardisiert und künstlich wesentlich kleinere Stichprobe (Sättigung) Höherer Redeanteil Hohe Inhaltsvalidität, tiefer Infogehalt, unverzerrt und nicht predeterminierend breites Merkmals-Spektrum = neue Entdeckungen Subjektbezogen (eigene Erlebnisse) Zeitaufwändig, kostenintensiv, hohe Moderationsqualifikation, keine Mengenangaben wechselseitige Sinnzuschreibungen / Erwünschtheit etc. (symbolischen Interaktionismus) Intensive Materialauswertung und Verdichtung Versuchsleitereffekt externer Moderator empfohlen 13

15 Aussagen und Erträge Auswertungsschritte: Mitschriften, Fotos, MindMap, Protokoll Verdichtung und Kategorisierung Ergebnisse: Aussagen der Onlinebefragung bestätigt Inhalt, Trefferstruktur und Suche als wesentlichste Optimierungen Auf Fachportalebene: Suchwortübergabe gewünscht, Transparenz der Daten, häufig tote links Sichtbarkeit der Anbieter und Quellen (Abdeckung: Was, Wer, Warum ) Vorauswahl der Kollektionen gewünscht 14

16 15 Monitoring Methode und Ergebnis Marktbeobachtung relevanter internationaler Informationsdienstleister nach Facetten Schablonen: Treffer, Fachzugänge, Browsing, Sortierung etc. standardisierte Unter - Suchszenarien Ermittlung gängiger Angebote und portalbezogener Webkonventionen Good Practice Beispiele zur Lösung problematischer Funktionen

17 Monitoring: Vor- und Nachteile Kostengünstig? (keine Software / kein externes Personal) Internationale Nutzerwünsche / Gewohnheiten Viele Lösungsmöglichkeiten für das gleiche Problem Wenig standardisiert bei Überlappungen oder Zeitintervallen (Anpassungen erforderlich) nicht valide äußerst zeitaufwändig langer Zeitraum und Intervalle nötig (Alternative: einmaliges Benchmarking) 16

18 17 Experimente - Methode Sehr fokussierte Untersuchung von Funktionalitäten mit fiktiven Prototypen Umfrage Portal-Monitoring Hypothese Computer Assisted Personal Interviewing (CAPI-Methode) Mix aus quantitativen und qualitativen Elementen

19 Experimente: Vor- und Nachteile Frei, offen, nicht standardisiert und künstlich wesentlich kleinere Stichprobe Höherer Redeanteil Hohe Inhaltsvalidität, tiefer Infogehalt, unverzerrt und nicht predeterminierend breites Merkmals-Spektrum = neue Entdeckungen Subjektbezogen Spezifität (eigene Erlebnisse) Zeitaufwändig, kostenintensiv, hohe Moderationsqualifikation, keine Mengenangaben wechselseitige Sinnzuschreibungen / Erwünschtheit etc. (symbolischen Interaktionismus) Intensive Materialauswertung und Verdichtung Versuchsleitereffekt kann durch singulären Versuchsleiter abgeschwächt werden 18

20 19 Aussagen und Erträge Auswertungsschritte: Protokoll Fragebogen und Statistik online (Deskriptiv) Kodierung und Kategorisierung der Aussagen Ergebnisse: Suchwortmarkierung, Autor vorne, Dokumenttyp-Icons aktive Sortierung erkennbar, Autorensortierung ergänzen, Relevanzsortierung erklären u. personalisieren Zeitraumfilterung erwünscht, Kombination u. Ausschluss mehrerer Filterelemente, Angebot Exportoptionen mit Abstract Suchhistorie und Alert können Wettbewerbsvorteil sein

21 LogFile-Analyse Methode und Ergebnis tatsächliche Nutzungsuntersuchung Festlegen der interessierenden Variablen Extraktion mit Perl-Skripten aus Textdatei Auswertung der Ergebnisse mit spezieller statistischer Software (quantitativ) Ergebnisse: Ein-Wort-Suchanfragen Verwendung der einfachen Suchmaske / selten Boolsche Operatoren selten dedizierte Facheinschränkung Geistes- und Kulturwissenschaften häufig ausgewählt 20

22 LogFiles: Vor- und Nachteile Standardisiert Kostengünstig bei Open-Source-Produkten Nicht zeitaufwändig bei einfacher Installation Keine Kundeninteraktion Fehlschlüsse (Masse bedeutet mitnichten Qualität) Häufige Fehlnutzungen der Besucher helfen bei der Funktionskontrolle (Hilfstexte anpassen, Navigation verbessern) Eventuell kostenbehaftet Spezialkenntnisse Transparenz und Vergleichbarkeit? Nur bereits vorhandene Funktionen werden untersucht keine Entdeckungen technische Anpassungen erfordern Erweiterungen der Analysen 21

23 Usability - Methode Benutzbarkeit und intuitive Verständlichkeit von Webseiten kritischer Erfolgsfaktor Expertenzentrierte Methode >versus< Nutzerzentrierte Methode Vorhandenes Datenmaterial sichten, Leitfaden, Stichprobe generieren (24 P.) Multimethoden - Ansatz 22

24 Usability: Vor- und Nachteile Viele Einschätzungen aus unterschiedlicher Perspektive Geringe Anzahl an Probanden bringen detaillierte Ergebnisse Katalog an Optionen Bei Expertenscreening: >> schnell, computergestützt, standardisiert und validiert ABER Kosten für Experten und sehr formalisierte Ergebnisse) Kostenintensiv (Grundausstattung, Experten) Spezialkenntnisse Heterogenität der Ergebnisse Transparenz und Vergleichbarkeit bei Versuchspersonen heterogener und subjektiver Erfahrungshintergrund 23

25 Aussagen und Erträge Auswertungsschritte: Eyetracking und Klickverhalten protokollieren Interview- und Mitschnittauswertung: Transkription, Analyse Kodierung und Kategorisierung der Aussagen Ergebnisse: Allgemein positiv, sympathisch, nützlich Interdisziplinarität ist wesentlich Startseite, einfache Suche sind konsistent Fachtermini, Trefferanzeige, Verfügbarkeit, (Partner-) Transparenz und Inhalt sind zu verbessern 24

26 25 Überschrift Texteingabe Herzlichen Dank! Haben Sie Fragen? Antje Gildhorn: Tel / gildhorn@uni-muenster.de

27 Web-Usability - Analyse, Verfahren & aktuelle Erkenntnisse - eresult GmbH Results for Your E-Business (

28 Agenda Kurze Vorstellung Usability Entwicklungsphasen Eyetracking: Einsatzbereiche & Fallstudien Einige Regeln (Richtlinien) zur Gestaltung AJAX-Studie: Wie vertraut sind Nutzer mit neuen Gestaltungsmöglichkeiten & Funktionen? 2

29 3 Kurzvorstellung: eresult GmbH

30 eresult GmbH E-Commerce Research & Consulting Usability-Tests & Beratung (Web-Anwendungen, Software, mobile Dienste, Handys u.a.) Marketing-Forschung & Beratung (Fokus: Online- Marketing, Online-Werbung, Zufriedenheitsanalysen) 4

31 Eingespieltes Führungsteam... Usability- und (Online-)Marketing-Experten Wilhelm Prof. Yom Rehmann Jüngel Dr. Magerhans Gründer und Firmenleitung Gründung: feste Mitarbeiter/-innen Studienleiter Qualitative Forschung Quantitative Forschung 5

32 Forschungsinfrastruktur (mobiles) Usability-Lab Online-Access Panel ( Personen) Forschungstools für... Berührungsloses Eyetracking Eyetracking Blickverlaufsanalysen Online-/Onsite-Befragungen Online-Fokusgruppen Clickstream-Analysen Umfrage-Datenbank: Bewertungen für 291 Web-Angebote Analyse-Einheit 6

33 Unsere Referenzen Handel Tourismus 7

34 Unsere Referenzen Internet & Telekommunikation Medien & Kommunikation Industrie Pharma & Gesundheit 8

35 Unsere Referenzen Dienstleistungen Wissenschaft & Non-Profit 9

36 10 Nutzerzentrierte Anwendungsgestaltung: Leistungen im Überblick

37 eventbezogene Online-Befragung Fokusgruppen Nutzerbefragung Nutzer- Beobachtung Denk-Protokolle User- Tracking (eigenes) Kunden-Panel Onsite- Befragung Abbrecher- Analysen Remote Usability Tests Expertenbasierte Evaluationen Online-Tests (Benchmarking) Szenariobasierte User-Tests im Lab Konzeption / Konzepttest Vergleich von Konzepten Card-Sorting Fokussierte Interviews Eyetracking 11

38 12 Nutzerzentrierte Anwendungsgestaltung - eine typische Vorgehensweise

39 Nutzerzentrierte Anwendungsgestaltung - eine typische Vorgehensweise Denkprotokolle fok. Interviews Klick- und Blickanalyse Nutzerbefragungen (inkl. Benchmarking) Anwendung Version 1.0 Anwendung Version 2.0 Anwender Szenariobasierter Test mit typischen Vertretern der Nutzergruppen Evaluation durch Usability-Experten Konzepte (Screens, Wireframes, Struktogramme etc.) Konzept-/ Designtest Klick-Dummy / β -Version Konzeption Fokusgruppen, Expertisen 13

40 14 Usability Entwicklungsphasen: Relevanz & Verbreitung

41 Usability Entwicklungsphasen Analyse 23,4 22,1 19,5 35,1 Konzeption 66,2 28,6 3,91,3 Programmierung 3,9 33,8 35,1 27,3 Betrieb 6,5 15,6 41,6 36, Rang 1 = Usability hat hohe Bedeutung Rang 2 Rang 3 Rang 4 = Usability hat kaum Bedeutung 15

42 Usability-Methoden & Verfahren: Top 3 je Phase Analyse Konzeption Umsetzung Betrieb Aufgabenanalyse Prototyping Usability-Test im Lab Logfile-Analyse / Web-Analytic Zielgruppenbefragung / Anforderungsanalyse (Panel) Fokusgruppen Experten- Evaluationen Nutzerbefragung (Onsite) Personas Card-Sorting Eyetracking Remote Usability- Test 16

43 17 Blickverlaufsmessung: Einsatzbereiche und einige Faustregeln

44 18 Informationsaufnahme = selektiver Prozess

45 Messung des Blickverlaufs Erfassung eines Auges Kalibrierung 19

46 Einsatzbereiche Eyetracking in frühen Entwicklungs-/ Designphase eines Internet-Angebots Vergleichende Analysen: z. B. im Rahmen von Konzepttests Nutzertests im Usability-Lab (Prototypen, Beta-Versionen, Live-Anwendung) 20

47 Blickbewegungsmessungen an Funktionslayouts mit Schminke (frühe Entwicklungsphase) 21

48 Startseitengestaltung: Wird die Aufmerksamkeit gleichmäßig verteilt? 22

49 23 Konzepttest: Vergleich von Layouts/Entwürfen

50 24 Listenansicht vs. Galerie: Wie unterscheidet sich die Aufmerksamkeitsverteilung?

51 Blickverlauf 1. Wert: Nummer der Fixation 2. Wert: Dauer der Fixation 25

52 26 Aufmerksamkeitsverteilung

53 27 Nutzertests im Lab: Soll = Ist-Blickverlauf?

54 Blickverlauf während der Bearbeitung von Aufgaben messen... Suchen Sie bitte nach einem Käsemesser der Marke Herder, gefertigt aus Stahl. 28

55 29 Ergebnisseite: 107 Treffer!

56 30 Eyecatcher & Aufmerksamkeitsfokus (0-3 Sekunden)

57 31 Aufmerksamkeitsverteilung über die gesamte Seiten-Kontaktdauer

58 32 Unsere (einfache) Empfehlung...

59 mit großer Wirkung

60 34 Blickverlauf (Aufgabenstellung)

61 Aufmerksamkeit für Warenkorb-Button Kontaktwahrscheinlichkeit: 80 % Time to Contact: 13,3s Durchschnittliche Betrachtungsdauer: 1,97 s 35

62 36 Einige Regeln (Richtlinien) zur Gestaltung

63 Zwei Startseiten im direkten Vergleich! Welche gefällt Ihnen besser? 37

64 38 Mehr Ruhe durch strukturierten Aufbau!

65 Vorwärtsgerichtete Aktionsbuttons stets rechts positionieren! 39

66 Beispiel Button-Positionierung 40

67 41 Konsistentes Navigationskonzept

68 42 Ladezeiten sinnvoll nutzen!

69 Sortierung von Listen: Klapp-Menüs bevorzugt! Visualisierung der Sortiermöglichkeit (durch Pfeile) Sortierung allgemein verständlich bezeichnet Sortierfunktionalitäten leicht bedienbar 43

70 Fehlermeldungen präsentieren Bad Practice 44

71 Fehlermeldungen präsentieren Best Practice 45

72 Fehlermeldungen präsentieren Best Practice 46

73 eresult AJAX-Studie 2007 ausgewählte Ergebnisse 47

74 Rückgängig machen (Google) 1 Entfernen google.de 2 Demo starten! Rückgängig machen 48

75 Rückgängig machen (Google) gut, dass man noch mal gefragt wird...den Hinweis Rückgängig machen habe ich gar nicht gesehen der Hinweis sollte deutlicher hervorgehoben werden 49

76 Mouse-Over Farbwechsel (S.Oliver) schnell, macht Spaß Funktion erklärt sich von selbst s.oliver-shop.de Das wollte ich ja gar nicht. War mir jetzt ein bisschen zu schnell. Demo starten! 50

77 Mouse-Over Ansichtswechsel (Zero) verschiedene Ansichten Demo starten! Eyetracking Highlight starten! zero.de 51 das geht mir alles zu schnell wie komme ich jetzt zur Vorderansicht?

78 Mouse-Over Anwendung erkannt Anwendung erkannt Prinzip verstanden Prinzip verstanden Joy of Use Joy of Use s.oliver-shop.de zero.de Mouse-Over und Mausklick schwer vereinbar! 52

79 Zoom-Funktion (Vodafone) Demo starten! vodafone.de Eyetracking Highlight starten! - 1 Klick ++ 2 Zieh 2 Zieh Klick Zoom out Zoom in 53

80 Zoom-Funktion müsste da jetzt nicht ein Regler Anwendung erkannt Prinzip verstanden Joy of Use erscheinen? warum nach Klick keine Vergrößerung? anstrengend macht Spaß wenn man weiß, wie s funktioniert, will man gar nicht aufhören Erwartungen / Gelerntes der Nutzer berücksichtigen. 54

81 Maßstab nehmen (Vodafone) Demo starten! vodafone.de 1 Klick Zieh 2 Zieh Loslassen oder Pendeln

82 Maßstab nehmen Anwendung erkannt Prinzip verstanden Joy of Use vodafone.de das ist einfach Maßband legt sich automatisch an den Rand des Handys ah, da kann ich auch hin- und herpendeln praktische Funktion Die Mouse ist die Hand des Nutzers! Funktionalität wird durch aussagekräftiges Icon angekündigt. Funktion ist usable und useful sein. Hohe Fehlertoleranz! 56

83 57 Vielen Dank für Ihre Aufmerksamkeit!

84 58 Kontaktdaten Ansprechpartner eresult GmbH

85 Firmenleitung Geschäftsführung: Wissenschaftliche Leitung: Thorsten Wilhelm Prof. Dr. Miriam Yom eresult GmbH Planckstr Göttingen Wilhelm Prof. Yom Fax: URL Firma: URL Panel: 59

86 Erfolgsmessung von Fachportalen mit Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analyen IZ Bildung, Frankfurt/M., Frank Reese Ideal Observer Frank Reese, Seite 1 von 61

87 Erfolgsmessung von Fachportalen mit Traffic-Analysen Inhalt I. Wie funktionieren Traffic-Analysen II. Erfolgsmessung von Fachportalen III. Ergebnisse der Analyse von 8 Portalen IV. konkrete Handlungsmöglichkeiten Frank Reese Ideal Observer Seite 2 von 61

88 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Definition Web Analytics umfasst die Sammlung, Speicherung, Auswertung, Analyse und Nutzung von Nutzungsdaten von Online-Angeboten. Synonym: Web Controlling, Logfile-Analyse, Clickstream-Analysen... Frank Reese Ideal Observer Seite 3 von 61

89 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen ohne Web Analytics eigene Erfahrungen Vermutungen AUSGABEN SEM website EINNAHMEN Partner Besucherrückmeldungen s Tests Frank Reese Ideal Observer Seite 4 von 61

90 Erfolgsmessung von Fachportalen mit Traffic-Analysen I. Wie funktionieren Traffic-Analysen? tausende Besucher täglich Frank Reese Ideal Observer Seite 5 von 61

91 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen mit Web Analytics messen AUSGABEN SEM analysieren EINNAHMEN Partner s optimieren Frank Reese Ideal Observer Seite 6 von 61

92 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Entwicklung von Web Analytics Frank Reese Ideal Observer Seite 7 von 61

93 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen operational vs. strategisch Frank Reese Ideal Observer Seite 8 von 61

94 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen operational vs. strategisch operationaler Ansatz strategischer Ansatz Frank Reese Ideal Observer Seite 9 von 61

95 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen operational vs. strategisch operationaler Ansatz zählen von PIs, Visits, etc. strategischer Ansatz Setzung von Kennziffern Frank Reese Ideal Observer Seite 10 von 61

96 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen I. Wie funktionieren Traffic-Analysen? operationaler Ansatz strategischer Ansatz Frank Reese Ideal Observer Seite 11 von 61

97 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen I. Wie funktionieren Traffic-Analysen? operationaler Ansatz strategischer Ansatz Frank Reese Ideal Observer Seite 12 von 61

98 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen operational vs. strategisch operationaler Ansatz zählen von PIs, Visits, etc. ungerichtete Bemühungen strategischer Ansatz Setzung von Kennziffern Unterscheidung von Mittel & Zweck Frank Reese Ideal Observer Seite 13 von 61

99 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen operational vs. strategisch Was ist wichtig, was nicht? attraktiveres Layout mehr PageImpressions mehr Visits mehr Besucher mehr Buchungen mehr Kunden höhere Kundenbindung bessere Nutzerführung... Frank Reese Ideal Observer Seite 14 von 61

100 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen operational vs. strategisch Was ist wichtig, was nicht? attraktiveres Layout mehr PageImpressions mehr Visits mehr Besucher mehr Buchungen mehr Kunden höhere Kundenbindung bessere Nutzerführung... Frank Reese Ideal Observer Seite 15 von 61

101 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen operational vs. strategisch operationaler Ansatz zählen von PIs, Visits, etc. ungerichtete Bemühungen ad-hoc-auswertungen strategischer Ansatz Setzung von Kennziffern Unterscheidung von Mittel & Zweck definierte Kommunikations- und Entscheidungsprozesse Frank Reese Ideal Observer Seite 16 von 61

102 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Die Resultate der Systeme können nur so gut sein, wie die zugrundeliegenden, gesammelten Traffic-Daten. Frank Reese Ideal Observer Seite 17 von 61

103 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Pyramide der Analytics-Daten identifizierte Besucher VISITORS VISITS PAGE VIEWS HITS Frank Reese Ideal Observer Seite 18 von 61

104 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen server-basierte Daten Frank Reese Ideal Observer Seite 19 von 61

105 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen server-basierte Daten www web server Abruf der Informationen Logfiles: Speicherung Verarbeitung Aufbereitung Frank Reese Ideal Observer Seite 20 von 61

106 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen server-basierte Daten www web server Abruf der Informationen Logfiles: Speicherung Verarbeitung Aufbereitung Frank Reese Ideal Observer Seite 21 von 61

107 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen server-basierte Daten www Vorteile: - Daten bleiben im Unternehmen - offenes Datenformat Probleme: - grosse Datenmengen mit irrelevanten Inhalten web server - Verzerrungen durch Zwischenspeicher - keine klare Besucher-Identifizierung Logfiles: Speicherung Verarbeitung Aufbereitung Abruf der Informationen Frank Reese Ideal Observer Seite 22 von 61

108 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen client-basierte Daten Frank Reese Ideal Observer Seite 23 von 61

109 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen client-basierte Daten Besucher Nutzungsdaten ASP-Anbieter Speicherung Verarbeitung Aufbereitung web server Abruf der Informationen Frank Reese Ideal Observer Seite 24 von 61

110 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen client-basierte Daten Besucher Nutzungsdaten ASP-Anbieter Speicherung Verarbeitung Aufbereitung web server Abruf der Informationen Frank Reese Ideal Observer Seite 25 von 61

111 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen client-basierte Daten Besucher Nutzungsdaten ASP-Anbieter Speicherung Verarbeitung Aufbereitung web server Abruf der Informationen Frank Reese Ideal Observer Seite 26 von 61

112 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen client-basierte Daten Besucher Vorteile: -Nutzungsdaten präzisere Daten - kein Aufwand für Administration Probleme: ASP-Anbieter Speicherung Verarbeitung Aufbereitung web server - anbieter-abhängiges Datenformat Abruf der Informationen - externe Datenhaltung Frank Reese Ideal Observer Seite 27 von 61

113 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Cookies Frank Reese Ideal Observer Seite 28 von 61

114 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Cookies Besucher Setzen & Auslesen eines Cookies Nutzungsdaten ASP-Anbieter Speicherung Verarbeitung Aufbereitung web server Frank Reese Ideal Observer Seite 29 von 61

115 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Cookies Session-Cookies persistente Cookies Frank Reese Ideal Observer Seite 30 von 61

116 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Cookies Session-Cookies persistente Cookies 1-Party-Cookies 3-Party-Cookies Frank Reese Ideal Observer Seite 31 von 61

117 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Cookies Frank Reese Ideal Observer Seite 32 von 61

118 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Cookies Besucher Vorteile: Setzen & Auslesen eines Cookies Nutzungsdaten - Identifizierung von Besuchern Probleme: ASP-Anbieter Speicherung Verarbeitung Aufbereitung - Blockierung von Cookies web server Frank Reese Ideal Observer Seite 33 von 61

119 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Wie gut sind die Daten? Frank Reese Ideal Observer Seite 34 von 61

120 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Wie gut sind die Daten? RedEye-Studie Methode der Datensammlung Seitenaufrufe Besucher Wiederholungsbesucher Besuche insgesamt tatsächliche Aktivität IP-Adressen (-) 361 Cookies Frank Reese Ideal Observer Seite 35 von 61

121 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Wie gut sind die Daten? Cookie-Probleme - Blockade 3-Party-Cookies: bis zu 20% - Blockade 1-Party-Cookies: ca. 2% - offizielle Einstufung von 3-Party-Cookies als 'Malware' - sehr grosses Unwissen + sehr grosses Misstrauen gegenüber Cookies - alternativ: Flash- oder DOM-Cookies - unklare Löschraten von Cookies Frank Reese Ideal Observer Seite 36 von 61

122 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Wie gut sind die Daten? Cookie-Lösch-Raten pro Monat Frank Reese Ideal Observer Seite 37 von 61

123 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Wie gut sind die Daten? Cookie-Lösch-Raten pro Monat (1-Party Cookies / 3 Party Cookies) wie oft wurde gelöscht: Anzahl PC's Anz. Cookies/PC % d. Cookies insgesamt 100% 2.5 / % Mehr als 1 Mal 31% / 27% 4.7 / % / 57% Mehr als 4 Mal 7% 12.5 / % / 38% Quelle: ComScore,, 4/07 Frank Reese Ideal Observer Seite 38 von 61

124 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Datenschutz und Vertrauen Frank Reese Ideal Observer Seite 39 von 61

125 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Datenschutz und Vertrauen personenbezogenen Daten dürfen nicht ohne Einwilligung gespeichert werden IP-Adressen sind personenbezogen, anonyme Cookies nicht Cookies, besonders 3-Party-Cookies, werden blockiert und gelöscht Frank Reese Ideal Observer Seite 40 von 61

126 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Web Analytics liefert keine Wahrheiten Frank Reese Ideal Observer Seite 41 von 61

127 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Web Analytics liefert keine Wahrheiten Web Analytics liefert nur Verhaltensdaten Frank Reese Ideal Observer Seite 42 von 61

128 I. Wie funktionieren Traffic-Analysen Erfolgsmessung von Fachportalen mit Traffic-Analysen Web Analytics liefert keine Wahrheiten Web Analytics liefert nur Verhaltensdaten Web Analytics liefert nur Trenddaten Frank Reese Ideal Observer Seite 43 von 61

129 Erfolgsmessung von Fachportalen mit Traffic-Analysen Erfolgsmessung von Fachportalen Frank Reese Ideal Observer Seite 44 von 61

130 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Vier Schritte 1. Was ist das Ziel bzw. sind die Ziele der Website? 2. Wie kann dies operationalisiert werden? 3. Festlegung von Entwicklungszielen 4. Optimierung in Richtung der Ziele Frank Reese Ideal Observer Seite 45 von 61

131 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Ziel "die Suche nach wissenschaftlich relevanten Informationen [ ] wesentlich zu erleichtern." (zitiert nach Frank Reese Ideal Observer Seite 46 von 61

132 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Zieloperationalisierung Sucherfolgsrate Hat der Besucher die Detailseite eines Suchergebnisses abgerufen? Suchrate Hat der Besucher eine Suchergebnisliste abgerufen? Loyalität Kommen Besucher mehr als einmal? Informationstiefe Hat der Besucher mehr als eine Seite des Angebotes abgerufen? Frank Reese Ideal Observer Seite 47 von 61

133 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Zieloperationalisierung - Kennzahlen Sucherfolgsrate Hat der Besucher die Detailseite eines Suchergebnisses abgerufen? = Anzahl der Besuche mit min. einem Abruf einer Detailseite Anzahl der Besuche insgesamt x 100 Suchrate Hat der Besucher eine Suchergebnisliste abgerufen? = Anzahl der Besuche mit min. einem Abruf einer Suchergebnisliste Anzahl der Besuche insgesamt x 100 Frank Reese Ideal Observer Seite 48 von 61

134 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Festlegung von Entwicklungszielen Sucherfolgsrate Hat der Besucher die Detailseite eines Suchergebnisses abgerufen? Suchrate Hat der Besucher eine Suchergebnisliste abgerufen? Frank Reese Ideal Observer Seite 49 von 61

135 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Optimierung Sucherfolgsrate Hat der Besucher die Detailseite eines Suchergebnisses abgerufen? - Absprungraten auf Ergebnislisten messen - 0-Ergebnis-Suchen finden - analysieren wohin Besucher wechseln Suchrate Hat der Besucher eine Suchergebnisliste abgerufen? - Absprungraten auf Startseiten messen - Herkunft der Besucher analysieren - Felder und Buttons verändern Frank Reese Ideal Observer Seite 50 von 61

136 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Optimierung Sucherfolgsrate Hat der Besucher die Detailseite eines Suchergebnisses abgerufen? schnelles & pragmatisches Ausprobieren mit A/B-Tests - Absprungraten auf Ergebnislisten messen - 0-Ergebnis-Suchen finden - analysieren wohin Besucher wechseln Suchrate Hat der Besucher eine Suchergebnisliste abgerufen? - Absprungraten auf Startseiten messen - Herkunft der Besucher analysieren - Felder und Buttons verändern Frank Reese Ideal Observer Seite 51 von 61

137 II. Erfolgsmessung von Fachportalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Optimierung Sucherfolgsrate Hat der Besucher die Detailseite eines Suchergebnisses abgerufen? schnelles & pragmatisches Ausprobieren mit A/B-Tests - Absprungraten auf Ergebnislisten messen - 0-Ergebnis-Suchen finden - analysieren wohin Besucher wechseln Suchrate Hat der Besucher eine Suchergebnisliste abgerufen? - Absprungraten auf Startseiten messen - Herkunft der Besucher analysieren - Felder und Buttons verändern Frank Reese Ideal Observer Seite 52 von 61

138 Erfolgsmessung von Fachportalen mit Traffic-Analysen Ergebnis der Analyse von 8 Portalen Frank Reese Ideal Observer Seite 53 von 61

139 III. Ergebnis der Analyse von 8 Portalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Einzelne Ergebnisse Sucherfolgsrate Hat der Besucher die Detailseite eines Suchergebnisses abgerufen? - durchschnittlich wurde in 15,2% der Besuche eine Detailseite aufgerufen (Mittelwert) - die Werte varierten von 5,4% bis 27,2% - der Median lag bei 11,7% Suchrate Hat der Besucher eine Suchergebnisliste abgerufen? - durchschnittlich wurde in 29,1% der Besuche eine Suchergebnisliste aufgerufen (Mittelwert) - die Werte varierten von 10,2% bis 59,4% Absprungrate der Startseite - durchschnittlich wurde in 49,2% die Startseite als erste aufgerufene Seite direkt wieder verlassen - die Werte varierten von 83% bis 25,9% Frank Reese Ideal Observer Seite 54 von 61

140 III. Ergebnis der Analyse von 8 Portalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Das beste Fachportal Das beste Fachportal Frank Reese Ideal Observer Seite 55 von 61

141 III. Ergebnis der Analyse von 8 Portalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Das beste Fachportal Frank Reese Ideal Observer Seite 56 von 61

142 III. Ergebnis der Analyse von 8 Portalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Das beste Fachportal Sucherfolgsrate: 27,2 Suchrate: 59,4% Absprungrate Startseite: 25,9% Frank Reese Ideal Observer Seite 57 von 61

143 III. Ergebnis der Analyse von 8 Portalen Erfolgsmessung von Fachportalen mit Traffic-Analysen Zusammenfassung der Ergebnisse a) die Mehrzahl der untersuchten Portalen funktioniert nur schlecht im Sinne des definierten Zieles (< 30% Sucherfolgsrate) b) die Daten belegen die Effektivität der Konzentration auf das 'Google-Design' c) viele Portale verstossen gegen die Empfehlungen der Datenschutzbeauftragten (Speicherung der IP-Adressen) Frank Reese Ideal Observer Seite 58 von 61

144 Erfolgsmessung von Fachportalen mit Traffic-Analysen Konkrete Handlungsmöglichkeiten Frank Reese Ideal Observer Seite 59 von 61

145 Erfolgsmessung von Fachportalen mit Traffic-Analysen Konkrete Handlungsmöglichkeiten a) Implementierung eines client-basierten Messverfahrens b) Definition von Erfolgskriterien c) regelmässige, automatische Report-Erstellung entsprechend definierter Kennzahlen d) Optimierung auf Basis der Verhaltensdaten und Erfolgskriterien Frank Reese Ideal Observer Seite 60 von 61

146 Erfolgsmessung von Fachportalen mit Traffic-Analysen Vielen Dank für Ihre Aufmerksamkeit Frank Reese Ideal Observer Seite 61 von 61