Data-Warehouse-Einsatz zur Web-Zugriffsanalyse

Transkript

1 Einführung Vorgehensweise WZA Realisierungsalternativen Datenaufbereitung Data-Warehouse-Schema Data-Warehouse-Einsatz zur Web-Zugriffsanalyse Web Data Warehouse Uni Leipzig Prof. Dr. Erhard Rahm Universität Leipzig 1 Bewertung von Websites Web-Investition Web-Nutzung Web-Ergebnis - Geld - Know How - Zeit - Navigation - Suche - Transaktionen - Wer, Wann, Was, Wo, Warum (nicht) - ROI (Return of Investment)??? Web Usage Mining Nutzung von Web-Logs sowie ergänzenden Informationsquellen 2

2 Werkzeug-Anbieter 3 Vorgehensweise zur Web-Zugriffsanalyse (1) Ziele des Web-Auftritts - Wünsche der angestrebten Zielgruppen vs. Wünsche des Unternehmen / Anbieters - Bsp.: Informationbereitstellung, Gewinnung neuer Kunden, Ausbau bestehender Kundenbeziehungen, Service-Angebote (Entlastung eigener Mitarbeiter) Wie sollen Ziele erreicht werden? - Wie werden Kunden / Interessenten auf Website gebracht? - Inhalte / Gestaltung der Website Welche Ergebnisse soll Zugriffsanalyse bringen? - Wissen über Nutzungsverhalten gewinnen - Wissen über Besucher / Kunden gewinnen - einfache statistische Bewertungs-Metriken: Zugriffshäufigkeiten, #Besucher, Verweilzeiten - Referrer-Analyse: Von woher kommen die Besucher (Effektivität von Werbemaßnahmen) - Konversionsraten: Anteil der Besucher, die in bestimmten Zustand wechseln (Kauf, Angebotseinholung, Kontaktaufnahme mit persönlichem Vermittler, etc.) - Return on Investment (ROI): Umsatz- und Gewinn-Summe der Besucher 4

3 Vorgehensweise zur Web-Zugriffsanalyse (2) Festlegung des Realisierungsansatzes zur Web-Zugriffsanalyse - einfacher Ansatz - Datenbank-basierter Ansatz - Data-Warehouse-Ansatz Datenaufbereitung und Datenintegration Auswertung / Analyse der Ergebnisse Reaktion auf Ergebnisse - Umgestaltung der Website - Marketing-Aktivitäten, 5 Realisierungsalternativen einfache Lösungen zur Web-Log-Auswertung (ohne Datenbank) - direkte, unflexible Auswertung auf einer Datei - Peformance-Probleme aufgrund riesiger Datenmengen (viele MKlicks, GKlicks) - offline erstellte vordefinierte Reports - keine bzw. umständliche Verknüpfung mehrerer Datenquellen - fehlende inhaltliche Kategorisierung (welche Produkte?) - unzureichende Nutzerauswertung (kundenbezogene Auswertung) Datenbank-gestützte Lösung - Skalierbarkeit, Verfügbarkeit, Erweiterbarkeit - interaktive Auswertungsmöglichkeiten Data Warehouse-basierter Ansatz - flexible Integration mehrerer Datenquellen - Nutzung mächtiger OLAP-/Data Mining-Werkzeuge - inhaltliche Kategorisierung der Zielseiten - kundenbezogene Auswertungen - Kopplung mit anderen Kundeninformationen -> CRM 6

4 Warehouse-Einsatz zur Web-ZugriffsanalyseA Web-Site Site-Struktur, Produktkatalog Web-Zugriffsanalyse Log-Daten Datentransformation Web Data Warehouse Kunden-Daten OLAP/Mining: Pfade, Segmente, Kaufverhalten, Produktaffinität, Reports: Hits, Page Views, Sitzungen, Antwortzeiten, Umsetzung 7 Aufbau der Log-Einträge green.dresdnerbank.de - - [11/Jul/2002:15:33: ] "GET /skripte/wms/inhalt2.html HTTP/1.0" "http://www.google.de/search?q=state+activity+chart+workflow&hl=de&meta=" "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT; drebaie-ze)" Common Log Format Host: Ident: Authuser: Date-Time: Zone: Request: Status: Bytes: Client-Hostname, IP-Adresse Identität (Benutzername) Authorization user ID dd/mm/yyyy:hh:mm:ss Zeitzone: +dddd oder -dddd Erste Zeile einer Anfrage, z.b. "GET / http/1.0" Antwortstatus-Code des Servers Anzahl der übertragenen Bytes zusätzlich im Extended Common Log Format Referring URL: URL, der Seite, von der der Client kommt User Agent: Browser, Betriebssystem des Clients Cookie: Cookie-Eintrag Selbstdefinierte Felder 8

5 HTML-Seite mit mehreren Dateien 3 x JavaScript CSS PNG JPG 9 Log-Auszug (dbs.uni-leipzig.de) crawl1.googlebot.com - - [01/Mar/2002:08:10: ] "GET /seminararbeiten/semss99/arbeit3/kapitel5.html HTTP/1.0" crawl2.googlebot.com - - [01/Mar/2002:08:11: ] "GET /de/buecher/dbsi-buch HTTP/1.0" crawl1.googlebot.com - - [01/Mar/2002:08:13: ] "GET /de/research/webusage.html HTTP/1.0" crawl2.googlebot.com - - [01/Mar/2002:08:14: ] "GET /de/vorlesungen/dbs1/ws9900/uebungen.html HTTP/1.0" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /vorlesungen/dbs1/ws0001/menuevorldbs1.html HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /js/menudef.de.js HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /js/hiermenus.js HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /js/addfunc.js HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /css/db_style.css HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/db_logo3.gif HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/logouni_small.gif HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/german.gif HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/british.gif HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/transparent_dot.gif HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/db_left.png HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/db_left_top.png HTTP/1.1" ilabpc07.informatik.uni-leipzig.de - - [01/Mar/2002:08:14: ] "GET /bilder/menu/tri.gif HTTP/1.1" crawl1.googlebot.com - - [01/Mar/2002:08:15: ] "GET /seminararbeiten/semss99/arbeit3/kapitel6.html HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /en/index.html HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /js/menudef.en.js HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /js/hiermenus.js HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /js/addfunc.js HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /css/db_style.css HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/db_left.png HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/db_logo3.gif HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/logouni_small.gif HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/german.gif HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/british.gif HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/transparent_dot.gif HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/db_left_top.png HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/db_logo_back_ns4.jpg HTTP/1.0" info002.informatik.uni-leipzig.de - - [01/Mar/2002:08:15: ] "GET /bilder/menu/tri.gif HTTP/1.0"

6 Transformations-Aufgaben Eliminieren irrelevanter Log-Einträge - eingebundene Bilder und Grafiken (.gif,.jpg,.png ) - Applets, Skripte (.jar,.class,.js ), Style-Sheets (.css) Erkennung und Eliminierung von Roboter-Zugriffen evtl. auch Beseitigung von Zugriffen lokaler Nutzer, Indexerstellung etc. Namensauflösung für numerische IP-Adressen (reverse DNS lookup) - Bsp.: > Nutzeridentifikation: Zuordnen von Log-Einträgen zu einzelnen Benutzern Session-Identifikation: Zuordnung der Zugriffe eines Benutzers zu Sitzungen Pfadvervollständigung: Ergänzen fehlender Zugriffe in einem Navigationspfad 11 Sitzungs- und Nutzeridentifikation Session: Sequenz von Zugriffen eines Benutzers - Sitzungsidentifikation erfordert (temporäre) Nutzeridentifikation - maximaler Zeitabstand aufeinander folgender Zugriffe unter eingestelltem Grenzwert (z.b Minuten) 3 Stufen der Nutzeridentifikation - temporäre Nutzeridentifikation (innerhalb einer Sitzung) - sitzungsübergreifende Nutzeridentifikation (Wiedererkennung eines Benutzers) - Personifizierung Ansatz sitzungsbezogene sitzungsübergreifende Personifizierung Nutzeridentifikation Nutzeridentifikation IP-Adresse + Agent + Referrer o / + temporäre Cookies + n.a. n.a. Session-IDs in URL / versteckten Feldern + n.a. n.a. persistente Cookies + + o Nutzer-Registrierung

7 Data Warehouse-Schema zur Web-Zugriffsanalyse (Beispiel) Seite Nutzer Kunde Produkt Dimensionstabellen Seitenzugriffe (Faktentabelle) Tag-ID Zeit-ID Seiten-ID SessTyp-ID Nutzer-ID Kunden-ID Produkt-ID Referrer-ID Session-ID Erfolgreich? Umsatz Tag Zeit Session-Typ Referrer 13 Hierarchische Inhaltskategorisierung Frauen Kleidung Männer Kinder Fachbücher Chemie Informatik Mathematik Physik Datenbanken Internet Workflow XML Produkte Bücher Belletristik Home Bildbände Spielwaren Service Firma 14

8 Web-Log-Warehouse Uni Leipzig Analyse der Zugriffe auf Web-Seiten des Instituts für Informatik und der Abteilung Datenbanken Auswertung - Integration der Datenquellen: Web-Server IFI und DBS - #Zugriffe, übertragene Datenmengen - Session-Analyse, Pfadanalyse Inhaltliche Kategorisierung - Zielseiten: Abteilungen, Kategorien (Lehre, Forschung, ), Ereignisse (Vorlesung), - Quellen: Länder, Regionen, Domains, - Unterscheidung zwischen Zugriffen von Mensch und Crawler - Dokumenttypen, Fehlerklassen Verwendete Software - Datenhaltung: MS SQL Server 2000, MS Analysis Services - Analyse und Präsentation: Web-fähiges Cognos PowerPlay, MS Excel tägliches Wachstum derzeit > Hits 15 Organisation der Web-Seiten (Ausschnitt) Bilder Allgemein Forschung Allgemein Projekte Publikationen XML-Data-Management Parallele Datenbanken Web-Usage-Mining Index Allgemein alt de en Abt. DB Interna Intranet Web-Statistik Menü JavaScript StyleSheets Mitarbeiter Service Studium Böhme Märtens Rahm Implementierungen Medien Veranstaltungen Klausuren Lernmaterialien Praktika Seminare Vorlesungen Datenbanksysteme 1 Data Warehousing Geoinformationssysteme Allgemein PDF2 PDF4 Ps2 PS4 16

9 Bereitstellung der Analyse-Daten 17 Auswertungsbeispiel 18

10 Auswertungsbeispiel: Einstiegs- vs. Ausstiegsseite 19 Zusammenfassung Quantitative Bewertung von Website-Zugriffen wird immer wichtiger Ziele der Web-Präsenz bestimmen zu bewertende Faktoren Einfache vs. datenbank-basierte Realisierungsformen zur Web-Zugriffsanalyse Data-Warehouse-Einsatz - Skalierbarkeit auf große Datenmengen - Flexible Kombination von Log-Daten mit weiteren Datenquellen - Kundenzuordnung sowie inhaltlicher / fachlicher Bezug - Business-orientierte Bewertungen - Umfassende und flexible Analysemöglichkeiten (OLAP / Data Mining) Großteil der Arbeit liegt in der Datentransformation und -integration Vielfältige Nutzungsmöglichkeiten: optimierte Website-Gestaltung, Marketing-Aktivitäten Nutzbarkeit für CRM 20

11 Hinweise Erhard Rahm, Gottfried Vossen (Hrsg.): Web & Datenbanken. Konzepte, Architekturen, Anwendungen. Dpunkt Verlag, Heidelberg, 508 Seiten BTW2003-Tagung in Leipzig: 10. Fachtagung Datenbanksysteme für Business, Technologie und Web - 3 eingeladene Vorträge - Industrieprogramm + wissenschaftliches Programm - Studierendenprogramm, Dissertationspreise - Datenbanktutorien - Eröffnung im Gewandhaus - Abendveranstaltung - 21