Business Intelligence Explorer

Transkript

1 Business Intelligence Explorer Discovering BI on the Web David Spretke Bachelor IE, 5. Semester Universität Konstanz Seminar Business Intelligence WS 2006/

2 Gliederung 1 Einleitung Definitionen Situation 2 Ansätze und Techniken Business Intelligence Tools Dokumentvisualisierung 3 Business Intelligence Explorer (BIE) Motivation Visuelles Framework Datensammlung Parsen, Indexieren und Analyse Visualisierung Evaluierung 4 Zusammenfassung Fazit

3 Definitionen Business Intelligence ist das Resultat der Beschaffung, Interpretation, Vergleich, Beurteilung und Verwertung von Information in der Business-Domäne Browsing ist das ungezielte Durchsuchen von Information, mit der Absicht ein mentales Modell des zu durchsuchenden Inhalts zu schaffen Web Community ist eine Gruppe von Webseiten, die hohe Ähnlichkeit in ihrer Text- und Strukturinformation aufweisen Knowledge Map ist eine 2D-Darstellung, welche die Beziehungen zwischen Objekten (Webseiten-Inhalte, Newsgroup Beiträge, Markt-Trends, u.a.) aufzeigt

4 Situation auf der Welt werden zwischen 1 und 2 Exabyte (1ExaByte ˆ= 1 Billion GigaByte) einzigartiger Information pro Jahr erzeugt dienen als Quelle des Internets ermöglichen effektives Knowledge Discovery aus einer Vielzahl von Informationen negativer Nebeneffekt: Informationsüberflutung Internet, eines der fünf wichtigsten Quellen für Business Informationen Informationsüberflutung behindert Unternehmensanalyse

5 Situation (2) Web-Suchmaschinen werden üblicherweise verwendet, um Informationen für die Unternehmensanalyse zusammenzutragen Schwierig alle relevante Ergebnisse aus ewig langen textuellen Listen herauszufiltern Überlick über alle Resultate kaum möglich, ebenso wie das Erkennen von Zusammenhängen (Gruppen) textuelle Ergebnislisten führen zu Informationsüberflutung neue Browsing-Methoden werden benötigt, welche Erkennen von Web Communities und einen Überblick über alle Informationen unterstützen

7 Business Intelligence Tools Definition automatisiert, unterstützen das bessere Verstehen und Aufbereiten von Information ermöglichen Unternehmen die Gewinnung von Erkenntnissen über internen Abläufe, sowie das externe Umfeld, durch systematische Beschaffung, Vergleich, Analyse, Interpretation und Verwertung von Informationen

8 Business Intelligence Tools Klassen 1 Verarbeitung betriebsinterner Daten, um daraus wesentliche Geschäftsinformationen zu extrahieren, um daraus Tendenzen und Muster zu erkennen, die sonst in der enormen Datenflut verborgen bleiben 2 befassen sich mit der Konkurrenzanalyse bzw. Wettberbsforschung und zielen auf die systematische, andauernde und legale Sammlung und Auswertung von Informationen über Konkurrenzunternehmen, wodurch das Unternehmen in der Lage ist, frühzeitig ihre Wettbewerbsstrategien an sich ändernde Wettbewerbsstrukturen anzupassen

9 Business Intelligence Tools Probleme Schwächen bei Inhaltserfassung, Analyse und Darstellung großer Mengen von Informationen unterstützen meist nur verschiedene Ansichten gesammelter Information (Vergleiche zw. verschiedenen Produkten oder Unternehmen), aber keine gründliche Analyse Fortschrittlichere Tools verwenden Text-Mining und regelbasierte Techniken Ergebnisausgabe meist in textueller Form, z.b. mit MS Office Aufgrund eingeschränkter Analyse-Techniken nicht geeignet zur Visualisierung großer Mengen von gesammelten Web-Dokumenten

10 Dokumentvisualisierung Ansätze zur Reduzierung von Informationsüberflutung Data Type Taxonomy (TTT) nach Shneiderman 7 Data Types (1D, 2D, 3D, Temporal, Multidimensional, Tree, Network) 7 Tasks (Overview, Zoom, Filter, Details on Demand, Extract, History, Relate) Vier visuelle Darstellungsformate nach Lin Hierarchische und kartographische Darstellungen, Netzwerkund Streuungsdiagramme

11 Dokumentvisualisierung Definition und Techniken Ermöglicht Einblick in Informationen eines oder mehrer Dokumente, ohne das der Benutzer die Dokumente zuerst lesen muss beinhaltet drei Phasen 1 Dokumentanalyse 2 Algorithmen 3 Visualisierung

12 Dokumentvisualisierung Dokumentanalyse Web Mining Techniken Web Content Mining Erkennung von Regularitäten in Texten und multimedialen Objekten (wie Grafiken) in Web-Dokumenten Web Structure Mining Erkennung von Regularitäten in der Struktur von Web-Dokumenten und ihrer Relationen Kombination von inhaltlicher Analyse und relationaler Betrachtung gibt Auskunft über Zugehörigkeit und Relevanz einer Quelle Zusätzliche Anwendung einer Meta-Suche, eine sehr effektive Methode zur Quellensammlung im Netz

13 Dokumentvisualisierung Algorithmen Cluster-Algorithmen Klassifizieren Objekte in aussagekräftige Zerlegungen Hierarchisches Clustering erzeugen eine hierarchische Repräsentation der Daten, aus welcher man eine Clusterstruktur ableiten kann (z.b. Linkage-Verfahren) Partitionierendes Clustering unterteilt Objekte in Gruppen, so dass Objekte im gleichen Cluster möglichst ähnlich sind und Objekte aus verschiedenen Clustern möglichst unähnlich zueinander sind (z.b. k-means) Genetische Algorithmen Heuristiken, die eine Lösung zu einem nicht analytisch lösbaren Problem finden Multidimensionale Skalierung (MDS) Objekte werden auf Basis ihrer (Un-)Ähnlichkeit zueinander in einem 2D- oder 3D-Raum dargestellt Distanzen zwischen Punkten geben die Unähnlichkeit zweier Objekte wieder

14 Dokumentvisualisierung Visualisierung Visualisierung bedeutet, eine gegebene Datenmenge in eine graphische bzw. visuell erfassbare Form zu bringen Verwendung von Knowledge Maps Kartoo Meta-Suchmaschine Resultate werden auf einer Karte als verbundene Objekte dargestellt Objekte in Form von Kreisen oder Dokumenticons, deren Größe die Relevanz bzgl. der Suchanfrage angibt Verbindungslinien zeigen gemeinsame Schlagwörter für die Resultate Zusätzliche Informationen (thumbnail,seiteninformation) bei Mausbewegung Anordnung der Objekte gibt keine Auskunft über Ähnlichkeit

15 Dokumentvisualisierung Visualisierung (2)

17 Motivation 1 bestehenden Tools fehlt es an Analyse- und Visualisierungstechniken 2 Hierarchische und Kartographische Darstellungen sind effektive Möglichkeiten zum Zugriff und Browsing in Information 3 Existierende Suchmaschinen erlauben dem Benutzer keine Aussage über die Beziehungen unter den Suchergebnissen in Bezug auf ihre relative Nähe

18 Visuelles Framework ein Visualisierungssystem zum Browsing in Ergebnismengen, welche in Zusammenhang mit Business-Webseiten stehen basiert auf einem visuellen Framework für Knowledge Discovery im Web kombiniert drei Browsing-Methoden: textuelle Ergebnisliste, Web Community und Knowledge Map gliedert sich in drei Haupt-Phasen 1 Datensammlung 2 Parsen, Indexieren, und Analyse 3 Visualisierung

19 Visuelles Framework

20 Datensammlung Identifizierung der Schlüsselterme dienen als Ausgangsanfrage für die Suche nach Websites Verwendung der INSPEC Literatur-Datenbank Identifizierung der Schlüsselterme auf Basis der Schlagwörter in Titel und Inhaltsangabe knowledge management information management database technology customer relationship management, enterprise resource planning supply chain management e-commerce solutions data warehousing business intelligence technology 9 Themengebiete des Business Intelligence

21 Datensammlung BIE Benutzeroberfläche

22 Datensammlung Meta-Suche Meta-Suche unter Verwendung von 7 Suchmaschinen: AltaVista, AlltheWeb, Yahoo, MSN, LookSmart, Teoma, Wisenut Herausfiltern der ersten 100 Suchtreffer jeder Suchmaschine Schwerpunkt nur auf Business-Websites, ignorieren von Domains für Bildungs (.edu)- und militärische Einrichtungen (.mil), sowie Regierungsorgane (.gov), nicht-englischsprachige Webseiten, Onlinemagazine, Diskussionsforen u.a Seiten bzw. 350Seiten für jedes Themengebiet

23 Parsen, Indexieren und Analyse Automatisches Parsen und Indexieren Parsen des Inhalts und HTML-Tags zur weiteren Analyse Automatisches Extrahieren von Schlagwörtern und Hyperlinks Verwendung einer Stoppwort-Liste Identifzieren von Worttypen (mittels HTML-Tags) Titel, Überschrift, Textinhalt und alternativer Text für Grafiken Indexieren aller Wörter innerhalb der Webseiten Arizona Noun Phraser (AZNP) zur Extraktion und Indexierung von Wortgruppen Termgewichtung auf Basis von Termhäufigkeit und inverser Dokumenthäufigkeit (Dokument ˆ= Webseite)

24 Parsen, Indexieren und Analyse Co-occurence Analyse Input: Indices und Gewichtungen co-occurrence beschreibt das gemeinsame Vorkommen von Wörtern in verschiedenen Webseiten Konvertierung in Matrix, welche die Ähnlichkeiten zwischen jedem Paar von Webseiten enthält Ähnlichkeit berechnet sich aus Hyperlinkund textueller Information sowie Kozitation für die Ähnlichkeit zwischen Website i und Website j A ij S ij C ij W ij = α +β +(1 α β) A 2 S 2 C 2

25 Visualisierung Identifizieren von Web Community Websites als Graph modelliert mit Knoten (Websites) und Kanten (Ähnlichkeiten) partionierende Clustering-Methode, welche den Graphen rekursiv in eine Hierarchie von Clustern zerlegt Optimierung durch genetischen Algorithmus bei jeder Iteration - Zerlegung des Graphen bis ein bestimmtes Kriterium optimal Beispiel: Max. Levelanzahl: 2 Max. Knotenanzahl im untersten Level: 5

26 Visualisierung Benutzeroberfläche Web Community

27 Visualisierung Generierung der Knowledge Map Verwendung der Multidimensionalen Skalierung hochdimensionaler Ähnlichkeitsmatrix in 2-dimensionale Repräsentation von Punkten transformiert Darstellung der erhaltenen Koordinaten auf einer Karte

28 Visualisierung Benutzeroberfläche Knowledge Map

29 Evaluierung Aussagen über Effektivität, Effizienz, und Usability der Browsing-Methoden Durchführung erfolgte in 2 Tasks Task 1 - Genauigkeit Task 2 - Relevanz Vergleich zwischen Web Community und Ergebnisliste, Knowledge Map und Web Community, sowie Knowledge Map und Kartoo Effektivität anhand von Genauigkeit, Precision, Recall Effizienz anhand der Zeitdauer Usability anhand User-Rating (1 - schlecht, 5 - sehr gut)

30 Evaluierung Auswertung

31 Evaluierung Reduzierung von Informationsüberflutung durch Web Community und Knowledge Map Shneiderman s Data Type Taxonomy 7 Data Types (1D, 2D, 3D, Temporal, Multidimensional, Tree, Network) 7 Tasks (Overview, Zoom, Filter, Details on Demand, Extract, History, Relate)

33 Fazit Visuelles Framework zur Knowledge Discovery im Netz Techniken zur Inhaltserfassung, Text Mining und Dokumentvisualisierung zwei neue Browsing-Methoden: Web Community und Knowledge Map Web Community und Knowledge Map reduzieren Informationsüberflutung und unterstützen BI im Netz

34 Quellen Wingyan Chung, Hsinchun Chen, Jay F. Nunamaker: Business Intelligence Explorer: A Knowledge Map Framework for Discovering Business Intelligence on the Web, in Proceedings of the 36th Annual Hawaii International Conference on System Sciences Wingyan Chung, Hsinchun Chen, Jay F. Nunamaker: A Visual Framework for Knowledge Discovery on the Web: An Empirical Study of Business Intelligence Exploration, in Journal of Management Information Systems. vol. 21, no. 4,2005.

35 Vielen Dank für Ihre Aufmerksamkeit. Fragen?