The integration of business intelligence and knowledge management

Transkript

1 Universität Konstanz WS 2006/2007 Fachbereich Informatik und Informationswissenschaft Hausarbeit The integration of business intelligence and knowledge management Seminar: Dozent: Vorgelegt von: Business Intelligence: from Reporting to Analytics Prof. Dr. Marc H. Scholl, Prof. Dr. Harald Reiterer, Svetlana Mansmann Ketevan Karbelashvili 1

2 Inhaltsverzeichnis 1 Knowledge-Management (KM) Knowledge Management - Know-how für Ihr Wissen Business Intelligence and Knowledge Management BI-Lösungen BI-Werkzeuge Operational Data Store (ODS) Data Warehouse Online Analytical Processing (OLAP) Data Mining Hintergrund und Motivation für BIKM Wichtigkeit der BIKM Verkaufseffektivität Customer Relationship Management Umfeldbedingte Probleme eclassifier Dokumentrepräsentation Taxonomy Generation Taxonomy Evaluation Category Evaluation Taxonomy Visualisierung Classifikation Analysis and Reporting Das Integration Paradigma Star Schema Data Model Erforschung der Daten und in Verbindung stehenden Dokumenten Integrierte BIKM Werkzeuge (Sapient u. eclassifier) Dokument Warehouse Shared Dimensions Dynamic Dimensions Künftige Forschungen Fazit...14 Literaturverzeichnis

3 1 Knowledge-Management (KM) "Das Kapital liegt im Wissen der Mitarbeiter" Knowledge Management - Know-how für Ihr Wissen In einer wettbewerbsorientierten Wirtschaft ist Wissen Voraussetzung des Überlebens. Wer nichts weiß, hat praktisch schon verloren. Gefährdet sind aber auch jene Unternehmen, die nicht mehr wissen, was sie alles wissen. Und das sind sehr viele. Die Kenntnisse, Ideen und Fähigkeiten der eigenen Mitarbeiter sind Unternehmen oftmals gar nicht bekannt. So werden nicht selten Probleme und Aufgaben, die früher bereits an anderer Stelle im Unternehmen erfolgreich gelöst bzw. bearbeitet wurden, immer wieder aufs Neue angegangen. Informationen und Know-how haben keinerlei Wert, wenn sie nicht dem richtigen Mitarbeiter in der richtigen Situation verfügbar sind. Leider ist es heute immer noch so, dass in vielen Firmen zwar viele Daten im operativen Geschäft entstehen, werden aber in den einzelnen Bereichen und Abteilungen gespeichert. Dadurch sind sie für andere Abteilungen oder unternehmensübergreifend nicht oder nur schwer nutzbar. Ein weiteres Problem stellt die Tatsache dar, dass viele Daten aufgrund der Art und Weise, wie sie derzeit gespeichert werden, zum Teil nur schwer analysierbar sind, und weil in dem Unternehmen vorhandenes Wissen meistens sehr stark zunimmt, stehen viele Unternehmen ohne eine KM-Strategie vor dem so genannten Wissenskollaps. 2 2 Business Intelligence and Knowledge Management Damit Wissen optimal genutzt, verwertet und auch weitergegeben werden kann, bedarf es Konventionen und Methoden, die eben dieses garantieren. Diese Konventionen und Methoden werden in einer Disziplin zusammengefaßt, die Knowledge Management, kurz KM genannt wird. 3 Knowledge Management im Allgemeinen zielt darauf ab, implizites Wissen in explizites Wissen zu verwandeln, welches den Mitarbeitern zur Verfügung gestellt und zugänglich gemacht werden kann und Business Intelligence (BI) ist ein Gesamtansatz, der Konzepte, Methoden und Werkzeuge hierfür zur Verfügung stellt. Wer im Wettbewerb bestehen will, muss zuerst einmal seine Stärken und Schwächen kennen und Business Intelligence liefert dazu die Informationen. 4 Business Intelligence ist die systematische, IT-gestützte Auswertung von Daten aus dem eigenen Unternehmen und seinem Umfeld. Die gewonnenen Erkenntnisse dienen dem Management als Grundlage für operative, taktische oder strategische Entscheidungen, mit dem Ziel, Geschäftsabläufe zu optimieren, Risiken zu minimieren und die Wertschöpfung zu vergrössern. 5 3 BI-Lösungen Die Funktionsvielfalt und Benutzerfreundlichkeit der BI-Programme ist entscheidend für den Erfolg eines Projektes. Die wichtigsten Kriterien für den Benutzer sind dabei richtige Daten, eine schnelle Informationsbereitstellung und eine funktionelle sowie benutzerfreundliche Oberfläche. 1 Knowledge-Management (KM) [10] 2 Databasemanagement: Erfolgsfaktoren für die Arbeit mit der Datenbank [6] 3 Definition von Knowledge Management [8] 4 Business Intelligence [7] 5 Strategische Entscheidungen mit Business Intelligence [1] 3

4 Typische Funktionen sind: Einfache Hierarchienavigation, um die Auswahl der gesuchten Daten zu erleichtern Übersichtliche tabellarische Ausgabe von Daten Unterstützung grafischer Darstellungen BI-Systeme liefern die Informationen, mit deren Hilfe Unternehmer und Manager aus der Vergangenheit lernen, die Zukunft prognostizieren und die Gegenwart steuern, und es werden sowohl Geschäftsrisiken als auch die Performance von Geschäftsprozessen bewertet. 6, BI-Werkzeuge Grundlage des BI-Prozesses bildet das Data Warehouse. Die Daten werden aus einer oder mehreren Datenquellen mit Hilfe der ODS Technologie extrahiert und in Data Warehouse gespeichert Operational Data Store (ODS) In einem Data Warehouse ist die Konsistenz des Datenbestandes durch den ODS sichergestellt. Bei ODS handelt es sich um eine zusätzliche Ebene zwischen Input Layer und zentraler Datenbasis eines Data Warehouse. Beim Übergang vom Input Layer in ODS werden in verschiedenen Formaten und Bedeutungen angelieferten Daten vereinheitlicht Data Warehouse Data Warehouse stellt die zentrale Sammelstelle für Unternehmensdaten dar. Es ist eine Datenbank, die alle Informationen und Daten eines Unternehmens in eine sinnvolle Struktur bringt, da es sonst so gut wie unmöglich wäre, aus allen unternehmensweiten Daten wertvolles Wissen zu extrahieren. Große Data Warehouse speichern zurzeit Dutzende Terabyts an Daten, wohingegen kleinere problemspezifische Data Marts normalerweise im Bereich von 10 bis 100 Gigabyte liegen. Leider in großen Data Warehouse Umgebungen stoßen einfache Abfrage-Werkzeuge schnell an die Grenzen ihrer Leistungsfähigkeit. Komplexe Abfragen, wie beispielsweise "Zeige mir alle regionalen Verkäufe als Prozentzahl von Februar bis März 1999, und vergleiche es mit dem gleichen Zeitraum im letzten und vorletzten Jahr", sind mit Standard-SQL nur schwer oder unmöglich durchzuführen. Data Warehouse bietet eine hervorragende Datengrundlage für BI-Tools wie OLAP oder Data Mining Online Analytical Processing (OLAP) Um diesen Problemen gerecht zu werden, wurden in der Vergangenheit spezielle Technologien entwickelt, die für solche Abfragen optimiert wurden, wie Online Analytical Processing (OLAP). In OLAP erfolgt eine mehrdimensionale Speicherung, Während in einer relationalen Datenbank die Daten als Datensätze in Tabellen zweidimensional (Zeile u. Spalte) gespeichert werden. Die OLAP zugrunde liegende Struktur ist ein OLAP-Cube, welcher flexible Drill-Down und Roll-Up Analysen unterstützt und bildet eine multidimensionale Welt ab, in der navigiert werden kann. Dieser ist meist nach dem Sternschema aufgebaut. OLAP dient der Entscheidungsunterstützung. Die Hauptfunktionen von OLAP sind die Aggregation, Verdichtung, Visualisierung und Analyse von Daten entlang einer oder mehrerer Dimensionen. 6 Gesunde Marktentwicklung im Bereich Business Intelligence [3] 7 Business Inteligence [5] 8 Operational Data Store (ODS) [9] 9 Warum ist Business Intelligence für ein Unternehmen wichtig? [11] 4

5 3.1.4 Data Mining Während OLAP die Antwort auf gezielte Fragen gibt, schürfen Data Mining-Tools nach unbekannten Zusammenhängen innerhalb der Unternehmensdaten. Durch verschiedene Methoden wie Assoziations- oder Clusteranalysen werden beim Data-Mining auch schwach strukturierte Datenmengen nach relevanten Informationen durchforstet. Mit Data Mining lassen sich beispielsweise Kundenprofile erstellen, 10 Korrelationen zwischen Produktverkäufen. Ein verbreitetes Anwendungsbeispiel kommt aus dem Einzelhandel. Eine Supermarktkette fand heraus, dass am frühen Abend häufig Windeln und Bier gemeinsam im Einkaufswagen landen, weil sich junge Väter ihren Familieneinsatz oft mit Gerstensaft versüßen. So fand sich das Bier kurzerhand im Regal neben den Windeln wieder. 4 Hintergrund und Motivation für BIKM Der Themenkomplex Business-Intelligence gewinnt in der Unternehmenspraxis zunehmend an Relevanz. BI-Lösungen reifen zu umfassenden Drehscheiben für die Entscheidungsunterstützung heran. Vor allem die Erschließung des in unstrukturierten Daten verborgenen Wissens rückt in den Vordergrund. Wettbewerbsvorteile werden in Zukunft nur noch die Unternehmen erlangen, denen es gelingt, Informationen in Wissen zu verwandeln. Hierfür wird es mehr und mehr erforderlich, die beiden nebeneinander gewachsenen Bereiche Wissensmanagement und Business Intelligence zu verschmelzen. Diese vermischte Technologie wird BIKM genannt. 4.1 Wichtigkeit der BIKM Um die Wichtigkeit der BIKM zu verstehen, ist es nützlich, auf einige echte Geschäftsprobleme zu schauen und zu ermitteln Verkaufseffektivität Data Cube kann helfen, Produkte, die über das Telefon am erfolgreichsten verkauft werden, Handelsvertreter, die den meisten Umsatz erbringen, und Kunden, die gegenüber dieser Verkaufstechnik am empfänglichsten sind zu identifizieren. Leider werden die einzelnen Verkaufstechniken, die von diesen erfolgreichen Handelsvertretern in verschiedenen Situationen verwendet werden, im OLAP - Cube nicht erfasst. Jedoch werden diese Verkaufsgespräche jetzt oft registriert und in einen Text konvertiert. Der Gesprächstext kann durch verschiedene Sprachverarbeitungen oder Muster-Erkennungstechniken analysiert werden Customer Relationship Management Data Cube für die Erfassung der Einnahmen, die durch eine Reihe von Kunden geleistet wurden, lassen oft den mit einzelnen Kunden verbundenen Aufwand weg. Der Aufwand kann die Zahl der Anrufe, die der Kunde ins Geschäft für Problemlösung gemacht hat, oder die Beschwerdebearbeitung enthalten. Extrahiertes Ausmaß dieses Aufwandes (z.b. verbrachte Zeit mit dem Kunden am Telefon) würde ein kompletteres Bild der Rentabilität jedes Kunden, zur Verfügung stellen. 10 Warum ist Business Intelligence für ein Unternehmen wichtig? [11] 5

6 4.1.3 Umfeldbedingte Probleme Es wurden kurz einige typische Kundenszenarien präsentiert, in denen das Zusammenbringen der Textanalyse mit der klassischen Datenanalyse gesteigerten Business Value bringen kann. Natürlich gibt es Umfelde unterschiedlicher Komplexität, in denen diese Szenarien vorkommen, und aufgrund dessen gibt es eine Vielfalt an Technologien und Werkzeugen, die in diesen verschiedenen Umfelden erforderlich sein können. Das einfachste Szenario tritt auf, wenn die Textinformation in der gleichen Datenbank ist wie die Business Data. Der Text kann in separaten Tabellen sein, der mit den Datensätzen durch allgemeine Join - Attribut verlinkt ist. In dieser Situation können Textanalysetechniken verwendet werden, um Informationen aus dem Text in Form zusätzlicher Attribute, Fakten herauszuziehen, die dann direkt mit den Business Data in Verbindung gebracht werden können. Eine kompliziertere Situation entsteht, wenn, anders als in den vorherigen Beispielen, die Quellen des Textes, die mit Business Data in Verbindung zu bringen sind, nicht bekannt sind. In diesem Fall ist ein Entdeckungsprozess erforderlich, um die passenden Textquellen zu identifizieren, und es ist eine Vereinigungstechnologie erforderlich, um den Text mit den Datensätzen zu verbinden. Schließlich kann die passende Textanalyse verwendet werden, um Business Value zu erhallten. Als ein kurzes Beispiel, kann ein Wirtschaftsanalytiker betrachtet werden, der einen Einnahmenwürfel erforscht und eine absteigende Tendenz der Einnahmen für ein Softwareprodukt in einigen Teilen der Vereinigten Staaten entdeckt. Das Data Cube zeigt, das Phänomen, aber bietet keine Erklärung dafür. Es gibt natürlich eine bestimmte Zahl von Fragen, die gestellt werden könnten, um den Einnahmenrückgang zu verstehen, und es gibt eine wesentliche Zahl von Textquellen, die man gerne nachprüfen würde, um die Antworten zu finden. In diesem Beispiel könnten die Textquellen einschließen: 1) Betriebsspezifische Information wie zum Beispiel Service Call Logs über das Produkt und Konkurrenzberichte über die Produkte der anderen Betriebe. 2) Öffentliche Dokumente im Webform, die Diskussionen über Produkte enthalten, wie zum Beispiel epinions.com In allen diesen Fällen kann die interaktive Analyse der Daten und des Textes das Nutzen des modernen Textanalysewerkzeugs benötigen. Im nächsten Abschnitt wird so ein Werkzeug beschrieben. 5 eclassifier eclassifier ist eine Anwendung, die schnell eine große Menge an Dokumenten analysieren und multiple Algorithmen, Visualisierungen und Metriken anwenden kann, um eine Taxonomie zu erstellen. eclassifier ist eine inhaltsreiche Anwendung der Textanalyse, die es einem Knowledge Worker erlaubt aus großen Mengen unstrukturierter Dokumente zu lernen. Das Werkzeug kann benutzt werden, um automatisch eine große Menge an Textdokumenten zu kategorisieren, was dann dem knowledge worker ein breites Spektrum an Controlling bietet, um die Erstellung der beliebig komplexen hierarchischen Taxonomie zu verfeinern. Das Werkzeug wurde optimiert, um über eine Million Dokumente analysieren zu können. Fortgeschrittene Visualisierungstechnologien ermöglichen, dass der Konzeptraum durch viele verschiedene Perspektiven erforscht wird. Durch die einfache Benutzerführung erfolgt die Informationsaufbereitung schnell und effizient. Die Ergebnisse können in unterschiedlichen Formaten ausgegeben werden. Viele Skizzen werden angeboten, einschließlich Tabellen, Balkendiagrammen, Bäumen. eclassifier wird hier im Zusammenhang mit Lotus Discovery Server und IBM Global Services eingesetzt. Diese Forschung hat gezeigt, dass die Stärke des eclassifier liegt darin, dass es menschliche Einflussnahme in allen entsprechenden Phasen des Taxonomie Generierungsprozesses vorsieht. 5.1 Dokumentrepräsentation. eclassifier stellt jedes Dokument mit einem Vektor gewichteter Frequenzen aus einem Feature Space der Begriffen und Phrasen dar. Das Feature Space wird durch das Berechnen der Häufigkeit der Begriffen und Phrasen in jedem Dokument erhalten. Um die Feature Space Darstellung wegen der Effizienz der Berechnung zu reduzieren, werden mehrere Techniken benutzt: Stopp -Wort Listen um das No Content Wörter zu eliminieren, 6

7 Listen mit Synonymen, um semantisch gleiche Wörter zu kollabieren, Listen mit Standardausdrücken, um strukturelle oder No Content wiederholende Phrasen zu eliminieren, Include Word Listen, um semantisch wichtige Begriffe, die im Feature Space verbleiben, zu identifizieren. Schließlich wird das Feature Space heuristisch durch das Entfernen der Begriffe mit der höchsten und niedrigsten Häufigkeit reduziert. Sobald das Feature Space festgelegt wird, benutzt das eclassifier das Dictionary Tool, das eine praktische Methode für das dynamische Überprüfen und Modifizieren bietet. Dieses Tool bietet für jeden Begriff und jede Phrase eine Häufigkeits- und Relevanzmaß. 5.2 Taxonomy Generation Der erste Schritt in der Analyse der Dokumentenmenge ist die Erstellung der Initialtaxonomie. In dem eclassifier wurde eine optimierte Variante des K-means Algorithmus implementiert, indem eine dem Kosinus ähnliche Metrik benutzt wird, um die Dokumente automatisch in k disjunkte Cluster zu partitionieren. K-mean kann dann auf jeden Cluster angewendet werden, um eine hierarchische Taxonomie zu erstellen. Die Praxis hat gezeigt, dass automatische Clustering Algorithmen sehr effektiv im Erstellen der Initialtaxonomien sind, welche benutzt werden, um die Bedeutung der Konzepte, die in der Dokumentmenge enthalten sind, zu verstehen. Dennoch partitioniert Clustering die Dokumente nicht immer auf die Art, die für Menschen sinnvoll ist. Aus diesem Grund, um teilweise Rechnung zu tragen, wurden einige zusätzliche Methoden für das Erstellen der Taxonomien entwickelt, von denen ein das Querybasiertes Clustering ist, welches Kategorien anhand der ausgewählten Schlüsselwörter bestimmt. 5.3 Taxonomy Evaluation Sobald Initialtaxonomie der Dokumente erstellt wird, bietet eclassifier das Mittel sie zu verstehen und zu evaluieren. Auf der Abbildung 1 ist der eclassifier Screenshot zu sehen, der summarische Informationen und Statistiken für eine bestimmte Menge an Kategorien zeigt. Diese Skizze bietet Klassenbeschriftung, Größe, Cohesion und Distinctness Maßeinheiten. Falls ein einzelner Begriff in 90 Prozent oder mehr Dokumente einer Klasse vorkommt, wird dann die Klasse nach diesem Term benannt. Falls mehr als ein Begriff mit 90 Prozent Häufigkeit vorkommt, dann werden all diese Begriffe in den Namen, mit dem & Zeichen zwischen jedem Begriff, einbezogen. Falls keiner der Begriffe in 90 oder mehr Prozent der Dokumente enthalten ist, dann wird die Klasse Miscellaneous genannt. Den Benutzern wird aber jeder Zeit eine andere Beschriftung zu bestimmen erlaubt. Zusätzlich zu der Benennung, werden für jede Kategorie drei Metriken berechnet. Die Größenspalte zeigt die Anzahl der Dokumente in der Klasse und ihren prozentualen Anteil in der Gesamtmenge. Cohesion ist das Maß der Abweichung der Dokumente in einer Klasse, und bietet ein gutes Abschätzen der Ähnlichkeit innerhalb einer Klasse. Klassen mit einem niedrigen Cohesion sind gute Kandidaten für ein Splitting. Distinctness ist das Maß der Abweichung der Dokumente zwischen den Klassen, und bietet ein gutes Abschätzen der Ähnlichkeit zwischen den Klassen, so können Klassen mit niedriger Verschiedenheit für eine mögliche Vereinigung in Frage kommen. Abbildung 1 7

8 5.4 Category Evaluation Außer eine gegebene Taxonomie auf dem Makro Level zu verstehen, ist es zusätzlich wichtig in der Lage zu sein, genau zu verstehen welches Kernkonzept eine Klasse darstellt. Um diesen Bedarf zu decken, bietet eclassifier eine spezielle Ansicht, die Statistiken über Begriffshäufigkeit, Klassifikationsregeln, wie auf Abbildung 2, zeigt. Für jeden Begriff zeigt es die Häufigkeit des Vorkommens innerhalb der gegebenen Klasse (roter Balken) und die Häufigkeit des Vorkommens innerhalb der ganzen Dokumentmenge (blauer Balken). Die Begriffe werden nach absteigender Ordnung der roten abzüglich der blauen Balkenhöhe sortiert. Abbildung 2 Das Panel der Komponenten einer Klasse veranschaulicht den Einfluss bestimmter Begriffe (die Inklusion =+, die Exklusion = -), wenn es als ein Entscheidungsbaum Klassifikator verwendet wird. Falls bestimmte Regeln besonders sinnvoll sind, kann der Benutzer auf den Knoten klicken und eine neue Klasse aus der identifizierten Menge der Dokumente erstellen. Schließlich bietet diese Ansicht Beispieldokumente aus jeder Klasse an. Einige Sortiertechniken sind vorhanden. Das Anordnen nach Most Typical wird basierend auf der Schwerpunktnähe berechnet und hilft dem Benutzer, das Wesen des Konzeptes einer Klasse zu verstehen. Das Anordnen nach Least Typical durch Anzeigen der am weitesten von dem Schwerpunkt entfernten Beispieldokumente, hilft dem Benutzer die Einheitlichkeit innerhalb der Klasse zu bewerten. Beispiele, die der Benutzer als nicht wirklich zu der Klasse gehörend identifiziert, können leicht in andere Klassen oder in eine neu erstellte Klasse versetzt werden. 5.5 Taxonomy Visualisierung Visualisierung ist eine wichtige Technik um Information zu vermitteln. eclassifier benutzt Visualisierung, um dem Benutzer zu helfen, den Klassenzusammenhang der Dokumente zu erforschen. In der Abbildung 3 wird ein Beispiel der Visualisierung des eclassifier gezeigt. In der Visualisierung stellt jeder Punkt ein Dokument dar, welches, wenn es angeklickt wird, angezeigt wird. Die Farbe des Punktes bezeichnet seine Zugehörigkeit zu einer entsprechenden Klasse. Ein großer Punkt repräsentiert den Schwerpunkt einer Klasse. Diese Visualisierung ist nützlich, um den Zusammenhang zwischen verschiedenen Klassen zu erforschen. Man kann schnell sehen welche Klassen sich nahe stehen und spezifische Dokumente finden, die sich über diese Klassen erstrecken können, indem Dokumente ausgewählt werden, die an den Grenzen der verschiedenen Klassen liegen. 8

9 Abbildung Classifikation Vier Algorithmen Nearest Centroid, Naive Bayes Multivariate, Naive Bayes Multinomial, Decision Tree und eine Methodologie wurden für das Evaluieren implementiert. Für eine gegebene Taxonomie wird eine Hälfte der Dokumente als Training Set und die andere Hälfte als Test Set selektiert. Ein Klassifikationsmodel wird für jedes der vier implementierten Algorithmen basierend auf dem Training Set erstellt. Der beste Algorithmus wird dann durch das Ermitteln der präzisen Leistung der Klassifikation auf dem Test Set selektiert. Auf jeder Ebene der Taxonomie-Hierarchie kann ein anderer Klassifikator selektiert werden, dessen Ansatz am präzisesten ist. Zusätzlich dazu wird eine komplette Kontrolle über die Selektion des Klassifikationsansatzes erlaubt, indem der Benutzer Anpassungen an der Taxonomie vornehmen kann, um die Genauigkeit des Klassifikators zu verbessern. Die Klassifikationsgenauigkeit für verschiedene Klassifikationsalgorithmen kann auch in der Klassenansicht veranschaulicht werden (siehe Abbildung 1). 5.7 Analysis and Reporting Außer den beschriebenen Techniken für das Erstellen und die Verwaltung der Taxonomie, bietet eclassifier verschiedene Techniken für die tiefere Analysis des Textes, zum Beispiel die Ermittlung der Korrelationen des Textes mit den entsprechenden Daten, und für das Vergleichen der Dokumentmenge. Die erste Technik wird die FAQ Analysis genannt, weil sie gewöhnlich verwendet wurde, um in Help- Desk häufig gestellte Fragen zu finden. eclassifier wird eine Chi-Squared Test ausführen, mit ihm lässt sich prüfen, ob die beobachtete (empirische) Verteilung der vorgegebenen (theoretischen) Verteilung entspricht. Eine andere nützliche Analyse ist das Benutzen einer erstellten Taxonomie, um Dokumentmengen zu vergleichen. Für eine gegebene Taxonomie und Dokumentmenge, kann eine zweite Dokumentmenge analysieren werden, um zu entdecken, welche Bereiche innerhalb der Taxonomie schlecht abgedeckt sind. Diese Technik wurde auf Help-Desk Problemtickets angewendet, um Wissenslücken zu identifizieren, zum Beispiel Probleme, die nicht gut in der Informationsbank behandelt werden. 9

10 6 Das Integration Paradigma In manchen analyseorientierten Bereichen ist das einfache nahe Bringen des Textes an die Daten mit einem Analysewerkzeug wie eclassifier ausreichend dafür, um den Benutzer einige Erklärungen für das Business Phenomenon zu geben. Dieser Ansatz hat jedoch Skalierbarkeitsprobleme, falls die Anzahl der Quellen oder assoziierten Dokumente groß ist. 6.1 Star Schema Data Model Ein Weg um eine dichtere Integration der Textinformation mit den zugehörigen Daten zu erreichen, ist das Benutzen eines OLAP multidimensionalen Datenmodells. Das typische dimensionale Datenmodell für ein OLAP System benutzt ein Star Schema. Die grafische Darstellung dieser Modellierung sieht aus wie ein Stern, daher stammt der Name Star Schema. Das grundlegende Star Schema besteht aus einem Fact Table und einer dazugehörigen Menge der dimensionalen Tabellen. Die Faktentabelle enthält Primärschlüsseln der Dimensionstabellen. Die Dimensionstabellen sind über die Zeit relativ statisch und beschreiben Geschäftsstrukturen des Unternehmens. In der Faktentabelle werden quantitative Daten gespeichert, beispielsweise die Anzahl der Verkäufe oder der Preis. Ein Problem des Sternschemas ist, dass Daten in den Dimensionstabellen über einen langen Zeitraum hinweg einen Bezug auf Daten in den Faktentabellen haben. Über die Zeit hinweg können aber auch Änderungen der Dimensionsdaten notwendig werden. Diese Änderungen dürfen sich aber in der Regel nicht auf Daten vor der Änderung auswirken. Wenn sich beispielsweise Verkäufer für eine Produktgruppe ändern, dann darf der jeweilige Eintrag in der Dimensionstabelle nicht einfach überschrieben werden. Stattdessen muss ein neuer Eintrag generiert werden, da sonst die Verkaufszahlen des vorherigen Verkäufers nicht mehr feststellbar wären. Vorteil der Trennung von Fakten und Dimensionen ist, dass die Fakten nach jeder Dimension generisch und unabhängig analysiert werden können. Eine OLAP-Anwendung benötigt kein Wissen über die Bedeutung einer Dimension. Die Interpretation ist allein dem Benutzer überlassen. In dem Beispiel (Abbildung 4) sind drei Dimensionstabellen: das Produkt, die Geographie, das Datum, und eine Faktentabelle des Einkommens Revenue Facts zu sehen. Die Produktdimension hat eine Hierarchie: Group -> Type -> Product. Die Geographiedimension: Country -> State -> City. Die Datumdimension: Year -> Quarter -> Day. Diese drei Dimensionen repräsentieren die Attribute, die benutzt werden können, um die Daten zu analysieren. Dieses Modell erlaubt, den Effekt des Produktes, der Geographie und des Datums, auf das Einkommen und die Verkaufseinheiten und auf andere Abmessungen, die aus diesen Werten berechnet werden, wie zum Beispiel das Gesamteinkommen, das Durchschnittseinkommen usw. zu erforschen. Abbildung 4 10

11 6.1.1 Erforschung der Daten und in Verbindung stehenden Dokumenten Nicht nur die Daten sondern auch die in Verbindung stehenden Dokumente können auf verschiedene Weisen erforscht werden. Dieses Interaktionsmodell und sein grundlegendes Informationsmodell ist ein Bereich für die gegenwärtige Forschung. Es wird wieder das Beispiel von vorher betrachtet. Die Faktentabelle hat Schlüsseln der Dimensionen: Produkt, Geographie und Datum. Jetzt gibt es aber auch eine Datenbank der Problemtickets, die aus den Service Calls entstehen. Die Problemtickets haben Metadaten, die zusammen mit der Problembeschreibung dokumentiert werden. Wenn eine Reihe der Analysen über diese Menge der Dokumente durchführt wird, wird es dann möglich sein einiges zu vollenden. Erstens wird es möglich sein durch das Benutzen eines Klassifikationsprozesses die Problemtickets nach der Problemart aufzuteilen und dabei zusätzlich eine neue Dimension zu erstellen, in welcher Problemtickets kategorisiert werden können. Zweitens kann man versuchen den Schwierigkeitsgrad des Problems in dem Ticket zu bestimmen indem Textanalysen über dem Text der Problemtickets durchführen werden. Die ersten vier Spalten (Abbildung 5), die Fremdschlüsseln zu den Dimensionstabellen sind, werden von den Metadaten abgeleitet, die mit den Tickets in der Problemticket-Datenbank assoziiert sind. Die fünfte Spalte ist jetzt eine Dimension, die durch das automatische Klassifizieren der Problemtickets verursacht wurde. Die sechste Spalte ist mit dem Problem assoziiert ist, das aus den Metadaten ermittelt werden kann. Die siebte Spalte ist ein Maß der Ernsthaftigkeit des Problems. Dies kann der Grad der Frustration oder des Zornes des Anrufers sein. Schließlich verknüpft die letzte Spalte diesen Dokumentfakt zurück mit dem Originaldokument in der Ticket Datenbank. Abbildung Integrierte BIKM Werkzeuge (Sapient u. eclassifier) In diesem Abschnitt wird das Tooling beschreiben, das aufgebaut wurde, um das OLAP Datenmodell auf Textdokumente anzuwenden, indem ein Document Warehouse erzeugt wird. Dann wird es beschreiben, wie die Daten und die Dokumente durch Shared Dimensions verlinkt werden können, und wie dies die analytischen Fähigkeiten erweitern kann. Schließlich wird es gezeigt, wie die Textanalyse verwendet werden kann, um dieses Datenmodell mit dynamischen Dimensionen effektiv zu erweitern Dokument Warehouse Das Konzept des Data Warehouse hat sich in den letzten Jahren äußerst erfolgreich etabliert. Mit dieser Technik lassen sich jedoch nur strukturierte Daten speichern und verarbeiten. Ein Großteil der in Unternehmen anfallenden Daten liegt jedoch in schwach- oder unstrukturierter Form, z.b. als Textdokument, vor. Um auch diese für Business Intelligence nutzbar zu machen wird versucht die erfolgreichen Ideen des Data Warehouse speziell auf Dokumente anzuwenden, indem ein Dimensionsmodell verwenden wird, bei dem die Fact Table Granularität ein Dokument ist, und die Dimensionstabellen die Attribute des Dokumentes enthalten Shared Dimensions Bis jetzt wurde gezeigt, wie Star Schemas benutzt werden können, um Data- und Document Cubes zu gestallten und zu analysieren. Obwohl sie auch einzeln sehr nützliche Informationen zur Verfügung stellen können, wird das Anbieten eines Mechanismuses, um sie zu verbinden, eine tiefere Analyse gewähren und dadurch größeren Nutzen haben. Als Beispiel wird wieder das Produkt-Geographie-Datum Einkommens- Cube aus der Abbildung 4 betrachtet. Falls es eine Menge der Dokumente gibt, die produkt-, geographie-, zeitraumrelevant sind, dann kann die Information, die sie enthalten die Entscheidungstechniken bedeutend verbessern. Einige Dokumente sind Sales Logs, Customer Support Logs, Nachrichten- und Presseartikel, Marketing-Material und Diskussionsgruppen. All 11

12 diese können einzigartige Einblicke ermöglichen, warum ein Produkt gut oder schlecht in einer gegebenen Geographie während eines gegebenen Zeitraums verkauft wurde. Der Schlüssel zum Erzielen dieser Einblicke ist es, die Daten mit den Dokumenten durch Shared Dimensions direkt zu verbinden. Abbildung 6. Abbildung Dynamic Dimensions An dieser Stelle sind Data- und Document Cubes durch Shared Dimensions verlinkt. Alle analytischen Techniken, die auf Data Cubes angewendet werden, können auch auf die Document Cubes angewendet werden. Falls zum Beispiel die Daten einen Rückgang der Produkteinnahmen in bestimmten geographischen Umgebungen während eines bestimmten Zeitraumes zeigen, wird es mit Hilfe der Verknüpfungen möglich sein die Dokumente zu bestimmen, die am besten den Rückgang der Einnahmen erklären können. Dennoch können die vorhandenen Dimensionen manchmal nicht ausreichend sein, um die Daten vollständig erklären zu können. Die Dokumente können dann durch das Benutzen eines tieferen Textverarbeitungssystems wie eclassifier weiter analysiert werden. Deshalb wurde in dem BIKM System das Document Warehouse mit einer zusätzlichen Tabelle Token Table vorgesehen, welche das Token Identifier und das Token Offset für jedes Token in jedem Dokument hat (wie es in der Abbildung 6 gezeigt wird). Die Token - Tabelle erlaubt das Ausführen des eclassifiers auf einer beliebigen Teilmenge der Dokumente aus dem Document Warehouse. Außerdem kann eclassifier benutzt werden, um eine neue Taxonomie über diese ausgewählte Menge der Dokumente zu erstellen. Zum Beispiel können Problemtickets nach Problemarten klassifiziert werden, was eine feinere Granularität für das Verstehen der Probleme bietet. Die neue Taxonomie kann für das Document Warehouse durch das Erstellen einer entsprechenden Dimensionstabelle verfügbar werden. Diese neue Dimension ist jetzt für alle analytischen und berichtenden Möglichkeiten in der OLAP-Umgebung verfügbar. In der Abbildung 7 wurde zum Beispiel das ThinkPad* T20 -Produkt selektiert und dann die 2858 Dokumente, die mit diesem Produkt assoziiert sind, wurden in eclassifier extrachiert. eclassifier wird hier benutzt, um die neue Taxonomie, die in der Abbildung 8 gezeigt wird, zu erzeugen, Die erzeugte Taxonomie wird für das Document Warehouse gespeichert, indem sie als die New Thinkpad Taxonomy - Dimension veröffentlicht wird und das Document Fact Table entsprechend aktualisiert wird. Die Ergebnisse werden in Abbildung 9 gezeigt. 12

13 Abbildung 7 Abbildung 8 13

14 Abbildung 9 7 Künftige Forschungen Die bisherigen Abschnitte diskutierten das Modell für die Daten- und Textanalyse und das Tooling, das konstruiert wurde um mit diesem Modell zu experimentieren. Das fehlende Teil dieser Integration ist die Textanalytik, die benutzt wird, um die quantitativen Metriken zu erstellen, die das Document Cube beinhaltet. Es gibt eine signifikante Arbeit, die in der IBM Forschungsgemeinschaft abläuft: 1) Gewinnen quantitativer Daten aus den Dokumenten (zum Beispiel die finanziellen Vertragsbedingungen); 2) Ableiten der Relationen zwischen den Instanzen in einem Dokument (zum Beispiel neues Produkt A ist in Konkurrenz mit dem Produkt B); 3) Messen des Grades subjektiver Werte, wie zum Beispiel Ernsthaftigkeit oder Stimmung in Dokumenten (zum Beispiel ein Kundenbrief spiegelt extreme Unzufriedenheit wegen den Dienstleistungen des Unternehmens wieder). 8 Fazit Trotz hoher Kosten haben viele Firmen die Notwendigkeit von Business Intelligence erkannt sollen rund 1,8 Milliarden Euro in Weiterentwicklung von BI-Systemen fließen. Mit dem Erfolg wachsen aber auch Ansprüche und Anforderungen an das Data Warehouse und die Werkzeuge. Bei der Einführung von BI-Lösungen gilt es eine Reihe von Fallstricken zu beachten. Die meisten davon sind in der Planungsphase versteckt. Nur wenn sich eine BI-Lösung an der Strategie und dem Geschäft des Unternehmens ständig orientiert erbringt sie konkreten Nutzen. Das bedeutet, dass eben nicht nur die IT, sondern auch das Management [ ] eine tragende Rolle beim Einsatz von BI spielen. [ ] Wenn alle Parteien ihre Aufgaben richtig ausführen, so kann das Wertschöpfungspotenzial der BI entfaltet und der Return on Investment (ROI) positiv beeinflusst werden Studie: Business Intelligence oft zu teuer [2] 12 Gezielte Steigerung des ROI durch Business Intelligence [4] 14

15 Literaturverzeichnis [1] Strategische Entscheidungen mit Business Intelligence [2] Studie: Business Intelligence oft zu teuer [3] Gesunde Marktentwicklung im Bereich Business Intelligence [4] Gezielte Steigerung des ROI durch Business Intelligence [5] Business Intelligence [6] Databasemanagement: Erfolgsfaktoren für die Arbeit mit der Datenbank [7] Business Intelligence [8] Definition von Knowledge Management [9] Operational Data Store (ODS) [10] Knowledge-Management (KM) [11] Warum ist Business Intelligence für ein Unternehmen wichtig? [12] The integration of business intelligence and knowledge management 15