Einstieg in Text Analytics

Transkript

1 , Einstieg in Text Analytics Einstieg in Text Analytics Von der Datenquelle zum Bericht und darüber hinaus... KSFE in Dresden, GmbH ist IT Dienstleister für Business Intelligence und Datenanalyse gibt es seit über 20 Jahren ist einer von vier in Deutschland hat 45 Mitarbeiter, davon 20 von SAS zertifizierte IT Spezialisten und sieben Mitglieder von bietet umfassende Services für SAS Software an, von der Beratung über die Programmierung bis hin zu Schulung und Support ist Mitglied im KSFE Verein 2012 GmbH 2 Seite 1

2 , Einstieg in Text Analytics Agenda Text Analytics: Von den Anfängen zu heutigen Anwendungsfällen Was muss ich bei der maschinellen Textanalyse beachten? Wie erstelle ich eine Text Analytics Datenbasis, und wie arbeite ich damit? Welche SAS Software gibt es in diesem Bereich? Demo: Erstellung einer Text Analytics Auswertung mit SAS Enterprise Guide Fazit 2012 GmbH 3 Einführung Eine Geschichte zweier Welten und ihrer Verbindung? Unstrukturierte Daten Strukturierte Daten 2012 GmbH 4 Seite 2

3 , Einstieg in Text Analytics Anfänge von Text Analytics: Damals Hans Peter Luhn (1958): The Automatic Creation of Literature Abstracts, IBM Journal paper Ziel: Mit statistischen Methoden die Signifikanz von Wörtern in einem Text bestimmen, um Texte automatisch zusammenzufassen. Vision von Business Intelligence (BI) : Entwicklung eines wissensbasiertes Systems, welches Relationen (nicht nur einzelne Daten) entdecken und an Entscheider kommunizieren kann GmbH 5 und heute? Global 5000 companies have invested millions in capturing, storing and managing information in: comment fields, call center notes, PDF, PowerPoint, s and Excel spreadsheets. To date, most are still unable to systematically analyze and effectively utilize this information. (Quelle: Studie zu Text Analytics, 2009) 2012 GmbH 6 Seite 3

4 , Einstieg in Text Analytics Text Analytics Warum ging es nicht weiter? Komplexität der Aufgabe Verbreitung von transaktionsbasierten Systemen: Fokussierung auf die Analyse von strukturierten Daten: Numerische Daten in Tabellenform Entwicklung von Auswertungsmethoden und tools fürstrukturiertedaten: Tabellenkalkulation Reporting OLAP Data Mining 2012 GmbH 7 Textual Analytics Warum gerade jetzt? Zunehmendes geschäftliches Interesse an unstrukturierten Daten Wissensgesellschaft auf dem Vormarsch Immer mehr Information wird z.b. durch das Internet verfügbar, die potentiell für Geschäftsentscheidungen relevant ist Frage nach maschineller Filterung und Aufbereitung stellt sich heute drängender denn je 2012 GmbH 8 Seite 4

5 , Einstieg in Text Analytics Worum geht es bei Text Analytics? Gewinnung von Wissen aus unstrukturierten Daten in Textform Extraktion von Informationen Integration von unstrukturierten Daten in eine strukturierte Umgebung Unterstützung von manueller Textanalyse durch geeignete grafische Tools Unterschied zu Text Mining / Text Data Mining: Dort andere Nutzergruppe im Visier: Analysten mit starkem statistischen und mathematischem Hintergrund Einsatz von maschinellen Lernverfahren Erstellung und Trainieren eines Modells Benutzung des Modells für Vorhersagen anhand neuer Daten Aber: Text Analytics kann Einstieg für Text Data Mining sein 2012 GmbH 9 Fachliche Anwendungsfälle Life Sciences: Analyse von Arztberichten zur Beurteilung der Effektivität von Behandlungsmethoden Aufbau einer durchsuchbaren Chemikalien Datenbank anhand von textuellen Einzelreports Unterstützung bei der Suche nach genetischen Assoziationen in der Krebsforschung Versicherungen: Integration von Vertragsdokumenten in eine strukturierte, nach Querbeziehungen durchsuchbare Umgebung Auswertung von internen Schadensberichten zur besseren Gewichtung von Kostenfaktoren Branchenneutral: Analyse von Kunden s zur Verbesserung eines CRM Systems Aufbau eines unternehmensweiten Glossars mit Taxonomie 2012 GmbH 10 Seite 5

6 , Einstieg in Text Analytics Weitere branchenneutrale Anwendungsfälle Sentiment Analysis: Wie schreibt man über uns? Unterstütztes Lesen: Named Entity Recognition Automatische Dokument Kategorisierung Nach Sprache Nach fachlicher Kategorie Nach behandelten Themen Nach vorgegebenen Schlagwörtern Nach nicht vorgegebenen Kategorien (Clustering) 2012 GmbH 11 Analyseebenen von textuellen Daten Textual Data (Datenpool) Konkreter Text, z.b. ein Dokument Positionsbasierter Abschnitt Satz Token/Wort Silben, z.b. Präfix,Postfix,Infix; Wortstamm vs. Endung Kunde-n-aufträg-e [[Kunde] + [Konnektor] + [Auftrag]] + [Plural] + [Nominativ] 2012 GmbH 12 Seite 6

7 , Einstieg in Text Analytics Einige Herausforderungen bei der maschinellen Analyse von Texten Mehrdeutigkeit von Wörtern (Polysemie) Bank Geldinstitut Sitzgelegenheit (strenggenommen Homonymie) Läufer laut Guinness Buch der Rekorde 1997 das deutsche Wort mit den meisten Bedeutungen (24) Mehrdeutigkeit von Sätzen Time flies like an arrow. Lösung: Disambiguierung durch Miteinbeziehung des Kontextes (Wissen über Sprache und über unsere Welt) Problem: Für Menschen meist einfach, für Computer sehr schwierig! 2012 GmbH 13 Ansätze zum Umgang mit unstrukturierten Daten ECM Ansatz (Enterprise Content Management) Finden und speichern von unstrukturierte Daten für spätere Verwendungszwecke Bieten oft einfache Suchmöglichkeiten (Volltext, Wildcards) NLP Ansatz (Natural Language Processing) Annahme: Sprache kann nur im Kontext verstanden werden Ziel: Verstehen des Kontextes von Sprache Textual Analytics Ansatz: Annahme: Wörter sind Datenelemente, die auch ohne Kontext verstanden werden können Ziel: Integration von unstrukturierten Daten in strukturierte Umgebung, um dort bessere Analysen machen zu können Nachrüsten von NLP Methoden möglich 2012 GmbH 14 Seite 7

8 , Einstieg in Text Analytics Wie kann eine Text Analytics Gesamtarchitektur aussehen? 2012 GmbH 15 Wie erstelle ich eine Text Analytics Datenbasis? Software Plattform zur Integration von unstrukturierten Daten aufbauen bzw. installieren Korpus bilden: Evtl. Daten (re )digitalisieren und umcodieren Worthäufigkeitsliste erstellen (später aktualisieren) Stopwörter aussortieren, evtl. Groß /Klein Schreibung vereinheitlichen Schlüsselwörter identifizieren bzw. ergänzen Wortstammreduktion (Stemming) durchführen Synonyme und Homographe ermitteln und verlinken Kategorien zuordnen bzw. Cluster bilden Einfache Metadaten über Herkunft und Art der Daten ermitteln Einfache fachliche Relevanzkriterien erstellen und anwenden Eigene Datenbank für integrierte unstrukturierte Daten erstellen Auf Dokument/Wort Basis oder auf Entity Basis (XML) Ermittelte Metadaten dort speichern und mit Daten verlinken Daten visualisieren Test Analysen durchführen, System iterativ anpassen (s.o.) 2012 GmbH 16 Seite 8

9 , Einstieg in Text Analytics Weitere Schritte Erkennung von relevanten Token bzw. Token Kombinationen: Named Entity Recognition (NER) Einsatz von domänenspezifischen Look Up Tabellen Einsatz von Matching Regeln für Tabellenabgleich Erkennung von Konzepten und Themen: Einsatz von Stemming, ggf. auch Lemmatisierung Geeignete Visualisierung wählen (z.b. Kartographische Darstellung) evtl. geeignetes Ähnlichkeitsmaß wählen (um verwandte Themen bzw. Korrelationen erkennen zu können) 2012 GmbH 17 Wie können Textdaten visualisiert werden? Selbstorganisierende Karten Tag Clouds Wort bzw. Konzeptgraphen statistische Grafiken 2012 GmbH 18 Seite 9

10 , Einstieg in Text Analytics Wie arbeitet man mit einem Text Analytics System? Oft finden Datenanalyse und Wissensentdeckung parallel statt Dies kann durch Visualisierung und Interaktivität unterstützt werden Ziel: Weniger Aufwand für Recherche, mehr Zeit für Analyse 2012 GmbH 19 Text Analytics mit SAS Technologie Zwei Anwendungsbereiche: categorization and classification derivation of business insight Zwei Ansätze beim Herangehen an unstrukturierte Daten: 1. Zuerst automatisch Metadaten durch Tools erzeugen lassen (z.b. mit SAS Text Miner) und diese dann durch Experten verfeinern 2. Zuerst strukturierte Metadaten mittels Experten erzeugen (z.b. mit SAS Content Categorization Studio), dann darauf aufsetzend Analysetools anwenden Quelle: LiveWebClass SAS Text Analytics, GmbH 20 Seite 10

11 , Einstieg in Text Analytics SAS Text Analytics Tools Quelle: t analytics.html 2012 GmbH 21 Demo: Text Analytics mit SAS Enterprise Guide Definition der Datenquelle(n) Tokenisierung der Textdaten (mit externem Java Tool) Einbindung von Stop und Startwortlisten zur Datenreduktion Wortstammreduktion (Stemming) Erstellung eines Keywords in Context Berichts Erzeugung eines Top 50 Keywords Diagramms Export der Ergebnisse 2012 GmbH 22 Seite 11

12 , Einstieg in Text Analytics Wann sollte man ein anderes SAS Frontend in Betracht ziehen? SAS Text Miner Wenn automatische Metadaten Erzeugung benötigt wird Wenn man bereits den SAS Enterprise Miner einsetzt SAS Text Miner ist darin integriert Wenn man bereits Text Analytics bzw. Text Mining Experte ist SAS Enterprise Categorization Studio Wenn Metadaten (Kategorien, Regeln u.a.) manuell gepflegt und von anderen Tools verwendet werden sollen 2012 GmbH 23 Fazit Mit Text Analytics werden fachliche Analysen auf textuellen Daten ermöglicht Text Analytics ist immer mit manuellem Konfigurationsaufwand verbunden Wichtig ist die modulare Erweiterbarkeit um domänenspezifische Nachschlagewerke SAS hat den Vorteil der integrierten Analyse Plattform gegenüber reinen Text Analytics Anbietern 2012 GmbH 24 Seite 12

13 , Einstieg in Text Analytics Vielen Dank! Haben Sie Fragen?, M.A. Computerlinguist Senior Software Ingenieur GmbH Rohrbacher Str Heidelberg Telefon johannes.lang@analytical software.de software.de Besuchen Sie uns auch auf unserem Messestand! Dort können Sie im Anschluss mit dem Referenten diskutieren finden Sie Demos zu diesem Vortrag können Sie sich über das Angebot von HMS informieren gibt es Jobangebote gibt es Informationen für Studenten zu Praktika und Abschlussarbeiten bei HMS 2012 GmbH 25 Seite 13