Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG

Transkript

1 Social Business Intelligence Text Mining und Hadoop bei DB Fernverkehr AG DB Fernverkehr AG Dr.-Ing. Axel Schulz, Dr. Matthias Platho P.FMB 2, DB Fernverkehr AG Frankfurt,

2 Motivation An meinem Bahnhof ist es immer so dreckig. Mein ICE ist schon wieder zu spät. Der Bahnhof ist schon wieder so überfüllt. 3 Quellen: Deutsche Bahn AG

3 Problemstellung Mein ICE ist schon wieder zu spät. Mist! Mein Zug kam später. Autounfall an der Zugstrecke FFM Berlin. OMG! Länge: Variiert von sehr kurz bis sehr lang Anzahl und Form: Große Anzahl (z.b. 500mio Tweets am Tag, etc.) Unterschiedliche Formate ( s, Briefe, Reports aus mobilen Anwendungen, Soziale Medien) Struktur: Unstrukturiert, da z.b. Abkürzungen, Slang, fachspezifisches Vokabular verwendet wird Sonstiges: Sprachliche und Regionale Unterschiede 4

4 Social Business Intelligence Vision: Social Business Intelligence 1 2 Personen fühlen sich mit bestimmten Gegebenheiten unwohl. Personen drücken ihre Unzufriedenheit in Texten, wie z.b. Beschwerden, aus. 3 Text Mining zum Filtern und Aggregieren von Beschwerden. 4 5 Verantwortliche erhalten gefilterte Informationen und leiten daraus Handlungsempfehlungen ab. Personen merken, dass sich jemand zeitnah um ihre Anliegen kümmert. Steigerung der Kundenzufriedenheit + 5 Quellen: Deutsche Bahn AG

5 Agenda Einführung in Text Mining Verarbeitungspipeline auf Hadoop Zusammenfassung 6

6 Was ist Text Mining - Verknüpfungen von Text Mining zu anderen Gebieten 7 Quelle: Miner, Gary (2012): Practical text mining and statistical analysis for non-structured text data applications. Academic Press.

7 Klassifikation nach vordefinierten Themengebieten Clustering ähnlicher Dokumente nach Themenclustern Im Zug von Frankfurt nach Paris ist die Toilette verstopft. Meine Bahn war schon wieder zu spät!!! Klassifikation Ziel: Einteilung von Dokumenten in vordefinierte Kategorien Der Algorithmus lernt verschiedene Kategorien und kann diese dann automatisch zuordnen Verspätungen Sauberkeit Irrelevant Klassifikation Sauberkeit Verspätungen Irrelevant Clustering Ziel: Automatische Identifikation von ähnlichen Dokumenten aufgrund ihrer Nähe Der Algorithmus nutzt die Ähnlichkeit von Dokumenten um diese zu Clustern Clustering Thema 1 Thema 2 Thema 3 8

8 Extraktion von bestimmten Informationseinheiten (Information Extraction) Im Zug von Frankfurt nach Paris ist die Toilette verstopft. Gestern war in München wieder kein Platz frei im ICE Toponym Zeitlicher Ausdruck Eigenname Ziel: Strukturiere Informationen aus unstrukturiertem oder semi-strukturiertem Text extrahieren Herausforderungen: Typischerweise werden Lexika eingesetzt (unvollständig) Mehrdeutigkeit der verwendeten Begriffe Geo/Geo Ambiguität ( Paris, 25 Städte in USA) Geo/Non-Geo Ambiguität ( Vienna, Stadt und Name einer Person) 9

9 Die typischen Schritte beim Text Mining / Verabeitungspipeline Eingabe Vorverarbeitung Merkmalsextraktion Training Clustering Evaluation Ausgabe Eingabe: Dokumentensammlung wird eingelesen Formatumwandlung, Konsistenzprüfung, Spamfilterung Vorverarbeitung: Filterung von sehr häufigen Wörtern ( und, ist, ) Synonymersetzung Merkmalsextraktion (Feature Generation) Unstrukturierte Repräsentation in strukturierte Repräsentation überführen Z.B. in einen Vektor mit der Anzahl der unterschiedlichen Wörter Training/Clustering Trainieren eines Klassifikationsmodelles Anwenden eines Clusteringalgorithmus Evaluation Testen der Genauigkeit des Ansatzes 10

10 Agenda Einführung in Text Mining Verarbeitungspipeline auf Hadoop Zusammenfassung 11

11 Fragestellung und Datengrundlage Datensatz und Ergebnisse sind nicht repräsentativ! Wie stehen unsere Kunden zum Thema WLAN in der 1. Klasse? Freitext Das W-LAN im ICE 1028 in der 1.Klasse funktioniert sehr gut. Stimmung Datengrundlage vorgefilterte Texte aus sozialen Plattformen, Foren, Blogs, etc. Zeitraum: bis Vorgehen 1. Automatische Identifikation von Texten mit Bezug zur 1. Klasse 2. Sentimentanalyse der Texte aus 1) 12

12 Verabeitungspipeline: Eingabe und Vorverarbeitung von Texten Crawling Spracherkennung Keyword Filter Eingabe Im Zug von Frankfurt nach Paris funktioniert das WLAN in der 1. Klasse Deutsch? Im Zug von Frankfurt nach Paris funktioniert das WLAN in der 1. Klasse { WLAN, }? Stopword Filter Relevante Dokumente Synonymersetzung URL/NR/Orte etc. Ersetzung Zug ORT ORT funktioniert WLAN D Klasse Vorverarbeitung 13

13 Verabeitungspipeline: Merkmalsextraktion, Sentiment Klassifikation, und Ausgabe der Ergebnisse Zug ORT ORT funktioniert WLAN D Klasse Extraktion N-Gramme Bestimmung Satzlänge Erkennung Emoticons Merkmalsextraktion Sentiment Klassifikation Klassifikation {Im, Zug, Im_Zug, von, Zug_von, } {Länge = 15} {positive Emoticons = 1, negative Emoticons = 0} Vektor = {0,1,0,0,1,1,,23,2,0} Im Zug von Frankfurt nach Paris funktioniert das WLAN in der 1. Klasse Visualisierung Ausgabe 14

14 Und was ist mit Hadoop? Prinzipiell alles lokal lösbar, aber Vorverarbeitung ist sehr kostenintensiv Evaluation eines Klassifikationsmodelles benötigt viele Iterationen (unterschiedliche Classifier, Parameter, Features, etc.) Stream-basierter Ansatz kann viele Daten auf einmal generieren Parallelisierung der einzelnen Schritte Texte sind (theoretisch) unabhängig von einander, daher ist Parallelisierung möglich MapReduce? Solr? Spark? Storm? -> Hier Spark 15

15 Parallelisierung der einzelnen Verarbeitungsschritte Crawling Spracherkennung Keyword Filter Eingabe Stopword Filter Synonymersetzung URL/NR/Orte etc. Ersetzung Vorverarbeitung Sentiment Klassifikation Klassifikation Extraktion N-Gramme Bestimmung Satzlänge Erkennung Emoticons Merkmalsextraktion 16

16 Codebeispiel: Parallelisierung der Vorverarbeitung input = input.flatmap(new FlatMapFunction<String, String>() { public Iterable<String> call(string text) { text = text.tolowercase(); text = CharacterReplacement.replaceUmlaut(text); text = StringReplacement.replaceNonAlphabeticCharacters(text); return Collections.singletonList(text); } }); 17

17 Codebeispiel: Parallelisierung der Berechnung der Endergebnisse JavaPairRDD<Emotions, Integer> pairs = input.maptopair( new PairFunction<ClassificationData, Emotions, Integer>() public Tuple2<Emotions, Integer> call(classificationdata t) { return new Tuple2<Emotions,Integer>(t.sentiment,1); } }); Map<Emotions, Object> mappedcounts = pairs.countbykey(); 18

18 Vorteile und Herausforderungen der Parallelisierung Sämtliche Verarbeitungsschritte können (prinzipiell) parallelisiert werden Zeitgewinn: Faktor 6 bis Faktor 10 Parallelisierter Code kann auch lokal ausgeführt werden Herausforderungen Für deutsche Sprache wenig bis keine Unterstützung durch Hadoop Stack Design: Objekte müssen serialisierbar sein, damit diese verteilt werden können Dependencies und Java Version von lokaler Umgebung und Cluster Reifegrad Spark: z.b. LDA nicht vollständig implementiert (zumindest in Java) 19

19 42 60 ANZAHL TEXTE 245 Ergebnis: 318 Meldungen mit Bezug zu WLAN und 1. Klasse Tonalität überwiegend Neutral, Positiv und Negativ relativ gleich verteilt Datensatz und Ergebnisse sind nicht repräsentativ! 300 Datengrundlage: Texte aus sozialen Plattformen Zeitraum: bis Negative Neutral Positive TONALITÄT 20

20 Anzahl Texte Ergebnis: 318 Meldungen mit Bezug zu WLAN und 1. Klasse Über die Zeit wenige Ausreißer nach Positiv oder Negativ Datensatz und Ergebnisse sind nicht repräsentativ! Pressemeldungen LTE im ICE Datengrundlage: Texte aus sozialen Plattformen Zeitraum: bis Negative Neutral Positive Datum 21

21 Schlägt die Meinung plötzlich um? Erweiterung: Trending Topics auf Storm Erfassung unterschiedlicher Quellen in Echtzeit Parallele Vorverarbeitung Parallele Sentimentklassifikation Sliding Window Ranking der erkannten Sentiments Preprocessing Bolt Sentiment Bolt Twitter Spout Sliding Window Bolt Facebook Spout (text) Preprocessing Sentiment Bolt Bolt Preprocessing Sentiment Bolt Bolt (sentiment) (preprocessed text) Sliding Window Bolt (rankings) Ranking Bolt (rankings) 22

22 Agenda Einführung in Text Mining Verarbeitungspipeline auf Hadoop Zusammenfassung 23

23 Zusammenfassung Text Mining kann manuelle Prozesse durch automatische Vorverarbeitung unterstützen Vorschlagen von gelernten und automatisch erkannten Kategorien Sortieren von Dokumente nach Themen Extraktion von Informationen aus Texten Text Mining kann von Hadoop Frameworks profitieren Durch Parallelisierung ergibt sich ein deutlicher Zeitgewinn bei der Vorverarbeitung Stream-basierte Verarbeitung möglich, insbesondere von sozialen Medien Performante Indizierung Suche von Texten oder Textinhalten, z.b. mit Solr 24

24 Vielen Dank für Ihre Aufmerksamkeit 25

25 Quellen und Literatur [Mi12]Miner, Gary (2012): Practical text mining and statistical analysis for non- structured text data applications. 1. Aufl. Waltham, MA: Academic Press. 26