DOKUMENTENKLASSIFIKATION MIT MACHINE LEARNING

Transkript

1

2 DOKUMENTENKLASSIFIKATION MIT MACHINE LEARNING Andreas Nadolski Softwareentwickler Blogs: enpit.de/blog medium.com/enpit-developer-blog , DOAG Big Data Days 2018, Dresden 2

3 AGENDA Machine Learning Dokumentenklassifikation Live-Demo Herausforderungen und Fazit , DOAG Big Data Days 2018, Dresden 3

4 AGENDA Machine Learning Dokumentenklassifikation Live-Demo Herausforderungen und Fazit , DOAG Big Data Days 2018, Dresden 4

5 WAS IST MACHINE LEARNING? Einordnung Künstliche Intelligenz, Machine Learning und Deep Learning Künstliche Intelligenz Machine Learning Deep Learning , DOAG Big Data Days 2018, Dresden 5

6 BEISPIELE FÜR MACHINE LEARNING SPAM Erkennung Spracherkennung Bildklassifikation (z.b. Gesichtserkennung) Objekterkennung (z.b. Straßenschilder) Klassifizierung von Dokumenten Heute schon im Einsatz! , DOAG Big Data Days 2018, Dresden 6

7 Machine learning is the science of getting computers to act without being explicitly programmed. Andrew Ng WAS IST MACHINE LEARNING? , DOAG Big Data Days 2018, Dresden 7

8 WAS IST MACHINE LEARNING? Klassische Vorgehensweise Input Modell Regeln / Logik Output Ergebnis Regeln müssen richtig sein und mit der Zeit angepasst werden , DOAG Big Data Days 2018, Dresden 8

9 WAS IST MACHINE LEARNING? Vorgehensweise bei Machine Learning Input Output Ergebnis Machine Learning Regeln / Logik Modell , DOAG Big Data Days 2018, Dresden 9

10 VERSCHIEDE ARTEN DES MACHINE LEARNING Überwachtes Lernen Supervised Learning Daten sind gekennzeichnet Ziel: Ergebnis vorhersagen Unüberwachtes Lernen Unsupervised Learning Keine Kennzeichnung Ziel: Unbekannte Strukturen finden Verstärkendes Lernen Reinforcement Learning Erlernen von Aktionen Belohnung , DOAG Big Data Days 2018, Dresden 10

11 ÜBERWACHTES LERNEN Trainingsdaten + Bezeichnung Lernalgorithmus Neue Daten Machine Learning Modell Vorhersage Klassifikation , DOAG Big Data Days 2018, Dresden 11

12 BEISPIEL FÜR ÜBERWACHTES LERNEN Irisdatensatz (Schwertlilien) mit vier Features , DOAG Big Data Days 2018, Dresden 12

13 VERTEILUNG DER TRAININGSDATEN , DOAG Big Data Days 2018, Dresden 13

14 DESCISION BOUNDARIES TRAINGSDATEN , DOAG Big Data Days 2018, Dresden 14

15 DESCISION BOUNDARIES TESTDATEN , DOAG Big Data Days 2018, Dresden 15

16 BEISPIEL FÜR ÜBERWACHTES LERNEN Overfitting! Model ist zu speziell und zu komplex Low Bias und High Variance Keine Generalisierung Das Modell reagiert nur schlecht auf neue unbekannte Daten , DOAG Big Data Days 2018, Dresden 16

17 DESCISION BOUNDARIES TRAININGSDATEN (10 NEIGHBOURS) , DOAG Big Data Days 2018, Dresden 17

18 BEISPIEL FÜR ÜBERWACHTES LERNEN Underfitting! Nicht einmal die Trainingsdaten passen High Bias und Low Variance Nicht genug an die Testdaten angepasst , DOAG Big Data Days 2018, Dresden 18

19 BEISPIEL FÜR ÜBERWACHTES LERNEN Zu wenig Daten Schlechte Daten Nicht die richtigen Daten Feature Auswahl verbessern, um den Sweet-Spot zu finden! , DOAG Big Data Days 2018, Dresden 19

20 FEATURE AUSWAHL ÜBERWACHTES LERNEN , DOAG Big Data Days 2018, Dresden 20

21 FEATURE AUSWAHL ÜBERWACHTES LERNEN , DOAG Big Data Days 2018, Dresden 21

22 BEISPIEL FÜR ÜBERWACHTES LERNEN Vergleich des Accuracy Scores - je nach Featureauswahl Sepal Petal Sepal und Petal , DOAG Big Data Days 2018, Dresden 22

23 UNÜBERWACHTES LERNEN Trainingsdaten Lernalgorithmus Kein Labeling! Neue Daten Machine Learning Modell Clustering , DOAG Big Data Days 2018, Dresden 23

24 AGENDA Einordnung ML Dokumentenklassifikation Live-Demo Herausforderungen und Fazit , DOAG Big Data Days 2018, Dresden 24

25 KLASSIFIZIERUNG VON DOKUMENTEN , DOAG Big Data Days 2018, Dresden 25

26 KLASSIFIZIERUNG VON DOKUMENTEN Besonderheit: Viele Features Wort Film 1 wenn 2 Erde 3 neu n , DOAG Big Data Days 2018, Dresden 26

27 KLASSIFIZIERUNG VON DOKUMENTEN Schritt 1: Erstellung von Trainingsdaten für das Klassifikationstraining Schritt 2: Training des Klassifikationsmodells Schritt 3: Einsatz der Klassifikation , DOAG Big Data Days 2018, Dresden 27

28 KLASSIFIZIERUNG VON DOKUMENTEN Label Vorhersage Lernen Dokumente Dokumente Trainingsalgorithmus Merkmalsextraktion Merkmalsextraktion Klassifikator Label , DOAG Big Data Days 2018, Dresden 28

29 KLASSIFIZIERUNG VON DOKUMENTEN Vorgehen Datenbeschaffung Daten bereinigen Daten einlesen , DOAG Big Data Days 2018, Dresden 29

30 KLASSIFIZIERUNG VON DOKUMENTEN Datenqualität Überblick über die Qualität verschaffen Probleme erkennen Daten bereinigen , DOAG Big Data Days 2018, Dresden 30

31 KLASSIFIZIERUNG VON DOKUMENTEN Qualität beurteilen und Probleme erkennen Ausreichend Testdaten pro Klasse vorhanden? Alle Features immer vorhanden? Leere Einträge oder Dubletten? Falsche oder fehlende Werte / Labels Korrigieren (z.b. Mittelwert), löschen oder mittels ML bestimmen , DOAG Big Data Days 2018, Dresden 31

32 KLASSIFIZIERUNG VON DOKUMENTEN Besonderheiten Dokumentenklassifikation Feature-Raum mit sehr hoher Dimension Viele Wörter und mehrere Varianten für ein Wort man braucht viele Daten um statistisch signifikante Aussagen zu treffen Reduktion der Features , DOAG Big Data Days 2018, Dresden 32

33 KLASSIFIZIERUNG VON DOKUMENTEN Reduktion der Features Reduktion der Trainingszeit Vermeidung von Overfitting Interpretierbarkeit der Daten Reduktion der Features, ohne wichtige Informationen zu verlieren (oder minimaler Informationsverlust) , DOAG Big Data Days 2018, Dresden 33

34 KLASSIFIZIERUNG VON DOKUMENTEN Featureauswahl Welche Features werden benötigt? Welche eignen sich gut? Welche optimalen Kombinationen gibt es? , DOAG Big Data Days 2018, Dresden 34

35 KLASSIFIZIERUNG VON DOKUMENTEN Umgang mit vielen Wörtern Stopwords und unnötige Zeichen entfernen Wortreduktion Tf-idf (Wortfrequenz) Stemming (Stammformreduktion) Lemmatrization (Lemmatisierung) Ziel: Reduzierung des Featureraumes auf ca Wörter , DOAG Big Data Days 2018, Dresden 35

36 DOKUMENTENKLASSIFIKATION IM UNTERNEHMESKONTEXT Szenarien im Unternehmenskontext Erkennen von Bescheinigungen Erkennen von SPAM Kunden bei Formulareingaben unterstützen , DOAG Big Data Days 2018, Dresden 36

37 AGENDA Einordnung ML Dokumentenklassifikation Live-Demo Herausforderungen und Fazit , DOAG Big Data Days 2018, Dresden 37

38 DOKUMENTENKLASSIFIKATION LIVE DEMO Stimmungsanalyse anhand der IMDb- Filmdatenbank Wurde ein Film positiv oder negativ bewertet? Daten sind frei verfügbar Klassifizierung ist gegeben , DOAG Big Data Days 2018, Dresden 38

39 AGENDA Einordnung ML Dokumentenklassifikation Live-Demo Herausforderungen und Fazit , DOAG Big Data Days 2018, Dresden 39

40 HERAUSFORDERUNGEN UND FAZIT Datenbeschaffung und Datenqualität Feature engineering Rechenpower Mit qualitätsgesicherten Daten sind gute Erfolge möglich! , DOAG Big Data Days 2018, Dresden 40

41 VIELEN DANK FU R EURE AUFMERKSAMKEIT FRAGEN? Andreas Nadolski Softwareentwickler andreas.nadolski@enpit.de Blogs: enpit.de/blog medium.com/enpit-developer-blog Karriere: , DOAG Big Data Days 2018, Dresden 41

42