Einführung in NLP mit Deep Learning

Transkript

1 Einführung in NLP mit Deep Learning Hans-Peter Zorn Minds mastering Machines, Köln,

2 NLP ist auf einmal überall Zusammenfassung aggregated reviews Dokumentklassifikation Übersetzung Dialogsysteme / Chatbots Question Answering AI Deep Learning 2

3 Embed, Encode, Attend, Predict The new deep learning formula for state-of-theart NLP models Matthew Honnibal, explosion.io (SpaCy) - 3

4 Ein neuronales Netz X Y Hidden 4

5 Repräsentation von Sprache Bag-of-Words, Vectorspace-Model Wenn 1 Fliegen 2 Hinter 3 Nach 4 1 Wenn fliegen hinter fliegen fliegen, fliegen fliegen nach Embeddings 5

6 Embed Encode Attend Predict

7 Vectorspace Modell Embed Embeddings 7

8 Emdedding Table/Layer ID Effizientes Mapping von Merkmalen zu Embeddings Gewichte beim Training gelernt 8

9 Pre-trained embeddings Word2vec, GloVe, fasttext King Queen Woman Große Corpora: CommonCrawl, Wikipedia CBOW, Skip-gram, Character-ngrams (Morphologie) 9

10 Embed Encode Attend Predict

11 Recurrent Neural Networks hinter wenn Fliegen Input wird schrittweise dem Netz präsentiert Output ist Input für den nächsten Schritt CNN auch möglich 11

12 Recurrent Neural Networks unfolded A A A A Timesteps Long-term dependencies LSTM/GRU Padding notwendig wenn fliegen hinter fliegen 12

13 Encoder-Decoder (Seq2Seq) Neural machine translation When flies fly behind Input reversed Fliegen Wenn fliegen hinter hinter fliegen fliegen wenn Sequence to Sequence Learning with Neural Networks, Ilya Sutskever, Oriol Vinyals, Quoc V. Le,

14 Embed Encode Attend Predict Les Chatfield/Flickr

15 Attention CC-BY

16 Embed Encode Attend Predict

17 Predict Klassifikation (softmax) Sentiment Inhalt Decoder Zusammenfassung Keyword Extraction 17

18 Example: Using Natural Language to Query nosql Databases Masterarbeit Sebastian Blank, inovex/kit-aifb Predict 18

19 Fragen in natürlicher Sprache an Elasticsearch Who was the writer of true lies? James Cameron, Claude Zidi model 19

20 Fragen in natürlicher Sprache an Elasticsearch Who was the writer of true lies? Question James Cameron, Claude Zidi Answer model Query 20

21 Reinforcement Learning to the Rescue

22 Reinforcement Learning Agent interagiert mit Umgebung Lernen und durch Bestrafung/Belohnung Source: Wikipedia/megajuice 22

23 Model selection & Implementation Basic idea Who was the writer of true lies? James Cameron, Claude Zidi model Query field: Query entity: name true lies Response field: author Zhong, Socher (2017): Seq2SQL: Generating Structured Queries from Natural Language using Reinforcement Learning 23

24 Model selection & Implementation Basic idea +25 Who was the writer of true lies? James Cameron, Claude Zidi model Query field: Query entity: name true lies Response field: author 25

25 Model selection & Implementation Basic idea Who was the writer of true lies? -1 Thriller model Query field: Query entity: name true lies Response field: author 26

26 Model selection & Implementation Basic idea Who was the writer of true lies? -2 <error> model Query field: Query entity: name true lies Response field: author 27

27 28

28 What movies did Temuera Morrison act in? After 10 epochs After 20 epochs 29

29 What movies did Temuera Morrison act in? After 30 epochs After 40 epochs 30

30 Perfromance-Vergleich MBs

31 Generalisierung 32

32 Conclusion State of the Art DL4NLP: Embed, Encode, Attend, Predict Es funktioniert! Erstaunlich gut auf dem relativ klar definierten Datensatz Mittels Reinforcement Learning können nicht-differenzierbare Bruchstellen (z.b. nosql) überbrückt werden. 33

33 Vielen Dank! Hans-Peter Zorn Data Management & Analytics Head of Machine Perception & AI inovex GmbH Ludwig-Erhard-Allee Karlsruhe Sie möchten individuelle Beratung? Nehmen Sie Kontakt mit uns auf! info@inovex.de Mobil: +49 (0) Mail: hzorn@inovex.de