Einführung in die Computerlinguistik und Sprachtechnologie

Transkript

1 Einführung in die Computerlinguistik und Sprachtechnologie Vorlesung im WiSe 2016/17 (B-GSW-12) Prof. Dr. Udo Hahn Lehrstuhl für Computerlinguistik Institut für Germanistische Sprachwissenschaft Friedrich-Schiller-Universität Jena

2 KodE Alltag Aufbau eines deutschen -Korpus Spende einer persönlichen an Anonymisierung aller persönlichen Daten -Adressen Namen Ortsangaben Explizite Zustimmung nötig Fragebogen 2

3 Einführung in die Computerlinguistik und Sprachtechnologie Vorlesung im WiSe 2016/17 (B-GSW-12) Grammatiktheorie

4 Syntaxanalyse Formale Analyse von Ausdrücken einer Sprache Computerlinguistik Formale Analyse von Wörtern oder Sätzen einer natürlichen Sprache (z.b. des Deutschen) Informatik Formale Analyse von Ausdrücken einer formalen Sprache (z.b. einer Programmiersprache) 4

5 Analyse von Programmen Programmtext in PL 1 (benutzernah) Syntaxanalyse Semantikanalyse Transformationen Programmtext in PL 2 (maschinenorientiert) Aufgaben der Syntaxanalyse: 1. Syntaktisch korrekte Programme werden als korrekt erkannt 2. Syntaktisch unkorrekte Programme werden zurück gewiesen: Fehlererkennung und -diagnose 5

6 Analyse von natürlichsprachlichen Äußerungen Natürlichsprachliche Äußerung Syntaxanalyse Semantikanalyse Transformationen Semantische Repräsentation (Logik, RDF, ) Aufgaben der Syntaxanalyse: 1. Syntaktisch korrekte Äußerungen werden als korrekt erkannt 2. Syntaktisch unkorrekte Äußerungen werden zurück gewiesen: Aber: Robustheit im Umgang mit paragrammatischen Äußerungen ist wünschenswert! 6

7 Beziehung zwischen Informatik und Computerlinguistik Informatik besitzt umfangreichen Methodenfundus präzise beschriebene Analyseverfahren Charakterisierung der formalen Eigenschaften dieser Verfahren (Entscheidbarkeit, Berechnungskomplexität) mathematische Beschreibung der Hintergrundtheorie (formale Grammatiken, formale Sprachen, Automaten) Übernahme und Adaption an NL in CL 7

8 Mengentheoretische Grundbegriffe Die Zusammenfassung aller Elemente x, die eine Eigenschaft E haben, wird als Menge M bezeichnet: M := {x x hat die Eigenschaft E } Beispiele: LAUF := {x x ist deutsches Lexem, das mit LAUF beginnt } EoR := {x x ist deutsches Lexem, das auf E oder R endet } 8

9 Mengentheoretische Grundbegriffe Seien M 1 und M 2 Mengen. M 1 ist Teilmenge von M 2, falls aus x M 1 stets x M 2 folgt; symbolisch: M 1 M 2. Gilt für zwei Mengen, M 1 und M 2, einerseits M 1 M 2 und andererseits M 1 M 2, dann ist M 1 echte Teilmenge von M 2 ; symbolisch: M 1 M 2 Beispiele: LAUF* := {Laufbahn, laufen, Lauffeuer, Laufmasche, Laufsteg} LAUF LAUF LA := {x x ist deutsches Lexem, das mit LA beginnt } R := {x x ist deutsches Lexem, das auf R endet } EoR 9

10 Mengentheoretische Grundbegriffe Gilt für zwei Mengen, M 1 und M 2, sowohl M 1 M 2 als auch M 2 M 1, so folgt: M 1 = M 2 (Mengengleichheit). Die leere Menge ist die Menge, die kein Element enthält; symbolisch: {} oder Ø. Bemerkung: Ø ist Teilmenge jeder Menge. Die Kardinalität einer endlichen Menge M ist die Anzahl ihrer Elemente; symbolisch: M 10

11 Mengentheoretische Grundbegriffe Wenn M und N Mengen sind, dann charakterisiert die Menge M N := {x x M und x N } den Durchschnitt M N := {x x M oder x N } die Vereinigung von M und N 11

12 Mengentheoretische Grundbegriffe Beispiele: LAUF*:= {Laufbahn, laufen, Lauffeuer, Laufmasche, Laufsteg} LAUF* EoR = { Lauffeuer, Laufmasche } { Lauffeuer, Laufmasche } { Lauffeuer, Laufpass } = { Lauffeuer, Laufmasche, Laufpass } 12

13 Mengentheoretische Grundbegriffe Wenn I = {1,...,n} eine nichtleere Indexmenge ist und jedes i I für M i eine Menge charakterisiert, dann gilt als Verallgemeinerung des Durchschnitts M i := {x x M i für alle i I } = M i i I Verallgemeinerung der Vereinigung M i := {x x M i f.mind.ein i I } = M i i I n i = 1 n i = 1

14 Mengentheoretische Grundbegriffe Das Kartesische Produkt von endlich vielen Mengen M 1,.., M n, n 2, ist die Menge aller n-tupel: M 1 x M 2 x...x M n := { (m 1,..,m n ) m i M i, 1 i n } Beispiel: LAUFB := { Laufbahn, Laufbursche } LAUFS := { Laufschritt, Laufstall, Laufsteg } LAUFB x LAUFS = { (Laufbahn, Laufschritt), (Laufbahn, Laufstall), (Laufbahn, Laufsteg), (Laufbursche, Laufschritt), 14 (Laufbursche, Laufstall), (Laufbursche, Laufsteg) }

15 Grundbegriffe zu Relationen Eine (zweistellige) Relation r zwischen zwei Mengen M 1 und M 2 ist eine Teilmenge von M 1 x M 2, d.h. r M 1 x M 2. Man schreibt auch m r n für (m,n) r. Beispiel: GleicheLänge DLexeme x DLexeme GleicheLänge = { (du, da), (da, Ei), (er, es), (Dom, Bor), (Aal, Tor), (Bild, Tier), (Tiger, Sekte),... } 15

16 Grundbegriffe zu Relationen Das Produkt zweier Relationen, r und s auf M, ist festgelegt durch r s := { (x,z) (x,y) r und (y,z) s f.e. y M } 16

17 Grundbegriffe zu Relationen Für eine beliebige Relation r auf M definiert r 0 := { (m,m) m M } die Diagonale, r 1 := r und r i := r i-1 r für i>1 r + := r i = r 1 r 2... r n i 1 die transitive Hülle von r, r * := r i = r 0 r 1 r 2... r n i 0 17 die reflexive und transitive Hülle von r

18 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff 18

19 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 1 = Ist_Unterbegriff 19

20 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 1 = Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW) } 20

21 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 1 = Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ) } 21

22 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 1 = Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt) } 22

23 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 1 = Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt) } 23

24 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 1 = Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt) } 24

25 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 1 = Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } 25

26 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ) } 26

27 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ), (VW-PKW, Artefakt) } 27

28 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ), (VW-PKW, Artefakt), (PKW, Objekt) } 28

29 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ), (VW-PKW, Artefakt), (PKW, Objekt), (Schreibtisch, Objekt) } 29

30 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ), (VW-PKW, Artefakt), (PKW, Objekt), (Schreibtisch, Objekt) } Ist_Unterbegriff 4 = Ist_Unterbegriff 3 Ist_Unterbegriff = { (VW-Golf, Artefakt) } 30

31 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ), (VW-PKW, Artefakt), (PKW, Objekt), (Schreibtisch, Objekt) } Ist_Unterbegriff 4 = Ist_Unterbegriff 3 Ist_Unterbegriff = { (VW-Golf, Artefakt), (VW-PKW, Objekt) } 31

32 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ), (VW-PKW, Artefakt), (PKW, Objekt), (Schreibtisch, Objekt) } Ist_Unterbegriff 4 = Ist_Unterbegriff 3 Ist_Unterbegriff = { (VW-Golf, Artefakt), (VW-PKW, Objekt) } Ist_Unterbegriff 5 = Ist_Unterbegriff 4 Ist_Unterbegriff = { (VW-Golf, Objekt) } 32

33 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff Ist_Unterbegriff 2 = Ist_Unterbegriff 1 Ist_Unterbegriff = { (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt) } Ist_Unterbegriff 3 = Ist_Unterbegriff 2 Ist_Unterbegriff = { (VW-Golf, KFZ), (VW-PKW, Artefakt), (PKW, Objekt), (Schreibtisch, Objekt) } Ist_Unterbegriff 4 = Ist_Unterbegriff 3 Ist_Unterbegriff = { (VW-Golf, Artefakt), (VW-PKW, Objekt) } Ist_Unterbegriff 5 = Ist_Unterbegriff 4 Ist_Unterbegriff = { (VW-Golf, Objekt) } 33 Ist_Unterbegriff 6 = Ist_Unterbegriff 5 Ist_Unterbegriff = {}

34 Transitive Hülle von Ist_Unterbegriff Ist_Unterbegriff i = Ist_Unterbegriff 1 i 1 Ist_Unterbegriff 2... Ist_Unterbegriff n Möbel), (Möbel, Artefakt), (VW-Golf, PKW), (VW-PKW, KFZ), (PKW, Artefakt), (KFZ, Objekt), (Schreibtisch, Artefakt), (Möbel, Objekt), (VW-Golf, KFZ), (VW-PKW, Artefakt), (PKW, Objekt), (Schreibtisch, Objekt), (VW-Golf, Artefakt), (VW-PKW, Objekt), (VW-Golf, Objekt) } 34

35 Grundlagen formaler Sprachen: Alphabet Sei S ein beliebiges Alphabet, d.i. eine Menge von Symbolen oder Zeichen Beispiele für verbreitete Alphabete: {A,B,C,..., X,Y,Z} {1,2,3,..., 7,8,9, 0} {0,1} lateinisches Alphabet indisch-arabisches Zahlensystem Binärzahlen {,, } internat. Ampelalphabet {A[denin], G[uanin], T[hymin], C[ytosin]} Basen-Alphabet der DNA 35

36 Grundlagen formaler Sprachen: Wörter Seien Wörter (Sätze, Strings, Ketten) über einem Alphabet S in der folgenden Weise definiert: 1. e ist ein Wort über S (e ist das Leerwort, das keine Symbole hat) 2. falls c ein Wort über S und a S ist, dann ist c a ein Wort über S 3. g ist ein Wort über S genau dann, wenn sein Bildung aus (1) oder (2) folgt 36

37 Grundlagen formaler Sprachen: Konkatenation von Wörtern Das Wort w o t := w t := w 1...w m t 1... t n heißt Konkatenation von w und t, falls w = w 1...w m und t = t 1...t n (w i, t j S) Wörter über S sind; o (sprich: Kringel ) ist der Konkatenationsoperator. Für alle Wörter w gilt: w o e = e o w = w Beispiele für Konkatenationen: ABC o X = ABCX 24 o 24 = 2424 wort o stamm = wortstamm 37

38 Grundlagen formaler Sprachen: Wortmengen Eine Wortmenge (Sprache) F bezüglich eines Alphabets S ist gegeben durch F := { w w ist Wort über S } 38

39 Grundlagen formaler Sprachen: Konkatenation von Wortmengen Die Zusammensetzung (Konkatenation) von Wortmengen F und M ist gegeben durch F o M := F M := { wt w F, t M } Dabei gilt: F { e } = { e } F = F F Ø = Ø F = Ø Beispiele für Konkatenationen: DLex := {Fisch, Fest, Fleck}; DEnd := {e, es, er} DLex o DEnd = {Fische, Fisches, Fischer, Feste, Festes, Fester, Flecke, Fleckes, Flecker} 39

40 Grundlagen formaler Sprachen: Potenzen von Wörtern bzw. Wortmengen Potenzen von Wörtern w bzw. Wortmengen F sind gegeben durch: w 0 := e w 1 := w w i := w i-1 w, für i 1 F 0 := {e} F 1 := F F i := F i-1 F, für i 1 Beispiele für Potenzen von Wortmengen: DSilbe := {ba, di, ko} DSilbe 0 = {e}, DSilbe 1 = {ba, di, ko} DSilbe 2 = DSilbe 1 DSilbe = { baba, badi, bako, diba, didi, diko, koba, kodi, koko} DSilbe 3 = DSilbe 2 DSilbe 40

41 Grundlagen formaler Sprachen: Plus- und Sternhülle formale Sprache Die Plushülle bzw. Sternhülle einer Wortmenge F werden definiert durch: F + := F i F * := F i i 1 i 0 Ist S ein Alphabet, dann ist S* die Gesamtheit aller Wörter über S. Jede Teilmenge dieser Sternhülle, L S*, heißt formale Sprache über S. 41