Maschinelle Sprachverarbeitung: Tokenisierung

Transkript

1 Maschinelle Sprachverarbeitung: Tokenisierung BASIEREND AUF FOLIEN VON DR. H. ZINSMEISTER Gertrud Faaβ Universität StuPgart, InsRtut für maschinelle Sprachverarbeitung Azenbergstr. 12, StuPgart stupgart.de 1

2 Einleitung Einleitung Einfache Textzerlegung Herausforderungen an die Tokenisierung Tokenisierungsalgorithmus Zusammenfassung Referenzen 2

3 Einleitung Token Bausteine von Texten Wörter im `klassischen Sinn (Grapheme, orthographische Wörter). Abkürzungen (HdM, Dr., BLZ, Zahlzeichen: 42, 7., 2 n, 0711, Satzzeichen:.,;:!? SonsRges: DINa4, (i), }, 3

4 Begriffe Tokenisierung (auch: SegmenRerung) Vorgang, bei dem die `rohe Sequenz von Zeichen eines Textes in Sätze und diese wiederum in Wörter bzw. Token geteilt wird 4

5 MoRvaRon: Anwendungen Korrekturprogramme Finden und Korrigieren von Fehlern im Text Wortabgleich InformaRonsextrakRon Füllen von Templates Kopieren von relevanten Wörtern TextklassifikaRon Zuordnung von Texten zu definierten Klassen Klassenzugehörigkeit aufgrund des WorRnventars 5

6 Einfache Textzerlegung Text (das Beispielkorpus): Dieser Arzt ist nep. Für den Rechner: Gewünschte Zerlegung: Dieser Arzt ist nett. 6

7 Tokenisierung: Herausforderungen Zerlegung in Token erster Ansatz: Interpretation von Leerstellen als Übergange z w i s c h e n To k e n u n d A b t r e n n u n g d e r Satzzeichen von den Token. Text (das Beispielkorpus 2): Dr. House ist eine Serie über den Arzt Dr. Gregory House. Gewünschte Zerlegung: Dr. House ist eine Serie über den Arzt Dr. Gregory House. Erreichte Zerlegung: Dr. House ist eine Serie über den Arzt Dr. Gregory House. 7

8 Herausforderungen an Tokenisierung Schreibweise von Zahlen (Ab)Kürzungen Großschreibung Satzgrenzen Bindestriche Leerstellen KliRka 8

9 Herausforderungen an Tokenisierung Schreibweise von Zahlen Struktur relarv eindeurg aber je nach Sprache unterschiedlich festgelegt Sprachspezifische Regelung (nach wikipedia.de) Englisch: 123, Französisch: ,78 Deutsch ,78 (Geldbeträge: 3.456,78) 9

10 Herausforderungen an Tokenisierung Kürzungen (1 von 2) Tilgung am Wortanfang oder ende Professor Prof SebasRan Bas) Abkürzungen Folge von Lauten, die normalerweise den Anfangsbuchstaben von Kompositateilen oder Silbenanfängen entsprechen Arbeitsbeschaffungsmassnahmen ABM 10

11 Herausforderungen an Tokenisierung Kürzungen (2 von 2) Akronyme Bildung eines neuen phonetischen Worts Deutsche Industrienorm DIN (Meibauer et al. 2007:33) Kürzungen sind keine geschlossene Wortklasse, d.h. eine Auflistung (im Lexikon) ist nicht möglich! 11

12 Herausforderungen an Tokenisierung Großschreibung (1 von 2) Im Englischen sind großgeschriebene Wörter normalerweise Eigennamen, man findet sie aber auch Als erstes Wort im Satz Als Teil eines Titels Nach einem Strichpunkt oder öffnendem Anführungsstrich 12

13 Herausforderungen an Tokenisierung Großschreibung (2 von 2) Großgeschriebene Wörter können ambig sein ConRnental (europäisch/europäer) vs. conrnental (konrnental) Fällt Ihnen ein Beispiel für das Deutsche ein? 13

14 Herausforderungen an Tokenisierung Satzgrenzen Normalerweise durch Satzpunkt, Ausrufezeichen oder Fragezeichen markiert Andere FunkRonen des Punkts Dezimalpunkt im Englischen Tausenderpunkt im Deutschen (Geldbeträge) Teil einer Abkürzung Ende einer Abkürzung Anna went home from U. S. A. K. Rowling never went there. 14

15 Herausforderungen an Tokenisierung Bindestriche (1 von 2) Mögliche Strings x y 1. Re gierung 2. De facto Regierung 3. Hin und Rückflug Disambiguierungsaufgaben des Tokenisierers: String xy: WorPrennung: Fall 1 soll wieder zusammengefügt werden (Regierung) 15

16 Herausforderungen an Tokenisierung Bindestriche (2 von 2) Disambiguierungsaufgaben des Tokenisierers: String x y: Bindestrichkomposita, Fall 2 soll mit Bindestrich verbleiben (de facto Regierung) String x y: trunkiertes Wort (abgeschnipen, verkürzt lt. LEO) soll getrennt bleiben, Bindestrich bleibt erhalten: Hin und Rückflug... 16

17 Herausforderungen an Tokenisierung Leerstellen Bisherige Annahme: Token enthalten keine Leerstellen Mehrwortausdruecke? De facto, ad hoc, ne pas Daimler Chrysler AG 1. Feb Wena <o na le> tšhelete> na? 17

18 Herausforderungen an Tokenisierung KliRka Verbinden sich mit einem anderen Wort zu einem Token, meist ohne trennende Leerstelle Englisch: Isn t we ll Deutsch: SRmmt s Franzoesisch, Spanisch, etc.. Sepedi: ke bona wena Ich sehe Dich ke a mpona Ich sehe mich 18

19 Tokenisierungsalgorithmus Tokenisierungsalgorithmus Was ist ein Wort? (GrefenstePe und Taipanen 1994) Enyernen von Leerzeichen (Tabulatoren, Umbrüchen) Markierung von Trennungsstrichen Trennen von AlternaRven (und/oder, 1998/99) Erkennen und Markieren von Satzzeichen (Punkt, Komma,...) Zusammenführen von WorPeilen (erst malig, 2 000) 19

20 Tokenisierungsalgorithmus Disambiguierungsmethoden HeurisRken und InformaRonsquellen WörterbuchinformaRon Abkürzungslisten (manuell/automarsch) SatzposiRon, usw. 20

21 Tokenisierungsalgorithmus HeurisRsche Ansätze BesRmmte HeurisRken über die Zugehörigkeit von einem Token zu einer Menge von Klassen Definiere die HeurisRken als Regel und ordne sie nach ihrer Zuverlässigkeit KlassifikaRonsansätze (überwacht/unüberwacht) Entscheidungsbäume, Neuronale Netze, Maximum Entropy, etc. 21

22 Zusammenfassung WichRgste Problemkategorien Disambiguierung von Satzgrenzen Normalisierung von großgeschriebenen Wörtern Erkennen von Abkürzungen (u.ä.) 22

23 Bonbon: Diskussion: Und wenn es keine Leerzeichen gibt? Dzongkha <s> དབང འ&ས ( ང དཔ ན NNP ཨམ འ.ག ཉ མ NN ག CG གཟ མ དཔ ན NN 3རཔ NN པ5 ཚ8 དབང བ9 ས NNP : ས VBAUX བ;ར VBAt བའ CG <= ཟ> NNP PUN PUN ཉ ནམ NN དང པ OD PUN </s> 23

24 Referenzen Jurafsky and MarRn (2008). Speech and Language Processing. 2 nd EdiRon. Upper Saddle River: PrenRce Hall, Kapitel 2.1,2.2 Sabine Schulte im Walde (2006): TokenisaRon and Morpho SyntacRc AnnotaRon. Slides of the course IntroducRon to Corpus Resources, AnnotaRon and Access (zusammen mit Heike Zinsmeister), 18 th European Summer School in Logic, Language and informaron, Malaga, Spain Gregory GrefenstePe und Pasi Tapanainen (1994): What is a word, what is a sentence? Problems of tokenizaron. In Proceedings of the 3 rd Conference on ComputaRonal Lexicography and Text Research, S Budapest, Hungary Meibauer et al. (2007): Einführung in die germanisrsche LinguisRk. Metzler. Andrei Mikheev (2002): Periods, Capitalized Words,etc. ComputaRonal LinguisRcs, 28(3): Andrei Mikheev (2003): Text segmentaron. In: Anke Lüdeling and Merja Kytö, editors: Corpus LinguisRcs. An InternaRonal Handbook. Mouton de Gruyter, Berlin, im Erscheinen 24