Was ist Statistik? Wozu dienen statistische Methoden?

Transkript

1 25. APRIL 2002: BLATT 1 Übersicht Was ist Statistik? Wozu dienen statistische Methoden? Was ist maschinelle Sprachverarbeitung? Welche Rolle spielen statistische Methoden in verschiedenen Teilbereichen der maschinellen Sprachverarbeitung / Linguistik Übersicht über Anwendungen der Sprachverarbeitung und die Rolle statistischer Verfahren

2 25. APRIL 2002: BLATT 2 Quantitative Erfassung und Analyse von Datenstrukturen Deskriptive und explorative Statistik - Datenbeschreibung o Beschreibung von Daten o Darstellung von Daten o Strukturen und Besonderheiten in den Daten entdecken Analytische Statistik/induktive Statistik o Schlussfolgerungen aus Daten o Einbeziehung der Wahrscheinlichkeitstheorie (Stochastik)

3 25. APRIL 2002: BLATT 3 Würfelexperiment: Deskriptiv: bei hundert Würfen wurde 13 mal eins, 14 mal zwei... geworfen Explorativ: jede Augenzahl scheint etwa gleich häufig aufzutreten Induktiv: o Wie wird das Ergebnis aussehen, wenn ich weiter hundert Würfe mache o Wie sicher kann ich sein, dass es sich um einen fairen Würfel handelt Linguistisches Experiment Deskriptiv: In einem Korpus von Wörtern taucht das Wort Leviten 30 mal auf, davon 29 mal im gleichen Satz mit dem Wort lesen Explorativ: Feststellung der Auffälligkeit dieser Beobachtung im Vergleich zu anderen Wortpaaren Induktiv: o Wie wahrscheinlich ist es, dass eine solche Häufung zufällig zustande kommt? Was ist die Assoziationrate die hieraus folgert?

4 25. APRIL 2002: BLATT 4 Analyse, Verarbeitung und Erzeugung elektronischer Texte mit Hilfe von Computerprogrammen. Linguistisches Wissen Formalisierung des linguistischen Wissens Operationalisierung des linguistischen Wissen

5 25. APRIL 2002: BLATT 5 Syntax - Tagging - Parsing - Generierung syntaktisch korrekter Sätze - Erkennung von Mehrwortlexemen Morphologie - morphologischen Analyse von Wortformen - Flexions- Derivations- und Kompositionsanalyse - Generierung von Wortformen Semantik - automatische Disambiguierung mehrdeutiger Wörter - Erkennung semantischer Felder in Texten - Erstellung von und Generierung aus semantischen Repräsentationen Phonetik - Spracherkennung - Phon(em)-Graphem-Zuordnung Textlinguistik und Korpuslinguistik - Textanalyse und - gliederung, automatische Textkategorisierung, Text-Typen- Zuordnung, Genrezuordnung etc.

6 25. APRIL 2002: BLATT 6 Welche syntaktischen Kategorien sind wie häufig? Welche Kategorienfolgen sind wie häufig? DET N: 300 ADJ N : 32 V N : 3... Dasselbe für: Satztypen; Konstruktionen; Teil(bäume) Welche syntaktische Kategorie ist wahrscheinlich - sollte gewählt werden DET V/A N der irre Professor Welche syntaktische Analyse ist die richtige? Er sieht den Mann mit der Krawatte Er sieht den Mann mit dem Fernrohr

7 25. APRIL 2002: BLATT 7 Welche Bedeutung eines Wortes/einer Wortform ist häufiger/weniger häufig Rechner (Mensch der rechnet/computer) Kontextspezifische Bedeutungshäufigkeit Absturz des Rechners Absturz des kühlen Rechners Domänenspezifische Bedeutungshäufigkeit (in einem Computermagazin) kühle Rechner mit neuer CPU Bedeutungsdisambiguierung z.b. in der Kompositaanalyse Erstglieder zu Blatt: PFL:TI : 1.5 (Rosenblatt) (Blatt=Pflanzenteil) GED:TI : 1.0 (Manuskriptblatt) (Blatt = Papierblatt) Thematische Zuordnung

8 25. APRIL 2002: BLATT 8 Vollformen-Grundformen-Beziehungen Haus - Hau Haus - Haus Häufigkeit verschiedener Kompositasegmentierung Wach s tube Vollformen - Grundformen - Reduktion o Haus - Haus (nicht Hau) Disambiguierung mehrdeutiger Formen

9 25. APRIL 2002: BLATT 9 Themengebietspezifischer Wortschatz/Konstruktionen (spezifisch für eine Textsammlung, ein Teilkorpus) Welche Wörter sind häufig in bestimmten Textsorten andere textsortenspezifische Texteigenschaften (Wortlängen, Wortarten) Textkategorisierung - automatische Klassifikation o Themengebiete o Sprachenidentifizierung o Typenklassifizierung Clustering (Vollautomatische Klassifikation) Extraktion statistisch signifikanter Assoziationspaare

10 25. APRIL 2002: BLATT 10 Häufig zusammen auftretende Wörter mit möglichen Abständen Stilebenen Texttypen für Wörter Häufigkeiten/Gebräuchlichkeit/historische Entwicklung Erkennung und Extraktion von Mehrwortlexemen Automatische Erkennung von Stilebenen, Neologismen u.v.a.m.

11 25. APRIL 2002: BLATT 11 Korrekturprogramme o Rechtschreibkorrektur o Grammatikkorrektur Spracherkennung Textklassifikation o Inhaltlich o Sprachenidentifikation o Genre o... Textgenerierung Textretrieval - z.b. in Internet-Suchmaschinen Maschinelle Übersetzung

12 25. APRIL 2002: BLATT 12 Verbesserung der Rechtschreibkorrektur in der schule wird gelacht... er sagte, er Schule zur Zeit Arbeitslose Computerlinguisten.

13 25. APRIL 2002: BLATT 13 Überprüfung der Plausibilität einer von einer Grammatik generierten Wortfolge; Kommunikationshilfen mit Wortvorschlagssystemen Ich möchte dir einen W... (Witz erzählen) Generierung von Scheintexten

14 25. APRIL 2002: BLATT 14 Sprachenidentifikation (s. die meisten Suchmaschinen) - Ermittlung der Wahrscheinlichkeit mit der ein Text einer Sprache zugeordnet werden kann Filter. z.b. Pornofilter, wie in den meisten Suchmaschinen verfügbar Ermittlung des relevante Vokabulars Zuordnungswahrscheinlichkeit zur einer Sammlung von Referenzdokumenten Inhaltliche Klassifikation wie z.b. Scirus ( - automatische Erkennung eines wissenschaftlichen Fachgebiets

15 25. APRIL 2002: BLATT 15 Ranking - Ermittlung der Relevanz eines Dokuments bez. der Suchanfrage, abhängig von der Häufigkeit und Position des / der Suchterme/s, von der Länge des Dokuments... Vorklassifizierung von Texten nach verschiedenen Kriterien (Sprache, Domäne, Typ) (siehe Textklassifikation) Vorverarbeitung der Anfrage (Query)

16 25. APRIL 2002: BLATT 16 Statistische Algorithmen beruhen auf Zuordnungen in bilingualen Korpora Eigenschaften der Einzelsprachen Welches Wort ist wahrscheinlich eine Übersetzung eines anderen Wortes Welche Phrase / welcher Satz ist wahrscheinlich eine Übersetzung eines anderen Welche Übersetzung ist eine wahrscheinlicherer Satz in der Zielsprache?