Einführung in die Korpuslinguistik
|
|
|
- Frank Schulze
- vor 6 Jahren
- Abrufe
Transkript
1 Einführung in die Korpuslinguistik Ines Rehbein WS 09/10 Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
2 Überblick 1 Wo kommen die linguistischen Daten her? 2 Korpuslinguistik Was macht die Korpuslinguistik? Wozu braucht man Korpora? Kurze Geschichte der Korpuslinguistik Korpuserstellung - Kriterien 3 Baumbanken Baumbanken fürs Deutsche Suche in Baumbanken 4 Zusammenfassung 5 Referenzen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
3 Überblick 1 Wo kommen die linguistischen Daten her? 2 Korpuslinguistik Was macht die Korpuslinguistik? Wozu braucht man Korpora? Kurze Geschichte der Korpuslinguistik Korpuserstellung - Kriterien 3 Baumbanken Baumbanken fürs Deutsche Suche in Baumbanken 4 Zusammenfassung 5 Referenzen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
4 Linguistische Daten Woher bekommen wir unsere linguistischen Daten? Instrospektion (armchair linguistics) Psycholinguistische Experimente Datenerhebungen Korpora Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
5 Linguistische Daten Woher bekommen wir unsere linguistischen Daten? Instrospektion (armchair linguistics) Psycholinguistische Experimente Datenerhebungen Korpora Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
6 Linguistische Daten Woher bekommen wir unsere linguistischen Daten? Instrospektion (armchair linguistics) Psycholinguistische Experimente Datenerhebungen Korpora Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
7 Linguistische Daten Woher bekommen wir unsere linguistischen Daten? Instrospektion (armchair linguistics) Psycholinguistische Experimente Datenerhebungen Korpora Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
8 Linguistische Daten Woher bekommen wir unsere linguistischen Daten? Instrospektion (armchair linguistics) Psycholinguistische Experimente Datenerhebungen Korpora Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
9 Linguistische Daten - Introspektion Generative Tradition, im Fokus steht die Sprachkompetenz Frage: Welche Äußerungen einer Sprache sind grammatikalisch? Vorteil: kann jederzeit und überall praktiziert werden Nachteil: keine Berücksichtigung von graduellen Grammatikalitätsurteilen keine Berücksichtigung von quantitativen Aspekten viele Phänomene werden bei Introspektion übersehen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
10 Linguistische Daten - Introspektion Generative Tradition, im Fokus steht die Sprachkompetenz Frage: Welche Äußerungen einer Sprache sind grammatikalisch? Vorteil: kann jederzeit und überall praktiziert werden Nachteil: keine Berücksichtigung von graduellen Grammatikalitätsurteilen keine Berücksichtigung von quantitativen Aspekten viele Phänomene werden bei Introspektion übersehen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
11 Linguistische Daten - Psycholinguistische Experimente Frage: Wie wird Sprache verarbeitet? Methoden: Reaktionszeitexperimente (lexical decision task), Produktionsexperimente, Bewertungsexperimente, eye tracking,... Vorteil: Erzeugung von Daten für spezifische Fragestellungen Nachteil: künstlich erzeugte Äußerungen, evt. beeinflusst durch die Laborsituation Repräsentativität? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
12 Linguistische Daten - Psycholinguistische Experimente Frage: Wie wird Sprache verarbeitet? Methoden: Reaktionszeitexperimente (lexical decision task), Produktionsexperimente, Bewertungsexperimente, eye tracking,... Vorteil: Erzeugung von Daten für spezifische Fragestellungen Nachteil: künstlich erzeugte Äußerungen, evt. beeinflusst durch die Laborsituation Repräsentativität? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
13 Linguistische Daten - Datenerhebungen Leute befragen (KollegInnen/Studierende/...) Methoden: Fragebogen, Interview,... Repräsentativität? wieviele Leute muss man befragen? Verlässlichkeit der Daten? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
14 Linguistische Daten - Korpora Sammlung von Texten (z.b. Zeitungstexte, historische Texte, Kochrezepte, transkribierte gesprochene Sprache,...) Textkorpora Audiodateien (Sprachaufnahmen, evt. mit Transkription und phonetischer Annotation) Sprachkorpora Videos (z.b. Gebärdensprache, evt. mit Transkription) multimodale Korpora... meist mit linguistischen Annotationen versehen (Wortart, Syntax, Semantik, Diskurs,...) Repräsentativität? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
15 Beispiele Textkorpora DDR-Korpus 1150 Texte von 1949 bis 1990, die in der DDR erschienen sind, bzw. von DDR-Schriftstellern geschrieben und in der BRD veröffentlicht wurden 9 Millionen Textwörter (tokens) in 1150 Dokumenten DWDS-Kerncorpus zeitlich und nach Textsorten ausgewogenes Korpus des gesamten 20. Jahrhunderts 100 Millionen Textwörter (tokens) in Dokumenten Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
16 Beispiele Textkorpora DDR-Korpus 1150 Texte von 1949 bis 1990, die in der DDR erschienen sind, bzw. von DDR-Schriftstellern geschrieben und in der BRD veröffentlicht wurden 9 Millionen Textwörter (tokens) in 1150 Dokumenten DWDS-Kerncorpus zeitlich und nach Textsorten ausgewogenes Korpus des gesamten 20. Jahrhunderts 100 Millionen Textwörter (tokens) in Dokumenten Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
17 Beispiele Textkorpora DDR-Korpus 1150 Texte von 1949 bis 1990, die in der DDR erschienen sind, bzw. von DDR-Schriftstellern geschrieben und in der BRD veröffentlicht wurden 9 Millionen Textwörter (tokens) in 1150 Dokumenten unausgewogen, nur für bestimmte Fragestellungen geeignet DWDS-Kerncorpus zeitlich und nach Textsorten ausgewogenes Korpus des gesamten 20. Jahrhunderts 100 Millionen Textwörter (tokens) in Dokumenten ausgewogen, balanciertes Korpus Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
18 Referenzkorpus vs. Monitorkorpus Referenzkorpus (reference corpus, fixed corpus) feste Größe, Zusammensetzung bekannt weit verfügbar, Standard, Ergebnisse können reproduziert werden veraltet irgendwann Monitorkorpus (anwachsend) Zusammensetzung und Größe evtl. nicht bekannt (manchmal gibt s aber bestimmte Herausgabedaten) für lexikographische Zwecke gut geeignet, diachron Datensammlung (opportunistisch) man nimmt was man kriegt groß und kostengünstig unausgewogen, nicht repräsentativ Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
19 Referenzkorpus vs. Monitorkorpus Referenzkorpus (reference corpus, fixed corpus) feste Größe, Zusammensetzung bekannt weit verfügbar, Standard, Ergebnisse können reproduziert werden veraltet irgendwann Monitorkorpus (anwachsend) Zusammensetzung und Größe evtl. nicht bekannt (manchmal gibt s aber bestimmte Herausgabedaten) für lexikographische Zwecke gut geeignet, diachron Datensammlung (opportunistisch) man nimmt was man kriegt groß und kostengünstig unausgewogen, nicht repräsentativ Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
20 Referenzkorpus vs. Monitorkorpus Referenzkorpus (reference corpus, fixed corpus) feste Größe, Zusammensetzung bekannt weit verfügbar, Standard, Ergebnisse können reproduziert werden veraltet irgendwann Monitorkorpus (anwachsend) Zusammensetzung und Größe evtl. nicht bekannt (manchmal gibt s aber bestimmte Herausgabedaten) für lexikographische Zwecke gut geeignet, diachron Datensammlung (opportunistisch) man nimmt was man kriegt groß und kostengünstig unausgewogen, nicht repräsentativ Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
21 Beispiel Sprachkorpus Alcohol Language Corpus (ALC) Ziel dieses Projektes ist die Schaffung eines umfangreichen Sprachkorpus mit Sprache unter Alkoholeinfluss. Anhand dieses Korpus soll es erstmals möglich werden, auf einer soliden statistischen Basis und auch für weibliche Sprecher Untersuchungen des Einflusses von Alkohol auf die Sprache zu untersuchen (200 Sprecher). Der Korpus enthält eine Vielzahl von Sprachstilen, von einfachen Zahlenketten, über gelesene Sprache, Zungenbrecher, Kommandos (situational prompting), Monologe bis hin zu echter Konversation. Der Grad der Alkoholisierung wird über Atem- und Blutalkohol gemessen. ALC wird in enger Kooperation mit dem Institut für Rechtsmedizin, LMU München, und dem Bund gegen Alcohol und Drogen im Straßenverkehr (B.A.D.S.) durchgeführt. Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
22 Beispiel Gebärdensprachkorpus (multi-modal) American Sign Language Linguistic Research Project Corpus (ASLLRP) künstlich erzeugte Sätze, die bestimmte Satzstrukturen in ASL abbilden Sätze mit festem Vokabular für Computer Vision Research, Kurzgeschichten, Dialoge, verschiedene Sichten auf Handformen in ASL geringe Größe, aufwendig in der Erstellung, nicht repräsentativ Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
23 Linguistische Daten - Fazit Introspektion psycholinguistische Korpusdaten Experimente Kompetenz: Verarbeitung: Performanz: was ist grammatisch? wie wird Sprache was kommt vor? verarbeitet Produktionssystem, Modell, das die Modell, das die das alle Organisation und den Phänomene und grammatischen Zugriff auf verschiedene Verteilungen inner- Äußerungen einer sprachliche Einheiten in halb eines Sprache hervorbringt Produktion und bestimmten Korpus Rezeption im Gehirn beschreibt beschreibt nicht empirisch empirisch empirisch qualitativ (kategorial) Was ist am besten? qualitativ + quantitativ (probabilistisch) Eignung der verschiedenen Methoden hängt ab von der jeweiligen Forschungsfrage Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
24 Linguistische Daten - Fazit Introspektion psycholinguistische Korpusdaten Experimente Kompetenz: Verarbeitung: Performanz: was ist grammatisch? wie wird Sprache was kommt vor? verarbeitet Produktionssystem, Modell, das die Modell, das die das alle Organisation und den Phänomene und grammatischen Zugriff auf verschiedene Verteilungen inner- Äußerungen einer sprachliche Einheiten in halb eines Sprache hervorbringt Produktion und bestimmten Korpus Rezeption im Gehirn beschreibt beschreibt nicht empirisch empirisch empirisch qualitativ (kategorial) Was ist am besten? qualitativ + quantitativ (probabilistisch) Eignung der verschiedenen Methoden hängt ab von der jeweiligen Forschungsfrage Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
25 Outline 1 Wo kommen die linguistischen Daten her? 2 Korpuslinguistik Was macht die Korpuslinguistik? Wozu braucht man Korpora? Kurze Geschichte der Korpuslinguistik Korpuserstellung - Kriterien 3 Baumbanken Baumbanken fürs Deutsche Suche in Baumbanken 4 Zusammenfassung 5 Referenzen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
26 Was macht die Korpuslinguistik? Korpuslinguistik beschäftigt sich mit: dem Aufbau der Auszeichnung und der Auswertung von Korpora ( Korpus-Erstellung) ( linguistische Annotation) ( linguistische Analyse) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
27 Wozu braucht man Korpora? Theoretische Linguistik Syntax Ist eine bestimmte Konstruktion häufig / wahrscheinlich? Ist eine bestimmte Konstruktion wirklich ungrammatisch? (Lexikalische) Semantik Wie wird ein bestimmtes Wort verwendet? Wie ist die Häufigkeitsverteilung der einzelnen Lesarten? Phonologie Kann man anhand der Intonation Lesarten unterscheiden? IKEA leer gekauft Fischtank leer gekauft Historische Linguistik Sprachwandelphänomene Soziolinguistik... Einfluss von Alter, Geschlecht, Herkunft, Klasse,... auf die Sprache Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
28 Wozu braucht man Korpora? Theoretische Linguistik Syntax Ist eine bestimmte Konstruktion häufig / wahrscheinlich? Ist eine bestimmte Konstruktion wirklich ungrammatisch? (Lexikalische) Semantik Wie wird ein bestimmtes Wort verwendet? Wie ist die Häufigkeitsverteilung der einzelnen Lesarten? Phonologie Kann man anhand der Intonation Lesarten unterscheiden? IKEA leer gekauft Fischtank leer gekauft Historische Linguistik Sprachwandelphänomene Soziolinguistik... Einfluss von Alter, Geschlecht, Herkunft, Klasse,... auf die Sprache Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
29 Wozu braucht man Korpora? Theoretische Linguistik Syntax Ist eine bestimmte Konstruktion häufig / wahrscheinlich? Ist eine bestimmte Konstruktion wirklich ungrammatisch? (Lexikalische) Semantik Wie wird ein bestimmtes Wort verwendet? Wie ist die Häufigkeitsverteilung der einzelnen Lesarten? Phonologie Kann man anhand der Intonation Lesarten unterscheiden? IKEA leer gekauft Fischtank leer gekauft Historische Linguistik Sprachwandelphänomene Soziolinguistik... Einfluss von Alter, Geschlecht, Herkunft, Klasse,... auf die Sprache Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
30 Wozu braucht man Korpora? Theoretische Linguistik Syntax Ist eine bestimmte Konstruktion häufig / wahrscheinlich? Ist eine bestimmte Konstruktion wirklich ungrammatisch? (Lexikalische) Semantik Wie wird ein bestimmtes Wort verwendet? Wie ist die Häufigkeitsverteilung der einzelnen Lesarten? Phonologie Kann man anhand der Intonation Lesarten unterscheiden? IKEA leer gekauft Fischtank leer gekauft Historische Linguistik Sprachwandelphänomene Soziolinguistik... Einfluss von Alter, Geschlecht, Herkunft, Klasse,... auf die Sprache Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
31 Wozu braucht man Korpora? Theoretische Linguistik Syntax Ist eine bestimmte Konstruktion häufig / wahrscheinlich? Ist eine bestimmte Konstruktion wirklich ungrammatisch? (Lexikalische) Semantik Wie wird ein bestimmtes Wort verwendet? Wie ist die Häufigkeitsverteilung der einzelnen Lesarten? Phonologie Kann man anhand der Intonation Lesarten unterscheiden? IKEA leer gekauft Fischtank leer gekauft Historische Linguistik Sprachwandelphänomene Soziolinguistik... Einfluss von Alter, Geschlecht, Herkunft, Klasse,... auf die Sprache Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
32 Wozu braucht man Korpora? Theoretische Linguistik Syntax Ist eine bestimmte Konstruktion häufig / wahrscheinlich? Ist eine bestimmte Konstruktion wirklich ungrammatisch? (Lexikalische) Semantik Wie wird ein bestimmtes Wort verwendet? Wie ist die Häufigkeitsverteilung der einzelnen Lesarten? Phonologie Kann man anhand der Intonation Lesarten unterscheiden? IKEA leer gekauft Fischtank leer gekauft Historische Linguistik Sprachwandelphänomene Soziolinguistik... Einfluss von Alter, Geschlecht, Herkunft, Klasse,... auf die Sprache Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
33 Wozu braucht man Korpora? (2) Computerlinguistik Korpora als Trainingsdaten für statistische Systeme: Wortarten-Tagger Syntaktische Parser Semantische Parser / Labelling von Semantischen Rollen Systeme zur Lesarten-Disambiguierung Anaphern-Auflösung Maschinelles Übersetzen Automatische Spracherkennung... Korpora als Benchmark zur Evaluation der oben genannten Systeme Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
34 Wozu braucht man Korpora? (2) Computerlinguistik Korpora als Trainingsdaten für statistische Systeme: Wortarten-Tagger Syntaktische Parser Semantische Parser / Labelling von Semantischen Rollen Systeme zur Lesarten-Disambiguierung Anaphern-Auflösung Maschinelles Übersetzen Automatische Spracherkennung... Korpora als Benchmark zur Evaluation der oben genannten Systeme Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
35 Outline 1 Wo kommen die linguistischen Daten her? 2 Korpuslinguistik Was macht die Korpuslinguistik? Wozu braucht man Korpora? Kurze Geschichte der Korpuslinguistik Korpuserstellung - Kriterien 3 Baumbanken Baumbanken fürs Deutsche Suche in Baumbanken 4 Zusammenfassung 5 Referenzen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
36 Erste Korpora Schon im 19. Jhdt. (und früher) Verwendung von Textsammlungen zur Beschreibung von Sprachwandel Wörterbucherstellung (z.b. Grimmsches Wörterbuch) Dokumentation von Spracherwerb Belege für grammatische Aussagen meist Belege aus der Literatur nicht repräsentativ Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
37 Erste digitale Korpora Anfang 60er: Brown University Standard Corpus of Present-Day American English (Francis & Kucera) synchron, ausgewogen (balanced) ca. 1 Mio. Token (500 Samples mit je 2000 Token) geschriebene Sprache von 1961 Korpus fertiggestellt in 1964 Andere Korpora folgten: Lancaster-Oslo/Bergen (LOB) Corpus (Leech) erstellt englisches Gegenstück zum Brown Corpus (Größe, Design) London-Lund Corpus (LLC, Swartvik) publiziert 1980 gesprochenes Englisch, transkribiert ca Token Kolhapur Corpus of Indian English (Shastri, 1988) Australian Corpus of English (ACE) Wellington Corpus of Written New Zealand English Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
38 Erste Reaktionen auf linguistische Korpora 1957: Noam Chomsky, Syntactic Structures Empirismus als herrschendes Paradigma in der Linguistik (und anderen Kognitionswissenschaften) wird vom Rationalismus abgelöst Fokus auf Sprachkompetenz, Sprachperformanz und quantitative Aspekte von Sprache gelten als uninteressant It must be recognized that the notion probability of a sentence is an entirely useless one, under any known interpretation of this term. (Chomsky, 1969) Wenig Interesse an empirischen, korpus-linguistischen Projekten Korpora als zufällige, nicht repräsentative Sammlungen von Texten, die keinen wirklichen Einblick in die Sprachkompetenz geben Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
39 Erste Reaktionen auf linguistische Korpora 1957: Noam Chomsky, Syntactic Structures Empirismus als herrschendes Paradigma in der Linguistik (und anderen Kognitionswissenschaften) wird vom Rationalismus abgelöst Fokus auf Sprachkompetenz, Sprachperformanz und quantitative Aspekte von Sprache gelten als uninteressant It must be recognized that the notion probability of a sentence is an entirely useless one, under any known interpretation of this term. (Chomsky, 1969) Wenig Interesse an empirischen, korpus-linguistischen Projekten Korpora als zufällige, nicht repräsentative Sammlungen von Texten, die keinen wirklichen Einblick in die Sprachkompetenz geben Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
40 Erste Reaktionen auf linguistische Korpora 1957: Noam Chomsky, Syntactic Structures Empirismus als herrschendes Paradigma in der Linguistik (und anderen Kognitionswissenschaften) wird vom Rationalismus abgelöst Fokus auf Sprachkompetenz, Sprachperformanz und quantitative Aspekte von Sprache gelten als uninteressant It must be recognized that the notion probability of a sentence is an entirely useless one, under any known interpretation of this term. (Chomsky, 1969) Wenig Interesse an empirischen, korpus-linguistischen Projekten Korpora als zufällige, nicht repräsentative Sammlungen von Texten, die keinen wirklichen Einblick in die Sprachkompetenz geben Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
41 Exkurs: Können Korpora Antworten auf linguistische Fragestellungen geben? 2 Beispiele: Beispiel I: Partikelverben (Müller & Meurers, 2006) Beispiel II: Idiome (Geyken, Sokirko, Rehbein & Fellbaum, 2004) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
42 Beispiel I: Partikelverben Theorie: Verbpartikeln können nicht vorangestellt werden (Ausnahme: prädikative Partikeln wie auf in aufmachen) Korpusevidenz: Los PART ging es schon in dieser Woche. (taz, ) Vor PART hat er das jedenfalls. (taz, ) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
43 Beispiel I: Partikelverben Theorie: Verbpartikeln können nicht vorangestellt werden (Ausnahme: prädikative Partikeln wie auf in aufmachen) Korpusevidenz: Los PART ging es schon in dieser Woche. (taz, ) Vor PART hat er das jedenfalls. (taz, ) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
44 Beispiel II: Idiome Theorie: klassische Ansätze betonen die Invariabilität von Idiomen (Katz, 1973; Chomsky, 1980) Korpusevidenz: ein Blatt vor den Mund nehmen Pluralisierung: ohne Blätter vor den Mund zu nehmen Quantifizierung: Hier nahm er manches Blatt vor den Mund der sich 100 Blätter vor den Mund nimmt Adjektivische Modifikation eines oder beider Nomen: mit einem postmodernen Blatt vor dem Munde kein Blatt vor seinen republikfeindlichen Mund Nomen-Modifikation: ohne das geringste (Klee-)Blatt vor den vorlauten Mund zu nehmen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
45 Beispiel II: Idiome Theorie: klassische Ansätze betonen die Invariabilität von Idiomen (Katz, 1973; Chomsky, 1980) Korpusevidenz: ein Blatt vor den Mund nehmen Pluralisierung: ohne Blätter vor den Mund zu nehmen Quantifizierung: Hier nahm er manches Blatt vor den Mund der sich 100 Blätter vor den Mund nimmt Adjektivische Modifikation eines oder beider Nomen: mit einem postmodernen Blatt vor dem Munde kein Blatt vor seinen republikfeindlichen Mund Nomen-Modifikation: ohne das geringste (Klee-)Blatt vor den vorlauten Mund zu nehmen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
46 Können Korpora Antworten auf linguistische Fragestellungen geben? Korpora erweisen sich als fruchtbare Hilfsmittel für linguistische Forschung: ermöglichen die Überprüfung linguistischer Theorien sinnvolle Ergänzung der Introspektion Daher steigender Bedarf nach mehr Daten mehr Annotation (Syntax, Semantik, Prosodie, Metadaten,...) mehr Sprachen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
47 Und was sind Metadaten? Metadaten aus dem British National Corpus (BNC) <person age= Ag0 dialect= XLO xml:id= PS5A1 role= self sex= m soc= C2 > <name>terry</name> <age>14</age> <occupation>student</occupation> <dialect>london</dialect> </person> Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
48 Outline 1 Wo kommen die linguistischen Daten her? 2 Korpuslinguistik Was macht die Korpuslinguistik? Wozu braucht man Korpora? Kurze Geschichte der Korpuslinguistik Korpuserstellung - Kriterien 3 Baumbanken Baumbanken fürs Deutsche Suche in Baumbanken 4 Zusammenfassung 5 Referenzen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
49 Kriterien für die Korpuserstellung Fragestellung Welche Texte/Textsorten? Wieviele Daten? Balanciert vs. spezialisiert vs. opportunistisch? Was wird annotiert? Annotationsschema? Feinkörnigkeit der Annotation - oft Kompromiss zwischen Detailgenauigkeit und Konsistenz Konsistenz der Annotation (Inter-Annotator Agreement) Dokumentation: Was wurde wie annotiert? Originaltext muss wieder reproduzierbar sein Welche Meta-Daten? (AutorIn, Herkunft, Erstellungsdatum, Geschlecht, Alter, soziale Klasse,...) Welche Fragen kann ich mit meinem Korpus beantworten? Wie kann ich mein Korpus durchsuchen? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
50 Kriterien für die Korpuserstellung Fragestellung Welche Texte/Textsorten? Wieviele Daten? Balanciert vs. spezialisiert vs. opportunistisch? Was wird annotiert? Annotationsschema? Feinkörnigkeit der Annotation - oft Kompromiss zwischen Detailgenauigkeit und Konsistenz Konsistenz der Annotation (Inter-Annotator Agreement) Dokumentation: Was wurde wie annotiert? Originaltext muss wieder reproduzierbar sein Welche Meta-Daten? (AutorIn, Herkunft, Erstellungsdatum, Geschlecht, Alter, soziale Klasse,...) Welche Fragen kann ich mit meinem Korpus beantworten? Wie kann ich mein Korpus durchsuchen? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
51 Exkurs: Repräsentativität Wir wollen repräsentative Korpora Was bedeutet repräsentativ? Korpusdaten sollen typisch sein für die Grundgesamtheit, die der Forschungsfrage zugrunde liegt Was wäre eine repräsentative Stichprobe für Studien zum Thema: Sprachgebrauch der Deutschen Verwendung von technischen Begriffen in der DDR Unterschiede im Sprachgebrauch in der DDR/BRD Sprache von Jugendlichen in Webblogs Sprachwandelprozesse der letzten 100 Jahre Ein Korpus kann repräsentativ sein im Hinblick auf eine bestimmte Fragestellung, und gleichzeitig nicht repräsentativ für eine andere Fragestellung (z.b. Goethes Gesamtausgabe erlaubt Aussagen über Goethe, nicht über gesamte deutsche Literatur) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
52 Exkurs: Repräsentativität Wir wollen repräsentative Korpora Was bedeutet repräsentativ? Korpusdaten sollen typisch sein für die Grundgesamtheit, die der Forschungsfrage zugrunde liegt Was wäre eine repräsentative Stichprobe für Studien zum Thema: Sprachgebrauch der Deutschen Verwendung von technischen Begriffen in der DDR Unterschiede im Sprachgebrauch in der DDR/BRD Sprache von Jugendlichen in Webblogs Sprachwandelprozesse der letzten 100 Jahre Ein Korpus kann repräsentativ sein im Hinblick auf eine bestimmte Fragestellung, und gleichzeitig nicht repräsentativ für eine andere Fragestellung (z.b. Goethes Gesamtausgabe erlaubt Aussagen über Goethe, nicht über gesamte deutsche Literatur) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
53 Exkurs: Repräsentativität Wir wollen repräsentative Korpora Was bedeutet repräsentativ? Korpusdaten sollen typisch sein für die Grundgesamtheit, die der Forschungsfrage zugrunde liegt Was wäre eine repräsentative Stichprobe für Studien zum Thema: Sprachgebrauch der Deutschen Verwendung von technischen Begriffen in der DDR Unterschiede im Sprachgebrauch in der DDR/BRD Sprache von Jugendlichen in Webblogs Sprachwandelprozesse der letzten 100 Jahre Ein Korpus kann repräsentativ sein im Hinblick auf eine bestimmte Fragestellung, und gleichzeitig nicht repräsentativ für eine andere Fragestellung (z.b. Goethes Gesamtausgabe erlaubt Aussagen über Goethe, nicht über gesamte deutsche Literatur) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
54 Exkurs: Repräsentativität Wir wollen repräsentative Korpora Was bedeutet repräsentativ? Korpusdaten sollen typisch sein für die Grundgesamtheit, die der Forschungsfrage zugrunde liegt Was wäre eine repräsentative Stichprobe für Studien zum Thema: Sprachgebrauch der Deutschen Verwendung von technischen Begriffen in der DDR Unterschiede im Sprachgebrauch in der DDR/BRD Sprache von Jugendlichen in Webblogs Sprachwandelprozesse der letzten 100 Jahre Ein Korpus kann repräsentativ sein im Hinblick auf eine bestimmte Fragestellung, und gleichzeitig nicht repräsentativ für eine andere Fragestellung (z.b. Goethes Gesamtausgabe erlaubt Aussagen über Goethe, nicht über gesamte deutsche Literatur) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
55 Korpuserstellung - Vorverarbeitung Roher Text Was gibt s in New York zu sehen? Satzendeerkennung Probleme mit Datumsangaben, Uhrzeit (7.00 Uhr), Abkürzungen, URLs,... Tokenisierung (Zerteilung in kleinste Einheiten, Abtrennung von Satzzeichen) Was gibt s in New York zu sehen? Fragen: Wie soll gibt s getrennt werden? New York ein oder zwei Token? Und Komposita? (z.b. E.coli-Bakterien) Lemmatisierung was geben es in New York zu sehen? Part-Of-Speech (POS) Tagging (Stuttgart-Tübingen-Tag-Set) Was/PWS gibt/vvfin s/pper in/appr New/NE York/NE zu/ptkzu sehen/vvinf? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
56 Korpuserstellung - Vorverarbeitung Roher Text Was gibt s in New York zu sehen? Satzendeerkennung Probleme mit Datumsangaben, Uhrzeit (7.00 Uhr), Abkürzungen, URLs,... Tokenisierung (Zerteilung in kleinste Einheiten, Abtrennung von Satzzeichen) Was gibt s in New York zu sehen? Fragen: Wie soll gibt s getrennt werden? New York ein oder zwei Token? Und Komposita? (z.b. E.coli-Bakterien) Lemmatisierung was geben es in New York zu sehen? Part-Of-Speech (POS) Tagging (Stuttgart-Tübingen-Tag-Set) Was/PWS gibt/vvfin s/pper in/appr New/NE York/NE zu/ptkzu sehen/vvinf? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
57 Korpuserstellung - Vorverarbeitung Roher Text Was gibt s in New York zu sehen? Satzendeerkennung Probleme mit Datumsangaben, Uhrzeit (7.00 Uhr), Abkürzungen, URLs,... Tokenisierung (Zerteilung in kleinste Einheiten, Abtrennung von Satzzeichen) Was gibt s in New York zu sehen? Fragen: Wie soll gibt s getrennt werden? New York ein oder zwei Token? Und Komposita? (z.b. E.coli-Bakterien) Lemmatisierung was geben es in New York zu sehen? Part-Of-Speech (POS) Tagging (Stuttgart-Tübingen-Tag-Set) Was/PWS gibt/vvfin s/pper in/appr New/NE York/NE zu/ptkzu sehen/vvinf? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
58 Korpuserstellung - Vorverarbeitung Roher Text Was gibt s in New York zu sehen? Satzendeerkennung Probleme mit Datumsangaben, Uhrzeit (7.00 Uhr), Abkürzungen, URLs,... Tokenisierung (Zerteilung in kleinste Einheiten, Abtrennung von Satzzeichen) Was gibt s in New York zu sehen? Fragen: Wie soll gibt s getrennt werden? New York ein oder zwei Token? Und Komposita? (z.b. E.coli-Bakterien) Lemmatisierung was geben es in New York zu sehen? Part-Of-Speech (POS) Tagging (Stuttgart-Tübingen-Tag-Set) Was/PWS gibt/vvfin s/pper in/appr New/NE York/NE zu/ptkzu sehen/vvinf? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
59 Korpuserstellung - Vorverarbeitung Roher Text Was gibt s in New York zu sehen? Satzendeerkennung Probleme mit Datumsangaben, Uhrzeit (7.00 Uhr), Abkürzungen, URLs,... Tokenisierung (Zerteilung in kleinste Einheiten, Abtrennung von Satzzeichen) Was gibt s in New York zu sehen? Fragen: Wie soll gibt s getrennt werden? New York ein oder zwei Token? Und Komposita? (z.b. E.coli-Bakterien) Lemmatisierung was geben es in New York zu sehen? Part-Of-Speech (POS) Tagging (Stuttgart-Tübingen-Tag-Set) Was/PWS gibt/vvfin s/pper in/appr New/NE York/NE zu/ptkzu sehen/vvinf? Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
60 Outline 1 Wo kommen die linguistischen Daten her? 2 Korpuslinguistik Was macht die Korpuslinguistik? Wozu braucht man Korpora? Kurze Geschichte der Korpuslinguistik Korpuserstellung - Kriterien 3 Baumbanken Baumbanken fürs Deutsche Suche in Baumbanken 4 Zusammenfassung 5 Referenzen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
61 Was sind und wofür braucht man Baumbanken? Baumbanken sind Korpora mit syntaktischen Annotationen (über Part-of-Speech Ebene hinausgehend) Syntax-Bäume a la Chomsky (Konstituenten) oder Dependenzen manuell erstellt oder automatisch erstellt und manuell korrigiert Baumbanken werden gebraucht zur Untersuchung linguistischer Phänomene Überprüfung linguistischer Theorien Ressourcen zum Training von Methoden des Maschinellen Lernens/ für die Entwicklung von Sprachtechnologien: Training und Evaluation von Parsern Ressourcen für Maschinelle Übersetzung (Parallele Baumbanken) Extraktion von Subkategorisierungsrahmen für die Erstellung von Lexika... Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
62 Baumbanken: Die Penn Treebank Penn Treebank (Englisch, ) Phase I ( ) Wall Street Journal ( Sätze, 1 Mio. Worte) Zusätzlich: geparste Version des Brown Korpus (1 Mio. Worte), Automatisch getagged (POS) Manuell annotiert mit Phrasen-Struktur (skeletal parse) Phase II ( ) (SBARQ (WHNP Who) (SQ (NP T) will (VP come (PP to (NP the party))))?) Anreicherung mit tiefen linguistischen Informationen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
63 Digitale Korpora / Baumbanken - Zwischenfazit Erste digitale Korpora seit Mitte 60er, erste syntaktisch annotierte digitale Korpora seit Anfang 80er Wichtige Hilfsmittel für linguistische Forschung: Überprüfung linguistischer Theorien Echte Daten als Ergänzung für Introspektion Penn Treebank als erstes großes, syntaktisch annotiertes Korpus ermöglicht neue Herangehensweisen in NLP, probabilistische Methoden gewinnen an Bedeutung Tiefe linguistische Annotation der Penn-II Treebank erhöht die Nützlichkeit der Baumbank Bedeutung von linguistisch annotierten Korpora wächst, Erstellung von Korpora für andere Sprachen, Ausweitung der Annotation (Syntax, Semantik, Named Entities, Diskursstruktur,...) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
64 Baumbanken - Zwischenfazit Baumbanken sind syntaktisch annotierte Korpora Konstituenten versus Dependenzen Penn Treebank (Wall Street Journal, Konstituenten) Prague Dependency Bank (Dependenzen) hybride Baumbanken (z.b. die deutsche TiGer Baumbank) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
65 Beispielbaum - TIGER Treebank Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
66 General Bracketing Format ( ) (S (PDS-SB Die) (VAFIN-HD sind) (PP-MO (APPRART-AC beim) (NN-NK Postministerium) ) (ADJD-PD vorhanden) ) ($..) Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
67 General Bracketing Format ( ) (S (PDS-SB Die) (VAFIN-HD sind) (PP-MO (APPRART-AC beim) (NN-NK Postministerium) ) (ADJD-PD vorhanden) ) ($..) Nichtterminale Knoten: S, VP, NP, PP,... Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
68 General Bracketing Format ( ) (S (PDS-SB Die) (VAFIN-HD sind) (PP-MO (APPRART-AC beim) (NN-NK Postministerium) ) (ADJD-PD vorhanden) ) ($..) Nichtterminale Knoten: S, VP, NP, PP,... Terminale Knoten: Die, sind, beim,... Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
69 General Bracketing Format ( ) (S (PDS-SB Die) (VAFIN-HD sind) (PP-MO (APPRART-AC beim) (NN-NK Postministerium) ) (ADJD-PD vorhanden) ) ($..) Nichtterminale Knoten: S, VP, NP, PP,... Terminale Knoten: Die, sind, beim,... Part-of-Speech (POS) Tags: PDS, VAFIN, APPRART, NN,... Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
70 General Bracketing Format ( ) (S (PDS-SB Die) (VAFIN-HD sind) (PP-MO (APPRART-AC beim) (NN-NK Postministerium) ) (ADJD-PD vorhanden) ) ($..) Nichtterminale Knoten: S, VP, NP, PP,... Terminale Knoten: Die, sind, beim,... Part-of-Speech (POS) Tags: PDS, VAFIN, APPRART, NN,... Grammatikalische Funktionen: SB, HD, OA, DA, AG,... Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
71 TiGerSearch Graphisches User-Interface zur Suche in syntaktisch annotierten Korpora User Manual: html.html Kurze Einführung in TiGerSearch: dgs/tiger1-intro.pdf Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
72 TiGerSearch Wort-Suche Lemma-Suche Morphologie Kombinationen ein syntaktischer Knoten mit der Kategorie PP (Präpositionalphrase) ein Artikel, direkt gefolgt von einem Nomen [word= Fledermaus ] [lemma= Politiker ] [morph= 1.Dat.Sg.Fem ] [morph=( Gen.Sg.Fem Gen.Sg.Masc )] [lemma= Politiker & morph=( Gen.Sg.Fem Gen.Sg.Masc )] #pp:[cat= PP ] [pos= ART ]. [pos= NN ] Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
73 TiGerSearch Wort-Suche Lemma-Suche Morphologie Kombinationen ein syntaktischer Knoten mit der Kategorie PP (Präpositionalphrase) ein Artikel, direkt gefolgt von einem Nomen [word= Fledermaus ] [lemma= Politiker ] [morph= 1.Dat.Sg.Fem ] [morph=( Gen.Sg.Fem Gen.Sg.Masc )] [lemma= Politiker & morph=( Gen.Sg.Fem Gen.Sg.Masc )] #pp:[cat= PP ] [pos= ART ]. [pos= NN ] Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
74 TiGerSearch Wort-Suche Lemma-Suche Morphologie Kombinationen ein syntaktischer Knoten mit der Kategorie PP (Präpositionalphrase) ein Artikel, direkt gefolgt von einem Nomen [word= Fledermaus ] [lemma= Politiker ] [morph= 1.Dat.Sg.Fem ] [morph=( Gen.Sg.Fem Gen.Sg.Masc )] [lemma= Politiker & morph=( Gen.Sg.Fem Gen.Sg.Masc )] #pp:[cat= PP ] [pos= ART ]. [pos= NN ] Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
75 TiGerSearch Wort-Suche Lemma-Suche Morphologie Kombinationen ein syntaktischer Knoten mit der Kategorie PP (Präpositionalphrase) ein Artikel, direkt gefolgt von einem Nomen [word= Fledermaus ] [lemma= Politiker ] [morph= 1.Dat.Sg.Fem ] [morph=( Gen.Sg.Fem Gen.Sg.Masc )] [lemma= Politiker & morph=( Gen.Sg.Fem Gen.Sg.Masc )] #pp:[cat= PP ] [pos= ART ]. [pos= NN ] Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
76 TiGerSearch Wort-Suche Lemma-Suche Morphologie Kombinationen ein syntaktischer Knoten mit der Kategorie PP (Präpositionalphrase) ein Artikel, direkt gefolgt von einem Nomen [word= Fledermaus ] [lemma= Politiker ] [morph= 1.Dat.Sg.Fem ] [morph=( Gen.Sg.Fem Gen.Sg.Masc )] [lemma= Politiker & morph=( Gen.Sg.Fem Gen.Sg.Masc )] #pp:[cat= PP ] [pos= ART ]. [pos= NN ] Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
77 TiGerSearch Wort-Suche Lemma-Suche Morphologie Kombinationen ein syntaktischer Knoten mit der Kategorie PP (Präpositionalphrase) ein Artikel, direkt gefolgt von einem Nomen [word= Fledermaus ] [lemma= Politiker ] [morph= 1.Dat.Sg.Fem ] [morph=( Gen.Sg.Fem Gen.Sg.Masc )] [lemma= Politiker & morph=( Gen.Sg.Fem Gen.Sg.Masc )] #pp:[cat= PP ] [pos= ART ]. [pos= NN ] Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
78 TiGerSearch Wort-Suche Lemma-Suche Morphologie Kombinationen ein syntaktischer Knoten mit der Kategorie PP (Präpositionalphrase) ein Artikel, direkt gefolgt von einem Nomen [word= Fledermaus ] [lemma= Politiker ] [morph= 1.Dat.Sg.Fem ] [morph=( Gen.Sg.Fem Gen.Sg.Masc )] [lemma= Politiker & morph=( Gen.Sg.Fem Gen.Sg.Masc )] #pp:[cat= PP ] [pos= ART ]. [pos= NN ] Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
79 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
80 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
81 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
82 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
83 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
84 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
85 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
86 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
87 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
88 TiGerSearch (2) Boolsche Operatoren & und oder! nicht Reguläre Ausdrücke [word=/.*tier/]. irgendein beliebiges Zeichen.* kein oder beliebig viele Zeichen [a-e] a, b, c, d, e [ˆa-e] alle Zeichen außer a, b, c, d, e (maus hund) Zeichenfolge maus oder hund (ab)* kein oder beliebig viele Folgen von ab, abab, ababab (ab)+ mindestens ein oder beliebig viele ab (ab)? kein oder ein ab Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
89 Zusammenfassung - Korpuslinguistik Korpuslinguistik beschäftigt sich mit dem Aufbau, der Auszeichnung und der Auswertung von Korpora Korpora sind Sammlungen von linguistischen Daten (geschriebene/gesprochene Sprache, multimodal) meist mit Metadaten und linguistischer Annotation Korpora werden benutzt zur Beantwortung linguistischer Fragestellungen (Phonologie, Morphologie, Syntax, historische Linguistik, Soziolinguistik,...) als Trainingsdaten für statistische Systeme zur Evaluation von statistischen Systemen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
90 Zusammenfassung - Korpuslinguistik Korpuslinguistik beschäftigt sich mit dem Aufbau, der Auszeichnung und der Auswertung von Korpora Korpora sind Sammlungen von linguistischen Daten (geschriebene/gesprochene Sprache, multimodal) meist mit Metadaten und linguistischer Annotation Korpora werden benutzt zur Beantwortung linguistischer Fragestellungen (Phonologie, Morphologie, Syntax, historische Linguistik, Soziolinguistik,...) als Trainingsdaten für statistische Systeme zur Evaluation von statistischen Systemen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
91 Zusammenfassung - Korpuslinguistik Korpuslinguistik beschäftigt sich mit dem Aufbau, der Auszeichnung und der Auswertung von Korpora Korpora sind Sammlungen von linguistischen Daten (geschriebene/gesprochene Sprache, multimodal) meist mit Metadaten und linguistischer Annotation Korpora werden benutzt zur Beantwortung linguistischer Fragestellungen (Phonologie, Morphologie, Syntax, historische Linguistik, Soziolinguistik,...) als Trainingsdaten für statistische Systeme zur Evaluation von statistischen Systemen Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
92 Referenzen I Korpuslinguistik Viele der hier gezeigten Folien basieren auf Lehrmaterial von Anke Lüdeling: Korpora Graeme Kennedy An Introduction to Corpus Linguistics. Longman. Corpus Linguistics. Tony McEnery and Andrew Wilson. Edinburgh Textbooks in Empirical Linguistics. Stefan Müller Complex NPs, Subjacency, and Extraposition. Snippets 8, pages stefan/pub/subjacency.html Stefan Müller and Walt Detmar Meurers Corpus Evidence for Syntactic Structures and Requirements for Annotations of Tree Banks. Proceedings of the Int. Conference on Linguistic Evidence. Tübingen, Germany. Alexander Geyken, Alexej Sokirko, Ines Rehbein and Christiane Fellbaum What is the Optimal Corpus Size for the Study of Idioms? Paper delivered at the Annual Meeting of the German Linguistic Society, Mainz, Germany. Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
93 Referenzen II Baumbanken Penn Treebank: treebank Susanne: NEGRA: Skut, Wojciech, Brigitte Krann, Thorsten Brants, and Hans Uszkoreit An annotation scheme for free word order languages. In Proceedings of ANLP 1997, Washington, D.C. TIGER: Brants, Sabine, and Silvia Hansen Developments in the TIGER Annotation Scheme and their Realization in the Corpus. In Proceedings of the Third Conference on Language Resources and Evaluation (LREC 2002) pp Las Palmas. Dipper, S., T. Brants, W. Lezius, O. Plaehn, and G. Smith The TIGER Treebank. In Third Workshop on Linguistically Interpreted Corpora LINC-2001, Leuven, Belgium. TüBa-D/Z: Telljohann, Heike, Erhard W. Hinrichs, Sandra Kübler, and Heike Zinsmeister Stylebook for the Tübingen Treebank of Written German (TüBa-D/Z). Seminar für Sprachwissenschaft, Universität Tübingen, Germany. POS-Tagging Schiller, Anne, Simone Teufel, and Christine Thielen Guidelines für das Tagging deutscher Textcorpora mit STTS. Technical Report, IMS-CL, University Stuttgart, Ines Rehbein (WS 09/10) VL Computerlinguistik Oktober / 48
Proseminar Linguistische Annotation
Proseminar Linguistische Annotation Ines Rehbein und Josef Ruppenhofer SS 2010 Ines Rehbein und Josef Ruppenhofer (SS10) Linguistische Annotation April 2010 1 / 22 Seminarplan I. Linguistische Annotation
Korpus. Was ist ein Korpus?
Was ist ein Korpus? Korpus Endliche Menge von konkreten sprachlichen Äußerungen, die als empirische Grundlage für sprachwiss. Untersuchungen dienen. Stellenwert und Beschaffenheit des Korpus hängen weitgehend
Einführung in die Korpuslinguistik
Einführung in die Korpuslinguistik SE: Quantitative Analyse linguistischer Variation Dozentin: Ines Rehbein 24.10.2012 Linguistische Variation (Ines Rehbein) Korpuslinguistik WS 2012/13 1 / 31 Überblick
Grammatiken und linguistische Evidenz
Grammatiken und linguistische Evidenz SE: Quantitative Analyse linguistischer Variation Dozentin: Ines Rehbein 14.11.2012 Linguistische Variation (Ines Rehbein) WS 2012/13 1 / 28 Heutige Sitzung I. Zusammenfassung
Computerlinguistische Grundlagen. Jürgen Hermes Sommersemester 17 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln
Computerlinguistische Grundlagen Jürgen Hermes Sommersemester 17 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Computerlinguistik: Schnittstellen Computerlinguistik aus
Proseminar Linguistische Annotation
Proseminar Linguistische Annotation Ines Rehbein und Josef Ruppenhofer SS 2010 Ines Rehbein und Josef Ruppenhofer (SS10) Linguistische Annotation April 2010 1 / 51 Überblick über verschiedene Arten linguistischer
Wiederholung: Forschungsfragen und Korpusdaten. GK C: Einführung in die Korpuslinguistik. Wiederholung: Forschungsfragen und Korpusdaten
GK C: Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2003 Wiederholung: Forschungsfragen und Korpusdaten Korpusdaten können benutzt werden um zu entscheiden,
Einführung. Stefanie Dipper Stefan Evert Heike Zinsmeister
Einführung Stefanie Dipper Stefan Evert Heike Zinsmeister München, 28.1.2011 Korpus eine Sammlung gesprochener oder geschriebener Äußerungen typischerweise digitalisiert und maschinenlesbar Ebenen eines
Korpora. Referenten Duyen Tao-Pham Nedyalko Georgiev
Korpora Referenten Duyen Tao-Pham Nedyalko Georgiev Hauptseminar: Angewandte Linguistische Datenverarbeitung (WS 11/12) Dozent: Prof. Dr. Jürgen Rolshoven Sprachliche Informationsverarbeitung Universität
Einleitung. Definitionen von Korpuslinguistik und das Repräsentativitätsmerkmal
Definitionen von Korpuslinguistik und das Repräsentativitätsmerkmal Einleitung 1. Einleitung 2. Definitionen von Korpuslinguistik 2.1 Entstehung 2.1.1 : korpusbasiert vs. korpusgestützt 2.1.2 Generative
Erweiterung des STTS für gesprochene Sprache
Erweiterung des STTS für gesprochene Sprache Ines Rehbein, Sören Schalowski und Heike Wiese Institut für Deutsche Sprache SFB 632 Informationsstruktur Universität Potsdam STTS Workshop am IMS Stuttgart
Inhalt und Typen von Korpora. Welche Sprachinhalte können Korpora haben und welche Arten von Korpora gibt es
Inhalt und Typen von Korpora Welche Sprachinhalte können Korpora haben und welche Arten von Korpora gibt es Inhalt von Korpora Korpora können die verschiedensten Texte in den unterschiedlichsten Zusammensetzungen
Korpuslinguistik. Vorlesungsreihe»Methoden der Linguistik«(WS 2004/05) Universität Zürich, Korpuslinguistik. Jürgen Spitzmüller.
Vorlesungsreihe»Methoden der Linguistik«(WS 2004/05) Universität Zürich, 7.12.2004 1. Teil: Theorie Grundlegende theoretische Fragestellungen: Was sind überhaupt Korpora? Wozu Korpora? Was sollen Korpora
LAUDATIO - Eine Infrastruktur zur linguistischen Analyse historischer Korpora
LAUDATIO - Eine Infrastruktur zur linguistischen Analyse historischer Korpora Carolin Odebrecht, Humboldt-Universität zu Berlin Florian Zipser, Humboldt-Universität zu Berlin, INRIA Historische Textkorpora
NLP Eigenschaften von Text
NLP Eigenschaften von Text Dr. Andreas Hotho Dominik Benz Beate Krause Sommersemester 2008 Folie: 1 Übersicht Einführung Eigenschaften von Text Words I: Satzgrenzenerkennung, Tokenization, Kollokationen
xii Inhaltsverzeichnis Generalisierung Typisierte Merkmalsstrukturen Literaturhinweis
Inhaltsverzeichnis 1 Computerlinguistik Was ist das? 1 1.1 Aspekte der Computerlinguistik.................. 1 1.1.1 Computerlinguistik: Die Wissenschaft........... 2 1.1.2 Computerlinguistik und ihre Nachbardisziplinen.....
Sprachliche Ressourcen I - Korpora - Hauptseminar Sprachtechnologie Referentin am : Stefanie Grabbe
Sprachliche Ressourcen I - Korpora - Hauptseminar Sprachtechnologie Referentin am 15.5.2002: Stefanie Grabbe Institut für Angewandte Informationswissenschaft Definitionen Korpus das, 1. Belegsammlung von
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl max.bleu@i6.informatik.rwth-aachen.de 5. Mai 2017 Human Language Technology and Pattern Recognition Lehrstuhl
Was ist ein Korpus. Zitat aus: Carstensen et al. Computerlinguistik und Sprachtechnologie: Eine Einführung. Kap. 4.2, Textkorpora
Was ist ein Korpus Korpora sind Sammlungen linguistisch aufbereitete(r) Texte in geschriebener oder gesprochener Sprache, die elektronisch gespeichert vorliegen. Zitat aus: Carstensen et al. Computerlinguistik
Sprachtechnologie als Grundlage für die maschinelle Auswertung von Texten
Sprachtechnologie als Grundlage für die maschinelle Auswertung von Texten Dr-Ing Michael Piotrowski Leibniz-Institut für Europäische Geschichte @true_mxp Bamberg, 20 November 2015
Inhaltsverzeichnis. Bibliografische Informationen digitalisiert durch
Inhaltsverzeichnis 1 Computerlinguistik - Was ist das? 1 1.1 Aspekte der Computerlinguistik 1 1.1.1 Computer linguistik: Die Wissenschaft 2 1.1.2 Computerlinguistik und ihre Nachbardisziplinen 3 1.1.3
Überblick. VL: Einführung in die Korpuslinguistik. Annotation. Tokenbasierte Annotation
Überblick VL: Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2004 kurze Wiederholung syntaktische phonetische/phonologische Tokenbasierte pos-tagging & Lemmatisierung
Computerlinguistische Grundlagen. Jürgen Hermes Wintersemester 17/18 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln
Computerlinguistische Grundlagen Jürgen Hermes Wintersemester 17/18 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Was ist Computerlinguistik? Definition Anwendungen Fragestellung
Swantje Westpfahl & Thomas Schmidt POS für(s) FOLK
Swantje Westpfahl & Thomas Schmidt POS für(s) FOLK Problemanalyse des POS- Taggings für spontansprachliche Daten anhand des Forschungsund Lehrkorpus Gesprochenes Deutsch 2 FOLK Forschungs- und Lehrkorpus
Lemmatisierung. Einführung in die Korpuslinguistik. Lemmatisierung und Wortarttagging. Lemmatisierung. zum Erinnern... zum Erinnern...
Lemmatisierung Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2007 zum Lemmatisieren braucht man also ein Lexikon, in dem die Lemmata mit ihrer Flexionsklasse
Blockseminar Einführung in die Korpuslinguistik Seminarleitung: Yvonne Krämer, M.A. Das Korpus. und seine Aufbereitung
Blockseminar Einführung in die Korpuslinguistik Seminarleitung: Yvonne Krämer, M.A. Das Korpus und seine Aufbereitung Bestandteile eines Korpus sind i.d.r.: Primärdaten Metadaten Annotationen Annotationen
AVS - M 01. Allgemeine und Vergleichende Sprachwissenschaft/ Verantwortlich:
AVS - M 01 1. Name des Moduls: Basismodul I: Grundlagen und Methoden der AVS Allgemeine und Vergleichende Sprachwissenschaft/ 3. Inhalte / Lehrziele Die Studierenden werden in diesem Basismodul vertraut
Gliederung. Das TIGER-Korpus: Annotation und Exploration. TIGER-Korpus. 1. TIGER-Korpus. entstanden im Projekt TIGER (1999 heute) beteiligte Institute
Das TIGER-Korpus: Annotation und Exploration Stefanie Dipper Forschungskolloquium Korpuslinguistik, 11.11.03 Gliederung 1. TIGER-Korpus 2. Annotation 3. Visualisierung 4. Suche, Retrieval 5. Demo 6. Repräsentation
Tagger for German. Online BRILL-Tagger für das Deutsche
Tagger for German Online BRILL-Tagger für das Deutsche Morphologie V/Ü, Anke Holler Uni Heidelberg, SS2007 Nataliya Mytyay Éva Mújdricza 19.07.2007 Designed by: Dóra Dobos Tagger for German Eric Brill
Deutsche Lernerwortarten im Falko Lernerkorpus Was Mehrebenen-POS-tags leisten können
Deutsche Lernerwortarten im Falko Lernerkorpus Was Mehrebenen-POS-tags leisten können Marc Reznicek Humboldt-Universität zu Berlin STTS- Workshop 24.9.2012 Überblick STTS in Lernerkorpora Lernerfehler
Einführung Computerlinguistik. Konstituentensyntax II
Einführung Computerlinguistik Konstituentensyntax II Hinrich Schütze & Robert Zangenfeind Centrum für Informations- und Sprachverarbeitung, LMU München 2013-11-18 1 / 31 Take-away Phrasenstrukturgrammatik:
Computerlinguistik und Sprachtechnologie
Computerlinguistik und Sprachtechnologie Eine Einführung 2., überarbeitete und erweiterte Auflage Herausgegeben von: Kai-Uwe Carstensen, Christian Ebert, Cornelia Endriss, Susanne Jekat, Ralf Klabunde
Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov. 2008 [Folie 1] DWDS-Kernkorpus / DWDS corpus analysis
![Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov. 2008 [Folie 1] DWDS-Kernkorpus / DWDS corpus analysis](/thumbs/25/6525885.jpg "Stefan Engelberg (IDS Mannheim), Workshop Corpora in Lexical Research, Bucharest, Nov. 2008 [Folie 1] DWDS-Kernkorpus / DWDS corpus analysis")
Content 1. Empirical linguistics 2. Text corpora and corpus linguistics 3. Concordances 4. Application I: The German progressive 5. Part-of-speech tagging 6. Fequency analysis 7. Application II: Compounds
Linguistische Daten. Hauptseminar: Einführung in die Korpuslinguistik. Linguistische Daten. Introspektion. Psycholinguistische Experimente
Hauptseminar: Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Wintersemester 2002/2003 Introspektion Die Linguistin sitzt im Lehnstuhl und beurteilt Sprachdaten (arm-chair
Themen. GK C: Einführung in die Korpuslinguistik. Vorverarbeitung. Tokenisierung. Tokenisierung. Aber. Vorverarbeitung
GK C: Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2003 Themen Vorverarbeitung Tokenisieren Taggen Lemmatisieren Vorverarbeitung auf allen Vorverarbeitungsebenen
Kontextfreie Grammatiken
Kontextfreie Grammatiken Vorlesung Computerlinguistische Techniken Alexander Koller 16. Oktober 2015 Übersicht Worum geht es in dieser Vorlesung? Übungen und Abschlussprojekt Kontextfreie Grammatiken Computerlinguistische
Statistische Verfahren in der Computerlinguistik
Statistische Verfahren in der Computerlinguistik Zweiter Teil Einführung in die Computerlinguistik Sommersemester 2009 Übersicht Statistische vs. symbolische Verfahren in der CL Statistik beschreibende
Aux Flip in German: A Walk in the Woods
Aux Flip in German: A Walk in the Woods Erhard Hinrichs 1, Kathrin Beck 1, and Tsuneko Nakazawa 2 1 Seminar für Sprachwissenschaft Eberhard Karls Universität Tübingen 2 University of Tokyo Aux Flip in
Linguistische Grundlagen. Warum Tagging? Klassische Wortartenlehre Tagsets Annotation höherer Ebenen Design von Tagsets
Linguistische Grundlagen Warum Tagging? Klassische Wortartenlehre Tagsets Annotation höherer Ebenen Design von Tagsets Warum Tagging? Abfragbarkeit linguistischer Information Generalisierbarkeit von Abfragen
Ivana Daskalovska. Willkommen zur Übung Einführung in die Computerlinguistik. Sarah Bosch,
Ivana Daskalovska Willkommen zur Übung Einführung in die Computerlinguistik Kontakt: ivana.bt.mk@gmail.com Betreff: EICL Wiederholung Aufgabe 1 Was ist Computerlinguistik? 4 Was ist Computerlinguistik?
Korpusannotation: Vom nachhaltigen Aufbereiten einer Ressource
Korpusannotation: Vom nachhaltigen Aufbereiten einer Ressource Kerstin Eckart 18. Februar 2013 Kerstin Eckart 1 / 45 Übersicht Konzepte und Beispiele Vorgehen beim Aufbereiten einer Ressource Entscheidungen
Daten Methoden Theorien Definitionen & Operationalisierungen
Operationale Verfahren Daten Methoden Theorien Definitionen & Operationalisierungen Das Überbrückungsproblem Hypothese Explizite Formulierung einer als wahr vermuteten, begründbaren Aussage über das Phänomen
Organisatorisches. VL: Einführung in die Korpuslinguistik. Wiederholung: linguistische Daten. Diskussion
Organisatorisches VL: Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2004 Mailingliste: Sie können sich auf der korpuslinguistik-vl@lists.hu-berlin.de eintragen
Was ist Statistik? Wozu dienen statistische Methoden?
25. APRIL 2002: BLATT 1 Übersicht Was ist Statistik? Wozu dienen statistische Methoden? Was ist maschinelle Sprachverarbeitung? Welche Rolle spielen statistische Methoden in verschiedenen Teilbereichen
Inhaltsverzeichnis. Vorwort 5
Inhaltsverzeichnis Vorwort 5 0 Einleitung 11 0.1 Ausgangspunkt und Fragestellung 11 0.2 Aufbau der Arbeit 16 Teill Theoretische Grundlagen 1 Anglizismen im Kontest von Entlehnung 21 1.1 Entlehnung 21 1.1.1
AVS-M Name des Moduls: Sprachtypologie und Universalienforschung
AVS-M 10 1. Name des Moduls: Sprachtypologie und Universalienforschung 2. Fachgebiet / Verantwortlich: Allgemeine und Vergleichende Sprachwissenschaft/ Prof. Dr. Johannes Helmbrecht 3. Inhalte des Moduls:
LAUDATIO - Eine Infrastruktur zur linguistischen Analyse historischer Korpora
LAUDATIO - Eine Infrastruktur zur linguistischen Analyse historischer Korpora Carolin Odebrecht, Humboldt-Universität zu Berlin Florian Zipser, Humboldt-Universität zu Berlin, INRIA Historische Textkorpora
Organisatorisches. VL: Einführung in die Korpuslinguistik. Was mach ich, wenn ich ein Korpus will? Korpuserstellung - Themen
Organisatorisches VL: Einführung in die Korpuslinguistik 05.05.: Vertretung durch Maik Walter: Der Lerner als Entdecker: Über den Umgang mit Daten in der Fremdsprachvermittlung Anke Lüdeling anke.luedeling@rz.hu-berlin.de
heute HS: Korpuslinguistische Beschreibung von Phänomenen des Deutschen Wissenschaftliches Arbeiten Wissenschaftliches Arbeiten
HS: Korpuslinguistische Beschreibung von Phänomenen des Deutschen Anke Lüdeling WS 2003/2004 http://www2.hu-berlin.de/korpling/lehre/ws-2003/hs-phaenomene-deutsch/ heute Besprechung des Semesterplans,
Auswahlbibliographie zum Studium der anglistischen Sprachwissenschaft
Helga Höhlein, Peter H. Marsden, Clausdirk Poliner Auswahlbibliographie zum Studium der anglistischen Sprachwissenschaft Mit Kommentaren Max Niemeyer Verlag Tübingen 1987 INHALT Seite Allgemeine Hilfsmittel.
Computerlinguistik und Sprachtechnologie
Computerlinguistik und Sprachtechnologie Eine Einführung Herausgegeben von: Kai-Uwe Carstensen, Christian Ebert, Cornelia Endriss, Susanne Jekat, Ralf Klabunde und Hagen Langer Spektrum Akademischer Verlag
Einführung in die Computerlinguistik
Mehrdeutigkeit der Wortart Einführung in die Computerlinguistik Statistische Modellierung und Evaluation WS 2008/2009 Manfred Pinkal Sie haben in Moskau liebe genossen Sie haben in Moskau liebe Genossen
Korpuslinguistik Annis 3 -Korpussuchtool Suchen in tief annotierten Korpora
Korpuslinguistik Annis 3 -Korpussuchtool Suchen in tief annotierten Korpora Anke Lüdeling, Marc Reznicek, Amir Zeldes, Hagen Hirschmann... und anderen Mitarbeitern der HU-Korpuslinguistik Ziele Wie/Was
Tagging von Online-Blogs
Tagging von Online-Blogs Gertrud Faaß (vertreten durch Josef Ruppenhofer) STTS tagset and tagging: special corpora 24. September 2012 Faaß MODEBLOGS 1 Korpuslinguistische studentische Projekte am IwiSt
Empirische Sozialforschung
Helmut Kromrey Empirische Sozialforschung Modelle und Methoden der standardisierten Datenerhebung und Datenauswertung 11., überarbeitete Auflage Lucius & Lucius Stuttgart Inhalt Vorbemerkung: Wozu Methoden
Eszter Mózes: Tony McEnery & Andrew Hardie: Corpus Linguistics. Method, Theory and Practice Argumentum 8 (2012), Debreceni Egyetemi Kiadó
92 Recenzió Eszter Mózes Tony McEnery & Andrew Hardie: Corpus Linguistics. Method, Theory and Practice * Cambridge: Cambridge University Press, 2012, 294 Seiten Das vorliegende Buch wurde im Rahmen der
TnT - Statistischer Part-of- Speech Tagger
TnT - Statistischer Part-of- Speech Tagger 2. Teil der Präsentation des TnT Taggers von Thorsten Brants Präsentation von Berenike Loos Gliederung 1. Installation und Beschreibung des Programms 2. Erläuterungen
Digital Humanities Recherche im DWDS und DTA
Digital Humanities Recherche im DWDS und DTA mit Booleschen Operatoren und Regulären Ausdrücken Jena Language & Information Engineering (JULIE) Lab Friedrich-Schiller-Universität Jena, Germany http://www.julielab.de
Sprachproduktion. Psycholinguistik (7/11; HS 2010/2011 Vilnius, den 26. Oktober 2010
Sprachproduktion Psycholinguistik (7/11; HS 2010/2011 Vilnius, den 26. Oktober 2010 Sprachliche Zentren im Gehirn SSSSensorische Funktionen Motorische Funktionen Sprachliche Zentren im Gehirn Generieren
Terminologie-Extraktion: Beispiel
Terminologie-Extraktion: Beispiel The major risks of long-term cardiotoxicity relate to treatment prior to the BMT, in particular, anthracyclines, ablative-dose Cytoxan (ie, dose > 150 mg/ kg), chest [radiation
Interdisziplinäre fachdidaktische Übung: Modelle für Sprachen in der Informatik. SS 2016: Grossmann, Jenko
Interdisziplinäre fachdidaktische Übung: Modelle für Sprachen in der SS 2016: Grossmann, Jenko Die Beschreibung orientiert sich am Begriffssystem der Beschreibung natürlicher Sprachen Sprache in der steht
Sprachressourcen in der Lehre: Erfahrungen aus der historischen Korpuslinguis7k
Arbeitsstelle Computerphilologie Sprachressourcen in der Lehre: Erfahrungen aus der historischen Korpuslinguis7k Cris%na Vertan cris%na.vertan@uni hamburg.de 18.01.2011 1 Überblick Das Kontext (Lehrangebot
Psycholinguistik. Definition: Psycholinguistik (synonym: Sprachpsychologie) erforscht das kognitive (mentale) System, das den Sprachgebrauch erlaubt.
Psycholinguistik Definition: Psycholinguistik (synonym: Sprachpsychologie) erforscht das kognitive (mentale) System, das den Sprachgebrauch erlaubt. Teilgebiete der Psycholinguistik Können danach klassifiziert
Wissenschaftstheorie und wissenschaftliches Arbeiten
BA KOMPAKT Wissenschaftstheorie und wissenschaftliches Arbeiten Eine Einführung für Wirtschaftswissenschaftler Bearbeitet von Dipl.-Kaufmann Martin Kornmeier 1. Auflage 2007. Buch. XIV, 225 S. Paperback
Überblick. GK C: Einführung in die Korpuslinguistik. Fragen. Sprachwandel/Sprachvariation. Fragen. NB: Register
GK C: Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2003 Überblick Registervariation multidimensionale Analyse Register quantitative Analyse Dimensionen:
Korpuslinguistik IDS-Korpora und COSMAS II
Korpuslinguistik IDS-Korpora und COSMAS II Heike Zinsmeister Korpuslinguistik 11. 11. 2011 Gliederung 1 Einleitung 2 Korpusbestand am IDS 3 Korpusrecherche mit COSMAS II 4 Referenzen Das Institut für Deutsche
Die Corpus Workbench und ihre Syntax. Blockseminar Einführung in die Korpuslinguistik Seminarleitung: Yvonne Krämer, M.A.
Die Corpus Workbench und ihre Syntax Blockseminar Einführung in die Korpuslinguistik Seminarleitung: Yvonne Krämer, M.A. Die IMS Open Corpus Workbench (CWB) Mächtige Konkordanz- und Korpusanalyse-Software
2 Sprachliche Einheiten
2 Sprachliche Einheiten Inhalt Semiotische Begriffe Wörter Wortbestandteile Wortzusammensetzungen Wortgruppen Text und Dialog Wort- und Satzbedeutung 2.1 Semiotische Begriffe Semiotische Begriffe Semiotik
Centrum für Informations- und Sprachverarbeitung. Dr. M. Hadersbeck, Digitale Editionen, BAdW München
# 1 Digitale Editionen und Auszeichnungssprachen Computerlinguistische FinderApps mit Facsimile-Reader Wittgenstein s Nachlass: WiTTFind Goethe s Faust: GoetheFind Hadersbeck M. et. al. Centrum für Informations-
Kollexem-Analyse. SE: Quantitative Analyse linguistischer Variation WS 2012/13. Germanistik
Kollexem-Analyse SE: Quantitative Analyse linguistischer Variation Germanistik WS 2012/13 WS 2012/13 1 / 14 Heutige Sitzung 1 Einführung: Quantitative syntaktische Analyse am Beispiel der Kollexem-Analyse
Empirische Sozialforschung
Helmut Kromrey Empirische Sozialforschung Modelle und Methoden der standardisierten Datenerhebung und Datenauswertung mit ausführlichen Annotationen aus der Perspektive qualitativ-interpretativer Methoden
"What's in the news? - or: why Angela Merkel is not significant
"What's in the news? - or: why Angela Merkel is not significant Andrej Rosenheinrich, Dr. Bernd Eickmann Forschung und Entwicklung, Unister GmbH, Leipzig UNISTER Seite 1 Unister Holding UNISTER Seite 2
Aufgabe. Erstellen eines kleinen Lernerkorpus exemplarisches Aufzeigen, wie Fehler sinnvoll klassifiziert und annotiert werden könnten
Aufgabe Erstellen eines kleinen Lernerkorpus exemplarisches Aufzeigen, wie Fehler sinnvoll klassifiziert und annotiert werden könnten Mitstreiterinnen: Elena Briskina, Julia Hantschel, Jenny Krüger, Stéphanie
Twitter als interaktive Erweiterung des Mediums Fernsehen: Inhaltliche Analyse von Tatort- Tweets
Twitter als interaktive Erweiterung des Mediums Fernsehen: Inhaltliche Analyse von Tatort- Tweets Manuel Burghardt 1, Heike Karsten 2, Melanie Pflamminger 2 und Christian Wolff 1 Lehrstuhl für Medieninformatik
8 Fakultät für Philologie
8 Fakultät für Philologie 8.1 Linguistik 8.1.1 Linguistik, PO 2004 Fach Linguistik (101) Abschluss 2-Fach Bachelor (81) PO-Version 2004 Folgendes ist zurzeit in HISPOS eingerichtet: Modul-Typen: o Nachgewiesene
Einführung Computerlinguistik. Was ist ein Wort?
Einführung Computerlinguistik Was ist ein Wort? Hinrich Schütze & Robert Zangenfeind Centrum für Informations- und Sprachverarbeitung, LMU München 2013-10-18 Schütze & Zangenfeind: Was ist ein Wort? 1
fsq Ein Abfragesystem für syntaktisch annotierte Baumbanken
fsq Ein Abfragesystem für syntaktisch annotierte Baumbanken SFB 441, Universität Tübingen Syntaktisch annotierte Baumbanken Ursprünglich: Morphosyntaktische Tags (POS) Anreicherung mit syntaktischen Informationen
Friedrich-Alexander-Universität Professur für Computerlinguistik. Nguyen Ai Huong
Part-of-Speech Tagging Friedrich-Alexander-Universität Professur für Computerlinguistik Nguyen Ai Huong 15.12.2011 Part-of-speech tagging Bestimmung von Wortform (part of speech) für jedes Wort in einem
Linguistische Aufbereitung. Stefanie Dipper Stefan Evert Heike Zinsmeister
Linguistische Aufbereitung Stefanie Dipper Stefan Evert Heike Zinsmeister München, 28.01.2011 Linguistische Aufbereitung Es war einmal eine kleine Hexe, die war erst einhundertsiebenundzwanzig Jahre alt,
AVS-M 01. b) verpflichtende Nachweise: Keine
AVS-M 01 1. Name des Moduls: Basismodul I: Grundlagen und Methoden der AVS 2. Fachgebiet / Verantwortlich: Allgemeine und Vergleichende Sprachwissenschaft/ Prof. Dr. Johannes Helmbrecht 3. Inhalte des
Organisatorisches. Einführung in die Korpuslinguistik. Organisatorisches. Organisatorisches: Schein. Korpuslinguistik. Linguistische Daten
Organisatorisches Einführung in die Korpuslinguistik Anke Lüdeling anke.luedeling@rz.hu-berlin.de Sommersemester 2005 Kontakt: anke.luedeling@rz.hu-berlin.de, 030-20939799 Webseite für Vorlesung http://www.linguistik.huberlin.de/korpuslinguistik/lehre/ss-2005/hskorpuslinguistik/index.php
de Gruyter Studienbuch Kognitive Grammatik Klassische Paradigmen und neue Perspektiven Bearbeitet von Wolfgang Wildgen
de Gruyter Studienbuch Kognitive Grammatik Klassische Paradigmen und neue Perspektiven Bearbeitet von Wolfgang Wildgen Reprint 2012 2008. Taschenbuch. VIII, 259 S. Paperback ISBN 978 3 11 019600 9 Format
Grundlagen und Definitionen
Grundlagen und Definitionen Wissensmanagement VO 340088 Bartholomäus Wloka https://www.adaptemy.com Maschinelle Sprachverarbeitung Breites Spektrum an Methoden der Computerverarbeitung von Sprache. Kann
KORPUSGESTEUERTE SYNTAXANALYSEN
Hagen Hirschmann hirschhx@hu-berlin.de KORPUSGESTEUERTE SYNTAXANALYSEN VON LERNERSPRACHE PRÄPOSITIONALOBJEKTE IM DAF ERWERB DGfS Jahrestagung 2013 Universität Potsdam Plan Präpositionalobjekte im DaF Daten
Bedeutung als Vektor? Überlegungen zur Distributionellen Semantik
Bedeutung als Vektor? Überlegungen zur Distributionellen Semantik Christine Engelmann Germanistische Sprachwissenschaft (Friedrich-Schiller-Universität Jena) 18.01.2013 Forschungsbereich innerhalb der
Wolfgang Wildgen. Kognitive Grammatik. Klassische Paradigmen und neue Perspektiven. Walter de Gruyter Berlin New York
Wolfgang Wildgen Kognitive Grammatik Klassische Paradigmen und neue Perspektiven wde G Walter de Gruyter Berlin New York Inhaltsverzeichnis Vorbemerkung und Danksagung 1 1. Sprache und Denken und die Stellung
Empirische Sozialforschung
Helmut Kromrey Empirische Sozialforschung Modelle und Methoden der Datenerhebung und Datenauswertung 8., durchgreifend überarbeitete und erweiterte Auflage Leske + Budrich, Opladen Inhalt Vorbemerkung:
Kurze literarische Texte in literaturwissenschaftlicher und linguistischer Perspektive. Lyrik seit den 1990er Jahren
Kurze literarische Texte in literaturwissenschaftlicher und linguistischer Perspektive Lyrik seit den 1990er Jahren Christine Hummel & Stefan Engelberg Institut für Deutsche Sprache, Mannheim Universität
Verständigungs- probleme
Verständigungs- probleme Anforderungen: Aktive Teilnahme Vorbereitung auf die Sitzung: Text lesen, Fragen notieren) Aufnahme eines Gesprächs und Transkription. Gesprächsdauer: 15 Minuten. Kooperation möglich
KL WS 03/04 - Anke Lüdeling. Gliederung. Polysemie. Systematische Polysemie
KL WS 03/04 - Anke Lüdeling Arbeitsgruppe Miniprojekt 1: Lexikalische Semantik Kann man systematische Polysemie kontextuell (automatisch) bestimmen? Anne Urbschat Ruprecht v.waldenfels Jana Drescher Emil
Aufbau des Experiments Reihung von Versuchsitems und Distraktoren
Reihung von Versuchsitems und Distraktoren Reihung von Versuchsitems und Distraktoren Hinweis D1 (Verhältnis Distraktoren:Versuchsitems): Es sollten Distraktoren eingebaut werden, im Falle von Sprecherbefragungen
Einführung in die Computerlinguistik Überblick
Einführung in die Computerlinguistik Überblick Hinrich Schütze & Robert Zangenfeind Centrum für Informations- und Sprachverarbeitung, LMU München 2015-10-12 Schütze & Zangenfeind: Überblick 1 / 19 Was
Daten Methoden Theorien Definitionen & Operationalisierungen
Definitionen Daten Methoden Theorien Definitionen & Operationalisierungen Eine Realdefinition legt fest, wie ein Ausdruck verwendet wird, indem sie die Beobachtungen, das Wissen, die Intuitionen, die wir
Vertiefung der Grundlagen der Computerlinguistik. Semesterüberblick und Einführung zur Dependenz. Robert Zangenfeind
Vertiefung der Grundlagen der Computerlinguistik Semesterüberblick und Einführung zur Dependenz Robert Zangenfeind Centrum für Informations- und Sprachverarbeitung, LMU München 17.10.2017 Zangenfeind:
Corpus-based language analysis in research and teaching:
Corpus-based language analysis in research and teaching: Experiences, requirements and perspectives Angelika Storrer Corpus-based research projects Bericht zur Lage der deutschen Sprache [report on the
Morphologieanalyse und Lexikonaufbau. G.Schneider, SS 2000 Page 1
Morphologieanalyse und Lexikonaufbau. G.Schneider, SS 2000 Page 1 Korpuslinguistik I Morphologieanalyse und Lexikonaufbau (8. Vorlesung) Dozent: Gerold Schneider Übersicht Was ist Korpuslinguistik? Anwendungen
Auxiliary Fronting in German: A Synchronic and Diachronic Corpus Study
Auxiliary Fronting in German: A Synchronic and Diachronic Corpus Study Erhard Hinrichs University of Tübingen The added value of RIs Research infrastructures should enable researchers to formulate entirely
Ich baue ein eigenes Korpus
Blockseminar Einführung in die Korpuslinguistik Seminarleitung: Yvonne Krämer, M.A. Ich baue ein eigenes Korpus Datengewinnung und aufbereitung Datengewinnung Das Untersuchungsinteresse bestimmt die benötigte
XML als Beschreibungssprache syntaktisch annotierter Korpora
Sven Naumann XML als Beschreibungssprache syntaktisch annotierter Korpora In den letzten Jahren ist die Zahl der verfügbaren linguistisch annotierten Korpora ständig gewachsen. Zu den bekanntesten gehören