Besprechung der Klausur. Hauptseminar: Einführung in die Korpuslinguistik. Suche in Korpora. Suche in Korpora. Was wollen wir suchen?

Transkript

1 Hauptseminar: Einführung in die Korpuslinguistik Anke Lüdeling Wintersemester 2002/2003 Besprechung der Klausur sehr gut ausgefallen! Suche in Korpora Überblick über Suchanfragen und Suchprogramme Reguläre Ausdrücke (CQP) Wir haben nun ein wunderschön annotiertes Korpus. Was wollen wir suchen? Suche in Korpora viele Korpora haben speziell für sie entwickelte Suchprogramme, zb SARA für BNC COSMAS für die Korpora des IDS TIGERSearch für das TIGER-Corpus und für andere Baumbanken was man suchen kann, hängt ab von der Annotation des Corpus von der Mächtigkeit der Suchabfragesprache Suche in Korpora zur Benutzerfreundlichkeit graphische Oberfläche, natürlichsprachliche Formulierung der Anfrage Anleitung noch wichtig Übertragbarkeit auf andere Korpora Offenheit für weitere Annotationsebenen Was wollen wir suchen? einzelne Wortformen: Weihnachtsbaum Lemmas: Weihnachtsbaum, Weihnachtsbäume, Weihnachtsbäumen alle Komposita mit Weihnachts als Nichtkopf alle Sätze, in denen Singen als Nomen gebraucht wird alle Sätze, in denen das Lemma singen und die Wortform Weihnachtslied vorkommt

2 Reguläre Ausdrücke Reguläre Ausdrücke sind eine (mächtige!) Möglichkeit, auf Texten zu suchen (werden auch in vielen Programmiersprachen (zb Perl) verwendet) (Reguläre Ausdrücke beschreiben eine Klasse formaler Sprachen, nämlich die Regulären Sprachen, siehe zb Partee, ter Meulen & Wall 1993) Reguläre Ausdrücke erkennen Muster in Zeichenreihen kompakte Schreibweise es gibt mehrere Notationsvarianten hier: die Variante, die in CQP (Corpus Query Processor, IMS, Universität Stuttgart) verwendet wird Beispiele aus CQP, kwic-schreibweise, Corpus: FAZ Suchen nach festen Zeichenketten Dies ist kein CQP-Kurs! Dazu wird es im nächsten Semester ein Extra-Blockseminar geben (wenn wir unsere Korpora konvertiert haben). man kann feste Zeichenketten eingeben Groß- und Kleinschreibung werden unterschieden (NB: die Kontextgröße ist natürlich auch einstellbar) $<FAZ> "Weihnachtsbaum"; $<FAZ> "weihnachtsbaum"; : ". Chanukah Menorah oder Weihnachtsbaum, heißt die Frage, die : einen Drink mixen, einen Weihnachtsbaum schmücken und Sachen für : Christkindkostümierung einen Weihnachtsbaum schmücken. Niemand im : Glück, duftende Gans, Weihnachtsbaum und die Erscheinung der : ein 3er-BMW unter dem Weihnachtsbaum, er hat es auf Platz 3 0 matches.

3 Suche nach teilweise man möchte alle Komposita, die mit Weihnachts anfangen hier muss man Platzhalter einsetzen. steht für ein beliebiges Zeichen $<FAZ> "En.el"; 87958: Auch die Heiligen und die Engel können hoffen, wie der : Kulturbürgermeister Norbert Engel dem Minister schlitzohrig : das gewissermaßen wie der Engel spricht : " Fürchte dich : er und meine zwei kleinen Enkel. Sie deutet mit einem : ihren Fürst Rainier III., Enkel des Fürsten Louis II. Suche nach teilweise man möchte alle Komposita, die mit Weihnachts anfangen hier muss man Platzhalter einsetzen. steht für ein beliebiges Zeichen * steht für beliebig häufige Wiederholung des vorhergehenden Zeichens (auch 0 Mal) $<FAZ> "Stru*nz"; : Mannschaftskamerad Thomas Strunz, wiewohl im Training : Bett : " Was erlauben Struuuunz! Käthchen zum Grafen : Flasche leer ", "Struuunz" und " Ich habe fertig : sein Lieblingsspieler Struuunz als Souvenir nun mal Suche nach teilweise man kann also nun alle Wörter suchen, die mit Weihnachts anfangen, indem man verlangt, dass danach noch andere Zeichen folgen $<FAZ> "Weihnachts.*"; 1334: es in der zum orthodoxen Weihnachtsfest am 7. Januar veröffentlichen 42490: daß die Menschen zwischen Weihnachtsgans, Bleigießen und Winterschlaf 56511: zur Mäßigung auf. Beim Weihnachtsgottesdienst formulierte er seine : Kenneth Clarke in seiner Weihnachtsbotschaft.Pünktlich zum Jahresende bescheinigt Tokenisierungsfehler

4 Sortieren man kann sich die Ergebnisse auch nach Häufigkeit sortieren lassen $<FAZ> group Last match word; Weihnachtsgeschäft 207 Weihnachtsgeld 166 Weihnachtsfest 106 Weihnachtszeit 102 Weihnachtsmann 101 Weihnachtsbaum 71 Weihnachtstag 46 Weihnachtsgeschenk $<FAZ> group Last match word;... Weihnachtsbaumgeäst 1 Weihnachtsstube.Etwa 1 Weihnachtsaktion 1 Weihnachtsgeld-Kürzung 1 Weihnachtsbäckereien 1 Weihnachtseinkäufern 1 Weihnachtslandes 1 Weihnachtsmann-Land 1 Suche nach teilweise aber Vorsicht: hier werden nur bestimmte Zeichenfolgen überprüft es gibt keine morphologische Analyse, genaugenommen sucht man Wörter die mit der Zeichenkette <Weihnachts> anfangen: (man kann zb nicht alle Wörter mit dem Diminutivsuffix -chen suchen): $<2>FAZ> ".*chen"; 42: um einen Teilabzug der israelischen Armee aus Hebron ist am 179: dung seiner Tat, er habe versuchen wollen, mit einem Massaker 5458: worden. Das Ende dieser zentralamerikanischen Apartheid ist die Folge 5484: blutigen Kapitels in der mittelamerikanischen Geschichte. Ein Beispiel 5548: Kriminalität, die zahlreichen Menschen angst macht. Andererseits Alternativen Wenn man nun nach singen und Singen gleichzeitig suchen möchte, könnte man nach.ingen suchen

5 <FAZ> ".ingen"; Alternativen 11739: -Messegelände mit Beten, Singen und Gedankenaustausch 17248:, Greisinnen und Kranken gingen ohne Hilfe zu Grunde : es, wenn es mit rechten Dingen zugeht, in mehreren Ländern 40080: stünden an den Märkten und hingen von den politischen 41789: nun im Radio zur Gitarre singen: " Die letzte Rose der besser: man gibt die Alternativen direkt an Alternativen stehen in eckigen Klammern $<FAZ> "[Ss]ingen"; 11739: -Messegelände mit Beten, Singen und Gedankenaustausch 41789: nun im Radio zur Gitarre singen: " Die letzte Rose der 57782: nach Hause. Die anderen singen, beten und schlagen sich : so aus, als könnte er singen oder tanzen. Ehrlich Suche mit Annotationen bisher haben wir nur auf Zeichenketten gesucht wir können aber auch Annotationsinformationen nutzen mit CQP kann man sich auf alle Annotationsinformationen beziehen Merkmal : Wert Suche mit Annotationen auf dem FAZ-Korpus pos-tag (Merkmal heißt pos) Lemma (Merkmal heißt lemma) wenn man zb alle Formen des Lemmas singen finden will [lemma= singen ] $<FAZ> [lemma="singen"]; 41789: nun im Radio zur Gitarre singen: " Die letzte Rose der 60304: vor mit Klavierbegleitung gesungen, nun sind Ravels " Vocal : weit fortgeschritten ist, singt man in katholischen Gemeinde : Bayreuth 1961 : Grace Bumbry sang in Wieland Wagners neuer

6 Suche mit Annotationen man kann ein Token auf allen Annotationsebenen beschränken, dabei stehen alle Beschränkungen, die zu demselben Token gehören, in einer Klammer wenn man nur die Verblesart von meinen finden will [word= meinen & pos= VV.* ] $<FAZ> [word="meinen" & pos="vv.*"]; 20537: Im Gegensatz dazu meinen die Mehrheiten der Wähler 21038: alles nur Scharlatanerie, meinen dagegen die Gegner 30311: wesentlich ändern werde, meinen Larry Kimbell und Rajeev $<FAZ> [lemma="meinen" & pos="vv.*"]; 586: in Hebron gesorgt hatte, meinte: " Diese Armee und ihre 612: General Dayan, meinte, man habe " mehr mit 5650: Zur Lage in Belgrad meint der Mailänder " Corriere 7734: In der Wirtschaft meinen es die Niederländer mit und man kann es auch alles kombinieren... $<FAZ> [lemma="singen"][]*[lemma="weihnachtslied"] within s;> : christliches Fest, und wir singen keine Weihnachtslieder, aber es ist eine Zeit : aufgewachsen, \ldots sie sangen die gleichen Weihnachtslieder. Und wer die Schrebergärten : das Wichtigste zu tun, zu singen, Weihnachtslieder zu singen, die von Freude Literatur Partee, Barbara H.; ter Meulen, Alice & Wall, Robert E. (1993) Mathematical Methods in Linguistics. Kluwer, Dordrecht zu CQP: (da gibt es auch Demoversionen von verschiedenen Korpora)