CQP - Kurzanleitung. Christiane Schunk. 6. Dezember CQP starten 1

Transkript

1 CQP - Kurzanleitung Christiane Schunk 6. Dezember 2006 Inhaltsverzeichnis 1 CQP starten 1 2 Korpus auswählen 2 3 Suche Suche nach Wortformen Optionen (1) Reguläre Ausdrücke Suche mit positionellen Attributen Wortfolgen suchen Suche mit strukturellen Attributen Sortieren und Zählen Ergebnisse benennen und speichern Optionen (2) Wortlisten Subqueries Makros CQP beenden 9 1 CQP starten cqp -e In CQP müssen alle Befehle mit ; abgeschlossen werden, sonst erhält man eine Fehlermeldung. Befehle können mit der Tab -Taste automatisch vervollständigt werden. Vorhergehende Befehle können mit den Pfeil -Tasten (hoch/runter) wiederholt werden. 1

2 Beim Starten von CQP mit cqp -e -C kommt etwas Farbe ins Spiel, Korpuspositionen werden in Blau, Printstrukturen in Rosa ausgegeben (mehr dazu später). 2 Korpus auswählen Die verfügbaren Korpora können durch Drücken der Tab -Taste oder durch Eingabe des Befehls show corpora; angezeigt werden. Um einen Korpus auszuwählen gibt man den Namen des Korpus in Großbuchstaben ein (abschließenden ; nicht vergessen), z.b. LEMONDE02;. Informationen über ein Korpus bekommt man mit info KORPUSNAME;, Informationen über Lemonde02 erhält man also mit info LEMONDE02;. Diese Anzeige kann man mit q wieder verlassen. 3 Suche 3.1 Suche nach Wortformen Einzelne Wörter müssen in doppelte oder einfache Anführungszeichen eingeschlossen werden, z.b. variation ; oder variation ;, aufeinander folgende Wörter werden hintereinander in Anführungszeichen notiert: grande variation ;. Sonderzeichen die nicht direkt mit der Tastatur eingegeben werden können, können durch \ Symbol Buchstabe eingegeben werden: z.b.: \ a ä; \ e é; \ e è; \ˆ e ê; und \ s ß; \,c ç; \,C Ç; \ n ñ; \ N Ñ; z.b.: apr\ es ; oder fran\,cais ; In der Anzeige der Suchergebnisse kann man sich mit der Return -Taste eine Zeile weiterbewegen, mit der Leer -Taste eine Seite. Auch diese Anzeige kann man mit q wieder verlassen. 2

3 3.2 Optionen (1) Als Standard-Kontext werden 25 Zeichen rechts und links vom Suchergebnis angezeigt. Welcher Kontext eingestellt ist kann man sich mit set Context; anzeigen lassen. Nach der Eingabe von set Context 1 s; wird der Satz, der das Suchergebnis enthält, als Kontext ausgegeben. set Context 2 s;: zusätzlich ein Satz davor und einer danach, set Context 3 s;: zusätzlich zwei Sätze davor und zwei danach, u.s.w. Nach der Eingabe von set Context 5 words; wird der Kontext auf 5 Wörter, bzw. Token rechts und links vom Suchergebnis eingestellt. Nach der Eingabe von set Context 30; wird der Kontext auf 30 Zeichen rechts und links vom Suchergebnis geändert. Linker und rechter Kontext können auch unabhängig voneinander eingestellt werden, z.b.: set LeftContext 3 words; und set RightContext 20; - also links 3 Wörter vom Suchergebnis, rechts 20 Zeichen. Context kann mit c, LeftContext mit lc, RightContext mit rc abgekürzt werden, z.b. set c 40; Durch die Eingabe von show cd; werden positionelle und strukturelle Attribute des aktuell ausgewählten Korpus angezeigt. Positionelle Attribute sind fest mit einem bestimmten Token (also auch einer bestimmten Korpus-Position) verknüpft. In den meisten Korpora existieren die positionellen Attribute word, lemma und pos, im Amsterdamer Korpus gibt es zusätzlich noch deespos, taggerpos und note. Positionelle Attribute können für jedes Token ausgegeben werden z.b. mit show +pos; und mit show -pos; wieder ausgeblendet werden. Beispiele für strukturelle Attribute sind <s>, <article date> oder <text>. Sie können als XML-Tags angezeigt werden: z.b. show +s; und wieder ausgeblendet werden mit show -s;. Die Werte von Strukturellen Attributen können als Printstrukturen ausgegeben werden (diejenigen, die in der mit show cd; erhaltenen Liste mit [A] markiert sind), z.b. kann man mit set PrintStructures article date ; für jedes Suchergebnis das Artikeldatum des Artikels aus dem das Suchergebnis kommt ausgeben lassen (wenn es im Korpus annotiert ist), mit set PrintStructures ; wird die Printstruktur wieder überschrieben. Auch die Korpus-Position kann aus- und wieder eingeblendet werden mit: show -cpos; bzw. show +cpos; 3

4 3.3 Reguläre Ausdrücke Die Zeichen.? * + ( ) [ ] { } ˆ werden zur Bildung von Regulären Ausdrücken verwendet. Um im Korpus nach ihnen und dem Zeichen $ suchen zu können, muss ihnen ein \ vorangestellt werden, z.b. \? ;: Ein. in einem Regulären Ausdruck ist ein Platzhalter für ein beliebiges einzelnes Zeichen, so findet man z.b. mit tou. ; tout, tous, tour und toux. Eckige Klammern enthalten eine Menge, z.b. [A-Z0-9] ; passt auf eine Zahl oder einen Buchstaben. ˆ negiert ein Zeichen oder eine Gruppe, mit chantai[ˆ t] ; findet man also nur chantais, nicht aber chantait. Die Anzahl der Vorkommen des vorhergehenden Zeichens oder der vorhergehenden Gruppe kann bestimmt werden durch? (0 oder 1 mal): couleurs? ; findet couleur und couleurs. * (0 mal oder beliebig oft):.*age ; findet alle Wörter die mit age enden. + (1 mal oder beliebig oft): (co)+ ; findet co und coco. {n} (n mal):.*l{2}.*n{2}.* ; findet alle Wörter, die zwei l und zwei n enthalten. {n,m} (zwischen n und m mal):.*l{2,3}.* ; findet alle Wörter, die zwei oder drei l enthalten. Durch runde Klammern kann eine Gruppierung erreicht werden. trennt Alternativen 3.4 Suche mit positionellen Attributen Der Suchausdruck muss in eckigen Klammern stehen, z.b. [pos = ADV ]; oder [lemma = variation ];, wobei die oben eingeführte Suchform variation ; eine Abkürzung für [word = variation ]; ist. Die Werte in Anführungszeichen werden dabei als reguläre Ausdrücke interpretiert. Sucheinschränkungen können kombiniert werden mit & (und), (oder),! (nicht), z.b. [(lemma =.+ment ) & (pos = NOM )]; 4

5 3.5 Wortfolgen suchen Jeder Ausdruck in eckigen Klammern beschreibt ein einzelnes Token, die leere eckige Klammer [ ] passt auf jedes Token. Suche nach einem Adjektiv auf das ein Nomen folgt: [pos = ADJ ][pos = NOM ];. Bei der Suche nach Phrasen sollte dem Suchbefehl within s; hinzugefügt werden, um zu verhindern, dass die Satzgrenze überschritten wird. Beispiel: tout aussi [ ]* que within s; 3.6 Suche mit strukturellen Attributen Auch strukturelle Attribute können für die Suche verwendet werden, z.b. kann man nach einem Satz suchen, der mit Je suis beginnt: <s> Je suis ;. Die Werte von strukturellen Attributen können durch die Verwendung von Markierungen in die Suche einbezogen werden. Z.B. kann in LiberLiber nach dem Wort Quando im Text mit der ID Galilei dialogo gesucht werden: a:[word = Quando ] :: a.text id = Galilei dialogo ; oder in Lemonde02 nach dem Lemma travail in Texten aus Dezember 2002: a:[lemma = travail ]::a.article date = ; 3.7 Sortieren und Zählen Jedes positionelle Attribut kann verwendet werden um die Ergebnisse der letzten Suche zu sortieren oder zu zählen. Z.B. mit sort by word %cd; werden die letzten Suchergebnisse alphabetisch sortiert ohne Rücksicht auf Groß- und Kleinschreibung oder Diakritika (c für case, d für diacritics - können auch einzeln verwendet werden: %c oder %d). Eine absteigende Ordnung erhält man mit dem Zusatz: desc, eine Sortierung der Treffer von hinten durch reverse, beides durch die Kombination: sort by word desc reverse; Ankerpunkte: match (oder match[0]) ist das erste Token des Treffers, match[-1], das letze Token davor. matchend (bzw. matchend[0]) bezeichnet das letzte Token des Treffers. Ergebnisse nach rechtem Kontext sortieren: sort by word %cd on matchend[1].. matchend[42]; Ergebnisse nach zweitem Token des Treffers sortieren: 5

6 sort by word %cd on match[1].. match[2]; Ergebnisse nach linkem Kontext sortieren: sort by word %cd on matchend[-1].. matchend[-42]; Diese Ankerpunkte können z.b. verwendet werden, um Nominalphrasen nach den Adjektiven zwischen Determina und Nomen zu sortieren: [pos = DET.* ] [pos = ADJ ]{2,} [pos = NOM ]; sort by word %cd on match[1].. matchend[-1]; Mit dem Befehl sort; ohne Argument wird die ursprüngliche Ordnung wieder hergestellt (Sortierung nach Korpus-Position). Ergebnisse können z.b. mit count by word %cd; oder count by lemma %cd; gezählt werden. Ergebnisse zählen, aber nur die ausgeben, die häufiger als fünf mal vorkommen: count by word cut 5; 3.8 Ergebnisse benennen und speichern Abfragen kann ein Name zugewiesen werden, so dass auf die Ergebnisse dieser Abfrage (bis zum Beenden von CQP) über diesen Namen zugegriffen werden kann. Ein solcher Name sollte mit einem Großbuchstaben beginnen. Z.B.: Ment = [a-z]*ment ; Die Ergebnisse werden nicht automatisch angezeigt. Um die Ergebnisse anzusehen, gibt man für dieses Beispiel cat Ment; ein. Die Anzahl der Suchergebnisse kann mit size Ment; festgestellt werden. Mit show named; wird angezeigt, welche benannten Abfragen existieren. Die letzte Abfrage wird automatisch Last genannt und bei der nächsten Abfrage überschrieben. Um Speicher freizugeben, kann man die benannten Abfrageergebnisse mit discard Ment; wegwerfen. Die Suchergebnisse können im Binärformat gespeichert werden mit save Ment;. Das hat zum Vorteil, dass die Abfrage in einer neuen CQP-Session wieder in CQP geladen werden und z.b. neu sortiert werden kann. Davor muss das Verzeichnis durch set DataDirectory. ; bestimmt werden (falls das Verzeichnis in dem man sich gerade befindet gewählt werden soll. Ansonsten muss der Pfad angpasst werden, z.b. set DataDirectory /home/name/cqp ;). Nach dem Bestimmen des Verzeichnisses muss das gewünschte Korpus neu gewählt werden. Die Suchergebnisse werden in einer neuen Sitzung mit cat LEMONDE02:Ment; angezeigt. 6

7 Um die Ergebnisse einer Abfrage in einer Textdatei zu speichern, gibt man z.b. cat Ment > Ment.txt ; ein. Einen Header mit Informationen zu Abfragedatum, Abfrage, Korpus und Kontext erhält man, indem man vor der Abfrage set PrintOptions hdr; eingibt. Das Ergebnis einer Abfrage kann auch in eine Pipe geschrieben werden. 3.9 Optionen (2) Durch die Eingabe von set; bekommt man einen Überblick über die zur Verfügung stehenden Optionen. Wer seine bevorzugten Einstellungen in eine Datei namens.cqprc schreibt und diese im Home-Verzeichnis speichert, muss diese Einstellungen nicht bei jeder CQP-Benutzung neu vornehmen. Eine solche Datei kann z.b. so aussehen: set LeftContext 1 s; set RightContext 1 s; set PrintOptions hdr; set DataDirectory /home/name/cqp ; define macro < makros.txt ; set HistoryFile /home/name/.cqphistory ; set WriteHistory yes; Die letzten beiden Zeilen erstellen eine History-Datei, damit man die Befehle der letzten Sitzungen wiederverwenden kann, ohne sie neu eingeben zu müssen (VORSICHT: diese Datei sollte von Zeit zu Zeit gelöscht werden, da ihre Größe nicht automatisch begrenzt wird!!!) Beide Dateien (.cqprc und.cqphistory) sind versteckte Dateien, die man durch Eingabe von ls -a in der Konsole sehen kann (mit ls -l -a -h sieht man unter anderem auch die Dateigrößen von versteckten Dateien in einem lesbaren Format). Die Datei.cqphistory kann man durch die Eingabe von rm.cqphistory in der Konsole löschen. Mehr zu Makros in einem der nächsten Abschnitte Wortlisten Wortlisten können in Variablen gespeichert werden, z.b. define $bew verben = aller partir sortir monter descendre sauter retourner revenir venir ; Die Wortliste kann dann mit show $bew verben; angezeigt und z.b. mit [lemma = $bew verben ]; zur 7

8 Suche verwendet werden. Eine Wortliste kann auch aus einer Datei geladen werden mit: define $bew verben < bew verben.txt ; Subqueries Abfragen können auf das Ergebnis einer vorherigen Abfrage angewendet werden, man kann z.b. mit Ment; oder LEMONDE02:Ment; in das Subkorpus wechseln. Der Kontext der vorherigen Abfrage kann nicht befragt werden, nur die Treffer. Um wieder in das ursprüngliche oder ein anderes Korpus zu wechseln - einfach den Korpusnamen eingeben, z.b. LEMONDE02; Makros Makros sind nützlich, wenn identische oder ähnliche Abfragen oft gebraucht werden. Sie können in einer Datei gespeichert werden (z.b. makros.txt) und mit define macro < makros.txt ; in CQP geladen werden. Makrodefinitionen beginnen mit dem Wort MACRO, dann folgt der Name des Makros und in Klammern die Zahl der Argumente. In den nächsten Zeilen folgt je ein Suchausdruck, in der letzten Zeile steht der ;. Der Block mit den Suchausdrücken sollte am besten eingeklammert werden. Kommentare werden mit # begonnen. Beispiel: # Makro für die Suche nach Wortformen eines Lemmas mit bestimmter Endung # Aufruf z.b. durch /endung[ ment, NOM ]; MACRO endung(2) ( [(lemma =.+$0 ) & (pos = $1 )] ) ; Makros werden durch /makroname[ Argument1, Argument2,...]; aufgerufen. Eine Auflistung aller verfügbaren Makros erhält man durch show macro;. Die Definition eines 8

9 Makros kann man mit show macro makroname(zahl der Argumente); ansehen, für das Beispiel also show macro endung(2);. Makros können auch in Makrodefinitionen aufgerufen werden, z.b.: MACRO vp(3) ( [pos = VER.* ] [pos = $0 ] /endung[ $1, $2 ] ) ; Aufruf des Makros vp z.b. durch /vp[ PRO.*, ment, NOM ];. Auch die interaktive Definition von Makros ist möglich, dann sollte die Definition in einer Zeile stehen z.b.: define macro np(0) [pos = DET.* ] [pos = ADJ ] + [pos = NOM ] ;. Der Makroaufruf kann auch in normale Abfragen eingebaut werden, z.b. [pos = DET.* ] /endung[ ment, NOM ]; 4 CQP beenden exit; Literatur [1] Evert, Stefan. The CQP Query Language Tutorial,