herangezogenwerden,wiez.b.online-thesauri.diefurcorpusanfragenzurverfugung

Transkript

1 EinexiblesundmodularesAnfragesystemfurTextcorpora Niemeyer:LexicographicaSeriesMaior,Tubingen,Fruhjahr1995 Erscheintin:TagungsberichtedesArbeitstreensLexikon+Text 17./18.Februar1994,SchloHohentubingen OliverChristundBrunoM.Schulze InformationkonnenexterneInformationsquellenzurEvaluierungeinerCorpusanfrage zuihrererschlieung"(tc)entwickeltwurde. voncorpusannotationenunterschiedlichertypen.nebenderimcorpusannotierten tungderuniversitatstuttgartinnerhalbdesprojektes\textcorporaundwerkzeuge erweiterbarencorpusanfragesystems,dasaminstitutfurmaschinellesprachverarbei- DieArchitekturdesAnfragesystemsunterstutzteineprinzipiellunbegrenzteAnzahl WirbeschreibendieArchitekturundeinzelneKomponenteneinesmodularenund Zusammenfassung lenkonnenindividuellfurjedescorpusdeklariertwerden. stehendenannotationensowiedieartundweisedeszugrisaufdieinformationsquel- herangezogenwerden,wiez.b.online-thesauri.diefurcorpusanfragenzurverfugung DieVerfugbarkeitannotierterCorporaundvonWerkzeugen,dieCorporamitlinguistischer 1Einfuhrung anfragenzusammenmitausschnittenausdenberechnetenergebnissenangegeben. UmdieMachtigkeitderAnfragemoglichkeitenzuillustrieren,werdeneinigeBeispiel- sollten(z.b.maschinenlesbareworterbucher,on-linethesauriwiewordnet[mbf+93], zurwortklasse,morphosyntaktischeangaben,semantischeannotationen,satz-undabsatzgrenzenetc.auerdemstehenzunehmend{insbesonderefurdasenglische{wissensquellenzurverfugung,dereninformationenincorpusanfragesystemennutzbarsein Informationannotieren,fuhrtzueinemerweitertenCorpusbegri{nebendemeigentlichenCorpustextstehenAnnotationenverschiedenerTypenzurVerfugung,z.B.Angaben AnfragezueinermoglichstkleinenMengespezieller,aberfurdasProblemrelevanterBelege Linguistenzuerlauben,eineCorpusanfragesogenauwiemoglichauszudrucken,damitdie MorphologischeWissensbasenwieCELEX[BPvR93]etc.),umesdemLexikographenoder fuhrt,anstattzueinergroenmengevonkonkordanzen,dienachtraglichmanuellinspiziert undzusatzlichgeltertwerdenmussen.dabeisollesdemanwendereinesanfragesystems UniversitatStuttgart,InstitutfurmaschinelleSprachverarbeitung/Computerlinguistik,Azenbergstr. 1

2 guistischenundlexikographischenbeschreibungsprozeistzusatzlicheinenutzungdurch NLP-SystemeoderNLP-Werkzeugedenkbar,wobeidieauseinemCorpusgewonneneInformationz.B.furDisambiguierungsaufgabeninParsernoderineinemGenerierungssystem NebenderinteraktivenNutzungeinesCorpusanfragesystemsalsDatenschnittstelleimlin- zurbestimmunglexikalischerpraferenzenherangezogenwerdenkann. denzurverfugungstehendeninformationsquellenextrahiertwird. verborgenbleiben,auswelchenquellenoderaufwelcheartundweisedieinformationaus DieunterschiedlichenAnwendungssituationenunddieunterschiedlichenEigenschaftender undimplementiert:umvondenunterschiedlichenzugrismethodenaufwissensquellen InformationsquellenmacheneineexibleundmodulareArchitekturdesAnfragesystems notig.ausgehendvondiesenuberlegungenhabenwirdiefolgendearchitekturentworfen einemcorpusannotierteninformationsquelleninanfragenzuverwenden,ohnejedochvon individuellenzugrismethodenabhangigzusein.innerhalbdieserarchitekturkonnenunterschiedlicheanwendungssituationendurchunterschiedlicheschnittstellenzurlogischen Zugrisebeneimplementiertwerden,wobeiesfurWerkzeugeauchmoglichist,direktuber grisebenehatdabeidieaufgabe,eineeinheitlicheschnittstellezudencorpusdatenzur VerfugungzustellenundvollstandigvonunterschiedlichenZugrismethodenzuabstra- eineninterpreterfureinecorpusanfragesprache,dieeserlaubt,dieinformationallerzu hieren.dielogischezugrisebenenutztdieseeinheitlicheschnittstelleundimplementiert schenzugrisebene"undeiner\logischenzugrisebene"aufgeteilt.diephysikalischezu- zuabstrahieren,wirdderzugriaufdiecorpusinformationenzwischeneiner\physikalischnitt2beschreibtdieaufgabenderphysikalischenebene,inabschnitt3werdendielogischezugrisebeneundderdarinimplementierteanfrageinterpretercqpbeschrieben.um wird. 2DiephysikalischeZugrisebene DieAufgabederphysikalischenEbeneistes,eineeinheitliche,vonindividuellenZugris- (insbesondereindizes)implementiert. methodenabstrahierendeschnittstellezudendateien,datenbankenoderandereninfor- DerZugriaufCorpusinformationenerfolgtmeistuberdieCorpusposition:dasCorpus wirddabeialseinedurchnumeriertesequenzvonworternundandereninformationen nerhalbdieserebenesindauchmethodenzurerzeugungderverschiedenenhilfsdateien mationsquellenzurverfugungzustellen,indenencorpusinformationenabgelegtsind.in- betrachtet. InnerhalbderphysikalischenEbenewirdzwischenmehrerenAttributtypenunterschieden: PositionaleAttributesindAttribute,beidenenjederCorpuspositioneineZeichenkette zugeordnetist.insbesonderezahltdiesequenzderworter,ausdenendascorpus DieeinzelnenModulewerdenindenfolgendenAbschnittendetaillierterdargestellt:Ab- diephysikalischezugrisebeneaufdiecorpusdatenzuzugreifen,sofernkeinzugriuber dieanfragesprachenotwendigist.diesegesamtarchitekturistinabbildung1dargestellt. wurdediegraphischebenutzeroberachexkwicentwickelt,dieinabschnitt4vorgestellt ineinerinteraktivennutzungssituationdenumgangmitdenwerkzeugenzuerleichtern, 2

3 Anwendungen, Werkzeuge Anfrage Ergebnis Logische Ebene Direkter Zugriff Physikalische Ebene lokal Datenzugriff remote aufgebautist,zudenpositionalenattributen.1weitereannotationendiesestyps Corpus sindz.b.wortklasseninformationen,lemmata,morphosyntaktischeinformationen etc.dieanzahlderpositionalenattributeeinescorpusistunbeschrankt.abbildung Abbildung1:DieGesamtarchitekturdesAnfragesystems Remote Connections Indizierte Dateien Externe Wissensquellen Datenbank(en) Physikalische Ebene remotem Rechner 2illustriertdieabstrakteSichtaufpositionaleAttribute:jederCorpusposition(im Abbildung2:PositionaleAttribute...: pos: N N IP NUM N ADJ N IP word: Pierre Vinken, 61 years old blessing. WeitereAnnotationennebenderWortsequenzsindoptionalundcorpusspezisch. 1DieWortsequenzwirdstetsdurchdenAttributnamenwordbezeichnetundmuimmerannotiertsein. StrukturelleAttributeenthaltenInformationenuberSatz-undAbsatzgrenzenetc. Bereichvon0bisn 1,wobeindieCorpusgroeist)undjedempositionalenAttribut nichtreprasentiertwerden.strukturelleattributewerdenalscorpusintervallere- RekursiveStrukturen,alsoz.B.NPsmiteingebettetenNPs,konnengegenwartig (wordundpos)sindzeichenkettenwertezugeordnet; n-2 n-1 3

4 Bigram-TabellenenthaltenzueinemdeklariertenpositionalenAttributInformationen prasentiert,derenanfangs-bzw.endpunktediecorpuspositionensind,andenendie Strukturbeginntbzw.endet; Mapping-TabellensindzujeweilszweipositionalenAttributendesCorpusdeklariert undenthalteninformationenuberdieabsolutehaugkeit,mitdereinwertdesersten jedempositionalenattributkonnensolchebigram-tabellendeniertwerden.bigram- tebereichdiesespositionalenattributsinnerhalbeinerbestimmtenfenstergroe.zu TabellenkonnennebendemZugridurchdielogischeZugrisebenez.B.direktvon WerkzeugenzurautomatischenWortklassenzuweisung(Taggern)verwendetwerden; uberdieabsolutehaugkeitdesadjazentenauftretenszweierwerteausdemwer- Alignment-Informationenkonnenzuzweiparallelen,aligntenCorporadeklariertwer- zusatzlichzualigntensatzennochinformationenuberaligntephrasenoderworter AttributsundeinWertdeszweitenAttributsandergleichenCorpuspositionannotiert abzulegen; CorpuspaarAlignment-InformationenaufmehralseinerEbenezudenieren,also tebereiche.esistindergegenwartigenimplementierungnichtmoglich,zueinem denundenthalteninformationenubersichentsprechende,ubersetzungsaquivalen- sind.auchdieserinformationstypkannintaggernverwendetwerden; DynamischeodervirtuelleAttributeschlielichbindenexterneWissensquellenan werttypdeniertsowieeinkommando,daszurberechnungdesattributwerteszum teienkonnenfursolcheattributenichterzeugtwerden.2 ZeitpunktdesZugrismitentsprechendenaktuellenParameternaufgerufenwirdund einenwertzuruckliefert,derdannweiterverarbeitetwird(\dynamisch").indexda- direktannotiertwaren(\virtuell").dieserattributtypverhaltsichahnlichwieeine Funktion:zujedemsolchenAttributisteineArgumenttypenlisteundeinRuckgabe- dascorpus,ohnedadiedurchdiesewissensquellenreprasentierteninformationen woinnerhalbdesdateisystemsdieeinzelnendateienabgelegtsind.gleichzeitigwirddurch VordemBearbeitungmitdemAnfragesystemmussenCorporaaufbereitetwerden.DiedabeinotwendigenSchrittesindinersterLinieZeichensatznormierung,Tokenisierung,Satz- WerkzeugegreifenausschlielichuberdiesensymbolischenNamenaufeinCorpuszu,so zuganglichendateifestgehalten,welcheannotationenzueinemcorpusdeklariertsindund NachderAufbereitungmueinCorpusregistriertwerden.Dabeiwirdineinerallgemein pustextwirdnachderaufbereitungnichtmehrbenotigt. dieregistrierungsdateieinsymbolischer,eindeutigernamefurjedescorpusdeniert.alle grenzenerkennungunddieerzeugungvonindexdateien(vgl.[chr94]).dereigentlichecor- dadiebenutzernichtwissenmussen,woundaufwelcheweisediecorpusdatenabgelegt sind. WahrenddurchvirtuelldieindirekteKopplungderexternenInformationsquelleandasCorpuscharakterisiertwird,bezeichnetderBegridynamischdieArtundWeisedesZugrisaufdieAnnotationunddas VorgehenbeiderEvaluierung.WirmochtenamBegridynamischfesthalten. 2DerBegridesvirtuellenAttributswurdevonHerrnProf.Rieger,UniversitatTrier,vorgeschlagen. 4

5 NAME"Hansardcorpus(EnglischerTeil)" ATTRIBUTEpos ATTRIBUTElemma DYNAMICishuman(STRING):INT"/corpora/utils/cmd/wn-hypen'$1'human" ATTRIBUTEword ID HOME/corpora/encoded/hansard-e eindynamischesattributishuman,daszumzeitpunktderanfrageevaluierungfureineargumentzeichenketteubereinenaufrufdesonline-thesauruswordnetbestimmt,obdas ZudemCorpussinddreipositionaleAttribute(word,pos,lemma)deniert,4weiterhin Abbildung3zeigteineRegistrierungsdateifurdenenglischenTeilderHansard-Corpora.3 ALIGNEDhansard-f Abbildung3:EinevollstandigeRegistrierungsdateimitmehrerenAttributen #franzoesischerteil kann,ohnedadafuranderungenanbereitsbestehendenannotationen(reindizierungen etc.)notwendigwerden(soferndiecorpusgroekonstantbleibt). eincorpusauchnachderregistrierungerweitert,aktualisiertodervervollstandigtwerden VerschiedeneAnnotationeneinesCorpuswerdeninverschiedenenDateiengehalten,soda Argumentein\humanobject"denotierenkonnte.DasCorpusistaligntzumfranzosischen ZuTestzweckenwurdeinnerhalbderphysikalischenEbeneeinTCP/IP-basiertesKommunikationsprotokolldeniert,dasesermoglicht,CorporaoderauchnureinzelneAnnotationen verteiltaufverschiedenenrechnern,dieuberdasinterneterreichbarsind,abzulegen.beim physikalischenebeneimplementiert,sodaderzugriaufexternedatenvonwerkzeugen, formationzuruckgeliefert.dernetzwerkbasiertecorpusdatenaustauschistzwarlangsam, ezientgenugsind.dernetzwerkbasiertedatenaustauschistausschlielichinnerhalbder fallsderbenutzermitdennotwendigenzugrisrechtenausgestattetist{dieverlangtein- dieselbstzuwenigspeicherplatzfurdielokaleinstallationdercorporabietenodernicht dieaufderphysikalischenebeneaufsetzen,transparenterfolgt. kannabernutzlichsein,wennanfragesystemeaufrechnernzurverfugungstehensollen, ZugriaufexternabgelegteCorpusdatenwirdeineNetzwerkverbindungaufgebautund{ sikalischenzugrisebene,z.b.werkzeugezurausgabevonfrequenzlistenodermutual- Zugrisebene,dieeineCorpusanfragespracheundeinenentsprechendenAnfrageinterpreterimplementiert.AndereWerkzeugejedochnutzenausschlielichdieDienstederphy- Information-Werten. DiewichtigsteAnwendung,dieaufderphysikalischenEbeneaufbaut,istdielogische gefuhrt. FranzosischundEnglischvor. 4DieLemmatisierungdesCorpuswurdemitHilfedesin[KSZE92]beschriebenenWerkzeugsdurch- 3DieHansard-CorporasindTranskriptionenkanadischerParlamentsdebattenundliegenparallelin 5

6 implementiert.mithilfedieseranfragesprachewerdenuntereinbeziehungdercorpusannotationenbedingungenangegeben,diefureineteilsequenzdescorpusgeltenmussen,um indieergebnismengederanfrageubernommenzuwerden. ananderewerkzeuge,dieaufderlogischenebeneaufbauen,weiterzureichen. zugrismethoden,umcorpusanfragenzuevaluierenunddasergebniszuprasentierenoder InnerhalbderlogischenZugrisebeneisteinInterpreterfureineCorpusanfragesprache DielogischeZugrisebenenutztdievonderphysikalischenEbenebereitgestelltenDaten- 3DielogischeZugrisebeneunddieCorpusanfragesprache AusdruckwerdendurcheinenbooleschenAusdruckdieBedingungenbeschrieben,die{ DaszentraleKonstruktderAnfragespracheistderAttributausdruck.Ineinemsolchen verschiedenencorpusannotationenandiesercorpuspositionerfullenmussen. (1)[word="ver.*"&pos!="FIN"] DerAttributausdruck(1) wennderausdruckfureinebestimmtecorpuspositionevaluiertwird{diewerteder liefert\wahr"furallecorpuspositionen,andenenderwertdesword-attributsdemregularenausdruck"ver.*"genugt5undderwertdespos-attributsungleich"fin"ist.6 werden.als\matchall"-zeichen(entsprechenddempunktinregularenausdruckenuber terpretersjedeanfrage(undjedeskommando)miteinemstrichpunkt\;"abgeschlossen dasbuchstabenalphabet)kanninderanfragespracheder\leere"attributausdruck[]ver- BeiderEvaluierungeinerAnfrageextrahiertderAnfrageinterpreteralleCorpusintervalle, wendetwerden.7 diedemregularenausdruckuberattributausdruckegenugen.diegrenzeneineseinzelnen ErgebnisintervallssinddabeiderAnfangs-undderEndpunktderkurzestendenAnfragebedingungengenugendenTeilsequenzdesCorpus,alsoBeginnundEndeder\matchenden" Sequenz.DasErgebniseinerAnfrageistdanneineMengevonCorpusintervallen,dieaufgrundvonWiederholungsoperatorenundoptionalenTeilausdruckenunterschiedlicheLange DieAnfrage(2) habenkonnen. DiefolgendenBeispieleillustriereneinigeEigenschaftenderAnfragesprache. drucke.beispiel(1)istalsobereitseineanfrage,allerdingsmuinnerhalbdesanfragein- EineAnfragebestehtimallgemeinenauseinemregularenAusdruckuberAttributaus- Optionalitat(?),Disjunktion( ),Stern-Hulle(*),Plus-Hulle(+),Repetitionsintervalle(fn;mg)etc.KlammernkonneninderublichenWeiseverwendetwerdentributausdrucke(bzw.regulareAusdruckeuberAttributausdrucke)ausgedruckt.WeitereKonstruktesind Attributnamenparallelannotiertwerden. Standardverwendetwerden. diemengederpositionalenattributebeliebigist,konnenunterschiedlichetagsetsunterverschiedenen Attributnamenposzugegrienwird,istcorpusspezischundnichtvomAnfragesystemvorgegeben.Da 7WieinregularenAusdruckenuberBuchstabenwirddirekteAdjazenzdurchaufeinanderfolgendeAt- 6DieMengederannotierbarenWortklassen(\Tagset"),aufderenWerteindiesemBeispieluberden 5InAttributwertenkonnenregulareAusdruckeuberdasBuchstabenalphabetgemademPOSIX-egrep- 6

7 wobeiderdieanfragebedingungenerfullende(\matchende")bereichkursivdargestelltist: (2)[pos="SUB"][pos="FIV"][pos="PRP"][pos="PER"][]*[pos="PTZ2"]; suchtnacheinersequenzvonnomen(sub),niterverbform(fiv),praposition(prp), Partizip(PTZ2),wobeieinentsprechendesTagsetzugrundeliegt.DiefolgendenBeispielbelegewurdendurchAnfrage(2)auseinemCorpusauseinigenVerbmobil-Dialogenextrahiert, Personalpronomen(PER),beliebigvielenunspeziziertenFormenundeinemabschlieenden WennineinemAttributausdrucknuraufdas(Standard-)AttributwordBezuggenommen dieattributgleichungword=weggelassenwerden.dadurchlatsicheinattributausdruck wirdundderoperator\="verwendetwird,konnendieumschlieendenklammernsowie Kongre,derDonnerstagistbeimirAbsolutausgebucht.alsoja denndieandernmontagesindbeimirdannauchschonbelegt,aberja abkurzen. durch"gehen ging gegangen" [word="gehen ging gegangen"] schenattributesishumaneinenzahlenwertzuruck.fallsdierechteseitederattribut-wert- WieinderRegistrierungsdateiinAbbildung3deklariert,liefertderAufrufdesdynami- GleichungbeimAufrufeineszahlenwertigendynamischenAttributsfehlt,liefertdieEvaluierungdesTeilausdrucks\wahr",fallsderzuruckgelieferteZahlenwertungleich0ist,und \falsch"sonst.dasergebnisderbeispielanfrage(3)sindsequenzen,dieauseinemwort bestehen,dasmitkillbeginnt,gefolgtvoneineroptionalen,nichtweiterspezizierten Form(beispielsweise\by"),schlielichgefolgtvoneinemNomen,furdasdieWordNet- Nomensubergebenwird.BeispielbelegefurdieAnfragelauten: Konsultation\wahr"zuruckliefert,wennbeimAufrufderWertdesword-Attributesdes (3)"kill.*"[]?[pos="N.*"&ishuman(word)] AufWertevondynamischenAttributenwirdahnlichzugegrien:8 chenketteimcorpuszuruck: werden.diefunktion\f"beispielsweiseliefertdieabsolutehaugkeitderargumentzei- werden,nichtaberdynamischdurchzugriaufexterneinformationsquellenberechnet EsgibteinigevordenierteFunktionen,dieahnlichwiedynamischeAttributeverwendet andlanethathewouldkilltheindian.threeweekslaterfollowinghis 8Daderonline-ThesaurusWordNet,uberdenderWertdesdynamischenAttributsishumanberechnet bythesheriforkillinganoldmannamedasherjones,thewarrantfor wird,nurfurdasenglischezurverfugungsteht,wurdedieanfrageaufeinemenglischencorpusevaluiert. 7

8 InBeispiel(4)wirdzusatzlichverlangt,dadieabsoluteHaugkeitdesWertesdesword- undmapping-tabellen. AufstrukturelleAttributekannineinerSGML-ahnlichenWeisezugegrienwerden: AttributsimCorpusgroeristals10.AhnlicheFunktionenerlaubendenZugriaufBigram- (4)"love.*"[]?[pos="N.*"&f(word)>10&ishuman(word)]; dieevaluierungdesregularenausdrucksnichtfruherzueinemergebnisfuhrt.9umzu fordern,dadiegrenzendesergebnisintervallsinnerhalbeinerannotiertenstrukturliegen ImallgemeinenFallwirdbeiWiederholungsoperatorenbisansCorpusendegesucht,falls InAnfrage(5)wirdverlangt,dazwischendemNomen,einerbeliebigendarauolgenden Form(demSatzendezeichen)unddemArtikeleineSatzgrenzeliegt. (5)[pos="N.*"][]<s>[pos="ART"] puspositionenangegebenwerdenodereskanneinederdeklariertenstrukturannotationen (6)"ver.*"[]*"\"uber"withins; verwendetwerden,wiedasfolgendebeispielzeigt: Suchgrenzeangegebenwerden.DieseGrenzekannentwederalsmaximaleZahlvonCor- HiermudiegesamteErgebnissequenzinnerhalbeinesSatzesliegen.10 oderumeinebeschleunigungderanfrageevaluierungzuerreichen,kanninderanfrageeine EinweiteresKonstruktderAnfragesprachesindReferenzenaufAttributwerteanvorangegangenenCorpuspositionen.DazuwirdeinAttributausdruckmiteinerMarkierungversehen: (7)a:[pos="N.*"]... mensunddesverbsgefordert.zusatzlichmudiegesamteergebnissequenzinnerhalbeines IndieserAnfragewirdalsoeineUbereinstimmungbezuglichdesNumerus-WertesdesNo- zugeordnetencorpuspositionbezuggenommenwerden,wieinbeispiel(8): (8)a:[pos="N.*"][]*[pos="V.*"&num=a.num]withins; IneinemfolgendenAttributausdruckkanndannaufAttributwertederderMarkierung Satzesliegen.Anfrage(9) (9)a:[pos="N.*"]([]*[word=a.word]){2}withins; beifalschgeschriebenenoderimcorpusnichtauftauchendenworternnichtbisanscorpusendesuchenzu mussen,istinterneinefestesuchgrenzevon100corpuspositionen,gezahltvombeginndes\matches", festgelegt.diesegrenzekannvombenutzerbeliebigverandertwerden. entwederinihrerlatex-umschreibungoderalsoktalcodeeingegebenwerden. 10FallseineEingabevon8Bit-ASCII-Zeichennichtmoglichist,konnensolcheZeichen,z.B.Umlaute, 9RegulareAusdruckeuberAttributausdruckewerdenmiteinerFirst-Match-Strategieevaluiert.Umz.B. 8

9 (10)"hot":HANSARD-F"chaud"; Satzesauftritt. Beialignten,parallelenCorporaerlaubtesdieAnfragesprache,zusatzlicheBedingungen liefertkonkordanzen,beidenendasgleichenomenmindestensdreimalinnerhalbeines liefertkonkordanzenfurhot,wobeiimalignten,franzosischenteilgleichzeitigdaswort chaudvorkommenmu.dienegationistebenfallsmoglich: uberdenaligntenteildeszutestendencorpusintervallszuformulieren.anfrage(10) kommt.imallgemeinenfallkannimbedingungsteiluberdasaligntecorpuswiederumein terpreterinkrementelleanfragen.dabeiistesmoglich,eineanfragenuraufdemergebnis DasErgebnissindKonkordanzen,indenendasWortchaudimaligntenTeilnichtvor- regularerausdruckuberattributausdruckeverwendetwerden. NebeneinigenKommandoszurCorpus-undDateiverwaltungunterstutztderAnfragein- (11)"hot":HANSARD-F!"chaud"; neneinebestimmtewortformvorkommt.anschlieendwirdnurdiemengediesersatzez.b. tionenzurverfugung,mitderenhilfederdurchschnitt,dievereinigungunddiedierenz nachbestimmtensyntaktischenphanomenenuntersucht.zusatzlichstehenmengenopera- vonanfrageergebnissenberechnetwerdenkann.dasergebniseinersolchenmengenoperationwirdwieeindurcheineanfrageberechnetesergebnisbehandelt,sodadarauf aufbauendweitereinkrementelleanfragenodermengenoperationendurchgefuhrtwerden konnen.alledurchmengenoperationenodersuchanfragenentstandenenergebnismengen konnenstatischindateienabgelegtwerdenundstehendadurchinnachfolgendensitzungeninnerhalbdesanfrageprozessorwiederzurverfugung.einebeschreibungdereinzelnen Kommandos,dergenauenSyntaxderCorpusanfragesprachesowieeineinfuhrendesTutorialstehenin[SC94]zurVerfugung.EineformaleDarstellungdesEntwurfs,derSemantik undderimplementierungderanfragesprachesowieeinvergleichmitanderencorpusanfragewerkzeugenwirdin[sch94]gegeben. einerfruherenanfragezuevaluieren,waszuerheblichenezienzgewinnenfuhrenkann. BeispielsweisekonnenauseinemgroenCorpuszuerstalleSatzeextrahiertwerden,inde- 4DasInteraktionswerkzeugXkwic nachstenabschnittvorgestelltwird. werden.furdeninteraktivenmodusstehensowohleinekommandobasiertebenutzeroberachezurverfugungalsaucheinekomfortable,graphischebenutzeroberache,dieim DerAnfrageinterpreterkanniminteraktivenModusoderalsBatch-Prozessorverwendet KommandosundFunktionenanbietet:9 siertebenutzeroberachezumanfrageprozessorzurverfugungstehen,nochzusatzliche Xkwic(vgl.[Chr93])isteineaufOSF/Motif(tm)unddemXWindowSystembasierende graphischebenutzeroberache,dienebendenkommandos,dieuberdiekommandoba-

10 dasanfrageergebniswirdineinerkwic-konkordanzprasentiert,wobeiderangezeigteausschnittuberscrollbarsverandertwerdenkann; benutzerdenierbarenkontextangezeigt; dasprasentierteanfrageergebniskannnachunterschiedlichenkriteriensortiertwer- durchselektioneinereinzelnenkonkordanzzeilewirddiesemiteinemerweiterten, dasanfrageergebnisodereinselektierbarerteildavonkannineinerdateitextuell beiparallelen,aligntencorporakanndurchselektioneinerkonkordanzzeilederentsprechendebereichimaligntencorpusmitangezeigtwerden. einzelnekonkordanzzeilenkonnenmanuellausdemanfrageergebnisgeloschtwerden odereskonnenneueergebnismengenmanuelldurchkopierenausanderenergebnismengenerzeugtwerden; abgespeichertwerden; fragetextkannindasanfrageeingabefensterubernommenwerden,umerstnacheventuellen deliegendensuchcorpusallereingegebenencorpusanfragenfestgehaltenwird.eineinder ListegespeicherteAnfragekanndurchSelektierenerneutausgefuhrtwerdenoderderAn- ZusatzlichwirdinnerhalbvonXkwiceineeinfacheQuery-Historyunterstutzt.Diese Query-HistorybestehtauseinerListe,inderderAnfragetextundderNamedeszugrun- Anderungenausgefuhrtzuwerden.DieQuery-HistorykannineinerDateiabgespeichert FenstersdientzurEingabeeinerAnfrageunddesSuchcorpus.DieMengederverfugbaren werdenundstehtsomitinnachfolgendensitzungenwiederzurverfugung. nebendemeingabefensterfurdassuchcorpusineinemseparatendialogfensterangezeigt. SuchcorporawirddurchSelektiondesmitdemFragezeichenversehenenButtonsrechts Abbildung4zeigtXkwicnachderBearbeitungeinerAnfrage.DerobereBereichdes strukturellerattribute,dieeinemcorpuszugeordnetsind(z.b.pos-tags),wirdderzeit derwortformenausgegebenwerden.dieausgabederwerteandererpositionaleroder InXkwickannmomentanbeiderAnzeigeeinerKonkordanzzeilelediglichdieSequenz undmiteinembenutzerdenierbaren,erweitertenkontextimunterstenfensterdargestellt. verandertwerdenkann.beimselektiereneinerkonkordanzzeilewirddieseinversunterlegt zeigteausschnittdurchdenscrollbarrechtsdesfenstersinderublichenartundweise DermittlereTeildesFenstersdientzurAnzeigedesAnfrageergebnisses,wobeiderangecolbasierendesKommunikationsprotokollimplementiert,dasesermoglicht,Anfragenvon [Eme94])anXkwicmoglich.ImRahmendesDELIS-Projektes([HE94]),indemunteranderemeininteraktivesSystemzurcorpusbasiertenLexikonentwicklungimplementiertwirdsen.Dadurchwurdez.B.dieAnbindungdesLisp-basiertenTypedFeatureSystems(TFS, anderenprogrammenanxkwiczusenden,umsiedortevaluierenundprasentierenzulas- InnerhalbvonXkwicwurdeeinaufdemXWindowsInter-ClientCommunicationsProto- nochnichtunterstutzt. 10

11 Abbildung4:DasPrasentations-undInteraktionswerkzeugXkwic 11

12 anfragenwerdendannuberdaskommunikationsprotokollanxkwiczurevaluierungund ZusatzlichzuderMoglichkeit,innerhalbvonXkwicdenaligntenTeileinereinzelnen PrasentationgegenuberdemBenutzergeschickt. Konkordanzzeileanzeigenzulassen,erlaubtdasProgrammprint-aligneddietextuelfragenaneinmitspeziellenInformationenannotiertesCorpusabgebildet.DieseCorpus- werdendabeiintfsspeziziertesyntaktischeinformationenuberlemmataincorpusanleausgabeeinesvollstandigenanfrageergebnisseszusammenmitderjeweilsjedereinzelnenkonkordanzzeilezugeordnetenubersetzung.dieausgabevonprint-alignedfurdie Anfrage (12)"den"".*(tag woch)"[pos="inf"] lautetausschnittsweise denmittwochverschieben, vmob-e:i'mnotingthatdown,theni'llhavetomovetheschedulingoftheweektowednesday. vmob-d:haltichfest,notiericheben,dannmuichdiewochenplanungvielleichtmalauf wirdanndenfreitagfesthaltenfurdiesesseminar. vmob-e:andiseethatihavemoretimeonthesubsequentfridays.maybeweshouldsettle vmob-d:undichsehgrade,diefreitagedanachhabichauchmehrplatz.vielleichtsollten onfridaythen,forthisseminar. derbedeutung.wirdbeigroencorporainnerhalbdeserstenteilausdruckseinregularer AusdruckaufderAttributwertebeneverwendet,sokanndieEvaluierungderAnfragebetrachtlicheZeitinAnspruchnehmen.EnthaltderersteAusdruckjedochkeineregulareausdrucksab.DabeiistimallgemeinenderersteTeilausdruckderAnfragevonentscheiden- DieEzienzderAnfrageevaluierunghangtwesentlichvonderKomplexitatdesAnfrage- 5EzienzderAnfrageevaluierung ezientgenugfurdieinteraktiveanwendung. Ausdrucke,istderZugriaufdieCorpusdatendurchdieverwendetenIndizierungstechniken DieeinfacheAnfrage(13) (14)"Brezel"; (13)"Bre.*zel"; benotigtzurevaluierungaufeinem36millionenworterumfassendendeutschenzeitungscorpusca.17sekunden.11dasergebnisderanfrage(14) nochdieschreibungsvariante\bretzel"unddereigenname\brentzel"(diejeweilsnureinmalauftreten) beschrieben.allezeitmessungenwurdenaufeiner2-prozessorsparcstation10(betriebssystemsunos 4.1.3)unternormalerBelastungdurchgefuhrt.12 11Auer\Brezel"(23Vorkommen)werdenimSuchcorpusdurchdenverwendetenregularenAusdrucknur

13 wirddagegenin0.7sekundenberechnet,wobeidieabsolutehaugkeitdeswortesim CorpusauchohnedieVerwendungregularerAusdruckeAuswirkungenaufdieEzienz hat.sobenotigtdieevaluierungderanfrage(15) (15)"Kohl"; weiteremoglichkeitenzurverfugung,umdieanfragezuformulieren: DasErgebnisderSuchanfrage(16) (16)"gehen ging gegangen"; wirdinca.224sekundenberechnet.innerhalbderanfragesprachestehenjedochzwei ca.9sekundenundliefert4812vorkommen. ursprunglichebeispiel(16)behandeltdiedisjunktionaufderebeneregularerausdrucke (18)[word="gehen" word="ging" word="gegangen"]; (17)"gehen" "ging" "gegangen"; DiebeidenAnfragen(17)und(18)werdenerheblichschnellerberechnet(inbeidenFallen inattributwerten. ca.in28sekunden),dakeineregularenausdruckeinnerhalbderattributwerteverwendet In(17)liegendisjunktivverknupfteAttributausdruckevor,sodadieDisjunktionauf werden.alledreianfragenberechnennaturlichdasidentischeergebnis(15837vorkommen).durchinternedatencaching-mechanismendesbetriebssystemskannallerdingsdie verwendet,wobeidiedisjunktioninnerhalbdesbooleschenausdrucksbearbeitetwird.das derebenedesendlichenautomatenbehandeltwird.in(18)wirdnureinattributausdruck sofortigenerneutenausfuhrunginca.1sekundeberechnet. durchihndie\startpositionen"furdieevaluierungdesausdemregularenanfrageausdruck DerersteTeilausdruckeinerAnfrage(ebensoder1.AusdruckeinesdisjunktivverknupftenweiterenTeilausdrucks)istdeshalbvonfurdieEzienzentscheidenderBedeutung,da Zeitmessungerheblichgestortwerden:sowirddasErgebnisvonAnfrage(18)beieiner AutomatfurjedendieserStartpunkteangestoenunduberpruft,obdieindenAttributausdruckenformuliertenBedingungenandenjeweilsbetrachtetenPositionenerfulltwerden. konnen. DynamischeAttributesindaufgrunddermitjederWertberechnungverbundenenShell- mitanderenattribut-wert-gleichungenkonjunktivverknupftenattribut-wert-gleichung Aufrufesehrinezient,weshalbsieindenBeispielennurjeweilsinnerhalbderletzten, verwendetwurden,dadurchdievorausgehendenattribut-wert-gleichungeninnerhalbdes gleichenattributausdrucksdieanzahlderaufrufeeinesdynamischenattributsstarkeingeschranktwerdenkann. DurchVerwendungweitererIndexdateienundverschiedenerOptimierungstechnikenbeider AnfrageevaluierungkonntedieEzienzdesAnfragesystemserheblichgesteigertwerden. gebildetenendlichenautomatenfestgelegtwerden.liegendiesestartpunktefest,wirdder Dabeiistklar,daeinfachereund\kurzere"Automatenauchschnellerevaluiertwerden 13

14 DiesbeziehtsichinsbesondereaufMechanismen,diedieEvaluierungregularerAusdrucke isteineumformungnichtnotwendig.einweitererezienzgewinnergibtsich,wenndas FurdenBenutzerdesAnfragesystemsergibtsichdieFolgerung,dabeigroenCorpora inattributwertenbeschleunigenkonnten. eineaufzahlungwiebei(17)oder(18)umgeformtwerdensollten.beikleinerencorpora Corpuslemmatisiertvorliegtundsoz.B.dieAufzahlungkonjugierterFormeneinesVerbs regulareausdruckeamanfangeinesanfrageausdrucksvermiedenwerdensolltenoderin ezientenzugriaufgroe,annotiertetextcorporaermoglicht.durchdieaufteilungdes 6Zusammenfassung MitdemhiervorgestelltenSystemstehteinCorpusanfragesystemzurVerfugung,dasden uberussigwird. GesamtsystemsinunterschiedlicheModulewirdaufderSeitederWerkzeugeeinehoheFlexibilitaterreicht,wasdieEntwicklungspeziellerWerkzeuge,dieCorpusinformationbenotigen,aufderGrundlagebestehenderModuleundWerkzeugestarkvereinfacht.AufderSeite dercorpusdatenwirddurchunterschiedlicheattributtypen,dietrennungderverschiedetionmoglich. CorpusdatenaustauschistaucheineuberverschiedeneRechnerverteilteDatenreprasenta- daanderungenanbestehendenannotationennotwendigwerden.ubernetzwerkbasierten neneinescorpushinzugefugt,erweitert,aktualisiertoderkorrigiertwerdenkonnen,ohne verschiedenedateienebenfallseinehohemodularitaterreicht,sodaeinzelneannotationeneinemcorpusannotiertenattributeunddurchdieaufteilungderinformationenin DieUnterstutzunginkrementellerAnfragenunddieMoglichkeit,Anfrageergebnissedurch BeimEntwurfderAnfragesprachewurdeversucht,aufbekannteBeschreibungselementewie Mengenoperationenkombinierenzukonnen,kannzuerheblichenEzienzgewinnenbeider regulareausdrucke,attribut-wert-gleichungenundboolescheausdruckezuruckzugreifen, zusatzlichebenutzerfreundlichkeiterreicht. Anfrageevaluierungfuhren.AuerdemwirddadurchdieEntwicklungeinerAnfragestrategieunterstutzt:derAnwenderdesSystemskannimVorfelddereigentlichenCorpusarbeitert.DurchdiegraphischeBenutzeroberacheXkwiczumAnfrageprozessorwurdeeine wasdaserlernenderanfragespracheunddenumgangmitdenanfragewerkzeugenerleich- bereitseinenteildervorgehensweiseplanen,mitderdurchschrittweiseverfeinerte,aufeinanderaufbauendeinkrementelleanfragenauszuerstgroenbelegmengennachundnach detaillierte,kleinebelegmengengeltertwerden. Anzahl,dafuraberunterUmstandenumsorelevantererBelegeresultiert.Insgesamtkann lichdetaillierterespezikationderimcorpuszusuchendenbelege,worauseinekleinere WissensquellenangeboteneInformationkanndanninCorpusanfragenverwendetwerden. EinweitererVorteildesvorgestelltenSystemsistes,externelinguistischeWissensquellenuberzumZeitpunktderAnfrageevaluierungberechneteAttributwerteaneinCorpus bindenzukonnen,beispielsweisethesauri,terminologiedatenbankeno.a.diedurchdiese DieMoglichkeit,aufeinfacheWeiseinannotiertenCorporazusuchen,erlaubteinewesent- 14

15 legestarkreduziertwerden,wasimlinguistischenbeschreibungsprozeinsbesonderebei Literatur durchdetailliertereanfragemoglichkeitendiezahldereventuellmanuellzulterndenbe- [BPvR93]R.H.Baayen,R.Piepenbrock,H.vanRijn.TheCELEXLexicalDatabase(CD- kordanzbasierendebeschreibungerstelltwerdenkann. groencorporapositiveauswirkungenaufdieezienzhat,mitdereineaufeinerkon- [Chr93]OliverChrist.TheXkwicUserManual.InstitutfurmaschinelleSprachverarbeitung,UniversitatStuttgart,1993. maschinellesprachverarbeitung,universitatstuttgart,1994. ROM).LinguisticDataConsortium,UniversityofPennsylvania,Philadelphia, [Chr94]OliverChrist.TheIMSCorpusWorkbenchTechnicalManual.Institutfur PA,1993. [Eme94]MartinEmele.TFS{TheTypedFeatureStructureRepresentationFormalism. [HE94]UlrichHeid,MartinEmele.DELIS:ToolsforCorpusBasedLexiconBuilding. [KSZE92]DanielKarp,YvesSchabes,MartinZaidel,DaniaEgedi.AFreelyAvailable LanguageResources(SNLR),1994. Erscheintin:ProceedingsoftheInternationalWorkshoponSharableNatural [MBF+93]GeorgeA.Miller,RichardBeckwith,ChristianeFellbaum,DerekGross,KatherineMiller.IntroductiontoWordNet:AnOn-lineLexicalDatabase.Technischer Bericht,CognitiveScienceLaboratory,PrincetonUniversity,1993. WideCoverageMorphologicalAnalyzerforEnglish.InProceedingsofCOLING Erscheintin:ProceedingsofKONVENS'94,1994. [SC94]BrunoM.Schulze,OliverChrist.TheCQPUsers'sManual.InstitutfurmaschinelleSprachverarbeitung,UniversitatStuttgart,Version1.0d,Mai1994. '92,Nantes,1992. [Sch94]BrunoM.Schulze.EntwurfundImplementierungeinesAnfragesystemsfur tung(ims)andinstitutfurinformatik,universitatstuttgart,januar1994. Textcorpora.DiplomarbeitNr.1059,InstitutfurmaschinelleSprachverarbei- 15