DWDS-Kernkorpus / DWDS-Korpusanalyse

Transkript

1 Korpusrecherchesysteme Das DWDS-Kernkorpus DWDS-Kernkorpus / DWDS-Korpusanalyse Entwickler: Berlin-Brandenburgische Akademie der Wissenschaften. Version: (keine Versionierung). Recherche: online. Software: online. Zugang: Registrierung. Korpora: online; neben dem DWDS-Kernkorpus (100 Mio. Textwörter) weitere Korpora im Umfang von 500 Mio. Tw. Sprachen: Deutsch. URL: Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 1] Korpusrecherchesysteme Das DWDS-Kernkorpus Textbasis Grundlage des Digitalen Wörterbuch der Deutschen Sprache des 20. Jahrhunderts 100 Mio. Textwörter (im öffentlichen Teil), ausgewogen auf die 10 Dekaden verteilt lemmatisiert, getaggt Textsorten: Schöne Literatur (ca. 26%) Journalistische Prosa (ca. 27%) Fachprosa (ca. 22%) Gebrauchstexte (ca. 20%) (Transkribierte) Texte gespr.spr. (ca. 5%) weitere Korpora online verfügbar Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 2] 1

2 Korpusrecherchesysteme Das DWDS-Kernkorpus Gefilterte Suche Suchausdruck (hier: national) Filteroption Zeitraum (hier: ) Filteroption Textsorte (hier: Wissenschaft) Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 3] Ergebnisse Korpusrecherchesysteme Das DWDS-Kernkorpus Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 4] 2

3 Korpusrecherchesysteme Das DWDS-Kernkorpus Wortverlaufsanalyse Wortverlauf (hier national) Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 5] Korpusrecherchesysteme Das DWDS-Kernkorpus Kookkurenzanalyse Kollokationen (hier blond) Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 6] 3

4 Korpusrecherchesyst. Das DWDS-Kernkorpus Kookkurenzanalyse Wahl zwischen verschiedenen Maßen (hier t- Score zu blond) Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 7] Syntax der Abfragesprache Korpusrecherchesysteme Das DWDS-Kernkorpus Einige Beispiele Funktion Lemmasuche Wortformensuche Wortkettensuche Wortteilsuche Abstandssuche und-suche Suche mit Tags Beispiel "spielen Domino" Domino" *spiel "spielen #3 Domino" Domino && Schach "haben Suchziel: Belege mit beliebigen Wortformen des Lexems spielen der Wortform spielte Wortketten, die aus einer beliebigen Wortform von spielen gefolgt von einer beliebigen Wortform von Domino bestehen Wortketten, die aus der Wortform spiele gefolgt von einer beliebigen Wortform von Domino bestehen einer Wortform, die auf spiel endet Wortketten, die aus einer beliebigen Wortform von spielen gefolgt im Abstand von bis zu 3 Wörtern von einer beliebigen Wortform von Domino bestehen sowohl der Wortform Domino als auch der Wortform Schach Wortketten, die aus einer beliebigen Wortform von haben gefolgt von einem Infinitiv und der Wortform können bestehen Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 8] 4

5 Korpusrecherchesysteme Das DWDS-Kernkorpus Suchausdruck: "haben Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 9] Zeitverlaufsanalysen Zeitverlaufsgraphiken DWDS Zeitverlaufsgraphiken im DWDS-Projekt Phasengröße: 10 Jahre Korpusgröße pro Phase: für alle Phasen gleich groß (10 Mio. Textwörter) Häufigkeitsangabe: absolut (Treffer pro Dekade) Zugänglichkeit: unter Frack Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 10] 5

6 Zeitverlaufsgraphiken im IDS Zeitverlaufsanalysen Zeitverlaufsgraphiken IDS Phasengröße: 1 Jahr Korpusgröße pro Phase: verschieden groß (aber sehr groß) Häufigkeitsangabe: relativ zu der Häufigkeit, die erwartbar wäre bei gleicher Verteilung der Treffer über die gesamte Zeitspanne (0-Linie; dies wiederum berechnet relativ zur Korpusgröße in jeder Phase) Zugänglichkeit: Bildschirmschoner demnächst unter pls/db/p4_module. woerterbuch Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 11] Typen von Gebrauchsverläufen Internet Zeitverlaufsanalysen Zeitverlaufsgraphiken IDS Wellness Medaillenspiegel Wiedereinrichter Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 12] 6

7 Zeitverlaufsanalysen Zeitverlaufsgraphiken im Vergleich Gebrauchsverläufe (DWDS) und (IDS) Digitalkamera Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 13] Zeitverlaufsanalysen Zeitverlaufsgraphiken im Vergleich Gebrauchsverläufe (DWDS) und (IDS) Download Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 14] 7

8 Zeitverlaufsanalysen Zeitverlaufsgraphiken im Vergleich Gebrauchsverläufe (DWDS) und (IDS) Einheitswährung Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 15] Die Korpora DeReKo: Das Deutsche Referenzkorpus Die Korpora am IDS Größe: über 3,4 Milliarden Textwörter (Stand: 2008) Akquise: im Hinblick auf Umfang, Variabilität, Qualität und Aktualität; urheberrechtlich abgesichert Inhalt: belletristische, wissenschaftliche, populärwissenschaftliche und Texte vieler anderer Textarten Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 16] 8

9 Archiv öffentlich zugänglicher Korpora geschriebener Sprache Die Korpora Belletristik des 20. und 21. Jahrhunderts; diverse Schriftsteller (loz-div-pub) Belletristik des 20. Jahrhunderts; Martin Walser (loz-wam) Berliner Morgenpost (bmp / ) Bonner Zeitungskorpus (bzk) COMPUTER ZEITUNG (cz; deutsch / ) Die Presse (dpr; österreichisch / ) Fachsprachen-Korpus 1 (fsp-pub) Frankfurter Rundschau (ffr / ) Goethe-Korpus (goe) Grammatik-Korpus (gr1) GRIMM-Korpus (gri) Hamburger Morgenpost (hmp05, hmp06 / 04/ /2006) Handbuchkorpora (hbk) Kleine Zeitung (klz; österreichisch / ) LIMAS-Korpus (lim / auch morphosyntaktisch annotiert) Korpus-Kartei der Gesellschaft für deutsche Sprache, Wiesbaden (gfds) Korpus Magazin Lufthansa Bordbuch (mld / ) Mannheimer Korpora (mk) Mannheimer Morgen (mmm / 1989, 1991, / teilweise morphosyntaktisch annotiert) Marx-Engels-Korpora Neue Kronen-Zeitung (nkz; österreichisch / ) Oberösterreichische Nachrichten (oon / ) Reden und Interviews Salzburger Nachrichten (sbn / ) St. Galler Tagblatt (sgt; schweizerisch / ) Tiroler Tageszeitung (ttz / ) VDI Nachrichten (vdi06 / 02/ /2006) Vorarlberger Nachrichten (van / ) Wendekorpus (wk) Wikipedia - Die freie Enzyklopädie (wpd / Stand 03/2005) Züricher Tagesanzeiger (zta / ) Stand: Januar 2007 Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 17] Nur IDS-intern zugängliche Korpora geschriebener Sprache Belletristik des 20. und 21. Jahrhunderts; diverse Schriftsteller (loz-div) Belletristik des 20. Jahrhunderts; Stefan Heym (loz-hes) Belletristik des 20. Jahrhunderts; Siegfried Lenz (loz-les) Berliner Zeitung (b97-b04 / ) Biografische Literatur (bio) Der Spiegel (s93, s94 / / auch morphosyntaktisch annotiert) Die Zeit (z94-z04 / teilw. nur Online-Ausgabe) die tageszeitung (t86-t06 / /2006) Meldungen der Deutschen Presse-Agentur (dpa06 / 2006) Fachsprachen-Korpus 1 (fsp) Fachsprachen-Korpus 2: Gentechnologie (dkg) Frankfurter Allgemeine (f93, f95 / 1993 und 1995) Herausgebertexte zum Korpus bio (bih) Die Korpora Historisches Korpus 1 (hi1) Historisches Korpus 2 (hi2) Interview-Korpus (iko) Süddeutsche Zeitung1 (u95-u99 / ) Thomas-Mann-Korpus (thm) Wendekorpus Vereinigung (wkv) Stand: Januar 2007 Quelle: Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 18] 9

10 Korpusstruktur Die Korpora Korpora bestehen aus Dokumenten, Dokumente aus Texte. Korpora, Dokumente und Texte werden mit Identifikatoren versehen:»»» Korpusebene (Korpusidentifikator, z.b. LES)»»» Dokumentebene (Dokumentidentifikator, z.b. LES/ESS)»»» Textebene (Textidentifikator, z.b. LES/ESS.20022) Beispielkorpus: Siegfried Lenz: Werkausgabe in Einzelbänden [20 Bde.]. - Hamburg: Hoffmann und Campe Verlag, Anz. Texte Dokument Beschreibung Bd. 1 LES/HIL Es waren Habichte in der Luft. Roman LES/ALE Die Auflehnung. Roman LES/ERZ [-16022] [Erzählungen] LES/SCH [-17003] [Schauspiele] 17 4 LES/HOR [-18004] [Hörspiele] LES/ESS [-20032] [Essays] Quelle: Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 19] Die Korpora IDS-Textmodell Das IDS-Textmodell definiert, basierend auf dem XCES-Standard das Format in dem die Korpusdaten kodiert sind: Korpusstruktur: Korpora, Dokumente, Texte Korpustext-Bibliographie: Modell für die Kodierung von Quellennachweisen Primärtextbehandlung: Markierung von Überschriften, Fußnoten, Bildunterschriften, Satzenden, Absatzgrenzen, etc. Auszug aus einem gemäß dem IDS-Textmodell kodierten Korpustextes > > > Quelle: Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 20] 10

11 Die Korpora Quelle: Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 21] ist das Korpusrecherchesystem am Institut für Deutsche Sprache. Es existiert in zwei Versionen. Client für Windows WWW-Schnittstelle reduzierte Funktionen der WWW-Schnittstelle gegenüber dem Client Zugriff auf gleiche Korpora Recherche online bei beiden Versionen Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 22] 11

12 (Windows Client) Entwickler: Institut für deutsche Sprache. Version: 3.61 (Windows). Recherche: Online. Software: wird lokal installiert. Zugang: freier Download des Programms; Registrierung erforderlich. Korpora: DeReKo (Korpora des IDS). Sprachen: Deutsch (3,4 Milliarden Textwörter). URL: Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 23] Nach Programmstart Korpus laden Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 24] 12

13 Suchabfrageoption I: Zeilenorientierte Eingabe Schritt 1: Suchanfrage formulieren Suchausdruck, hier: &behaupten /+w2 (dass oder daß) [Suche Belege für das Lemma behaupten (&behaupten), im Abstand von bis zu 2 Wörtern gefolgt (/+w2) von der Wortform dass oder der Wortform daß (dass oder daß)] Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 25] Schritt 2: Such- und Lemmatisierungsoptionen festlegen Suchoptionen (Behandlung von Groß- /Kleinschreibung, Häufigkeitsangaben, Sortieroptionen, Trefferbegrenzung), Lemmatisierungsoptionen (Grundformenoperator unterstützt Suche nach Flexionsformen, Komposita, etc.), Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 26] 13

14 Schritt 3: Wortformen aus Expansionsliste wählen Wortformenauswahl Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 27] Trefferanzahl für Gesamtausdruck (hier: 15904) Schritt 4: Zwischenstatistik der Suchanfrage bestätigen Zur Trefferanzeige Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 28] 14

15 Schritt 5: KWICs (Menü: Ansicht) anfordern Ansicht (hier: Korpusansicht) Ansicht ändern (hier: KWICs anfordern) Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 29] Schritt 6: Volltext anfordern Volltextoption Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 30] 15

16 Ergebnis Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 31] Suchabfrageoption II: Zeilenorientierte Eingabe Schritt 1: Suchanfrage formulieren Suchausdruck, hier: &behaupten /+w2 (dass oder daß) [die Templates können mit der Maus von links herübergezogen werden] weitere Schritte: wie bei zeilenorientierter Eingabe Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 32] 16

17 (WWW-Schnittstelle) Entwickler: Institut für deutsche Sprache. Version: Recherche: Online. Software: Online. Zugang: kostenlos; Registrierung erforderlich. Korpora: DeReKo (Korpora des IDS). Sprachen: Deutsch (2,2 Milliarden Textwörter). URL: Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 33] Nach Programmstart Korpus laden Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 34] 17

18 Nach Programmstart Korpus laden Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 35] Nach Programmstart Korpus laden Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 36] 18

19 Einzige Suchabfrageoption: Zeilenorientierte Eingabe Suchausdruck, hier: &behaupten /+w2 (dass oder daß) Schritt 1: Suchanfrage formulieren Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 37] Schritt 2 (gegebenenfalls): Such- und Lemmatisierungsoptionen einstellen (wie beim Client) Optionen Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 38] 19

20 Schritt 3 (gegebenenfalls): Wortformen aus Expansionsliste wählen Schritt 4: Ergebnisse anzeigen Ergebnisse Expansionslisten öffnen Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 39] Schritt 5: KWIC-Ansicht wählen Optionen für Ergebnisansicht (Monatsbericht, Jahresbericht, Jahrzehntansicht, ) Trefferanzahl für Gesamtausdruck (hier: 15904) KWIC-Ansicht Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 40] 20

21 Schritt 6: Volltext anfordern Volltextoption Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 41] Ergebnis Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 42] 21

22 Syntax der Abfragesprache Einige Beispiele Funktion Lemmasuche Wortformensuche Wortkettensuche Wortteilsuche Abstandssuche und-suche Suche mit Tags Beispiel &spielen spielte &spielen /+w1 &Domino spiele /+w1 &Domino *spiel &spielen /+w3 &Domino Domino /s0 Schach Suchziel: Belege mit beliebigen Wortformen des Lexems spielen der Wortform spielte Wortketten, die aus einer beliebigen Wortform von spielen gefolgt von einer beliebigen Wortform von Domino bestehen Wortketten, die aus der Wortform spiele gefolgt von einer beliebigen Wortform von Domino bestehen einer Wortform, die auf spiel endet Wortketten, die aus einer beliebigen Wortform von spielen gefolgt im Abstand von bis zu 3 Wörtern von einer beliebigen Wortform von Domino bestehen sowohl der Wortform Domino als auch der Wortform Schach Wortketten, die aus einer beliebigen Wortform von haben gefolgt von einem Infinitiv und der Wortform können bestehen Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 43] Syntax der Abfragesprache Beispiel für Abfrage über Suche: dass-subjektsätzen bei dem Verb helfen. Annahme: Subjektsätze bei helfen kommen vor allem in der Verbindung [ ] es [ ] hilft, dass/daß vor. Abfrage: (es /+w3 &helfen) /+w1 (dass oder daß) Beispiele T04 Der SPD hat es nicht geholfen, dass der Sympathieträger und B99 Uns könne es nur helfen, dass wir so früh den Weg zu B02 Vielleicht hat es Metzelder geholfen, dass die Kollegen seinen E96 Da wird es auch nicht helfen, dass der Publikumsrat E99 Mir hat es viel geholfen, dass ich Kabuki-Theater N98 "Uns könnte es helfen, daß gleichzeitig Landtagswahl ist", P93 Saddam Hussein könnte es helfen, daß Zulieferstaaten... eine volle P98 "Wenn es Saddam hilft, daß Unscom von Diplomaten R99 Was kann es nun helfen, daß inzwischen 13 der 15 Stefan Engelberg, Empirische Verfahren, WS 2008/09, Uni Heidelberg [Folie 44] 22