Welche Textklassifikationen gibt es und was sind ihre spezifischen Merkmale?

Transkript

1 Text

2 Welche Textklassifikationen gibt es und was sind ihre spezifischen Merkmale?

3 Textklassifikationen Natürliche bzw. unstrukturierte Texte Normale Texte ohne besondere Merkmale und Struktur Semistrukturierte Texte HTML-Dokumente, die aus natürlichen Text bestehen und durch HTML-Tags strukturiert werden. Strukturierte Texte Datenbanken, Tabellen und XML

4 Was ist XML? Woraus besteht sie und wonach richtet sie sich?

5 XML XML (Extensible Markup Language) gehört zu den sogenannten Markup Languages Dient zur Darstellung hierarchisch strukturierter Daten in Form von Textdateien Besteht aus Tags ; Atributen und den entsprechenden Atributwerten Richtet sich nach der Wohlgeformtheit Einhaltung von allen XML Regelungen Richtet sich nach der Validität also nach der Gültigkeit der Grammatik

6 Was ist TEI?

7 Die Text Encoding Initiative: Geschichte 1987 entstanden als internationale Initiative von Philologinnen und Philologen Dokumentenformat zur Repräsentation von Texten in digitaler Form Es ist Vielseitig und Praxisnah

8 Wie lässt sich TEI differenzieren?

9 Die Text Encoding Initiative: Differenzierung das Konsortium (TEI-C), 2000 gegründet Und Richtlinien und Empfehlungen zur Kodierung+ Austausch von Textdokumenten Intention: Geisteswissenschaftler sollen über größtmögliche Freiheit verfügen, textuell vorliegende Information nach eigenem Textbegriff in XML zu codieren.

10 An welche Richtlinien und Standards hält sich TEI?

11 Die Text Encoding Initiative: Standards und Guidelines Standards der TEI schränken die schier unendlichen Auszeichnungsmöglichkeiten von XML ein. Dabei stellen sich die folgenden Grundfragen: Welche Tags und welche Attribute lassen sich verwenden, um eigene Texte auszuzeichnen? Wie lassen sich die Tags miteinander kombinieren / verschachteln?

12 Die Text Encoding Initiative: Modularisierung Flexible Auswahl von TEI-Elementen aufgrund des modularen Charakters der TEI. So muss ein eigenes Schema nicht alle Elemente und Attribute der TEI enthalten. Module, u.a.: core für Basiselemente header für Metadaten textstructure für grundlegende Textstrukturen drama für Dramen prose, poetry, etc.

13 Methodenverortung Data Mining: Einsatz auf stark strukturierten Daten Text Mining: Informationsextraktion aus (u.a. semistrukturierten) Texten; Verwendung von Verfahren / Algorithmen des Data Minings Automatisierte Strukturierung von Texten (insbes. sehr großen Mengen von Texten) Information Retrieval: Suchanfragen an einen Textcorpus Wie finde ich die von mir gesuchte Information?

14 Bedeutung

15 Tf-idf-Maß Termfrequenz,: Wie häufig findet sich die Wortform / der Term im Dokument? Inverse Dokumentfrequenz : Wie häufig findet sich die Wortform / der Term im Gesamtkorpus? Annahme: Eine Wortform, die nur in wenigen Titelaufnahmen des Gesamtbestandes anzutreffen ist, verfügt über eine höhere Trennschärfe als eine Wortform, die sich in zahlreichen Titelaufnahmen findet.

16 IDF : Text Mining Tool Termfrequenz: Häufigkeit des (Such)Terms / der Wortform im jeweiligen Dokument Bestimmung der Trennschärfe einer Wortform: Inverse Document Frequency (IDF), Inverse Dokumenthäufigkeit Annahme: Eine Wortform, die nur in wenigen Titelaufnahmen des Gesamtbestandes anzutreffen ist, verfügt über eine höhere Trennschärfe als eine Wortform, die sich in zahlreichen Titelaufnahmen findet.

17 IDF : Text Mining Tool Weitere Schritte 1) Gewichtung: Gewichtung der Suchphrase bestimmen, sprich relevante Suchterme charakterisieren

18 IDF : Text Mining Tool Weitere Schritte 2) Vektorraum Verbindungen zu verschiedenen Termen erstellen und mögliche Vergleiche aufbauen Komplexität verringern und Verbindungen aufzeigen.

19 IDF : Text Mining Tool Weitere Schritte 3) Ahnlichkeitsmaß Ähnlichkeit von Such- und Vergleichstitel bzw. der korrespondierenden Vektoren ermitteln 4) Cluster Cluster ähnlicher Titel generieren: Cluster I: Titel mit Gewichtung = Cluster II: Titel mit Gewichtung = MAB Einträge (Author Name, Place of Printing, etc.) unscharf (fuzzy) vergleichen

20 Was versteht man unter den Begriffen recall und precision und wozu dient dieses System?

21 IDF : Text Mining Tool Bewertung Trefferquote (recall) und Genauigkeit (precision) bewerten Suchergebnisse. Recall: Liefert die Suchanfrage ein relevantes Ergebnis? Precision: Ist der gefundene / zurückgelieferte Treffer für die Suchanfrage relevant?

22 Was ist das VD 18-Projekt?

23 VD 18 Projekt Ein Projekt zur Digitalisierung von historischen Werken Als Pilotprojekt gefördert Umfasst an der Universität zu Köln mehr als eine Million Titel