PETRUS Szenario 1 Automatische Sachgruppenvergabe

Transkript

1 PETRUS Szenario 1 Automatische Sachgruppenvergabe Elisabeth Mödden 1

2 Automatische Sachgruppenvergabe 1. DDC-Sachgruppen 2. Automatische Sachgruppenvergabe 3. Tests und Ergebnisse 4. Geschäftsprozesse und Qualitätsmanagement 2

3 DDC-Sachgruppen System zur thematischen Ordnung von Titeldaten. unabhängig von der Sprache der Publikationen. seit Bibliografie-Jahrgang 2004 Gliederung der verschiedenen Reihen nach DDC-Sachgruppen. gliedern sich zur Zeit in 101 DDC-Sachgruppen und beruhen auf der Dewey-Dezimalklassifikation (DDC): 10 Hauptklassen Ebene Klassen der Ebene Klassen der Ebene 3 3

4 DDC-Sachgruppen 000 Allgemeines, Wissenschaft 004 Informatik 010 Bibliografien 500 Naturwissenschaften 510 Mathematik 520 Astronomie, Kartographie 530 Physik Technik 610 Medizin, Gesundheit 620 Ingenieurwissenschaften und Maschinenbau Elektrotechnik, Elektronik...

5 Titeldatensatz - Portal DDC-Sachgruppe 5

6 Einsatz der DDC-Sachgruppen Deutsche Nationalbibliografie (seit 2004), Österreichische Bibliografie (seit 2004), Schweizer Buch (seit 2001) zur Gliederung der Deutschen Nationalbibliografie und des Neuerscheinungsdienstes. Nutzung durch Bibliotheken und ähnlichen Einrichtungen zu Erwerbungszwecken, zur Übernahme von Katalogisaten und zur thematischen Ordnung in Katalogen. 6 Buchhandel und Verlage

7 Reihe O Einführung der Reihe O mit Bibliografiejahrgang 2010 für Online-Publikationen (Netzpublikationen). Keine intellektuelle Inhaltserschließung durch Mitarbeiter. Abgelieferte Titelaufnahmen in der Regel Daten der Ablieferer. Automatische Sachgruppenvergabe. 7

8 Automatische Sachgruppenvergabe Ziel: Deutsch- und englischsprachigen Netzpublikationen automatisch DDC-Sachgruppen zuzuweisen. Rückblick: 2009 Ausschreibung verschiedene Verfahren testen 2010 Durchführung von Tests mit vier Systemen 2010 Ausschreibung für ein Verfahren 2011 Auswahl: Averbis Extraction Platform TM eine Umgebung für maschinelles Lernen. 8

9 9 Averbis Extraction Platform

10 Klassifikationsmodell Linguistics Zum Beispiel: Stemming Nominalphrasenerkennung Morpho-syntaktische Analyse Morpho-semantische Analyse etc. Train Vektorengenerierung Vektorenverfeinerung Maschinelles Lernen Klassifikationsmodell zur Sachgruppenvergabe Classify 10

11 Maschinelles Lernen Training von Klassifikationsmodellen durch Einsatz statistischer Lernverfahren z. B. der Support Vector Machine (SVM). Das System lernt anhand von Trainingsbeispielen und leitet Gesetzmäßigkeiten aus diesen Trainingsbeispielen ab. Trainingsbeispiele sind Netzpublikationen und gescannte Inhaltsverzeichnisse mit Sachgruppen, die durch die Inhaltserschließung vergeben wurden. 11

12 Maschinelles Lernen Merkmalsgewinnung Merkmalsreduktion Wort 1 Maschinelles Lernen SG 000 Wort 2 SG 004 Merkmalsgewichtung Wort 3 SG 010 Wort 4 SG 020 Wort n SG 990 Merkmal Kategorie 12 * Quelle: Firma Averbis

13 13 Trainingsmaterial

14 weiteres Trainingsmaterial 14

15 Tests 2010 Testfall 1 Training: Gescannte Inhaltsverzeichnisse 5-fach Kreuzvalidierung (Anzahl / 81 SG) Testfall 2 Training: Volltexte (Netzpublikationen) 5-fach Kreuzvalidierung (Anzahl / 45 SG) Testfall 3 Training: Gescannte Inhaltsverzeichnisse Test: Volltexte (Netzpublikationen) 15

16 Praxistests 2010 Testfall 4a 999: Training: Volltexte Test: ungezippte Volltexte Reihe O (Anzahl: 2720 / 45 SG ) Testfall 4a 888: Training: Volltexte Test: gezippte Volltexten Reihe O (Anzahl: 2215 / 45 SG ) Testfall 4b 999: Training: gescannte Inhaltsverzeichnisse Test: ungezippte Volltexte Reihe O (Anzahl: 2804 / 70 SG ) Testfall 4b 888: Training: gescannte Inhaltsverzeichnisse Test: gezippte Volltexte der Reihe O (Anzahl: 3019 / 77 SG). 16

17 Qualitätsmaße Dokumente aller Sachgruppen I Intellektuell vergebene SG I A = R A Automatisch erzeugte SG Recall = R / I Precision = R / A F-Measure = 2 * recall * precision / (recall + precision) 17

18 Micro Average Precision und Recall bei automatischer Vergabe von i = 1, 2, 3 Sachgruppen 18 SG : Sachgruppe, t SG,i : richtige Zuordnung zur SG (bei Vergabe der iten autom. SG), f SG,i : falsche Zuordnung zur SG (bei Vergabe der iten autom. SG), n SG : Zahl der Dokumente mit intellektuell vergebener SG N : Gesamtzahl der Dokumente im Testkorpus

19 Ergebnisse 2010 Testfall 1 Testfall 2 Testfall 3 TF 4a 999 TF 4a 888 TF 4b 999 TF 4b 888 r1 0,69 0,81 0,76 0,67 0,41 0,66 0,6 r2 0,81 0,91 0,88 0,82 0,53 0,82 0,77 r3 0,86 0,95 0,92 0,87 0,58 0,87 0,85 p1 0,69 0,81 0,76 0,67 0,41 0,66 0,6 p2 0,41 0,46 0,45 0,41 0,26 0,41 0,39 p3 0,29 0,32 0,32 0,29 0,19 0,29 0,28 f1 0,69 0,81 0,76 0,67 0,41 0,66 0,6 f2 0,54 0,61 0,6 0,55 0,35 0,55 0,52 f3 0,43 0,48 0,47 0,44 0,29 0,44 0,42 19

20 20

21 Konfusionsmatrix Beispiele für häufig vertauschte Sachgruppen: 004 Informatik 620 Ingenieurwissenschaften 150 Psychologie 610 Medizin, Gesundheit 330 Wirtschaft 650 Management 360 Soziale Probleme, Sozialdienste, Versicherungen 610 Medizin, Gesundheit 570 Biowissenschaften, Biologie 610 Medizin, Gesundheit 21

22 Herausforderungen Ungleichmäßige Verteilung der Netzpublikationen auf die Sachgruppen! Kein Trainingsmaterial für alle Sachgruppen! 2004 bis 2006 Vergabe der Sachgruppen, ohne Kenntnis der DDC. Fehler im Trainingsmaterial. ( Netzpublikationen müssten überprüft werden)! Neue Sachgruppe seit 2010: Natürliche Ressourcen, Energie und Umwelt 620 Ingenieurwissenschaften und Maschinenbau Elektrotechnik, Elektronik 624 Ingenieurbau und Umwelttechnik Slawische Sprachen Slawische Literatur

23 Lösungsansätze Aufbereitung des Trainingsmaterials Hierarchische Klassifikation Identifikation kritischer Merkmale bei vertauschter Zuordnung der Sachgruppen zur Externalisierung der Entscheidungsregeln der Inhaltserschließer Vorschlagskomponente für weiteres Trainingsmaterial Vergabe von mehreren Sachgruppen pro Netzpublikation 23

24 Anpassung der Geschäftsprozesse Online-Publikationen Ablieferung automatische Sachgruppenvergabe automatische Beschlagwortung A R C H I v Metadaten Sachgruppe Schlagwörter Analyse der Prozesse 24 Analyse der Schnittstellen

25 PICA 3 Feld ! !Hartinger, Anselm [Hrsg.] 4000 Vergnügte Pleißenstadt : Bach in Leipzig / Anselm Hartinger $Ea$D $Ei$D $Em$K0,8$D $Ep$D

26 Qualitätsmanagement Automatische Sachgruppenvergabe Überwachung der Qualität Stichprobenanalyse Signal durch Klassifikationssystem Kontinuierliche Verbesserung der Qualität neues Trainingsmaterial weitere Merkmalsregeln Differenzierteres Verfahren 26

27 Qualitätsmanagement $Ea$D $Em$Kx0,1$D $Ei$D Trainings korpus

28 Vielen Dank für Ihre Aufmerksamkeit! Fragen? 28 Elisabeth Mödden Deutsche Nationalbibliothek Inhaltserschließung D Frankfurt am Main Telefon: