Automatische Beschlagwortung mit dem Vokabular der SWD

Transkript

1 Sandro Uhlmann Automatische Beschlagwortung mit dem Vokabular der SWD Erfahrungen aus dem Projekt PETRUS 1 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

2 Projekt PETRUS: Szenario 4 Projektziele Bisheriger Projektverlauf Indexierungsqualität und Evaluierung Tests und Ergebnisse 2010 Vorhaben und Hauptziele Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

3 Projekt PETRUS: Szenario 4 Ziel Szenario 4: automatische Beschlagwortung von deutschsprachigen Netzpublikationen mit dem Vokabular der Schlagwortnormdatei (SWD) und den individualisierten Personennamen der Personennamendatei (PND) zusätzlich sollen für deutsch- und englischsprachige digitale Publikationen freie Schlagwörter generiert werden, um weitere Sucheinstiege für den Nutzer im Portal der DNB zu liefern als Objekte stehen die Netzpublikationen der Reihe O im Fokus, die seit Bibliografiejahrgang 2010 nicht mehr intellektuell erschlossen werden 3 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

4 Szenario 4: Bisheriger Projektverlauf - Ende 2009 Beschaffung geeigneter Softwaresysteme für zeitlich befristete Funktionstests im Jahr 2010: die Extraction Platform der Firma Averbis, Freiburg (i.br.) und der TopicFinder der Firma Intrafind, Planegg (München) - Zwei Testphasen in 2010 sollten zeigen, a) wie gut die automatisch vergebenen Schlagwörter das Thema einer Publikation tatsächlich abbilden und ob sie sinnvolle Sucheinstiege liefern sowie b) welcher technisch/methodische Ansatz für die Daten der DNB am besten geeignet ist - im Herbst 2010 fanden die Erkenntnisse der Testphasen Eingang in ein erneutes Beschaffungsverfahren infolge dessen das Softwaresystem der Firma Averbis den Zuschlag erhielt 4 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

5 Qualität und Evaluierung die Qualitätsbewertung in Szenario 4 beruht auf der intellektuellen Bewertung der inhaltlichen Übereinstimmung zwischen den automatisch vergebenen Schlagwörtern und dem Thema des Dokuments anhand von Stichproben in einer Datenbank bekommen die FachreferentInnen der Abt. Inhaltserschließung den Autor, Titel, einen Link zum elektronischen Text sowie eine unsortierte Liste der automatisch vergebenen SWD-Schlagwörter zu sehen Für jedes Dokument werden die einzelnen Schlagwörter bewertet. Dabei wird jedem Schlagwort auf einer 4-Punkte- Skala ein Wert zugewiesen. 5 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

6 Qualität und Evaluierung Bewertungskategorien: sehr nützlich >> das einzelne Schlagwort beschreibt einen wichtigen Aspekt des Textes ausreichend und trifft absolut zu nützlich >> das einzelne Schlagwort beschreibt einen wichtigen Aspekt des Textes aus einer weiteren (oder auch engeren) Perspektive und trifft zu wenig nützlich >> das einzelne Schlagwort beschreibt einen wichtigen Aspekt des Textes nicht ausreichend, ist aber auch nicht völlig unzutreffend oder falsch falsch/schädlich >> das einzelne Schlagwort beschreibt keinen wichtigen Aspekt des Textes und ist falsch/schädlich 6 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

7 Qualität und Evaluierung 7 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

8 Qualität und Evaluierung 8 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

9 Qualität und Evaluierung 9 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

10 Qualität und Evaluierung 10 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

11 Qualität und Evaluierung Statistische Auswertung der intellektuellen Bewertungen: generalized Precision vs. generalized Recall gp(gr) Bewerteten die Nützlichkeit und die Vollständigkeit der Schlagwörter. Die Schlagwörter werden nach ihrem Konfidenzwert gerankt. Für jedes hinzukommende nicht falsche Schlagwort wird berechnet generalized Precision 1 gp = n i= 1 mit n der Zahl der berücksichtigten Schlagwörter und r dem Relevanzfaktor für die Relevanzbewertung des Schlagwortes nach folgender Tabelle n r i 11 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

12 Qualität und Evaluierung generalized Recall gr i = m= j n = 1 1 r r i j mit r dem Relevanzfaktor; für die fehlenden Schlagwörter ist r=1 m = Zahl der automatisch vergebenen Schlagwörter plus Zahl der fehlenden Schlagwörter Für den Recall müssen in der Summe im Nenner auch die als fehlend angegebenen Schlagwörter mitgezählt werden. Der Nenner bezeichnet alle Schlagwörter, die für eine vollständige Beschlagwortung vergeben werden müssten und ist immer gleich. average generalized Precision Integral über die Auftragung von gp gegen gr (F-Measure). 12 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

13 Tests und Ergebnisse 2010: Test 1 Testobjekte: Elektronische Volltexte (v.a. Hochschulschriften) Testbedingungen: Software wurde ausschließlich mit Sachschlagwörtern der SWD modelliert (keine Geografika, Körperschaften etc.) ; thematische Begrenzung auf 12 Sachgruppen ; Ausgabe von 15 SSW 13 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

14 Tests und Ergebnisse 2010: Test 1 Beispiel 1 Link zu diesem Datensatz: Titel: Hochwasserschutz im Bauplanungsrecht unter besonderer Berücksichtigung des Regierungsentwurfs eines Gesetzes zur Verbesserung des vorbeugenden Hochwasserschutzes vom 3. März 2004 [Elektronische Ressource] / vorgelegt von Michael Kern Sachgruppe(n): 340 Recht Gesamtbewertung: Unbrauchbar Fehlende Aspekte: Deutschland ; Bauplanungsrecht 14 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

15 Tests und Ergebnisse 2010: Test 1 Beispiel 2 Link zu diesem Datensatz: Titel: Weiterbildung in virtuellen Lernumgebungen [Elektronische Ressource] : Grundlage, Entwicklung und Evaluation eines Konzepts / vorgelegt von Larissa Rogner Sachgruppe(n): 370 (Erziehung, Schul- und Bildungswesen) Gesamtbewertung: Mäßig Fehlende Aspekte: Lernumwelt ; Selbstgesteuertes Lernen ; Medienkompetenz 15 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

16 Tests und Ergebnisse 2010: Test 1 16 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

17 Tests und Ergebnisse 2010: Test 2 Testobjekte: Elektronische Volltexte (v.a. Hochschulschriften) Testbedingungen: nur Sachschlagwörtern der SWD ; thematische Ausweitung auf 16 Sachgruppen ; Ausgabe von 15 SSW Neumodellierung der Software 17 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

18 Tests und Ergebnisse 2010: Test 1 vs. Test 2 Beispiel 1 Titel: Hochwasserschutz im Bauplanungsrecht unter besonderer Berücksichtigung des Regierungsentwurfs eines Gesetzes zur Verbesserung des vorbeugenden Hochwasserschutzes vom 3. März 2004 [Elektronische Ressource] / vorgelegt von Michael Kern Sachgruppe(n): 340 Recht 18 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

19 Tests und Ergebnisse 2010: Test 1 vs. Test 2 Beispiel 2 Titel: Weiterbildung in virtuellen Lernumgebungen [Elektronische Ressource] : Grundlage, Entwicklung und Evaluation eines Konzepts / vorgelegt von Larissa Rogner Sachgruppe(n): 370 (Erziehung, Schul- und Bildungswesen) 19 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

20 Tests und Ergebnisse Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

21 Vorhaben und Hauptziele 2011 Einbindung von Sachschlagwörtern, Geografika und Ethnografika der SWD sowie mit den individualisierten Personennamen der PND in das Averbis dictionary Nutzung weiterer Felder aus den SWD-Datensätzen: in der Evaluierungsphase 2010 wurden nur die Ansetzungsform, die IDN, die Synonymverweisungen sowie die auf die DNB- Sachgruppe zurückgeführten DDC-Notationen genutzt zur Verbesserung der Qualität der Indexate insbesondere zur Auflösung von Mehrdeutigkeiten sollen Homonymzusätze, Oberbegriffe, verwandte Begriffe und Ländercodes genutzt werden 21 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

22 Vorhaben und Hauptziele 2011 Anpassung der Software an die Anforderungen der DNB (Ein- und Ausgabeschnittstellen, Konfigurierung, Optimierung des Konfidenzwertes, Steuerung, Logging von Ereignissen, Bedienung über die Benutzeroberfläche etc.) Modellierung Freie Beschlagwortung Festlegung und Entwicklung der Schnittstelle zur Aktualisierung des Thesaurus Festlegung und Entwicklung der Geschäftssprozesse für den Produktivbetrieb 22 Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main

23 Vielen Dank für Ihre Aufmerksamkeit. Fragen, Anregungen, Kritik an Sandro Uhlmann Abt. Inhaltserschließung Tel.: Projekt PETRUS Szenario 4 Workshop 21./ Frankfurt am Main