Externe Indizierung von OPAC-Inhalten

Transkript

1 Externe Indizierung von OPAC-Inhalten Dr. Harald Jele Universität Klagenfurt UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 1

2 Rahmenbedingungen dieses Ansatzes: ein Bibliothekssystem, in dem bibliogr. Daten in standardisierter Form gespeichert werden UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 2

3 Rahmenbedingungen dieses Ansatzes: ein Bibliothekssystem, in dem bibliogr. Daten in standardisierter Form gespeichert werden ein üblicher, zeitgemäßer OPAC UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 2

4 Rahmenbedingungen dieses Ansatzes: ein Bibliothekssystem, in dem bibliogr. Daten in standardisierter Form gespeichert werden ein üblicher, zeitgemäßer OPAC externe Indizierung von ca Titeldatensätzen durch ein Open-Source-Produkt UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 2

5 Warum externe Indexierung?? eine überraschende Schwäche vieler OPAC-Systeme ist deren schlechte Performanz UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 3

6 Warum externe Indexierung?? eine überraschende Schwäche vieler OPAC-Systeme ist deren schlechte Performanz Lizenzkosten sind gerade bei größeren Systemen (=jene, die von schlechter Performanz am deutlichsten betroffen sind) nicht unerheblich UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 3

7 Warum externe Indexierung?? eine überraschende Schwäche vieler OPAC-Systeme ist deren schlechte Performanz Lizenzkosten sind gerade bei größeren Systemen (=jene, die von schlechter Performanz am deutlichsten betroffen sind) nicht unerheblich Reduzierung der direkten Systemzugriffe UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 3

8 Relevante Stärken typischer OPAC-Systeme Anwendungen, mit denen ein/e Benutzer/in aufgefundene Werkdaten nutzt und einer individuellen oder gar personalisierten Bearbeitung zuführt: Vormerken, Bestellen, Reservieren, Fernleihen, Verlängern von bestehenden Nutzungen etc. UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 4

9 das Gemeinsame daran ist der administrative Charakter UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 5

10 das Gemeinsame daran ist der administrative Charakter Umsetzung dieser Anwendungen geschieht meist sehr nah an den Vorgaben des verwendeten Datenbanksystems (...und daher auch sehr performant) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 5

11 Relevante Schwächen typischer OPAC-Systeme das Retrieval (dies ist überraschend, da das Retrieval als eine der Kernaufgaben angesehen wird) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 6

12 Relevante Schwächen typischer OPAC-Systeme das Retrieval (dies ist überraschend, da das Retrieval als eine der Kernaufgaben angesehen wird) das meint nicht das Fehlen von (individ. anpassbaren) Suchformularen oder das Fehlen besonderer Browse- oder Retrieve-Möglichkeiten, sondern die Schwierigkeit, sehr performante Suchanfragen durchzuführen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 6

13 Problematik schlechten Retrievals die meisten System-Anfragen bei OPAC-Systemen sind Suchanfragen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 7

14 Problematik schlechten Retrievals die meisten System-Anfragen bei OPAC-Systemen sind Suchanfragen d.h., dass im Mittelpunkt der Wahrnehmung eines OPAC-Systems genau jene Funktionen stehen, die häufig eher schlecht umgesetzt werden können bzw. vielfach Schwächen zeigen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 7

15 Wertetabelle der Zugriffsstatistik UB Klagenfurt, Sept.2003-Aug.2004 UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 8

16 Graphische Darstellung der Zugriffsstatistik Hits Search & Browse-Requests Administrative Requests Anzahl in Mio S O N D J F M A M J J A UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 9

17 Anz. der Suchanfragen versus Anz. der Titelanzeigen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 10

18 Zumeist vorgeschl. Maßn. zur Verbesserung der Performanz neuere leistungsfähigere Hardware (Budget??) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 11

19 Zumeist vorgeschl. Maßn. zur Verbesserung der Performanz neuere leistungsfähigere Hardware (Budget??) Optimierung des zugrundeliegenden Indexsystems = Reduzierung der Einträge von den möglichen auf die notwendigen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 11

20 Beispiel zur Messung des Retrievals alle Diplomarbeiten eines Fachgebiets innerhalb eines Jahres UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 12

21 Beispiel zur Messung des Retrievals alle Diplomarbeiten eines Fachgebiets innerhalb eines Jahres WNO=40A- AND WTI=Dipl.-Arb AND WNO=10-? AND WJA=2000 UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 12

22 Beispiel zur Messung des Retrievals alle Diplomarbeiten eines Fachgebiets innerhalb eines Jahres WNO=40A- AND WTI=Dipl.-Arb AND WNO=10-? AND WJA=2000 Ergebnis nach Indexoptimierung: für das Fach 10- : 30s für das Fach 16- : 94s UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 12

23 Messbare Schwächen Teilmengenbildung UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 13

24 Messbare Schwächen Teilmengenbildung Indexeinträge mit komplexen Permutationsmustern (Ziffern-Buchstaben- Sonderzeichen-Kombinationen) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 13

25 Messbare Schwächen Teilmengenbildung Indexeinträge mit komplexen Permutationsmustern (Ziffern-Buchstaben- Sonderzeichen-Kombinationen) Bereichsoperatoren UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 13

26 Messbare Schwächen Teilmengenbildung Indexeinträge mit komplexen Permutationsmustern (Ziffern-Buchstaben- Sonderzeichen-Kombinationen) Bereichsoperatoren Trunkierungsstellen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 13

27 Lösungsansätze durch externe Indexierung Generieren von XML-Dateien aus den bibliogr. Datensätzen + XQuery-Retrieval UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 14

28 Lösungsansätze durch externe Indexierung Generieren von XML-Dateien aus den bibliogr. Datensätzen + XQuery-Retrieval Export der bibliogr. Daten in xhtml-dateien mit Dublin-Core-Kategorisierung innerhalb des Metadaten-Headers + Volltextindizierung UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 14

29 Zuordnungsschema MAB2 Dublin-Core UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 15

30 Prozesse vor der externen Indexierung Datenexport/Update UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 16

31 Prozesse vor der externen Indexierung Datenexport/Update Aufbereitung: Konvertierung, Anreicherung mit Einträgen aus log. verknüpften Datensätzen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 16

32 Titelvollanzeige eines monogr. Werkes nach dem Export UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 17

33 Anzeige von Bd.1 eines mehrbändigen Werkes UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 18

34 Schematische Darstellung des Datenzugriffs Bibliographic Data (MAB2) OPAC-System System-Applications Data-Index Export Extracted Data (Dublin Core) User Requests Fulltext-Index Web- Services External Fulltext-Retrieval UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 19

35 Kriterien zur Auswahl eines Programms zur Indexierung Indexierung von Daten in strukt. Form UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 20

36 Kriterien zur Auswahl eines Programms zur Indexierung Indexierung von Daten in strukt. Form Boole sche Operatoren (Proximity-Operatoren??) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 20

37 Kriterien zur Auswahl eines Programms zur Indexierung Indexierung von Daten in strukt. Form Boole sche Operatoren (Proximity-Operatoren??) Phrasensuche (Einworttitel bei Zeitschriften) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 20

38 Kriterien zur Auswahl eines Programms zur Indexierung Indexierung von Daten in strukt. Form Boole sche Operatoren (Proximity-Operatoren??) Phrasensuche (Einworttitel bei Zeitschriften) UTF-8-Zeichensatz (Sortierung) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 20

39 Kriterien zur Auswahl eines Programms zur Indexierung Indexierung von Daten in strukt. Form Boole sche Operatoren (Proximity-Operatoren??) Phrasensuche (Einworttitel bei Zeitschriften) UTF-8-Zeichensatz (Sortierung) Indexierung von Teilmengen (Updates) UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 20

40 Kriterien zur Auswahl eines Programms zur Indexierung Indexierung von Daten in strukt. Form Boole sche Operatoren (Proximity-Operatoren??) Phrasensuche (Einworttitel bei Zeitschriften) UTF-8-Zeichensatz (Sortierung) Indexierung von Teilmengen (Updates) Open-Source UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 20

41 Kriterien zur Auswahl eines Programms zur Indexierung Indexierung von Daten in strukt. Form Boole sche Operatoren (Proximity-Operatoren??) Phrasensuche (Einworttitel bei Zeitschriften) UTF-8-Zeichensatz (Sortierung) Indexierung von Teilmengen (Updates) Open-Source Weiterentwicklung gewährleistet UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 20

42 Open-Source-Lib. Lucene Normalisierung von Begriffen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 21

43 Open-Source-Lib. Lucene Normalisierung von Begriffen sehr performante Bereichssuche UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 21

44 Open-Source-Lib. Lucene Normalisierung von Begriffen sehr performante Bereichssuche Query-Parser zur opt. Teilmengenbildung UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 21

45 Open-Source-Lib. Lucene Normalisierung von Begriffen sehr performante Bereichssuche Query-Parser zur opt. Teilmengenbildung Fuzzy -Suche von morphologisch ähnlichen Einträgen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 21

46 Open-Source-Lib. Lucene Normalisierung von Begriffen sehr performante Bereichssuche Query-Parser zur opt. Teilmengenbildung Fuzzy -Suche von morphologisch ähnlichen Einträgen Wildcard + Trunkierungsfunktionen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 21

47 Open-Source-Lib. Lucene Normalisierung von Begriffen sehr performante Bereichssuche Query-Parser zur opt. Teilmengenbildung Fuzzy -Suche von morphologisch ähnlichen Einträgen Wildcard + Trunkierungsfunktionen geeignet für mehrere Mio. Datensätze UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 21

48 Open-Source-Lib. Lucene Normalisierung von Begriffen sehr performante Bereichssuche Query-Parser zur opt. Teilmengenbildung Fuzzy -Suche von morphologisch ähnlichen Einträgen Wildcard + Trunkierungsfunktionen geeignet für mehrere Mio. Datensätze indexiert 1000 Datensätze á 1024Byte und 10 Kateg. in ca. 40s auf einem handelsüblichen PC mit 1GHz UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 21

49 Programmpaket Swish-e in den Funktionalitäten sehr ähnlich zu Lucene UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 22

50 Programmpaket Swish-e in den Funktionalitäten sehr ähnlich zu Lucene programmiert für die Indexierung einiger Hunderttausend Dokumente (Datensätze). Eigene Tests zeigen aber kaum Schwächen bei der Indexierung jenseits einer Mio. Dokumente UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 22

51 Programmpaket Swish-e Antwortverhalten unter Stressbedingungen sehr stabil UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 23

52 Programmpaket Swish-e Antwortverhalten unter Stressbedingungen sehr stabil Antwortzeit für vergleichbare Query 3s zum OPAC-System 30s bei Datensätzen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 23

53 Programmpaket Swish-e Antwortverhalten unter Stressbedingungen sehr stabil Antwortzeit für vergleichbare Query 3s zum OPAC-System 30s bei Datensätzen Möglichkeit der Integration in einen Volltextindex, da Filter für die typ. Dokumententypen wie PDF, XML/XSL u.ä. UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 23

54 Fazit Spezifische Nachteile im OPAC-Retrieval können durch externe Indexierung bibliogr. Daten behoben werden UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 24

55 Fazit Spezifische Nachteile im OPAC-Retrieval können durch externe Indexierung bibliogr. Daten behoben werden Leistungsfähigkeit der verwendeten Open-Source-Produkte auf handelsüblicher (!!) Hardware ist sehr ansprechend UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 24

56 Fazit Spezifische Nachteile im OPAC-Retrieval können durch externe Indexierung bibliogr. Daten behoben werden Leistungsfähigkeit der verwendeten Open-Source-Produkte auf handelsüblicher (!!) Hardware ist sehr ansprechend Ersparnis im Bereich von Lizenzkosten kann sehr deutlich ausfallen UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 24

57 Vielen Dank für die Aufmerksamkeit UB-Klagenfurt : Externe Indizierung von OPAC-Inhalten p. 25