10 JAHRE BIELEFELD ACADEMIC SEARCH ENGINE

Transkript

1 10 JAHRE BIELEFELD ACADEMIC SEARCH ENGINE von Sebastian Wolf Vor 10 Jahren, am 24. Juni 2004, ging unsere wissenschaftliche Suchmaschine BASE online. Über die aktuellen Fortschritte im Projekt haben wir auch in der Bibliotheksebene regelmäßig berichtet 1. Dieser Artikel soll einen Überblick über die Entwicklung in den letzten 10 Jahre und über den aktuellen Stand der Dinge geben. BASE wie alles begann Die Ursprünge unserer Suchmaschine BASE liegen im Jahr Eine viel beachtete wissenschaftlichen Studie 2 zeigte, dass Wissenschaftler und Studierende zur Informationsrecherche vorwiegend Internet-Suchmaschinen benutzten. Fachdatenbanken mit ihren oftmals komplizierten Suchmasken und Trefferlisten wurden deutlich seltener genutzt. Eine von uns durchgeführte Umfrage unter Nutzern der Bibliothek 3 bestätigte die Ergebnisse der Studie. Die Bibliothek entwickelte darauf hin im Januar 2002 ein erstes Konzept für eine Universelle Wissenschaftssuchmaschine (UWS). Das Ziel war es von Anfang an die einfache Bedienung von Suchmaschinen in die wissenschaftliche Welt zu übertragen, um die Recherche nach qualitativ hochwertigen Dokumenten zu erleichtern 4. Nachdem verschiedene Anbieter von Suchmaschinentechnologie getestet 1 Das Suchmaschinenprojekt BASE (BE, 2/2004, S. 5 ff.); BASE unsere Suchmaschine für OAI-Quellen und wissenschaftliche Webseiten (BE, 1/2007, S.12 ff.); BASE und andere Suchmaschinen für die wissenschaftliche Recherche (BE, 1/2009, S. 1 ff.) 2 Nutzung elektronischer wissenschaftlicher Information in der Hochschulausbildung (sog. SteFi-Studie): 3 Umfrage zum Thema "Suchmaschinen" (BE, 2/2002, S. 10 ff.) 4 Siehe dazu auch: Suchmaschinentechnologie und Digitale Bibliotheken - Bibliotheken müssen das wissenschaftliche Internet erschließen (ZfBB, 5-6/2004, S. 284 ff.): wurden, entschieden wir uns für die norwegische Firma FAST - damals einer der führenden Anbieter von Suchmaschinentechnologie - und entwickelten mit anderen Partnern im Inund Ausland das Projekt EASE 5 (European Academic Search Engine). Auf europäischer Ebene sollte eine wissenschaftliche Suchmaschine aufgebaut werden. Ein Antrag auf finanzielle Unterstützung im Rahmenprogramm 6 (FP6) der EU scheiterte jedoch. Es war aber klar, dass die im Rahmen des Projektantrags begonnenen Arbeiten nicht nutzlos sein sollten und das Projekt notfalls mit eigenen Mitteln weiter geführt werden sollte. Gesagt, getan: Die Gespräche mit der norwegischen Firma FAST wurden fortgesetzt. Noch im Jahr 2003 konnten wir die ersten Testanwendungen - den Math Demonstrator (Fachsuche nach mathematischen Publikationen) und die Digital Collections (Digitale Sammlungen) - realisieren. Die erste öffentliche Vorstellung von BASE (aus dem E für European war mittlerweile ein B für Bielefeld geworden) im Frühjahr 2004 in New Orleans verlief erfolgreich und im Juni 2004 ging BASE mit 15 indexierten Quellen und Dokumenten (davon ca frei zugängliche Volltext-Dokumente) online 6. Grundsätzlich gelangen die Inhalte dabei auf zwei verschiedenen Wegen in die Datenbank: Repository-Server, die ihre Inhalte (bibliographische Metadaten) in strukturierter Form über das Open Archives Initiative Protocol for 5 Do it with EASE oder: Neue Technologien für die Suche (BE, 2/2003, S. 1 ff.) 6 Siehe dazu z.b.: Suchmaschine für das akademische Internet ( ):

2 Metadata Harvesting (OAI-PMH) bereitstellen werden geharvested, d.h. die über eine OAI-Schnittstelle bereitgestellten Daten werden eingesammelt, anschließend werden sie von uns normalisiert (z.b. Jahreszahlen vereinheitlicht), kleinere Fehler in den Metadaten werden mit Hilfe verschiedener Skripte bereinigt und die so verbesserten Daten anschließend indexiert. Außerdem werden ausgewählte Webquellen indexiert, wobei ähnliche Techniken wie bei normalen Internetsuchmaschinen wie Google eingesetzt werden. 10 Jahre im Schnelldurchlauf Seit dem Start von BASE sind nicht nur zahlreiche weitere Quellen und Dokumente indexiert worden, sondern es kamen auch viele neue Funktionen, neue Suchmöglichkeiten und neue Schnittstellen hinzu geht BASE nach etwa einem Jahr Entwicklungszeit online. Im gleichen Jahr wird auch die Suche über die Webseiten der Bibliothek mit der Suchmaschinen-Software von FAST realisiert steht die Suchmaschine auch unter einer eigenen Domain ( zur Verfügung. Im Sommer wird die 100. Quelle indexiert. Die Uni-Webseiten werden mit der Suchmaschinen- Software von FAST indexiert und können über eine eigene Suchmaske durchsucht werden werden trefferbezogene Links auf Google Scholar ( Diesen Titel in Google Scholar suchen ) eingebunden. Ziel ist es, dem Nutzer zusätzliche Informationen (z.b. die zitierende Artikel) anzubieten, die BASE selbst nicht bereit stellen kann wird der Eurovoc-Thesaurus integriert. Er ermöglicht die automatische Suche nach Synonymen in über 20 (europäischen) Sprachen. Im gleichen Jahr geht auch eine erste Fassung des Browsings im neu geschaffenen Testbereich (dem BASE Lab ) online: Etwa Dokumente, die über eine DDC- Klassifikation verfügen, können nun wie über die Browsing-Funktion in der Online-Systematik des Katalogs gefunden werden. Eine Schnittstelle wird eingerichtet, über die der BASE- Index auch von externen Anbietern abgefragt werden kann. BASE ist so z.b. über die Metasuchmaschine MetaGer absuchbar 2008 werden Schlagwörter in den Dokumenten um Synonyme, Oberund Unterbegriffe aus der SWD angereichert (die Funktion wird später wegen unerwünschter Nebeneffekte allerdings wieder entfernt). Es befinden sich mehr als 10 Mio. Dokumente im Index ist BASE über den KVK und die Digibib (Metasuche) absuchbar. Jeder Webseiten-Betreiber kann eine BASE- Suchbox in seine eigenen Webseiten integrieren. Anfang des Jahres wird die Marke von Quellen erreicht, Mitte des Jahres die Marke von 20 Mio. indexierten Dokumenten wird BASE wegen ihrer besonderen Leistungen bei der Erschließung von Open-Access- Dokumenten mit dem SuMa-Award ausgezeichnet wird das Backend (also der Bereich, der für die Indexierung von Dokumenten zuständig ist) von FAST (das inzwischen von Microsoft übernommen wurde) auf die Open- Source-Software Lucene / SOLR umgestellt. Auch im Frontend wird zur Erstellung der Such-Oberfläche 7 Auszeichnung für die Suchmaschine BASE (BE, 2/2010, S. 1 f.)

3 (Suchmaske, Trefferliste) mit VuFind eine Open-Source-Software eingesetzt. So können nicht nur hohe Lizenzkosten eingespart werden, sondern auch die Nachhaltigkeit des Projekts ist durch die Verwendung von freier Software gesichert. Das DDC-Browsing wird ausgebaut und im Live-System bereitgestellt: Dokumente werden jetzt auch automatisch mit einer DDC klassifiziert 8. Außerdem gibt es ein Browsing nach Dokumentart. Mit einem Weblog 9 und einem Twitterkanal 10 ist BASE auch im Social Web vertreten. BASE wird mit der Hochschulperle des Monats ausgezeichnet. Repository-Betreiber können über einen Validator prüfen, ob Ihre OAI-Schnittstelle korrekt arbeitet und somit eine Indexierung in BASE möglich ist. Die App ibase ermöglicht eine einfache und schnelle Suche in BASE auf dem iphone. Im Sommer wird die Marke von 2000 Quellen und 30 Mio. Dokumenten erreicht wird die mobile Version der BASE-Oberfläche für alle Smartphones angeboten. Mit BASE DE geht eine eigene Oberfläche für Quellen aus Deutschland an den Start. Die Nutzer können Treffer aus BASE über verschiedene Wege z.b. in Literaturverwaltungsprogramme übernehmen. Über ein Login können sich Nutzer in BASE ein persönliches Profil einrichten, um sich z.b. einzelne Treffer als Favorit abzuspeichern oder Suchanfragen dauerhaft zur Suchhistorie hinzuzufügen. Spezielle Fachausschnitte aus BASE werden über EconBiz (Virtuelle Fachbibliothek Wirtschaftswissenschaften) und den 8 Siehe dazu auch: Das Projekt Automatische Anreicherung von OAI-Metadaten (BE, 1/2010, S. 2 ff.) High North Research Documents (Universität Tromsö) angeboten. BASE belegt bei der Wahl zur Hochschulperle des Jahres den 2. Platz. Ein eigenes Formular ermöglicht es Repository-Betreibern, direkt neue Quellen vorzuschlagen. Am Ende des Jahres sind mehr als 40 Mio. Dokumente im Index werden Dokumente, die vom Betreiber einer Quelle eindeutig als Open Access gekennzeichnet sind, durch ein entsprechendes Symbol in der BASE-Trefferliste gekennzeichnet. Die Trefferliste kann gezielt auf OA- Dokumente eingeschränkt werden. BASE steht im neuen Katalog.plus! als eine von drei Teildatenbank zur Verfügung. In Kooperation mit Springer Science + Business Media verzeichnet BASE frei zugängliche Zeitschriftenartikel aus dem Programm Springer Open Choice und aus SpringerOpen-Zeitschriften. Die Zahl der indexierten Dokumente erreicht die 50-Millionen-Marke. BASE heute Inzwischen sind mehr als Quellen und 60 Millionen Dokumente indexiert. BASE ist damit eine der umfangreichsten wissenschaftlichen Suchmaschinen weltweit. Darüber hinaus haben wir über weitere Quellen mit über 30 Millionen Dokumenten geharvested. Die auf diese Weise gesammelten Metadaten sind jedoch aus verschiedenen Gründen nicht für die anschließende Indexierung geeignet (Server ist zugriffsgeschützt, Metadaten stark fehlerhaft oder unvollständig, Server häufig offline, die Quelle besitzt keine frei zugänglichen Volltexte oder alle Inhalte sind bereits über eine andere Quelle indexiert). Solche Quellen werden von uns nach individueller Prüfung nicht indexiert, die Betreiber jedoch ggf. über aufgetretene Probleme informiert (manchmal werden diese sogar vom Betreiber behoben und

4 die Quelle kann von uns dann doch indexiert werden). Fast 10 Mio. Dokumente sind inzwischen mit DDC-Nummern angereichert und über das DDC-Browsing erreichbar. Wöchentlich werden über das Repository-Vorschlagsformular im Schnitt 10 neue Quellen vorgeschlagen. Hat sich der Aufwand gelohnt? Im Jahr 2014 sieht man deutlich den Erfolg von Suchmaschinen. Überall vom Bibliothekskatalog bis zur spezialisierten Fachdatenbank trifft man heute auf einfach aufgebaute Suchmasken, Freitext- und Einfeldsuche und verschiedene Arten des Relevanz- Ranking zur Ermittlung der besten Treffer ( Google-Optik ). Feldersuche, spezielle Suchoperatoren und Sortiermöglichkeiten werden für versierte Nutzer nach wie vor angeboten, sind jedoch nur noch in erweiterten Suchen oder als Einschränkungsmöglichkeit in Trefferlisten zu finden. Dies zeigt, dass wir mit BASE den richtigen Weg gegangen sind. Mit Scirus, ScientificCommons und OAIster wurden andere kommerzielle und nicht-kommerzielle wissenschaftliche Suchmaschinen in den letzten Jahren eingestellt, werden nicht mehr weiter gepflegt oder nicht mehr ausgebaut. BASE ist damit neben den Angeboten von Google (Google Scholar) und Microsoft (Academic Search) eine der wenigen wissenschaftlichen Suchmaschinen und die größte nichtkommerzielle Suchmaschine ihrer Art. Darüber hinaus haben uns die Erfahrungen, die wir bei der Entwicklung und Betrieb von BASE gesammelt haben, in zahlreichen anderen Diensten oder Projekten (lokal auf Uni-Ebene oder international auf EU-Ebene) genützt. Unsere Rückmeldungen an die Betreiber bei Problemen mit der Indexierung einer Quelle kommen nicht nur den Betreibern einer OAI-Schnittstelle selbst, sondern auch anderen Diensten, die Dokumente auf OAI-Basis indexieren, zu Gute. Wie sieht die Zukunft von BASE aus? Neben dem kontinuierlichen Aufwand für die ständige Pflege und Kontrolle der bereits indexierten Inhalte stehen auf der Agenda einige Punkte für die zukünftige Entwicklung unserer Suchmaschine. Hier eine (kleine) Auswahl: Bisher beschränken wir uns bei der Indexierung strukturierte Metadaten auf OAI-PMH. Zwar bieten sehr viele Repositorien und E-Journals eine solche Schnittstelle an, es gibt jedoch auch weitere Schnittstellen, über die z.t. noch mehr bibliographischen Daten angeboten werden. Hier sind wir auf der Suche nach einer geeigneten Quelle für praktische Tests. Wünschenswert wäre eine bessere Kennzeichnung von Open-Access- Dokumenten auf Dokumentebene. Dies wird von den Betreibern selbst jedoch nur selten vorgenommen, was Voraussetzung dafür ist, dass wir die Informationen auch anzeigen können. Auch das OAI-Protokoll bietet nur unzureichende Möglichkeiten, die Zugänglichkeit eines Volltextes eindeutig zu kennzeichnen. Momentan können daher nur gut 20% der indexieren Dokumente zweifelsfrei als Open Access von uns gekennzeichnet werden, auch wenn die tatsächliche Quote der frei zugänglichen Dokumente, die in BASE zu finden sind, bei ca. 70% liegt. Immer wieder zur Diskussion steht die Integration von Funktionen, wie man sie aus dem Umfeld von Google Scholar kennt, z.b. die Zusammenführung von Dubletten / mehreren Versionen eines Artikels oder die Anzeige von Zitaten. Beides ist aber nur mit großem Aufwand zu realisieren.

5 Zahlen bitte zum Abschluss noch etwas Statistik Die 10 größten Quellen: Name Dokumente CiteSeerX DataCite Metadata Store (TIB Hannover) PubMed Central (PMC) HighWire Press (Stanford University) Gallica - bibliothèque numérique de la Bibliothèque nationale de France Directory of Open Access Journals (DOAJ Articles) University of Michigan: Digital Library Production Service (DLPS) RePEc: Research Papers in Economics Hathi Trust Digital Library ArXiv.org (Cornell University Library) Die 10 ältesten (noch aktiven) Quellen: ETH E-Collection (Eidgenössische Technische Hochschule Zürich) FH Dortmund: OPUS Humboldt-Universität (HU) zu Berlin: edoc ILEJ - Internet Library of Early Journals (Oxford University Library Services) miami (münstersches informations- und archivsystem für multimediale inhalte) PsyDok (Virtuelle Fachbibliothek Psychologie) Ruhr-Universität Bochum (RUB): Elektronische Dissertationen SciDok (Wissenschaftliche Dokumente der Universität des Saarlandes) Staats- und Universitätsbibliothek Bremen: Elektronische Bibliothek Zeitschriften der Aufklärung (Universitätsbibliothek Bielefeld) Länder mit über 100 Quellen Land Quellen USA 623 Deutschland 245 Großbritannien 185 Brasilien 165 Spanien 161 Japan 149 Italien 108 Indexgröße zum Jahresende Jahr Dokumente Quellen Länder mit über 1 Mio. Dokumente Land Dokumente USA Deutschland Frankreich Großbritannien Spanien Australien Taiwan Polen Schweiz Japan Niederlande Brasilien Stand der Daten: