Afrika-Portal Basel

Transkript

1 Afrika-Portal Basel VDB-Tagung Ethnologie, Hamburg 29. Nov 2018 Alice Spinnler / Martin Reisacher

2 Afrika-Portal Übersicht Partner Ziele Datenprozessierung Datenmodell / Datenimport / Datenkuratierung / Anreicherung / Mapping / Datenanalyse / verwendete Tools Nächste Schritte Technisches (Backend) Vertrag Name Finanzierung: Frontend Universität Basel 2

3 Projekt Partner Afrika regionaler Schwerpunkt der Universität und weiteren Basler Institutionen Basler Afrika Bibliographien (BAB): Bibliothek und Archiv Mission 21 (M21): Bibliothek Museum der Kulturen Basel (MdK): Bibliothek und ethnographische Sammlung Swiss Tropical and Public Health Institute (TPH): Bibliothek Universität Basel: Bibliothek (UB) und institutionelles Repositorium (EDOC) Universität Basel 3

4 Ziele 1 Afrika-Portal Sichtbarkeit Forschung zu Afrika insbesondere Basler Forschung zu Afrika Afrikanischer Forschung in Basel/Europa/Afrika/Welt ein einziger Zugriff auf den Afrika-Bestand von Bibliotheken Archive Museum Universität Basel 4

5 Afrika-Portal Ziele 2 Projekt ausgerichtet auf einfache Datensätze niedrige Barrieren für die Teilnahme kleiner Institutionen (hochladen und editieren der Daten) dezentralisierte Workflows Open Source Angebot, Daten zu verbessern/anzureichern auch für andere Daten geeignet Gründe kleine Institutionen haben keine Ressourcen für komplexe Formate, formale Verbesserungen der Daten oder für ein eigenes Projekt damit auch Afrikanische Institutionen, ihre Daten einbringen können einfache Nachnutzung der Daten und des Portals Fortbestehen des Portals nach der Projektphase gewährleisten Universität Basel 5

6 Datenprozessierung 1 Materialtyp Bücher, Zeitschriften, Artikel Filme, Videos, DVDs, Fotos Audio-Materialien Posters Manuskripte Karten Ethnographische Objekte Forschungsdaten Datenformat, Datenstruktur Bibliotheken SwissbibBB (UB, M21,TPH, MKB): RDA und Marc21 Bibliothekskatalog BAB: kein internationaler Standard Archive Archivkatalog BAB: kein internationaler Standard Ethnographische Objekte Sammlungskatalog MKB: kein internationaler Standard: Universität Basel 6

7 Data Processing 2 No Linked Data but Raw Data! Essentiell Katalogaufnahmen: stabile und eindeutige Identifier Kernelemente = kleinster gemeinsamer Nenner Person (Autor, Editor, Fotograf, Sammler, Verkäufer ) oder Institution Beschreibung (Titel, Objekt ) Zeit (Publikationsjahr, Sammlungsjahr, Herstellungsjahr ) Inhalt (Person, Institution, Thema, Ort, Zeit) Typ (Text, Film auch TV, Foto, Audio auch Radiosendung, Graphik, Projekt, Karte, (ethnographisches) Objekt, Kalender, Computer- medien) Normdaten wenn möglich, sehr erwünscht Universität Basel 7

8 Data processing 3 BAB 1st step: normalization 3th step Annotationstool UB Core Elements Kibana Digital Object Research Data Viewer M21 Data Silo Data Files Standard Index TPH MdK Person Title Location Time Content Type Authority Data Wikipedia Maps 2nd step: enrichment Geo encoding Universität Basel 8

9 Datenmodell / Tools Datenmodell: einfach, dafür flexibel und einfach zu erweitern o o o Kernelemente gleich kleinster gemeinsamer Nenner der Bibliotheks-, Archivsund Museumsdaten Facetten basieren auf DublinCore Objektansicht kann für jede Institution variieren python3 / elasticsearch (backend) + Angular4 (frontend) OpenRefine (Power Tool um mit messy Daten zu arbeiten) o Datenimport, Datenkuratierung, Datenanreicherung Google Spreadsheets ( online Excel ) o Datenmapping in Selbstbedienung Elasticsearch / Kibana (Suchmaschine/ Datenvisualisierung) o Datenanalyse OpenSource: auf github, sobald stabil (Account: UBUNIBAS) Universität Basel 9

10 Datenimport, Kuratierung und Anreicherung OpenRefine für dezentrale Verarbeitung gut dokumentiert mit zahlreichen Online Tutorials Graphical User Interface ermöglicht den Import unterschiedlicher Datenformate eine Mehrheit der Prozesse läuft automatische ab, wenn weitere Daten hochgeladen werden die datengebenden Institutionen können ihre Daten selbst verifizieren und modifizieren verfeinern von Daten: z.b. Werte aufsplitten, Datenhomogenisierung, normieren von Daten für die Suche: z.b. ungefähre Werte gemäss vordefinierten Regeln umwandeln: um > Geo-Anreicherung für die Kartensuche -> Entscheidung liegt bei datengebenden Institution zugrundeliegende Idee: datengebende Institutionen sollen Kontrolle darüber haben, wie ihre Daten kuratiert und angereichert werden Universität Basel 10

11 OpenRefine Universität Basel 11

12 Mapping in Selbstbedienung Google Spreadsheets - einfache Matrix für einfache Daten - Mapping Anpassungen / Wiedereinspielung - Versionierung - Zusammenarbeit Universität Basel 12

13 Datenanalyse elasticsearch / kibana dashboards für die Visualisierung der Metadaten und zur Verifizierung des Mappings für die Analyse möglicher Datenprobleme: welches sind die häufigsten Werte in meinen Daten,... für die Erstellung von Listen: z.b. not unique IDs Universität Basel 13

14 Kibana

15 Tool zum Testen der Funktionalitäten und Kernelemente 15

16 Digitalisate Auflösung bestimmt besitzende Institution Link auf Institution Anzeige Metadaten IIIF-Viewer (Digitalisate) IIIF-Viewer für Digitalisate Vorschlag Design noch bestimmen Universität Basel 16

17 Nächste Schritte Vom Prototyp zu stabilen Workflows Dokumentation Sprechender Name fürs Portal: AFRIKAB / BAFPO / BAFRIC Vertragsunterzeichnung Finanzierung suchen für Frontend und Design, IIIF-Viewer Datenanreicherungsprozesse Mehrsprachigkeit (Oberfläche, Schlagwörter). Testdanken sind erwünscht: martin.reisacher@unibas.ch Universität Basel 17

18 Besten Dank für Ihre Aufmerksamkeit! Fragen? (Technisches)