Distributed Research Data Management

Transkript

1 Distributed Research Data Management escience-tage Heidelberg 2017 Reiko Kaps Leibniz Universität IT Services (LUIS) Reiko Kaps Seite 1/21

2 über mich DevOp, Entwickler Reiko Kaps Seite 2/21

3 über mich DevOp, Entwickler Redaktion c t und Heise online Reiko Kaps Seite 2/21

4 über mich DevOp, Entwickler Redaktion c t und Heise online Mitarbeit im Forschungsdaten-Projekt der Leibniz Universität Hannover Reiko Kaps Seite 2/21

5 über mich DevOp, Entwickler Redaktion c t und Heise online Mitarbeit im Forschungsdaten-Projekt der Leibniz Universität Hannover - seit 06/ Umsetzungsphase, Aufbau eines institutionellen Daten-Repositoriums Reiko Kaps Seite 2/21

6 #Datarefuge But instead of enjoying the beautiful day, 200 adults had willingly sardined themselves into a fluorescent-lit room in the bowels of Doe Library to rescue federal climate data. Wired, Februar 2017 Reiko Kaps Seite 3/21

7 Warum also dieser Aufwand? Reiko Kaps Seite 4/21

8 Warum also dieser Aufwand? Die erste Antwort hängt mit diesem Mann zusammen: Reiko Kaps Seite 4/21

9 Warum also dieser Aufwand? Die erste Antwort hängt mit diesem Mann zusammen: Reiko Kaps Seite 4/21

10 Warum also dieser Aufwand? Die erste Antwort hängt mit diesem Mann zusammen: Die zweite Antwort ist leider komplizierter! Reiko Kaps Seite 4/21

11 Client-Server-Problem I - IT-Angebote für Forschungsdaten orientieren sich am Client-Server-Modell: Reiko Kaps Seite 5/21

12 Client-Server-Problem I - IT-Angebote für Forschungsdaten orientieren sich am Client-Server-Modell: das zentral Daten aufnimmt, veröffentlicht und vorhält (Single point of failure) Reiko Kaps Seite 5/21

13 Client-Server-Problem I - IT-Angebote für Forschungsdaten orientieren sich am Client-Server-Modell: das zentral Daten aufnimmt, veröffentlicht und vorhält (Single point of failure) das Redundanz und Verfügbarkeit teuer erkaufen muss (Skalierbarkeit) Reiko Kaps Seite 5/21

14 Client-Server-Problem I - IT-Angebote für Forschungsdaten orientieren sich am Client-Server-Modell: das zentral Daten aufnimmt, veröffentlicht und vorhält (Single point of failure) das Redundanz und Verfügbarkeit teuer erkaufen muss (Skalierbarkeit) dessen Integrität vom Betreiber abhängt Reiko Kaps Seite 5/21

15 Client-Server-Problem II - in Form von Dienste-Inseln, die sich an kommerziellen IT-Angeboten orientieren Reiko Kaps Seite 6/21

16 Client-Server-Problem II - in Form von Dienste-Inseln, die sich an kommerziellen IT-Angeboten orientieren - das Nutzer als Kunden betrachtet Reiko Kaps Seite 6/21

17 Client-Server-Problem II - in Form von Dienste-Inseln, die sich an kommerziellen IT-Angeboten orientieren - das Nutzer als Kunden betrachtet - das den Ausstellungscharakter der Daten betont Reiko Kaps Seite 6/21

18 Client-Server-Problem II - in Form von Dienste-Inseln, die sich an kommerziellen IT-Angeboten orientieren - das Nutzer als Kunden betrachtet - das den Ausstellungscharakter der Daten betont - das auf HTTP(S) aufsetzt (Bandbreitenverschwendung) Reiko Kaps Seite 6/21

19 Client-Server-Problem II - in Form von Dienste-Inseln, die sich an kommerziellen IT-Angeboten orientieren - das Nutzer als Kunden betrachtet - das den Ausstellungscharakter der Daten betont - das auf HTTP(S) aufsetzt (Bandbreitenverschwendung) - Nachteile lassen sich durch Dezentralisierung mindern Reiko Kaps Seite 6/21

20 Neue Herausforderungen nicht nur für Forschungsdaten - dauerhaftes Bereitstellen und Verteilen riesiger Datensätze Reiko Kaps Seite 7/21

21 Neue Herausforderungen nicht nur für Forschungsdaten - dauerhaftes Bereitstellen und Verteilen riesiger Datensätze - Verarbeiten großer Datensätze über Organisationsgrenzen hinweg Reiko Kaps Seite 7/21

22 Neue Herausforderungen nicht nur für Forschungsdaten - dauerhaftes Bereitstellen und Verteilen riesiger Datensätze - Verarbeiten großer Datensätze über Organisationsgrenzen hinweg - Versionierung und Verknüpfung großer Datensätze Reiko Kaps Seite 7/21

23 Neue Herausforderungen nicht nur für Forschungsdaten - dauerhaftes Bereitstellen und Verteilen riesiger Datensätze - Verarbeiten großer Datensätze über Organisationsgrenzen hinweg - Versionierung und Verknüpfung großer Datensätze - Verlust wichtiger Dateien verhindern Reiko Kaps Seite 7/21

24 Neue Herausforderungen nicht nur für Forschungsdaten - dauerhaftes Bereitstellen und Verteilen riesiger Datensätze - Verarbeiten großer Datensätze über Organisationsgrenzen hinweg - Versionierung und Verknüpfung großer Datensätze - Verlust wichtiger Dateien verhindern - Integrität, Nachvollziehbarkeit sicherstellen Reiko Kaps Seite 7/21

25 Forderungen - permanente Datenspeicherung Reiko Kaps Seite 8/21

26 Forderungen - permanente Datenspeicherung - robuster und verlässlicher Daten-Zugang (Offline-Nutzung) Reiko Kaps Seite 8/21

27 Forderungen - permanente Datenspeicherung - robuster und verlässlicher Daten-Zugang (Offline-Nutzung) - Nachvollziehbarkeit, Transparenz und Sicherheit Reiko Kaps Seite 8/21

28 Forderungen - permanente Datenspeicherung - robuster und verlässlicher Daten-Zugang (Offline-Nutzung) - Nachvollziehbarkeit, Transparenz und Sicherheit - Offener Zugang und Nutzung durch jedermann Reiko Kaps Seite 8/21

29 Auswege finden sich bei den Peer-to-Peer-Konzepten der vergangenen 20 Jahre Reiko Kaps Seite 9/21

30 Auswege finden sich bei den Peer-to-Peer-Konzepten der vergangenen 20 Jahre - Verteilen von Inhalten (Bittorrent) Reiko Kaps Seite 9/21

31 Auswege finden sich bei den Peer-to-Peer-Konzepten der vergangenen 20 Jahre - Verteilen von Inhalten (Bittorrent) verteilt und signiert große Dateien Reiko Kaps Seite 9/21

32 Auswege finden sich bei den Peer-to-Peer-Konzepten der vergangenen 20 Jahre - Verteilen von Inhalten (Bittorrent) verteilt und signiert große Dateien Entkoppelt die Inhalte von ihrer Quelle (Content Addressing) Reiko Kaps Seite 9/21

33 Auswege finden sich bei den Peer-to-Peer-Konzepten der vergangenen 20 Jahre - Verteilen von Inhalten (Bittorrent) verteilt und signiert große Dateien Entkoppelt die Inhalte von ihrer Quelle (Content Addressing) nutzt Netzwerk-Infrastruktur effektiv aus (Schwarm, Peers) Reiko Kaps Seite 9/21

34 Auswege finden sich bei den Peer-to-Peer-Konzepten der vergangenen 20 Jahre - Verteilen von Inhalten (Bittorrent) verteilt und signiert große Dateien Entkoppelt die Inhalte von ihrer Quelle (Content Addressing) nutzt Netzwerk-Infrastruktur effektiv aus (Schwarm, Peers) steuert die Last beim Inhalteanbieter Reiko Kaps Seite 9/21

35 Auswege finden sich bei den Peer-to-Peer-Konzepten der vergangenen 20 Jahre - Verteilen von Inhalten (Bittorrent) verteilt und signiert große Dateien Entkoppelt die Inhalte von ihrer Quelle (Content Addressing) nutzt Netzwerk-Infrastruktur effektiv aus (Schwarm, Peers) steuert die Last beim Inhalteanbieter aktuelle Nutzung: Netflix, Windows Update Reiko Kaps Seite 9/21

36 Auswege II - Versionierung von Inhalten (Git) Reiko Kaps Seite 10/21

37 Auswege II - Versionierung von Inhalten (Git) protokolliert Änderungen der Dateiinhalte Reiko Kaps Seite 10/21

38 Auswege II - Versionierung von Inhalten (Git) protokolliert Änderungen der Dateiinhalte erlaubt verteilte, nicht-lineare Arbeitsabläufe Reiko Kaps Seite 10/21

39 Auswege II - Versionierung von Inhalten (Git) protokolliert Änderungen der Dateiinhalte erlaubt verteilte, nicht-lineare Arbeitsabläufe Online- und Offline-Nutzung Reiko Kaps Seite 10/21

40 Auswege II - Versionierung von Inhalten (Git) protokolliert Änderungen der Dateiinhalte erlaubt verteilte, nicht-lineare Arbeitsabläufe Online- und Offline-Nutzung gewährleistet Nachvollziehbarkeit Reiko Kaps Seite 10/21

41 Auswege III - Nachverfolgung von Inhalten und Transaktionen (Blockchain) Reiko Kaps Seite 11/21

42 Auswege III - Nachverfolgung von Inhalten und Transaktionen (Blockchain) Blockchain: Datenbank mit mathematischem Integritätsansatz. Der Hashwertes (Integritätsgarant) eines Datensatzes wird im Hashwert des jeweils nachfolgenden gesichert. Reiko Kaps Seite 11/21

43 Auswege III - Nachverfolgung von Inhalten und Transaktionen (Blockchain) Blockchain: Datenbank mit mathematischem Integritätsansatz. Der Hashwertes (Integritätsgarant) eines Datensatzes wird im Hashwert des jeweils nachfolgenden gesichert. Blockchain-Verfahren ist die Grundlage für Kryptowährungen, seine Funktion ähnelt dem Journal in der Buchführung. Reiko Kaps Seite 11/21

44 Auswege III - Nachverfolgung von Inhalten und Transaktionen (Blockchain) Blockchain: Datenbank mit mathematischem Integritätsansatz. Der Hashwertes (Integritätsgarant) eines Datensatzes wird im Hashwert des jeweils nachfolgenden gesichert. Blockchain-Verfahren ist die Grundlage für Kryptowährungen, seine Funktion ähnelt dem Journal in der Buchführung. vereinfacht und verbessert Transaktionssicherkeit in verteilten Systemen Reiko Kaps Seite 11/21

45 IPFS I - IPFS == Interplanetary File System (Referenz an Lickliders Intergalactic Computer Network, 1963) Reiko Kaps Seite 12/21

46 IPFS I - IPFS == Interplanetary File System (Referenz an Lickliders Intergalactic Computer Network, 1963) - Vereint Web,- Bittorrent-, Git- und Blockchain-Funktionen in einem verteilten Dateisystem Reiko Kaps Seite 12/21

47 IPFS I - IPFS == Interplanetary File System (Referenz an Lickliders Intergalactic Computer Network, 1963) - Vereint Web,- Bittorrent-, Git- und Blockchain-Funktionen in einem verteilten Dateisystem , Juan Benet Reiko Kaps Seite 12/21

48 IPFS I - IPFS == Interplanetary File System (Referenz an Lickliders Intergalactic Computer Network, 1963) - Vereint Web,- Bittorrent-, Git- und Blockchain-Funktionen in einem verteilten Dateisystem , Juan Benet - Whitepaper ipfs-cap2pfs/ipfs-p2p-file-system.pdf Reiko Kaps Seite 12/21

49 IPFS I - IPFS == Interplanetary File System (Referenz an Lickliders Intergalactic Computer Network, 1963) - Vereint Web,- Bittorrent-, Git- und Blockchain-Funktionen in einem verteilten Dateisystem , Juan Benet - Whitepaper ipfs-cap2pfs/ipfs-p2p-file-system.pdf - Quelloffene Referenzimplementierung in Go Reiko Kaps Seite 12/21

50 IPFS II - vollständig verteiltes Netzwerkdateisystem Reiko Kaps Seite 13/21

51 IPFS II - vollständig verteiltes Netzwerkdateisystem - Knoten/Nodes: agieren als Server und Client Reiko Kaps Seite 13/21

52 IPFS II - vollständig verteiltes Netzwerkdateisystem - Knoten/Nodes: agieren als Server und Client - Einzelne Node ist mit jeder anderen verbunden Reiko Kaps Seite 13/21

53 IPFS II - vollständig verteiltes Netzwerkdateisystem - Knoten/Nodes: agieren als Server und Client - Einzelne Node ist mit jeder anderen verbunden - adressiert Inhalte über Hashes (Merkle-Links) Reiko Kaps Seite 13/21

54 IPFS II - vollständig verteiltes Netzwerkdateisystem - Knoten/Nodes: agieren als Server und Client - Einzelne Node ist mit jeder anderen verbunden - adressiert Inhalte über Hashes (Merkle-Links) - dedupliziert Dateien innerhalb des IPFS-Netzes Reiko Kaps Seite 13/21

55 IPFS III - Lädt Inhalte parallel von mehreren, möglichst nahegelegenden Nodes (wenn verfügbar) Reiko Kaps Seite 14/21

56 IPFS III - Lädt Inhalte parallel von mehreren, möglichst nahegelegenden Nodes (wenn verfügbar) - Knoten können fremde Inhalte dauerhaft vorhalten (pinning) Reiko Kaps Seite 14/21

57 IPFS III - Lädt Inhalte parallel von mehreren, möglichst nahegelegenden Nodes (wenn verfügbar) - Knoten können fremde Inhalte dauerhaft vorhalten (pinning) - protokolliert die Änderungsgeschichte jeder Datei Reiko Kaps Seite 14/21

58 IPFS III - Lädt Inhalte parallel von mehreren, möglichst nahegelegenden Nodes (wenn verfügbar) - Knoten können fremde Inhalte dauerhaft vorhalten (pinning) - protokolliert die Änderungsgeschichte jeder Datei - Dateien über lesbare Namen auffindbar (IPNS) Reiko Kaps Seite 14/21

59 Wer kann davon profitieren? - Inhalteproduzenten und -anbieter Reiko Kaps Seite 15/21

60 Wer kann davon profitieren? - Inhalteproduzenten und -anbieter - Forschende Reiko Kaps Seite 15/21

61 Wer kann davon profitieren? - Inhalteproduzenten und -anbieter - Forschende - Infrastrukturbetreiber Reiko Kaps Seite 15/21

62 Wer kann davon profitieren? - Inhalteproduzenten und -anbieter - Forschende - Infrastrukturbetreiber - Bibliotheken und Archive Reiko Kaps Seite 15/21

63 Wer kann davon profitieren? - Inhalteproduzenten und -anbieter - Forschende - Infrastrukturbetreiber - Bibliotheken und Archive -... Reiko Kaps Seite 15/21

64 IPFS und FDM - Data Federation: globale Infrastruktur für Forschungsdaten Reiko Kaps Seite 16/21

65 IPFS und FDM - Data Federation: globale Infrastruktur für Forschungsdaten - macht jeden Nutzer zum Teil der Infrastruktur Reiko Kaps Seite 16/21

66 IPFS und FDM - Data Federation: globale Infrastruktur für Forschungsdaten - macht jeden Nutzer zum Teil der Infrastruktur - hohe Zensur- und Ausfallsicherheit Reiko Kaps Seite 16/21

67 IPFS und FDM - Data Federation: globale Infrastruktur für Forschungsdaten - macht jeden Nutzer zum Teil der Infrastruktur - hohe Zensur- und Ausfallsicherheit - optimiert die Netzsicherheit Reiko Kaps Seite 16/21

68 IPFS und FDM - Data Federation: globale Infrastruktur für Forschungsdaten - macht jeden Nutzer zum Teil der Infrastruktur - hohe Zensur- und Ausfallsicherheit - optimiert die Netzsicherheit - eigene Anwendungen on top Reiko Kaps Seite 16/21

69 IPFS und FDM - Data Federation: globale Infrastruktur für Forschungsdaten - macht jeden Nutzer zum Teil der Infrastruktur - hohe Zensur- und Ausfallsicherheit - optimiert die Netzsicherheit - eigene Anwendungen on top - Inhalte: Open Access zu Commons Reiko Kaps Seite 16/21

70 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort Reiko Kaps Seite 17/21

71 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort - Problem für kleinere wissenschaftliche Organisationen Reiko Kaps Seite 17/21

72 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort - Problem für kleinere wissenschaftliche Organisationen - IPFS: Reiko Kaps Seite 17/21

73 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort - Problem für kleinere wissenschaftliche Organisationen - IPFS: lässt sich sehr einfach an andere Teilnehmer delegieren Reiko Kaps Seite 17/21

74 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort - Problem für kleinere wissenschaftliche Organisationen - IPFS: lässt sich sehr einfach an andere Teilnehmer delegieren große Freiheit bei der Location-Wahl (anderer Kontinent) Reiko Kaps Seite 17/21

75 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort - Problem für kleinere wissenschaftliche Organisationen - IPFS: lässt sich sehr einfach an andere Teilnehmer delegieren große Freiheit bei der Location-Wahl (anderer Kontinent) Denkbar: Gegenseitigkeitsprinzip (Peering) aber auch Mietmodelle... Reiko Kaps Seite 17/21

76 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort - Problem für kleinere wissenschaftliche Organisationen - IPFS: lässt sich sehr einfach an andere Teilnehmer delegieren große Freiheit bei der Location-Wahl (anderer Kontinent) Denkbar: Gegenseitigkeitsprinzip (Peering) aber auch Mietmodelle... Reiko Kaps Seite 17/21

77 Beispiel: Zweitkopie - verdoppelt Kosten für Speichermedien und Standort - Problem für kleinere wissenschaftliche Organisationen - IPFS: lässt sich sehr einfach an andere Teilnehmer delegieren große Freiheit bei der Location-Wahl (anderer Kontinent) Denkbar: Gegenseitigkeitsprinzip (Peering) aber auch Mietmodelle... IMHO: ausreichend Gründe für einen Feldtest Reiko Kaps Seite 17/21

78 Call for Participation - Gemeinsames Testbed für eine Föderierte Forschungsdaten-Infrastruktur (F2DI) Reiko Kaps Seite 18/21

79 Call for Participation - Gemeinsames Testbed für eine Föderierte Forschungsdaten-Infrastruktur (F2DI) - Wissenschaftliche Einrichtungen bringen alles nötige mit: Infrastruktur und Anbindung Kritische Masse an Teilnehmern ausreichend große und wichtige Datenbestände Know-how bei Entwicklung und Betrieb Potenzial der Blockchain bereits erkannt Reiko Kaps Seite 18/21

80 Fragen? Reiko Kaps Seite 19/21

81 Fragen? Kontakt - Mail: kaps@luis.uni-hannover.de - Twitter: Vielen Dank für die Aufmerksamkeit! Reiko Kaps Seite 19/21

82 Inhalt Distributed Research Data Management Über mich Vorgeschichte Client-Server-Problem HerausForderungen Auswege IPFS Verteiltes FDM Call for Participation Schluss Reiko Kaps Seite 20/21

83 Lesenswertes - Juan Benet, IPFS Whitepaper - Geocities@IPFShttps://ipfs.io/ipfs/ QmNhFJjGcMPqpuYfxL62VVB9528NXqDNMFXiqN5bgFYiZ1/ its-time-for-the-permanent-web.html - Internet Archive: Call for a distributed web Reiko Kaps Seite 21/21