Ceph. Distributed Storage Julian mino Klinck GPN

Transkript

1 Distributed Storage Julian mino Klinck GPN

2 Julian mino! Interessen: Netzwerke # Karlsruhe Hardware $ gpn15@lab10.de Cocktails " twitter.com/julianklinck Hacking Musik- und Lichttechnik 2

3 Julian mino Klinck! Seit 2014 # Karlsruhe Storage Lösung für die Company Cloud $ jklinck@ocedo.com 3

4 Inhalt % Einfuehrung Basics Verteilung Storage Allgemein Im Speziellen OSD, Monitor, MDS PGs, Crush, 5 6 Sicherheit Q & A Angriffsvektoren 4

5 & Einführung Storage Allgemein

6 Storage Die Datenhalde 6

7 Storage Mehrere Storage Controller 7

8 Storage Mehrere Disks Storage Controller 8

9 Storage Darf es etwas mehr sein? Storage Controller 9

10 Storage Alles eine Skalierungsfrage Controller Controller Controller Controller Controller Controller Controller 10

11 Storage Alles eine Skalierungsfrage Propiertäre Software Propiertäre Hardware Controller NFS HTTP RAW Controller Controller Controller Controller Controller Controller 11

12 Überblick LGPL 2.1 Community getrieben Skalierbar Algorithmus aus Forschungsarbeit Kein Single-Point-Of-Failure Software basiert Selbstkontrollierend 12

13 ( Basics Systeme, OSD, MONITOR, MDS

14 Systeme Bits und Bytes APP APP HOST/VM CLIENT LIBRADOS A library allowing apps to directly access RADOS, with support for C, C++, Java, Python, Ruby, RADOSGW A bucket-based REST gateway, compatible with S3 and Swift RBD A reliable and fullydistributed block device, with a Linux kernel client and a QEMU/KVM driver CEPH FS A POSIX-compliant distributed file system, with a Linux kernel client and support for FUSE RADOS A reliable, autonomous, distributed object store comprised of self-healing, selfmanaging, intelligent storage nodes Quelle: 14

15 OSDs Bits und Bytes Eine Festplatte = Eine OSD Datenspeicher Replikation Recovery OSD OSD DISK DISK Backfilling Rebelancing Monitoring Minimum 2 medien 15

16 OSDs Bits und Bytes OSD OSD OSD OSD OSD FS FS FS FS FS btrfs xfs ext4 DISK DISK DISK DISK DISK M M M Quelle: 16

17 MONs Cluster Status Cluster Mitglieder und Status Consensus Verteile Entscheidungen Wenige notwendig Kein User Zugriff 17

18 LIBRADOS Datenzugriff ) Zugriff fuer alle RADOS Applikationen C, C++, Python, PHP, Java, Erlang Direkter Zugriff auf OSDs Kein HTTP Overhead 18

19 RadosGW Object Storage Quelle: 19

20 RadosGW Object Storage ) REST proxy Backend Rados API für Buckets Accounts Accounting S3 und Swift Kompatibel 20

21 RBD Block Storage Quelle: 21

22 RBD Block Storage Quelle: 22

23 Rados Block Device Rohe Bytes ) Festplatten Abbilder VMs losgelöst von Hosts Abbilder werden verteilt gespeichert (striping) Snapshots Copy-on-write Unterstützung: Kernel Qemu/KVM OpenStack, CloudStack, Nebula, Proxmox 23

24 MDS Meta Data Server Quelle: 24

25 MDS Meta Data Server ) Metadaten für POSIX-Kompatibles Filesystem Verzeichnissstruktur Dateien Metadaten (Besitzer, zeit, Rechte..) Metadaten in RADOS Liefert keine Dateiinhalte Nur für geteiltes Dateisystem (FS) 25

26 ( Verteilung PGs, Crush, Mons

27 CRUSH Wenn ihr wirklich richtig steht Quelle: 27

28 CRUSH Wenn ihr wirklich richtig steht Quelle: 28

29 CRUSH Objekte sinnvoll verteilen ) Pseudo-Randomiserter Verteilungs Algo Schnell Deterministisch und Wiederholbar Statistisch gleichverteilt Stabile Zuweisungen Topologie-Aware Definierbare Replikation Gewichtung 29

30 Copy-on-Write Schaufeln wenn es benötigt wird Quelle: 30

31 Copy-on-Write Schaufeln wenn es benötigt wird Quelle: 31

32 Copy-on-Write Schaufeln wenn es benötigt wird Quelle: 32

33 Copy-on-Write Schaufeln wenn es benötigt wird Quelle: 33

34 Metadata Skalierbarkeit Quelle: 34

35 Metadata Skalierbarkeit Quelle: 35

36 * Sicherheit Angriffsvektoren

37 Angriffsvektoren * Client Cluster Sessions nicht verschlüsselt Session Tokens Keyrings auf dem MDS Pool Separierung S3 / Swift API DOS API requests I/O Last 37

38 + DANKE FÜR DIE AUFMERKSAMKEIT FRAGEN?

39 ARCAMA VIEL SPASS AUF DER GPN15