ZFS Filesystem und KVM-Virtualisierung ZFS on Linux auf Proxmox VE Wolfgang Link Proxmox 07.05.05
Proxmox Server Solutions GmbH Proxmox Mail Gateway (commercial license) Proxmox VE (Open Source) Weltweites Partner network Große, aktive community in 40+ Ländern über 70.000 aktive Installationen Verkaufen von Services wie support subscriptions Beheimatet in Wien Gegründet: 005 7. - 9. Mai 05 Linuxwochen Wien 05
ZFS Historie 00 Start der ZFS Entwicklung bei Sun. 005 wurde ZFS unter OpenSolaris veröffentlicht. 008 wurde ZFS on Linux gestartet. 00 Übernahme von Sun durch Oracle. Stop der Weiterentwicklung von OpenSolaris. 03 erste stabile Version auf Linux. 03 offizielle Weiterführung durch OpenZFS. 7. - 9. Mai 05 Linuxwochen Wien 05 3
ZFS kurz in Daten Max. Volumen Größe 56 Zebibytes = 78 Bytes. Max. Datei Größe 6 Exbibytes = 60 Bytes. Max. Dateien 8.474.976.70.656 = 48. POSIX Standard und ACLs. Unterstützte BS: Solaris, OpenSolaris, OpenIndiana, Illumos, FreeBSD, NetBSD, Linux Veröffentlicht unter CDDL (Common Development and Distribution License). 7. - 9. Mai 05 Linuxwochen Wien 05 4
Raid Level Raid 0 striping Raid mirroring Raid Z parity Raid Z parity Raid Z3 3 parity Alle daraus ergebenden Variationen. Raid 0 Raid Z P P Raid Raid Z Raid Z3 P P P P 3 Raid 0 Raid 0 Raid 0 Raid Raid Raid Raid Z Raid Z Raid Z P P P P 7. - 9. Mai 05 Linuxwochen Wien 05 5
ZFS Raid vs HW Raid/SW Raid Einfacher zu konfigurieren. Kein Bitrot (silent data corruption). Rebuild von Raid schnell. ZFS benötigt viel RAM min 4 GB. Filesystem Filesystem LVM Raid Raid ZFS 7. - 9. Mai 05 Linuxwochen Wien 05 6
ZVols ZFS ermöglicht die Erstellung von Blockdevicen. Anwendungen: ISCSI ZFS ZVOLs Blockdev. POSIX Layer Transactional Object Layer native application Virtuelle s für VM s Basic für DRBD Pooled Storage Layer Block Device Driver HDD SSD I SCSI other 7. - 9. Mai 05 Linuxwochen Wien 05 7
Self Healing Durch Markle-Tree (Hash-Tree). Uber-Block hash(a+b+c+d) Hash 0 hash (A+B) Hash hash (C+D) Hash 0-0 hash(a) Hash 0- hash(b) Hash -0 hash(c) Hash - hash(d) A B C D Und ECC Ram (ist absolut notwendig)! 7. - 9. Mai 05 Linuxwochen Wien 05 8
ARC, LARC und ZIL ARC (Adjustable Replacement Cache) im RAM verwendet Mischung zwischen MRU und LRU. LARC (Layer ARC) sollte auf einer schnellen sein. ZIL (ZFS Intent Log) sollte auf alle Fälle schnell sein, sonst wird das System ausgebremst. mit extra ZIL ohne extra ZIL ARC RAM ARC RAM Application ZIL SSD HDD Application ZIL HDD 7. - 9. Mai 05 Linuxwochen Wien 05 9
CoW Filesystem Wird auch von Qemu qcow image Format verwendet. Daten sind immer konsistent. Daten werden solange sie aktiv sind, nie überschrieben. A B C D A B C D A B C D C D A B A B A B 7. - 9. Mai 05 Linuxwochen Wien 05 0
Snapshots und Klone Klone werden auf Snapshots angelegt. Erstellen und Löschen von Snapshots, Klone schnell und günstig. A B C D A B C D C D A B A B A B 7. - 9. Mai 05 Linuxwochen Wien 05
Verschlüsselung, Deduplikation Kompression Verschlüsselung auf jedes Dataset anwendbar. Dedublikation braucht viel RAM: ca. 5GB pro TB. Komprimierung benötigt wenig CPU und RAM. 7. - 9. Mai 05 Linuxwochen Wien 05
Backup mit send receive Vollständiges Senden des Datasets. Verschlüsseltes Senden durch ssh. Inkrementelles Senden des Datasets. Schnelles Identifizieren des Deltas. A B C D A B 7. - 9. Mai 05 Linuxwochen Wien 05 3
Filesystem Schnell und leicht zu erstellendes Filesystem. zfs create Alle Möglichkeiten von ZFS, wie vorher besprochen. kompatibel zu ACLs und POSIX. 7. - 9. Mai 05 Linuxwochen Wien 05 4
Proxmox Virtual Environment Übersicht Debian basierende Distribution OpenSource. KVM-Qemu. Webbasiertes interface. Unterstützung vieler verschiedener Storages. Unterstützung aller gängigen OS s als Guest. Leicht einzurichten. Clusterfähig (Multi Master). 7. - 9. Mai 05 Linuxwochen Wien 05 5
ZFS und Virtualisation schnelle Snapshots und Rollbacks. Daten sind immer konsistent (auch beim Crashen der Vm). Komprimierung leicht möglich. Deduplikation kann viel Platz sparen. Backup leicht möglich und effizient durch delta copy. voll integriert in Proxmox VE. 7. - 9. Mai 05 Linuxwochen Wien 05 6
ZFS und Virtualisation Kostenersparnis durch Consumer Hardware. Moderne CPUs haben genug power. Mehr RAM wird benötigt (ECC). Leicht zu konfigurieren. vergrößern der Vm im Nachhinein. erweitern der Pools im Nachhinein möglich. 7. - 9. Mai 05 Linuxwochen Wien 05 7
Live Demo 7. - 9. Mai 05 Linuxwochen Wien 05 8
Nützliche Links http://open-zfs.org http://zfsonlinux.org http://www.proxmox.com http://wiki.qemu.org http://en.wikipedia.org/wiki/zfs https://pthree.org/?s=zfs&searchsubmit=search https://pve.proxmox.com/wiki/main_page http://forum.proxmox.com 7. - 9. Mai 05 Linuxwochen Wien 05 9
Vielen Dank für Ihre Aufmerksamkeit 7. - 9. Mai 05 Linuxwochen Wien 05 0