Evaluation von OpenSolaris als Alternative zu Linux-basierten Storage Appliances

Transkript

1 TECHNISCHE UNIVERSITÄT DRESDEN FAKULTÄT INFORMATIK Großer Beleg Evaluation von OpenSolaris als Alternative zu Linux-basierten Storage Appliances Vorgelegt von: Franz Hottas Geboren am: in: Halle(Saale) Betreuer(Xiranet): Dipl.-Inf. Mirko Benz Betreuer(Fakultät Informatik): Dipl.-Inf. Stephan Groß Verantwortlicher Hochschullehrer: Prof. Dr. rer. nat. habil. Dr. h. c. Alexander Schill

2 Selbstständigkeitserklärung Hiermit erkläre ich, dass ich den von mir am heutigen Tag an der Fakultät Informatik eingereichten Großen Beleg zum Thema Evaluation von OpenSolaris als Alternative zu Linux-basierten Storage Appliances selbstständig verfasst und keine anderen als die angegebenen Quellen und Hilfsmittel benutzt habe. Dresden, April 2008 Franz Hottas

3 Inhaltsverzeichnis 1 Einleitung Aufgabenstellung Aufbau der Arbeit Überblick Storage Technologien Übertragungstechnologien Cluster Filesystems Storage Clustering Höhere Funktionalität Untersuchung der Anforderungen 14 4 OpenSolaris-Storage-Technologien Automatic Data Migration CIFS Server CIFS Client COMSTAR(Common Multiprotocol SCSI Target) HoneyComb Fixed Content Storage Media Management System NFS version 4.1 pnfs NFSv4 Namespace Extensions NPort ID Virtualization (NPIV) NFS RDMA Network Storage SAM/QFS Solaris iscsi Target Sun StorageTek Availability Suite ZFS On Disk Encryption Support

4 4.16 ZFS Storage Pool Solaris Volume Manager Vergleich OpenSolaris - Linux 30 6 Nähere Technologie-Betrachtungen Vergleich ZFS - LVM Beispiel für Unterschiede in der Administrierbarkeit OpenSolaris(ZFS) Linux(LVM) Vergleich iscsi Target OpenSolaris - Linux 44 8 OpenSolaris Evaluation Erzeugen eines Raidz File System anlegen Einfacher Integritätstest Plattenausfall Thin Provisioning Snapshotting iscsi Target anlegen Performance Testing Eignung von OpenSolaris als Storageplattform Zusammenfassung Literaturverzeichnis 57 2

5 1 Einleitung 1.1 Aufgabenstellung Thema: Evaluation von OpenSolaris als Alternative zu Linux-basierten Storage Appliances Linux wird derzeit für eine Reihe von Storage-Lösungen eingesetzt. Ursache dafür sind die hohe Stabilität, Performance, weitreichende Hardwareunterstützung sowie die Verfügbarkeit wichtiger Softwarekomponenten für Speichersysteme. Mit der Entscheidung Solaris und bedeutende Komponenten der Storageinfrastruktur unter eine Open Source Lizenz zu stellen, hat SUN mit OpenSolaris eine mögliche Alternative zu Linux eröffnet. Ziel der Arbeit ist die Evaluation von OpenSolaris als Grundlage für die Realisierung von Storage Appliances. Dazu sollen zunächst grundsätzliche Anforderungen (z.b. Hardwareunterstützung, notwendige Softwarekomponenten, optionale Softwarekomponenten) spezifiziert werden. Im Anschluss ist eine Bewertung von OpenSolaris hinsichtlich der Kriterien vorzunehmen. Im praktischen Teil der Arbeit ist vorgesehen, ein System mit OpenSolaris und wichtigen Storagekomponenten (u.a. ZFS, iscsi, NFS) aufzubauen und zu evaluieren. Darauf basierend ist eine abschließende Bewertung der Eignung von OpenSolaris gegenüber Linux für dieses Anwendungsgebiet durchzuführen. 1.2 Aufbau der Arbeit Der Beleg wird zuerst verschiedene allgmeine Storagetechnologien vorstellen. Danach werden die Anforderungen an eine Storageplattform definiert. Aufbauend darauf, werden danach die Technologien vorgestellt, die OpenSolaris zu Storage bereithält. Um einen besseren Überblick und eine Einordnung in die Welt der Storagesoftware zu erhalten, wird ein Vergleich zwischen den OpenSolaris-Storagetechnologien und den Linux- Storagetechnologien vorgenommen. Nähere Betrachtung finden dabei die Vergleiche zu 3

6 COMSTAR - Linux iscsi Targets und ZFS - LVM. Schießlich werden noch einige Praxistests am OpenSolaris/ZFS vorgenommen. 4

7 2 Überblick Storage Technologien 2.1 Übertragungstechnologien ˆ SAS(Serial Attached SCSI) SAS soll das parallele SCSI ablösen, um weitaus höhere Datenraten zu erzielen. Das Problem der parallelen SCSI-Schnittstellenimplementierung ist, daß die Signale auf den einzelnen Bitbussen unterschiedliche Ankunftszeiten besitzen. Die Signale müssen jedoch in einer bestimmten Bit-Takt-Zeit am Ausgang sein, um mit dem nächsten Takt übernommen zu werden. Diese Implementierung führt zu Wartezeiten, und somit zu einer geringeren Datenrate. Bei der Seriellen Übertragung existiert dieses Problem nicht; es können Datenraten von bis zu 9,6 Gbits/s erreicht werden. SAS zeichnet sich durch die bessere Skalierbarkeit, die Software-Kompatibilität zu SCSI sowie höhere Datentransferraten aus. ˆ Infiniband Infiniband ist eine serielle Hochgeschwindigkeitstechnologie. Dabei nutzt sie einen bidirektionalen und seriellen Bus mit einer theoretischen Datenübertragung von bis zu 2,5 Gbit/s pro Kanal. Durch transparente Kanalbündelung sind auch bis zu 60 Gbit/s möglich(12x Bündelung). Verschiedene physische Übertragungswege sind möglich. Zum einen Twinax Kupferkabel mit Reichweiten von bis zu 15 m als auch Glasfaser mit größerer Reichweite. Vorwiegend wird Infiniband zur Verbindung in Clustern verwendet. Dabei wird in jedem Rechnerknoten ein Host Channel Adapter(HCA) eingebaut, der sich dadurch auszeichnet, daß er die Verwaltung des Protokollstacks übernimmt, und somit die Latenzzeit verringert. Infiniband kann 4 unterschiedliche Netzkomponenten enthalten: Host Channel Adapter (HCA), (TCA), Switch und Router. Die paketorientierte Datenübertragung von Infiniband ist eine Punkt zu Punkt Verbindung; der Switch ermöglicht auch eine Punkt zu Multipunktverbindung. Mit dem Router kann man Daten zwischen verschiedenen Subnetzen austauschen. ˆ RAID(Redundant Array of Independent Disks) RAID verbindet mehrere physische Disks, um sie zu einer logischen Disk zusammen- 5

8 zuschließen, um höheren Datendurchsatz oder höhere Datensicherheit(durch Redundanz) zu erreichen. ˆ 10 GbE(10 Gigabit Ethernet) Ist ein unter IEEE 802.ae, IEEE 802.3ak, IEEE 802.3an spezifizierter Datenübertragungsstandard (in einem LAN, MAN, WAN) für sieben Glasfaser- und 2 Kupferkabeltypen. Bei Kupfer werden 2,5 Gbit/s pro Adernpaar übertragen. Insgesamt existieren 4 Adernpaare für Hin- und Rückrichtung. ˆ iwarp iwarp ist ein Protokollstack. Er enthält die 3 Protokolle MPA(Marker PDU Aligned Framing for TCP), DDP(Direct Data Placement) und RDMAP(Remote Direct Memory Access Protocol). Dieser Protokollstack ermöglicht die effiziente Übertragung von RDMA über TCP Netzwerke(mittels 1 und 10 Gbit Ethernet) wobei die CPU-Last und die Latenzzeit verringert wird. ˆ Fibre Channel Fibre Channel ist ein Protokoll für die Übertragung von großen Datenmengen, welches vor allem in Storage Area Networks(SANs) eingesetzt wird. Anstatt der MAC Adresse hat jede NIC einen WWNN(World Wide Node Name für die eindeutige Identifizierung der NIC) und jeder Port einen WWPN. 2 Topologien sind für Fibre Channel verfügbar: Arbitrated Loop und Switched Fabric. Bei Arbitrated Loop können mehrere physikalische Knoten auf einen gemeinsamen Massenspeicher zugreifen(san). Dabei teilen sich alle Geräte einen logischen Bus der eine Bandbreite von 133 Mbit/s 4 Gbit/s besitzt. Verbunden werden die einzelnen Geräte sternförmig oder mit daisy chaining. Beim Switched Fabric werden alle Geräte an einen leistungsfähigen Fibre Channel Switch angeschlossen. Dabei registriert sich jedes Gerät mit seiner WWPN und WWNN am Switch, welcher die Daten an den Name Server sendet, der ein Mapping aus WWPN/WWNN und einer eindeutigen Adresse ausführt. Für die erhöhte Ausfallsicherheit werden zumeist 2 Switched Fabrics parallel betrieben. ˆ iscsi(internet Small Computer System Interface) Beim iscsi werden SCSI Daten in TCP Paketen übertragen, sodaß die bestehende TCP/IP Infrastruktur genutzt werden kann, um das eigene Netz an einen Storage Provider anzubinden. Dabei wird eine virtuelle Point-to-Point-Verbindung vom eigenen Netz zum SCSI-Router, der sich beim Provider befindet, hergestellt. Der Router kann mittels einer Mapping Tabelle die entsprechende SCSI Quelle auswählen. Der blockbasierte Ansatz ermöglicht auch eine Integration von Datenbanken. 6

9 ˆ SRP(SCSI RDMA Protocol) SRP führt SCSI Kommandos über RDMA aus. Das hat den Vorteil, daß Infiniband Hosts Fibre Channel Geräte ansprechen können, in dem die Infiniband Host transparent behandelt werden und nur noch als Fibre Channel Host erscheinen. Man nennt diese Hosts dann auch SRP Hosts. SRP kann also Infiniband Hosts über einen Infiniband Fabric mit einem integrierten Fibre Channel Gateway in eine bestehende Fibre Channel Infrastruktur eingliedern. ˆ iser(iscsi Extensions for RDMA) Ermöglicht es das iscsi Protokoll über ein RDMA gestützes Netzwerk zu übertragen (iwarp,infiniband). Damit können die Daten direkt in die SCSI I/O Puffer transferiert werde, ohne zusätzliche Copy-Operationen. ˆ NFS(Network File System) Ist ein Dateisystem, welches es ermöglicht entfernte Rechnerpartitionen auf lokale Platten zu mounten. Anwendungen, die sich auf den entfernten Partitionen befinden werden auf dem lokalen Rechner in den Arbeitsspeicher geladen, wenn sie ausgeführt werden. Die NFS Clients müssen dabei aber immer auf den einen NFS File Server zugreifen, was einen Bottleneck verursacht. ˆ RDMA(Remote Direct Memory Access) RDMA ist ein Zero Copy-Netzwerkprotokoll, um Daten zwischen 2 Parteien zu versenden, ohne dabei aufwendiges Kopieren zwischen den Anwendungsspeicher und dem Puffer des Betriebssystems auszuführen. Die Anwendungsdaten werden beim Versenden direkt an die Netzwerkhardware übergeben, ohne zusätlich die CPU oder den Cache zu beanspruchen. Auch der Kontextwechsel im Betriebssystem entfällt. Dadurch gibt es eine geringere Latency und eine höhere Übertragungsrate. ˆ CIFS CIFS ist eine erweiterte Version des Protokolls SMB von Microsoft. SMB ist ein Client Server(request, response) Protokoll, um Dateien, Drucker und andere Ressourcen vielen Nutzern zugänglich zu machen. 2.2 Cluster Filesystems ˆ Lustre Lustre ist ein skalierendes, sicheres und hochverfügbares Cluster File System. Die Architektur von Lustre gliedert sich in 4 Teile: Clients, Meta Daten Server(MDS), 7

10 Object Storage Targets(OST) und LDAP Server. Die OSTs enthalten die eigentlichen Daten und die MDS s verwalten die Strkutur und den Zugriff der Daten. Für diverse Namensdienste ist der Ldap Server zuständig, den der Client kontaktieren kann. ˆ pnfs(parallel NFS) pnfs ist eine Erweiterung zu NFS. Hier werden die Daten versucht parallel verfügbar zu machen, damit die NFS Clients nicht einen Server kontktieren zu müssen, der nie die Bandbreitenbedürfnisse der NFS Clients eines Clusters befriedigen könnte. Bei der pnfs Architektur werden Metadaten einer Datei getrennt vom Aufenthaltsort der Daten der Datei im File Server aufbewahrt. Wenn pnfs Clients auf Dateien zugreifen wollen, müssen sie zuerst den File Server kontaktieren, der ihnen dann mitteilt, unter welchem Pfad und in welchem Storage Device sich die Daten der Datei befinden. Jetzt kommunizieren die pnfs Clients parallel mit den Storage Devices und müssen nicht über den File Server die Daten beziehen. Hierbei kommunizieren sie über File Service Endpoints, die wiederum an Storage Devices mit hohen Übertragungsraten, wie SANs,... angeschlossen sind. Je nach Bedarf kann die Anzahl der File Service Endpoints erhöht werden, um die Last zwischen Storage Device und pnfs Clients zu verteilen(skalierbarkeit ist somit gegeben). 2.3 Storage Clustering ˆ Cluster Infrastruktur Typischerweise besteht die Cluster Infrastruktur für Storage aus einem Rechnercluster welches parallel auf die Storage Umgebung zugreift. Die Storage Umgebung wiederum kann aus vielen Storage Servern oder Storage Server Farmen bestehen, die zusammengeschaltet wurden. Mit diesem Ansatz wird eine Skalierung nicht vorwiegend durch bessere Rechner erzielt, sondern durch Erweitertung des Clusters um mehrere Storage Server(Systeme). 2.4 Höhere Funktionalität ˆ Snapshots Ein Snapshot im Storage Bereich ist die Kopie eines Datenträgers, die normalerweise offline(nicht im produktiven Betrieb) von einem Speichermedium auf ein anderes erzeugt wird. Im online Betrieb wird unter anderem das Dateisystem eingefroren, 8

11 um den Snapshot zu erzeugen. Alle Änderungen die im laufenden Betrieb von statten gehen werden in Kopien der zu ändernden Blöcke gespeichert. Es werden also nur noch die Blöcke extra verwaltet, die auch geändert werden. In vielen Fällen sind dies jedoch, im Verhältnis zur Anzahl der Gesamtdaten, eher sehr wenige Blöcke. ˆ LUN(Logical Unit Number) LUNs stellen bei SCSI Geräten physikalische Peripheriegeräte dar, die adressierbar sind. Jedes SCSI Zielgerät kann bis zu 15 LUNs beherbergen(luns sind also eine Art Unteradressen von dem SCSI Zielgerät). ˆ SMART(Self-Monitoring, Analysis and Reporting Technology) SMART umschreibt eine Technologie die es ermöglicht Hardware(Festplatten) über das Betriebssystem zu überwachen. Dabei werden die Daten von Sensoren in der Festplatte aufgezeichnet und in einem reservierten Bereich auf der Festplatte gespeichert. Über das Bios und einem auf dem Betriebssystem installierten Programm lassen sich die Sensorwerte auslesen. Es gibt Parameter die ständig protokolliert werden(online Parameter) und Parameter, die nur in Ruhephasen der Festplatte aufgezeichnet werden. ˆ Bad Block Relocation Bei der Bad Block Relocation werden fehlerhafte Blöcke von der Festplatte in einen reservierten Bereich neu abgelegt, um die Integrität der Daten auf der Platte zu gewährleisten. In einem Logical Volume gibt es zu jedem Block einen Hashwert, mit dem die Integrität geprüft weren kann. Unter Linux wird, wenn während des I/O ein Bad Block detektiert wird, ein bad block processing ausgeführt. Wird bei einem read(nonmirrored) request ein bad block festgestellt, wird nur ein Eintrag auf der Platte(bad block directory) und in dem defects directory des LVDD(logical volume device driver)vorgenommen. Erst bei einem folgenden write request wird eine safe hardware relocation an den physical disk driver gesendet, um den Block in einen reservierten Bereich abzuspeichern. ˆ Replikation Bei der Replikation werden die gleichen Daten von einem System auf mehere andere Systeme kopiert. Synchrone Replikation: Bestätigung erst, wenn beide Systeme geschrieben wurden.(bei nahem Rechenzentrum) Asynchrone Replikation: Bei weit entfernten Rechenzentren besser geeignet. Update auf auf weiter entferntes System wird verzögert ausgeführt. Eine Anwendung ist im Datenbankenbereich zu finden, wo mehrmals täglich von einer Originaldatenbank auf 9

12 mehrere örtlich verteilte Datenbanken abgeglichen wird. ˆ Mirroring Bei dem Mirroring werden die Daten gleichzeitig und in Echtzeit auf verschiedenen Datenmedien gespeichert. (Kopieren eines ganzen Datenträgers, einer LUN,...) ˆ Hierarchisches Speichermanagement(HSM) Unter hierarchischem Speichermanagement versteht man eine Strategie Speicher sinnvoll auszunutzen. Dabei werden Daten, die lange nicht mehr referenziert werden auf einen Speicher geschoben, der billiger und langsamer als der aktuelle Aufenthaltsort ist. Der freigewordene Speicher, auf teuren, aber schnellen Medien, kann sinnvoller für oft referenzierte Daten genutzt werden. ˆ VTL(virtual tape library) Bezeichnet einen Disk Array der eine Tape Library emuliert. Dieses Verfahren wird vor allem deswegen eingesetzt, weil immernoch viel Backup über Tapes betrieben wird. Der Nachteil dabei ist die geringe Schreibgeschwindigkeit. Man schreibt deshalb oft zuerst schnell in eine VTL und danach von der VTL in eine echte TL. Vorteile sind, wie schon erwähnt, die höhere Schreibgeschwindigkeit und die Möglichkeit die schon für die Tapes bestehenden Konfigurationen in Unternehmen beibehalten zu können. ˆ Thin Provisioning Thin Provisioning bietet Storage Administratoren die Möglichkeit Speicher dynamisch seinen Nutzern zuzuweisen und logisch sogar mehr Speicher zuzusichern, als eigentlich physisch an Plattenplatz verfügbar ist. Vor dem Hintergrund der unzureichenden Speicherauslastung in vielen Storage Systemen ist dies eine Möglichkeit diese zu erhöhen. Blockbasiertes Verfahren(mit logischen Blöcken LUNs): TP wird von Speichersystem realisiert. Wenn ein Server Daten reservieren möchte, dann wird eine LUN im Speichersystem mit ausreichend Speicher bestimmt. Diese LUN muss logisch mindestens so groß sein, daß der Betrieb der Anwendung für diesen Speicherplatz ausreichend ist. Das Speichersystem teilt dem Server eine logische Größe x mit, die tatsächliche Größe ist jedoch x-m. Nachteil: bei Löschaktionen die vom server ausgeführt werden, bleibt die logische LUN Größe erhalten, da der Server nicht mit dem Speichersystem kommunizieren kann. Außerdem verringern die Managementoperationen für das Thin Provisioning die Performance der des System, weshalb diese optimiert werden müssen. Da TP für LUNS mehrere physische Platten verwendet kann es zur Fragmentierung der Daten kommen(nachteil der Dynamischen Allokation). Filebasiertes Verfahren: In diesem Verfahren ist der Server auch der Filer, und bestimmt somit über das File System. Dateisysteme können NFS oder CIFS sein. Das Provisioning erfolgt ähnlich 10

13 wie beim obigen Verfahren nur, daß jetzt beim Löschen von Daten, auch die logische Größe der LUN angepasst werden kann. Nachteil: sehr detailliertes Monitoring von Nöten. ˆ DataDeduplication Data Deduplication beizeichnet ein Verfahren auf Block-Levelebene, um mehrfach vorkommende gleiche Daten zu vermeiden und nur 1 Dateninstanz der Daten vorzuhalten, die gedoppelt sind. Sinn dieses Verfahrens ist das Einsparen von Speicherplatz. Fingerprinting-Funktion: Dateien werde in Stücke zerlegt, die dann Byteweise nach Datenwiederholungen analysiert werden. Durch die Pointer kann man immer auf das Originaldatum zugreifen. 2 Methoden existieren: Foward und Reverse Referencing. FR bezeichnet das das zuletzt aufgetretene gleiche Datenelement auch gespeichert wird und von allen anderen gleichen Elementen refererenziert wird. Beim RR wird immer das erste gleich auftretende Element gespeichert, um später von allen anderen gleichen Elementen referenziert zu werden. Häufig wird Data Deduplication für Backups eingesetzt. Es besitzt eine Datenverdichtung von bis zu 1:12. ˆ isns(internet Storage Name Service) Das isns ist ein Protokoll was in IP Netzen vor allem von iscsi verwendet wird. Die Konfigurationen der verschiedenen iscsi Geräte und die Geräte in den SANs werden dabei zentral von einem isns Server verwaltet. ˆ Fixed Content Storage Bei Fixed Content Storage handelt es sich um Daten, die niemals geändert werden. ˆ Storage Pool Mehrere Festplatten mit den gleichen Eigentschaften werden zusammengefasst. ˆ Object Storage Beim OSD (object-based storage device) geht es um die Errichtung einer zusätlichen Abstraktionsebene zwischen dem Dateisystem und dem Storage System. Da 90% der Last beim Dateisystem auf die Storage Komponenten zurückfallen ist es sinnvoll die Funktionalität, die die Storage Komponenten steuert, auch in die Storage Systeme zu verlagern und nicht im Dateisystem zu halten. Um das Storage System anzusprechen gibt es jetzt kein spezifisches Format mehr sondern man definiert ein Standard Object Interface was für jedes Storage System gleich ist. Weitere Vorteile sind: Meta-Daten werden beim Objekt gespeichert und nicht im User Level Skalierbarkeit erhöht sich durch Erweiterbarkeit des Storage Systems geringere Komplexität durch Object Management 11

14 Automatische Datenmigration durch Storage System ˆ Mulitpath Suport Eine Möglichkeit Storage Systeme möglichst ausfallsicher an Server anzbinden ist es einfach mehrere Verbindungen zu Nutzen. Jeder I/O request kann theoretisch über irgendeine der Leitungen gesendet werden. Diese erhöhte Verfügbarkeit ist zwar teuer, lässt sich bei hochverfügbaren Anwendungen aber nicht vermeiden. ˆ SNMP(Simple Network Management Protokoll) SNMP ist ein Hardwaremanagement Protokoll, welches auf UDP aufsetzt. Auf Endgeräten laufen sogenannte Agents, die Parameter steuern oder auch an den Manager senden können. Dabei befindet sich der Manager an einem zentralen Knoten und verwaltet die mit ihm verbundenen und registrierten Agents. Die Parameter der einzelnen HW-Komponenten werden auch Managed Objects genannt und in der Management Information Base(MIB) tabellarisch erfasst. In der MIB besitzt jedes Objekt einen Object Identifier zur eindeutigen Identifierung. Diese bilden dabei eine Baumstruktur, die notwendig ist, um die einzelnen Objekte, die in hierarchischen Datenstrukturen in den Agents eingeliedert sind anzusprechen. Ähnlich einer IP bestehen die OIDs aus von durch Punkten getrennten Zahlen aber auch alphanumerischen Zeichen(z.Bsp.: o. iso.org.snmp.mgmnt.dev). ˆ NDMP(Network Data Management Protocol) Ist ein auf TCP aufsetzendes Backup Protokoll, das in heterogenen NAS eingesetzt wird. NDMP kann die Datensicherung schneller durchführen, da nur die geänderten Blöcke übertragen werden und außerdem die Pakete so geroutet werden, daß nicht der Umweg über einen Server genommen werden muss, sondern der kürzeste Pfad zwischen Storage und Tape Library genutzt wird. ˆ MPIO(Multi Path IO) Wenn ein Server über mehrere Verbindungen von seinem Host Bus Adapter mit einem Festplattensystem kommunizieren kann, dann spricht man von MPIO. Man unterscheidet 2 Modi, Active/Active, Active/Passive, die unten erklärt sind. ˆ Active/Active(MPIO Modus) Bei Ausfall eines Pfades wird sein Verkehr über einen noch vorhanden Pfad übertragen (Failover). Dabei wird die auf dem System laufende Software davon nicht beeinträchtigt. ˆ Caching von block level strorage Wenn viele Clients an ein Storage System über ein Netzwerk angeschlossen sind, kann es zu Performanceeinbrüchen und einer schlechten Skalierbarkeit kommen. Um dieses 12

15 Problem zu beherrschen könnte man den lokalen Cache des Clients nutzen. Anstatt alle Daten immer vom Storage System über das Netzwerk zu übertragen, werden die Daten, auf denen gearbeitet wird nur einmal vom Storage System in den Cache des Clients übertragen. Dieser kann dann lokal mit ihnen Arbeiten ohne ständig das Netzwerk zu beanspruchen. Unter Linux kann man den dm-cache verwenden, der auf den device mapper aufbaut. ˆ Write Cache Mirroring Der Mirror Write Cache bietet die Möglichkeite eine schnelle Synchronisation nach einem Systemabsturz in einem Plattenspiegelsystem. Für jede Schreibaktion(innerhalb einer Volumengruppe) wird in einer Datenstruktur vermerkt, wo die Schreibaktion stattfand. Dies geschieht intervallweise. Nach einem Systemabsturz können inkonsistente Datenblöcke schnell wiederhergestellt werden. ˆ Tiered Storage Tiered Storage ist eine Technologie von Compellent. Dabei werden Daten dynamisch klassifiziert(dynamic Block Architechture), um sie anhand dieser Klassifikation auf entsprechenden Datenträgern zu speichern. Dabei werden für jeden Block Metadaten gespeichert, wie zum Beispiel die letzte Zugriffszeit, der RAID-Level und weitere. Die Metadaten werden zur Entscheidungsfindung dafür genommen, ob und wohin der Block migrieren muss. Die Datenträger werden in Abhängigkeit von ihrer Zugriffsgeschwindigkeit, ihrem Kaufpreis oder ihrer Zuverlässigkeit,... in verschiedene Tiers unterteilt. Ein Tier bezeichnet eine Menge von Datenträgern mit bestimmten Eigenschaften. Dieses blockorientierte Hierarchische Speichermanagement ist normalerweise so organisiert, daß es im ersten Tier wenige, schnelle aber teure Datenträger(mit z.bsp. FibreChannel) gibt, auf denen Blöcke mit hoher Zugriffshäufigkeit gespeichert werden. In einer tieferen Ebene befindet sich der nächste Tier mit vielen billigeren/langsameren Datenträgern(in tieferen Ebenen z.bsp SATA Platten), auf denen Blöcke mit geringerer Zugriffshäufigkeit gespeichert werden. Mit der Zeit migrieren die Blöcke dynamisch zwischen einzelnen Tiers. Tiered Storage ist einen Möglichkeit HSM noch (kosten-)effizienter zu gestalten, als mit filebasiertem Hierarchischem Speichermanagement. 13

16 3 Untersuchung der Anforderungen Anforderungen Spezifische Anforderungen Hardware AMD64, Intel 64 bit Architektur Netzwerkhardware Storageverbindung Grundanforderungen FibreChannel, Infiniband, 10GbE Controller LSI SAS Controller SW RAID Unterstützung von RAID 0,1,5,6,50,60 LVM Performance, Effizienz Größe des Betriebssystems Stabilität Community Aktive Open Source Community, gut frequentierte Mailing List 64 bit Architektur Block Level Protocols iscsi SRP Virtuelles SCSI über TCP Netzwerk. Nutzung bestehender TCP/IP Infrastruktur. Paketieren von SCSI Kommandos in RDMA(Infiniband) 14

17 iser FibreChannel File Level Protocols Unterstützung von iscsi over RD- MA(unter Nutzung von iwarp oder Infiniband). Mittels true-zerocopy können die bestimmenden Geschwindigkeitseinbußen in Netzen mit 10Gbit/s, die durch memory-tomemory copy entstehen, minimiert werden. Unterstützung der Fibre Channel Infrastruktur(Host Bus Adapter für FC). NFS NFS/RDMA CIFS Cluster CIFS Cluster File System Support Lustre & pnfs Higher Level Support I/O Statistik Zero Copy Unterstützung. Anbindung an Windows NT Domänen Unterstützung von CIFS in Clustern. Bessere Skalierbarkeit soll erreicht werden. Unterstützung eines hochverfügbaren, skalierenden Cluster File Systems. Nach Möglichkeit Lustre oder pnfs. Weitere Cluster FS: GFS, OCFS2 Detaillierte Statistikfunktionen, Reportgenerierung. 15

18 Snapshots LUNS Automatisches Erstellen von Snapshots, in wenigen Sekunden. Dieses Verhalten sollte mit der Datenmenge skalieren. Snapshot bleibt stabil. Möglichst schnelles Restore. Wenig Speicherplatzverbrauch. Keine(Geringe) Beeinträchtigung der Performance. Unterstützung der Virtualisierung des physischen Speichers, hinzu Logical Units. Größe und Ort sollten frei wählbar sein. Anpassung der Größe sollte schnell möglich sein und dynamisch je nach den Speicheranforderungen der Anwendungen erfolgen. Bestenfalls könnte dieser Prozess auch automatisiert werden.(vergleichbare Technologie: FlexVol von NetApp). Viele LUNS mit 1000 Sessions. 16

19 Caching Write Back Caching: Es wird hauptsächlich mit Daten auf dem Hauptspeicher gearbeitet. (Bestätigung sobald Daten im HS). Der Nachteil ist, daß beim Ausfall die Daten im HS verloren gehen. Eine Optimierung bietet Cache mirroring.(z.bsp. bei RDMA) Write Through: Hierbei wird eine Empfangsbestätigung erst gesendet, wenn die Daten sich auf der Platte befinden. Geringere Performance, aber höhere Ausfallsicherheit. Unterstützung von Write Cache Mirroring(schnellere Synchronisation von Spiegelplattensystemen). Unterstützung von Block Level Caching in den Storage Clients, um aufwendiges Nachladen von Daten über das Netzwerk zu vermeiden.) RAM locked LUN Man macht Daten im Hauptspeicher verfügbar, und arbeitet auf ihm. Ziel ist höhere Performance.(I/O) SMART Unterstützung von SMART für die Festplattenüberwachung, SCSI, SATA, SAS. Bad Block Relocation Gewährleistet eine längere Plattenlaufzeit bei bad block Fehlern. Wichtig ist, daß ein Treiber vorhanden ist, um die Relokation durchzuführen und ein möglichst geringer Zeitverzug beim Schreiben mit dem Treiber. 17

20 System Health Monitoring Ähnlich SMART, jedoch auch für weitere Komponenten und umfassender. Statistiken, wie sich häufende Bitfehler sollen über die Ausfallwkt. informieren. Ressource management tools: asset management, capacity management, configuration management Replikation Schnelle Replikation auf verschiedenen(heterogenen) Medien(Virtualisierung, LVM, RAID). Dabei sollte während des Replikationsvorgans die Funktionsfähigkeit des Systems nur geringfügig oder gar nicht eingeschränkt werden. Mirroring Schnelles Online Mirroring. RAID1. Kompression Schnelle Kompression der Snapshots, im laufenden Betrieb ohne Einfluss auf Serververfügbarkeit. Verschlüsselung Unterstützung verschiedener Verschlüsselungsalgorithmen(AES, SHA). Hohe Sicherheit(wieviel Bit). Kombination aus symmetrischer und asymetrischer Verschlüsselung. Hohe Verschlüsselungsgeschwindigkeit. Verschiedene Keylängen. Verschlüsselung über unsicheres Netzwerk als auch auf Platte. 18

21 DataDeduplication Hierarchisches Speichermanagement VTL Storage Pools(ähnlich der Virtual File Manager-Technologie) Daten sollen nach Möglichkeit in nur einer Instanz auftauchen. Das ganze Verfahren findet Block-Levelorientiert statt, da es eine höhere Effizient beim wiederverwenden von Daten verspricht(feingranularer als file level orientiert). Referenz auf Originialblöcke. Möglichst geringe CPU Last beim Auffinden der Duplikatblöcke. Eventuell Kombination von verschiedenen Hash- Verfahren, um Kollisionen und somit Datenverlust zu vermeiden. Unterstützung mehrerer Hierarchien. Tape Support für unterschiedliche Tapes. SAMQFS Unterstützung verschiedener Tape Formate. Mehrere Windows und Linux Dateisserver virtuell zu einem Storage Pool zusammenfassen(von Netapp- unterstützt auch DataDeduplication und heterogene Dateiserver). Automatisches Verschieben von Daten in die verschiedenen Systeme, je nach Alter, Relevanz, Zugriffshäufigkeit(Statistiken). 19

22 Block Level Checksums Werden benötigt, um z. Bsp.Bad Block Relocation durchzuführen, oder Integrität der Daten auch über unsichere Netze zu gewährleisten. Der Hash Algorithmus sollte eine geringe Wahscheinlichkeit einer Kollision aufweisen und auch sicher gegen Angriffe über ungesicherte Netze sein(verwendung eines Private Keys zusammen mit dem Hash Verfahren, um die richtige Checksum zu erlangen). Große Adressierbarkeit >= 64 bit LDAP Einbindung Unterstützung von LDAP und LDAP-ähnlichen Implementierungen: LDAP(Unix, Linux Welt), Active Directory(Windows Welt) isns Support Unterstützung von Discovery Domains(Separierung der Netze), Speicherung der Datenbank auf LDAP Server, isns Server Failover, isns Control Node Fixed Content Storage Unterstützung des XAM Standards Storage Virtualization Object Storage, LUN, RAID, Storage Pools Object Storage Support Gute Skalierung bei vielen Clients, Unterstützung verschiedener Speicherprotokolle: iscsi, Fibre Channel Multipath Support Bei Ausfall einer Leitung wird die Netzlast auf die verbliebenen Leitungen gegeben.(mpio Active, Active) SNMP Unterstützung verschiedener Agents 20

23 Backup MPIO Synchrone und Asynchrone Replikation, Snapshotting, Automatische Migrieren der Daten im Hintergrund(s. Hierarchisches Storage Management) SCSI Multipathsupport, Load balancing für Storage Cluster(iSCSI redirect) 21

24 4 OpenSolaris-Storage-Technologien 4.1 Automatic Data Migration ˆ ADM ist ein HSM Storage Management System für SUN Dateisysteme. ˆ Folgende Funktionen sind zu finden: Dateidaten für Backup sichern Freigeben von Blöcken(preemptive), damit Applikationen keinen Speicherplatzmangel erleiden Holen von Daten, die auf Archivspeicher ausgelagert wurden Capture, Release und Recall von Daten zum/vom Archivspeicher basierend auf Policies(configurierbar nach Dateieigenschaften) ˆ Features: ADM ist in ZFS integriert Policy Management mit Klassifizierung ZFS Level Skalierbarkeit Disk Archivierung STK Tape/Library Support(Media Management System MMS) einfachere Administration 4.2 CIFS Server ˆ integrierte native CIFS,Protokoll: CIFS/SMB LM 0.12 MSRPC services in workgroup and domain mode ˆ verfügbar unter OpenSolaris ONNV Build 77 ˆ Ziel: umfassendes Filesharing zwischen Solaris und Windows Umgebungen 22

25 4.3 CIFS Client ˆ mounten von Remote CIFS Server Shares auf Solaris(read, write Zugang) ˆ es gibt bereits eine 2. Beta Version ˆ NETBIOS Namensauflösung ˆ Automounter Map Entry hinzufügen ˆ Byte Range Locks für andere Prozesse sichtbar ˆ mehrere CIFS Sessions gleichzeitig ˆ Authentifizierung via Passworthashing(NTLM) und Active Directory Credentials ˆ es gibt bereits eine 2. Beta Version ˆ bei 20 % schlechterer Performance im Vergleich zu Linux CIFS auf der gleichen Hardware wird das Team Hilfe(Mitigation Plan) geben, um das Problem zu mindern ˆ was nicht unterstützt wird: komplette Integration mit automounter(/net for CIFS), CIFS Extensions for Unix, Microsoft s DFS-Referral, ACL display, Paketsignierung, Oplocks 4.4 COMSTAR(Common Multiprotocol SCSI Target) Abbildung 4.1: Comstar-Architektur ˆ Comstar ist ein Software Framework ˆ SCSI Target Mode Framework (STMF) besteht aus Modulen, die die unterschiedlichen Funktionalitäten eines SCSI Targets implementieren 23

26 ˆ für die Transportprotokolle(iSCSI, FibreChannel) ist die SCSI-level Funktionalität transparent ˆ für die SCSI Module(disk, tape,...) sind die Transportprotokolle transparent ˆ Features: Extensive LUN Mapping, Multipathing für verschiedene Transportprotokolle, Parallele Übertragung pro SCSI Befehl, skalierbar, generic HBAs. ˆ iser Projekt wird folgende Technologien für COMSTAR bereitstellen: iser Initiator und Target, iscsi COMSTAR Portprovider ˆ iser Projektstatus: erster stabiler Prototyp für iscsi soll Ende Februar verfügbar sein, iser wird parallel entwickelt 4.5 HoneyComb Fixed Content Storage ˆ Objektorientiertes Storage System mit Java und C interfaces, über die Data Collections mit bis zu 100 Millionen Objekten oder Storage im Petabyte Bereich verwaltet werden können ˆ Ziele: Client, Server für FixedContentStorage, weitere APIs definieren, XAM Fixed- Content Interface hinzufügen(standard) ˆ API hat folgende Eigenschaften: operiert wird auf Datenobjekten(bulk operations) und auf Metadaten, die gut durchsucht werden können Verifizierung der Daten durch SHA1 Hash unterstützt wird das Speichern, Holen, Aufsuchen und Löschen von Datenobjekten und Metadaten jedes Metadatum bezieht sich auf ein Objekt mit einer Query(SQL Subset) kann die OID eines Objekts auf einem Honeycombserver bestimmt werden Komunikation zwischen Client und Server findet über HTTP statt 4.6 Media Management System ˆ Features: STK Tape und Tape Library support APIs Archivierung von Platten(Virtual Tape) Configuration Toolkit in verteilten Umgebungen basierend auf IEEE standard

27 Abbildung 4.2: MMS-Architektur 4.7 NFS version 4.1 pnfs ˆ pnfs ist eine Erweiterung von NFS ˆ Separierung von Daten und Metadaten ˆ dadurch einheitlicher Namensraum für Dateien auf unterschiedlichen physischen Medien möglich ˆ Striping über mehrere Platten möglich und somit bessere Performance Server: 4.8 NFSv4 Namespace Extensions ˆ pseudo-dateisystem Namensraum ˆ mount on demand ohne automounter zu Benutzen ˆ Mirror Mount über Dateisystemgrenzen hinweg: im Hintergrund, die benötigten physischen Medien mounten(wurde zurückgesetzt (erst verfügabar mit snv77)) ˆ Referrals (Dateien, die auf einem gemounteten NFS Server1 nicht gefunden werden, können über den globalen Namensraum auf einem NFS Server2 gefunden werden. Das Filesystem mit den Dateien von Server2 werden dabei automatisch gemountet. Keine Automounter ist notwendig.) 25

28 4.9 NPort ID Virtualization (NPIV) ˆ Virtualisierung von FibreChannel Port(mehrere logische Ports für einen physischen Port) ˆ Vorteil: Wenn sich meherere Gastbetriebssysteme(z. Bsp.: XEN) einen Rechner teilen und auf FibreChannel Storage zugreifen möchten, kann man jedem einzelnen Gastsystem einen eigenen Port zuweisen NFS RDMA ˆ Von Sun Microsystems und Netapp gesponsortes Projekt an der Ohio State University ˆ Verbesserungen wurden erziehlt auf den Gebieten: Security * Kombinierung von RDMA READ WRITE Aktionen(BULK Data Transfer) * Server gibt Client nicht die Möglichkeit den Puffer zu allokieren * nur der Server selbst hat die Kontrolle über die Puffer und kann allokieren Performance * Buffer Registrierung bei HCA verursacht großen Overhead bei der Verwendung von NFS * Fast Memory Registration(FMR) und ein Regristration Cache reduzieren den Overhead 4.11 Network Storage ˆ Treiber, Bibliotheken und Tools für verschiedene Storage Verbindungen ˆ gegenwärtig werden folgende Technologien unterstützt: Fibre Channel Transport Interfaces für FibreChannel HBA-Treiber und Hardware iscsi(software initiator) Solaris isns Server Storage Management APIs Storage Management Utilities Sun StorageTek Availability Suite (AVS) 26

29 4.12 SAM/QFS ˆ QFS: Dateisystem, ansprechen von Platten unter einem Dateisystem, Metadaten können auf separaten Platten gehalten werden(gut für Streaming Applikationen) ˆ SAM funktioniert wie ein Hierarchical Storage Manager und läuft transparent hinter QFS 4.13 Solaris iscsi Target ˆ ist in Solaris integriert ˆ wichtige Ziele: isns client support, Sun Cluster Support 4.14 Sun StorageTek Availability Suite ˆ Remote Mirror Copy und Point in Time Copy, Filter Treiber Framework, viel SW ˆ Realtime Replikation ˆ Snapshot Funktionalität und Replikation für UFS, QFS, VxFS, ZFS und Datenbanken wie Oracle, Sybase und PostgreSQ Abbildung 4.3: Availability Suite-Architektur 4.15 ZFS On Disk Encryption Support ˆ Verschlüsselung/Entschlüsselung support für ZFS Datensätze 27

30 ˆ Secure Deletion ˆ Alpha Status 4.16 ZFS ˆ RAID 1,10,5,50,Z,Z0 ˆ on disk compression ˆ mehrere Dateisysteme pro Storage Pool ˆ checksums für daten(block-level) ˆ disk failure handeling(z.bsp.: bei 2 Mirror-Platten) ˆ Behandlung von Disk Corruption ˆ Self Healing Data ˆ Block-Level Checksums ˆ Dynamic Stryping ˆ Disc Scrubbing (Festplattenfehler finden) ˆ iostat integrated ˆ Pools automatisch ex-/importierbar ˆ rekursive Dateisystemattributanwendung ˆ end-to-end data integrity ˆ keine Partitionen ˆ keine festen Blockgrößen ˆ Storagepools mit dazugehörigen Volumes können sehr schnell erstellt werden(2 Codezeilen) ˆ kein expliziter Filesystem Creation Prozess ˆ Dateisystemaufrufe werden in objekt-basierte Transaktionen gewandelt ˆ Transaktionales Filesystem(copy-on-write) ˆ bevor ein Zugriff auf Platte erfolgt ˆ RAID-Z(=RAID5 mit variabler Stripingbreite) ˆ Hinzufügen von Platten zum Array geschieht sofort- ZFS reallokiert alle Daten auf allen Disks(während des Betriebs in Ruhephasen)- bessere Performance ˆ intelligentes read-ahead caching(- bessere Performance bei Streaming) ˆ Snapshots (nur Lesbar) ˆ Clones (auch Schreibbar) ˆ I/O Pipeline ˆ eingebaute Kompression ˆ eingebaute Verschlüsselung 28

31 4.17 Storage Pool ˆ jedes Dateisystem teilt sich den Storage in einem Pool 4.18 Solaris Volume Manager ˆ Storagekapazität erhöhen ˆ Datenverfügbarkeit erhöhen ˆ Einfache Administration für große Speichergeräte ˆ Support für RAID 0,1,5 ˆ Hotspare Online Disk repair ˆ Multipathing mit MpxIO ˆ Plattenverschiebung ˆ Root Mirroring ˆ PartitionierunCluster Volume Management ˆ Multi-Terrabyte Volumes ˆ Logging von RAID1 Platten, schnelles Recovery ˆ Verschieben der Volumes innerhalb des Systemsg in tausende logische Volumes 29

32 5 Vergleich OpenSolaris - Linux Hardware OpenSolaris ja ja AMD INTEL64 Netzwerkhardware FibreChannel ˆ QLE2464 HBA (4Gbps, PCI-Express) ˆ QLE2560 HBA (8Gbps, PCI-Express) ˆ LSI7* HBA (2-4Gbps) GbE ˆ Intel 82597EX 10 Gigabit Ethernet Controllers SAS ˆ LSI SAS 8208ELP RAID Controller ˆ LSI SAS 8880EM2 RAID Controller Linux ja ja Fibre Channel ˆ QLE2464 HBA (4Gbps, PCI-Express) ˆ QLE2560 HBA (8Gbps, PCI-Express) ˆ LSI7202XP, LSI7402XP, LSIFC949X, LSI7104XP, LSI7204XP, LSI7404XP, LSIFC949E Infiniband ˆ QLE7140 HCA(10Gbps, PCI-Express) ˆ 7104-HCA-128LPX-DDR (20Gbps, PCI- Express) GbE ˆ Intel 825* 10Gbit Ethernet Controller SAS ˆ LSI SAS 8208ELP RAID Controller ˆ LSI SAS 8880EM2 RAID Controller Tabelle 5.1: Hardware Grundanforderungen OpenSolaris SW RAID Linux 30

33 OpenSolaris ˆ integriert in ZFS: RAID 0,1,10,z, verschiedene mirror Varianten von RAIDz Logical Volume Solaris Volume Manager ˆ Storagekapazität und Datenverfügbarkeit erhöhen ˆ Einfache Administration für große Speichergeräte ˆ Hotspare Online Disk repair ˆ Multipathing mit MpxIO ˆ Plattenverschiebung ˆ Root Mirroring ˆ Partitionierung in tausende logische Volumes ˆ Cluster Volume Management ˆ Multi-Terrabyte Volumes ˆ Remote Replication ˆ Logging von RAID1 Platten, schnelles Recovery(Cache Mirroring) ˆ Verschieben der Volumes innerhalb des Systems ˆ Support für RAID 0,1,5,6,10 Linux ˆ RAID 0,1,4,5 Logical Volume Manager ˆ Storagekapazität online verändern durch hinzufügen/entnehmen von physischem Speicher oder hinzufügen/lösen von Extents ˆ read-only oder read-write Snapshots ˆ Striping(s. unten) ˆ Mirroring(s. unten) ˆ Logical Volumes verschieben zwischen den einzelnen physischen Volumes ˆ Auftrennen/Vereinigen von Volume Groups ˆ Support RAID 0,1,4,5,6,10 Lizenz 31

34 OpenSolaris ˆ Mehrheit der Lizenzen des OpenSolaris Projektes sind unter CDDL ˆ CDDL basiert auf MPL ˆ die CDDL ist nicht kompatibel zur GPL ˆ erlaubt kommerzielle Nutzung ˆ Dateibasierte Definition der Modifikationen(MPL) ˆ CDDL-Dateien können mit Dateien, die eine andere Lizenz besitzen kombiniert werden(egal ob sie open source oder nichtöffentlich (binär) sind) ˆ Quelltextänderungen an CDDL Dateien müssen sichtbar sein ˆ übersetzte Programme können unter anderer Lizenz veröffentlicht werden(mpl) ˆ Lizenz für eine CDDL Software wird entzogen wenn Patentansprüche von Entwicklern an dem CDDL Projekt erhoben werden ˆ OpenSolaris-Quelltext darf kommerziell genutzt werden Linux ˆ GPL Tabelle 5.2: Grundanforderungen Block Level Protocols OpenSolaris iscsi Linux ˆ COMSTAR(Common Multiprotocol SCSI Target) ˆ IET (iscsi Enterprise Target) ˆ STGT (Linux SCSI Target Framework) ˆ SCST (Generic SCSI Target Middle Level for Linux) FC(Fibre Channel) 32

35 OpenSolaris NPort ID Virtualization ˆ Virtualisierung von FibreChannel Port (mehrere logische Ports für einen physischen Port) FCoE ˆ FibreChannel over Ethernet(target & initiator) ˆ target ist in die Comstar Architektur integriert Linux FibreChannel Transport Class ˆ Remote Port Management ˆ Integration in SAM und Linux SCSI Layer ˆ Remote Port basiertes LUN Scanning ˆ Live Rescan by Topologieänderungen ˆ Queue Freeze Facility(kurzzeitige Kabeltrennung rufen keine I/O Errors hervor ˆ Management über Sysfs(Userspace Interface) ˆ qla2xxx for Qlogic 2100/2200/23xx HBAs Tabelle 5.3: Block Level Protocols File Level Protocols OpenSolaris File Level Protocols NFS Linux 33

36 OpenSolaris NFS version 4.1 pnfs ˆ Implementierung von NFSv4.1 parallel NFS für OpenSolaris (Client, Server) ˆ pnfs: gleiche Daten befinden sich auf unterschiedlichen Server. Performancegewinn bei Aufruf dieser gleichen Daten. NFSv4 namespace extensions ˆ einheitlicher Namensraum ˆ mount on demand ohne automounter zu Benutzen ˆ mirror-mount über Dateisystemgrenzen hinweg: im Hintergrund, die benötigten physischen Medien mounten wurde zurückgesetzt (erst verfügabar mit snv77) Linux ˆ NFSv4 Sessions(mittlere Priorität) ˆ NFSv4.1 Sessions(geringe Priorität) NFS/RDMA ˆ Von Sun Microsystems und Netapp gesponsertes Projekt an der Ohio State University ˆ NFS an Infiniband Anbindung soll realisiert werden ˆ Verbesserungen wurden erziehlt auf den Gebieten: Security (Für RDMA wurde hier der READ-WRITE(anstatt READ-READ) Ansatz gewählt) Performance (Fast Memory Registration(FMR)) ˆ University of Michigan ˆ kdapl API(RDMA API) ˆ Client existiert(stand Februar 2005) ˆ direkter Transfer der Daten aus dem Client Memory in den Server Puffer ˆ unterstützt NFS 2,3,4 ˆ Transport über Kernel RPC ˆ beliebiger NFS Client kann ohne Änderungen auf die RDMA API zugreifen ˆ Ziele für NFS/RDMA Server: Unterstütung von Netapp RPC RDMA Client, Performanceverbesserung zu TCP, Zugang über kdapl API CIFS 34

37 OpenSolaris CIFS client for Solaris ˆ mount remote CIFS server shares auf Solaris(read, write Zugang) ˆ NETBIOS Namensauflösung ˆ Automounter Map Entry hinzufügen ˆ Byte Range Locks für andere Prozesse sichtbar ˆ mehrere CIFS Sessions gleichzeitig für einen Client ˆ Authentifizierung via Passworthashing und Active Directory Credentials CIFS Server ˆ unterstützt CIFS/SMB LM 0.12 protocol Linux CIFS-VFS Client (Virtual File System) ˆ CIFS baut auf Virtual File System layer auf ˆ Unterstützung von Unix Extensions ˆ Unterstützung der automount Funktion ˆ Netbios Namensauflösung ˆ Authentifizierung NTLMv2 (Hashing) aber auch schwächere lanman Authentifizierung möglich(hashing) ˆ Unterstützung von Packet Signing Tabelle 5.4: File Level Protocols Higher Level Functionality OpenSolaris Snapshots Linux 35

38 OpenSolaris Sun StorageTek Availability Suite ˆ Remote Mirror Copy und Point in Time Copy, Filter Treiber Framework ˆ Realtime Replikation ˆ Snapshot Funktionalität und Replikation für UFS, QFS, VxFS, ZFS und Datenbanke wie Oracle, Sybase und PostgreSQ Bad Block Relocation ja, integriert in ZFS System Health Monitoring ˆ unter ZFS kann der Status des Dateisystems festgestellt werden ˆ smartd (syslogging von HD errors, notification) Linux ˆ LVM1: Snapshots read-only ˆ LVM2 Snapshots read-write ˆ Snapshots während des Betriebs möglich Zumaster ˆ extra layer im user space(daemon) ˆ Snapshoterstellung, Replication ˆ Snapshots: bei vielen parallelen Snapshots wird bei jedem im Originaldateisystem geänderten Block auch nur ein einzelner Block mit den Originaldaten für ALLE Snapshots verwendet(bei heutigem LVM muss für jeden Snapshot ein extra Block vorgehalten werden) ˆ Remote Replication: Zumaster weiß welche Blocks nach der Snapshoterstellung geändert wurden und sendet so nur ˆ diese geänderten Blocks für die Erstllung des nächsten Snapshots auf der Remote Platform ˆ license gplv2 ja, aber in EVMS ˆ smartd (wie bei OpenSolaris) Replication s. Automatic Data Migration Amanda(extra Schicht) Verschlüsselung in ZFS integriert mit dm-crypt über device mapper(extra Schicht) 36

39 OpenSolaris Kompression ZFS On Disk Encryption Support ˆ Verschlüsselung, Entschlüsselung für ZFS- Datensätze ˆ Secure Deletion ˆ Alpha Status System Health Monitoring System Monitor(Prozessübersicht, Memory Usage, Prozess beenden,...), ZFS FS/Volume Health Status SMART smartd(syslogging von HD errors, notification)- auch bei OpenSolaris, oder nur bei Solaris Hierarchical Storage Management Linux nur System Monitor änlich wie bei open solaris smartd(wie bei open solaris 37

40 OpenSolaris Automatic Data Migration ˆ ADM ist in ZFS integriert ˆ Dateidaten für Backup sichern ˆ Policy Management mit Klassifizierung ˆ Capture, Release und Recall von Daten zum/vom Archivspeicher basierend auf Policies (konfigurierbar nach Dateieigenschaften) ˆ ZFS Level Skalierbarkeit(jedoch nur auf Dateiebene) ˆ STK Tape/Library Support(Media Management System MMS) soll besser skalieren als bereits vorhandene HSM Lösungen(in Bezug auf: Dateigröße, Größe des Backend Storage ADM enthält auch einige Funktionen, die sich in SAM/QFS befinden, aber ADM konnte auch auf andere Dateisysteme portiert werden. SAM/QFS ˆ QFS: Dateisystem, ansprechen von Platten unter einem Dateisystem, Metadaten auf separaten Platten ˆ SAM transparent hinter QFS siehe MMS Virtual Tape Library Storage Pooling Speicherplatz aufgeteilt auf die verschiedenen Dateisysteme in einem Pool. Pool automatisiert exportierbar/importierbar(funktionalität integriert in ZFS) Block Level Checksums ja (integriert in ZFS) Große Adressierbarkeit von Daten Linux Speicher muss pro Dateisystem alloziert werden(linux + RAID) Pool ist nicht automatisiert exportierbar/importierbar nein 38

41 OpenSolaris ZFS 128 bit ja LDAP Support isns Network Storage (siehe OpenSolaris Storage Technologien) Fixed Content Storage HoneyComb Fixed Content Storage ˆ Objektorientiertes Storage System mit Java und C interfaces, über die Data Collections mit bis zu 100 Millionen Objekten oder Storage im Petabyte Bereich verwaltet werden können ˆ Ziele: Client, Server für FixedContentStorage, weitere APIs definieren, XAM Fixed- Content Interface hinzufügen (Standard) ˆ operiert wird auf Datenobjekten(bulk operations) und auf Metadaten, die gut durchsucht werden können ˆ Verifizierung der Daten durch SHA1 Hash ˆ Unterstützt wird das Speichern, Holen, Aufsuchen und Löschen von Datenobjekten und Metadaten ˆ mit einer Query(SQL Subset) kann die OID eines Objekts auf einem Honeycombserver bestimmt werden Linux 64 bit ja Twisted Storage ˆ ähnlich einem Dateisystem ˆ Objekte = Dateien ˆ Skalierbar ˆ OS-unabhängig(python,...) ˆ geeignet für Grids ˆ Automatische Recoveries der Daten. Daten werden automatisch in verschiedenen Orten gespeichert. ˆ Automatisches Desaster Recovery (bei mehreren eingetragenen Remote Systems) ˆ wird den XAM Standard nach voll unterstützen Single Storage(nur eine Dokumentinstanz) unterstützt ˆ Legacy Storage Support(z. Bsp.: Centera(EMC)) Anzahl der Kopien und Speicherortbestimmung über Tenant/Groups ˆ DRM für Dokumente die ausgelesen werden möglich Backup siehe Automatic Data Migration Amanda(extra Schicht) Tabelle 5.5: Higher Level Functionality 39

42 6 Nähere Technologie-Betrachtungen 6.1 Vergleich ZFS - LVM Kategorie ZFS LVM Übersicht ˆ ZFS nutzt keinen Volume Manager (aufgeben einer Schicht) ˆ Platten werden zu Pools zusammengefasst, welche die physischen Eigenschaften einer Platte beischreiben/darstellen ˆ Dateisysteme im Pool teilen sich den Speicherplatz des Pools ˆ sobald neuer Speicher dem Pool hinzugefügt wird, kann dieser sofort verwendet werden ˆ die Größe des Dateisystems erweitert sich automatisch ˆ Abstraktionsebene, welche Virtuelle Volumes über physische Medien legt ˆ die Volume Group bildet eine Abstraktionsebene, die die einzelnen Logical Volumes und Physical Volumes zu einer administrativen Einheit zusammenfasst ˆ Logische Volumes können Dateisysteme enthalten Transactional Semantics copy-on-write nein 40

43 Kategorie ZFS LVM Scalability ˆ ZFS wurde mit dem Ziel, gute Skalierbarkeit zu erreichen, entwickelt ˆ 2 64 Anzahl der Snapshots eines jeden Dateisystems ˆ 2 48 Anzahl der Einträge in einem Verzeichnis ˆ 2 64 Anzahl der Pools in einem System ˆ 2 64 Anzahl der Dateisysteme in einem Pool Snapshots read, write read, write Dynamic Striping Block Verschlüsselung Kompression Level Checksums Funktionalität integriert Funktionalität integriert ja Funktionalität integriert nicht in dem Maße wie bei ZFS Bereitstellung über Extra-Schicht (z. Bsp. dm crypt) Bereitstellung über Extra-Schicht nein nein 6.2 Beispiel für Unterschiede in der Administrierbarkeit Erzeugen eines Dateisystems(RAID1-Konfiguration) OpenSolaris(ZFS) Erzeugen eines Raid1(durch mirror wird ein RAID1 erzeugt) 1 # zpool create mirror poolname mirror d1 d2 41

44 Das Dateisystem poolname wird automatisch unter poolname angelegt. Zwei weitere Dateisysteme werden angelegt: 1 # zfs create poolname / firstfs 2 # zfs create poolname / secfs 3 # zfs list 4 NAME MOUNTPOINT 5 poolname / poolname 6 poolname / firstfs / poolname / firstfs 7 poolname / secfs / poolname / secfs Der Mountpoint kann optional angepasst werden: 1 # zfs set mountpoint =/ backup poolname / 2 # zfs list 3 NAME MOUNTPOINT 4 poolname / poolname 5 poolname / firstfs / backup / firstfs 6 poolname / secfs / backup / secfs Anzahl der Konsolenbefehle: ca Linux(LVM) Abbildung 6.1: Aufbau der RAID1-Konfiguration Der mdadm wird genutzt, um die 2 RAID Devices(Physical Volumes md0, md1) anzulegen: 1 # mdadm -- create / dev / md

45 2 level =1 --raid - devices =2 \ 3 / dev / hda1 / dev / hdb1 4 # mdadm -- create / dev / md level =1 --raid - devices =2 \ 6 / dev / hdc1 / dev / hdd1 Danach müssen die Volumes und die Volume Group angelegt werden: 1 # pvcreate / dev / hdax / dev / hdby 2 # vgcreate volgrp / dev / hdax / dev / hdby Jetzt können die einzelnen Logical Volumes erzeugt werden mit einer Größe von 10GB und 30GB: 1 # lvcreate - L 10 G - n home 2 # lvcreate - L 30 G - n usr Nun müssen die Dateisysteme angelegt und gemountet werden: 1 # mkfs. xfs / dev /vg/ home 2 # mkfs. xfs / dev /vg/usr 3 # mount / dev /vg/ home / home 4 # mount / dev /vg/usr / usr Anzahl der Konsolenbefehle: ca. 8 Dieser kurze Vergleich zwischen ZFS und LVM soll beispielhaft zeigen, wie effizient ZFS Daten verwaltet. ZFS kennt nur Platten in einem Pool. Es muss keine Volume Group angelegt werden. Das Dateisystem(ZFS) liegt direkt über den RAID-Platten und wird automatisch erweitert, sobald Daten geschrieben werden. Das heißt, daß die Dateisystemgröße nicht, wie unter Linux, vorbestimmt werden muss, wenn ein Dateisystem angelegt wird. Das kann eine massive Zeitersparnis bedeuten, sobald es sich um sehr viele Dateisysteme handelt. 43

46 7 Vergleich iscsi Target OpenSolaris - Linux Kategorie Comstar IET STGT SCST 64bit ja ja ja ja Architektur- Unterstützung Multi-threading ja ja? ja LUN Mapping ja nein nein nein ISCSI Target ja ja ja ja FC Target ja nein noch nicht ja iser Target ja(prototyp nein nein nein Ende Februar 2008?) SRP Target nein nein nein ja Thin Prov. ja nein nein nein Dyn. LUN Exp. ja nein nein nein Integration in im OpenSolaris- innerhalb des ein Teil der ist imkernelspace das Betriebssystem Kernel Kernels Funktionalität aber nicht befindet sich im mehr im Kernel Kernel(Kernel Tree enthalten Tree), der Rest (seit Version im User Space 0.9.4) 44

47 Kategorie Comstar IET STGT SCST besondere Features Framework ist gute Performanner ein Teil eice und Skalier- komplett barkeit durch durchdachten Storagelösung fine-grained locks Modularer Aufbau keine Kontext- ermöglicht wechsel eine einfache und übersichtliche Entwicklung von SCSI- Targets und SCSI-Modulen Thin Provisioning Dynamic LUN Expension besondere Einschräkungen? nur ISCSI- User Space Community? Unterstützung Funktionalität Projektstatus keine genauen stable 0.4? - scst Angaben, erste qla2x00-target Pakete seit Nov (FibreChannel)

48 8 OpenSolaris Evaluation In diesem Kapitel sollen verschiedene Features von OpenSolaris getestet werden. Abschließend wird ein Performance Test zu ZFS durchgeführt. 8.1 Erzeugen eines Raidz Zum Erzeugen eines Raidz werden die drei Platten c9t0d0 c9t4d0 c9t3d0 zu dem Pool tank zusammengefasst. 1 benz@opensolaris :/ dev / dsk # zpool create tank raidz c9t0d0 c9t4d0 c9t3d0 Bei der Statusabfrage des Pools werden die enthaltenen Platten angezeigt. Die Nullen in der CKSUM-Spalten geben an, daß die Integrität innerhalb des Pools nicht verletzt wird. 1 benz@opensolaris :~# zpool status tank 2 pool : tank 3 state : ONLINE 4 scrub : none requested 5 config : 6 7 NAME STATE READ WRITE CKSUM 8 tank ONLINE raidz1 ONLINE c9t0d0 ONLINE c9t4d0 ONLINE c9t3d0 ONLINE errors : No known data errors 46

49 8.2 File System anlegen 1 benz@opensolaris :/ export / zfs # zfs create tank / home 8.3 Einfacher Integritätstest Durch das schreiben zufälliger Blöcke auf Platte mittels dd werden Daten auf die Platte geschrieben, von denen ZFS keine Kenntnis(keine Block-Level checksums) hat. Der folgende Befehl provoziert diese Integritätsverletzung: 1 benz@opensolaris :~# dd if =/ dev / urandom of =/ dev / dsk / c9t3d0 2 ^ C records in records out bytes (62 MB) copied, s, 6.3 MB/ s Mit dem nächsten Befehl wird manuell auf Integritätsverletzung im Pool getestet(scrubbing): 1 benz@opensolaris :~# zpool scrub tank Der folgende Statusbericht zeigt die Integritätsverletzung im Pool für die entsprechende Platte an 1 benz@opensolaris :~# zpool status tank 2 pool : tank 3 state : ONLINE 4 s t a t u s : One or more devices has experienced an unrecoverable error. An 5 attempt was made to correct the error. Applications are unaffected. 6 action : Determine i f the device needs to be replaced, and clear the errors 7 using zpool clear or replace the device with zpool replace. 8 see : http :// www. sun. com / msg /ZFS P 9 scrub : scrub completed with 0 errors on Sun Jan 13 22:50: config : NAME STATE READ WRITE CKSUM 47

50 13 tank ONLINE raidz1 ONLINE c9t0d0 ONLINE c9t4d0 ONLINE c9t3d0 ONLINE errors : No known data errors Der Fehler kann wieder gecleared werden: 1 benz@opensolaris :~# zpool clear tank c9t3d0 2 benz@opensolaris :~# zpool status tank 3 pool : tank 4 state : ONLINE 5 scrub : scrub completed with 0 errors on Sun Jan 13 22:50: config : 7 8 NAME STATE READ WRITE CKSUM 9 tank ONLINE raidz1 ONLINE c9t0d0 ONLINE c9t4d0 ONLINE c9t3d0 ONLINE errors : No known data error 8.4 Plattenausfall Nach dem Ziehen einer Platte wird ergibt sich folgender Status für den Pool 1 benz@opensolaris :~# zpool status - v tank 2 pool : tank 3 state : DEGRADED 4 s t a t u s : One or more devices could not be opened. Sufficient replicas exist for 5 the pool to continue functioning in a degraded state. 48

51 6 action : Attach the missing device and online it using zpool online. 7 see : http :// www. sun. com / msg /ZFS Q 8 scrub : none requested 9 config : NAME STATE READ WRITE CKSUM 12 tank DEGRADED raidz1 DEGRADED c9t0d0 ONLINE c9t1d0 UNAVAIL cannot open 16 c9t3d0 ONLINE errors : No known data errors Der Pool ist zwar immernoch verfügbar, jedoch ohne Redundanz. Eine endgülig defekte Platte kann mit folgenden Kommandos ersetzt werden. 1 benz@opensolaris :/ export / zfs # zpool replace tank c9t1d0 c9t4d0 Mit der jetzt neuen Platte ist das Raid System wieder funktionstüchtig. 1 benz@opensolaris :/ export / zfs # zpool status - x tank 2 pool : tank 3 state : ONLINE 4 s t a t u s : One or more devices is currently being resilvered. The pool will 5 continue to function, possibly in a degraded state. 6 action : Wait for the resilver to complete. 7 scrub : resilver stopped with 0 errors on Sun Jan 13 21:55: config : 9 10 NAME STATE READ WRITE CKSUM 11 tank ONLINE raidz1 ONLINE c9t0d0 ONLINE c9t4d0 ONLINE c9t3d0 ONLINE

52 16 17 errors : No known data errors 8.5 Thin Provisioning Um ein Volume vorzugeben, welches thin provisioned ist, muss einfach mit der -V Option die Größe des Volumes angegeben werden. 1 zfs create - s - V 500 g tank / thinvol thinvol besitzt folgenden Status(man beachte die Differenz zwischen volsize und available ): 1 NAME PROPERTY VALUE SOURCE 2 tank / thinvol type volume - 3 tank / thinvol creation Sun Jan 13 22: tank / thinvol used K - 5 tank / thinvol available G - 6 tank / thinvol referenced K - 7 tank / thinvol compressratio x - 8 tank / thinvol reservation none default 9 tank / thinvol volsize 500 G - 10 tank / thinvol volblocksize 8 K - 11 tank / thinvol checksum on default 12 tank / thinvol compression off default 13 tank / thinvol readonly off default 14 tank / thinvol shareiscsi off default 15 tank / thinvol copies 1 default 16 tank / thinvol refreservation none default 8.6 Snapshotting Zuerst muss ein Dateisystem angelegt werden. 1 benz@opensolaris :/ tank /home# zfs create tank / home / xiranet - home Snapshot für Donnerstag anlegen: 50

53 1 :/# zfs snapshot tank / home / xiranet - home@thursday Folgende Snapshots sind jetzt vorhanden: 1 NAME USED AVAIL REFER MOUNTPOINT 2 rpool@ install K - 3 rpool / ROOT@install 0-18 K - 4 rpool / ROOT / preview2@install 60.6 M G - 5 rpool / ROOT / preview2 / opt@install M - 6 rpool / export@install 16 K - 19 K - 7 rpool / export / home@install 18 K - 21 K - 8 tank@ today K K - 9 tank /home/ xiranet - home@ thursday M - xiranet-home/ hat jetzt, nachdem die Datei zfsadmin.pdf erzeugt wurde jetzt folgenden Inhalt: 1 benz@opensolaris :/ tank /home/ xiranet -home# ls 2 zfsadmin. pdf 3 benz@opensolaris :/ tank /home/ xiranet -home# Nach einem Rollback ist das Verzeichnis wieder leer. 1 benz@opensolaris :/ tank /home/ xiranet -home# zfs rollback tank / home / xiranet - home@thursday 2 benz@opensolaris :/ tank /home/ xiranet -home# ls 3 benz@opensolaris :/ tank /home/ xiranet -home# 8.7 iscsi Target anlegen Über den zfs set Befehl kann man die Eigenschaften eines Volumes beeinflussen. Mit shareiscsi=on wird ein iscsi Volume bereitgestellt. 1 benz@opensolaris :/ tank /home/ xiranet -home# zfs create - V 1 g tank / vol1 2 benz@opensolaris :/ tank /home/ xiranet -home# zfs set shareiscsi = on tank / vol1 51

54 3 :/ tank /home/ xiranet -home# iscsitadm list target 4 Target : tank / vol1 5 iscsi Name : iqn com. sun :02: bb49d3eb -b b-c33a - e016652bf4ea 6 Connections : Performance Testing Für den Performancetest wurden 6 Pools(Volumes) erzeugt, die jeweils einem RAIDz2 mit jeweils 10 Platten übergeordnet sind. Jede Hälfte der insgesamt 60 Platten ist an 2 unterschiedlichen Controllern angeschlossen. Die Graphen in der unteren Abbildung zeigen Lese- und Schreibraten weit unter denen von Linux. CPU Arbeitsspeicher SAS Controller Aufbau Festplatten INTEL SR2500 Server Plattform, 1 x INTEL Quad XEON CPU 2,3 GHz 2 GB RAM 2 LSI Dual Port SAS Controller 4 Xyratex 3U SAS JBODs, direkt verbunden 64 x 500 GB Seagate Barracuda ES SATA Festplatten Tabelle 8.1: Systemkonfiguration Performance Test 52

55 Abbildung 8.1: Performance Testing 53