Mehr Nutzen aus digitalen Tapes

Transkript

1 Mehr Nutzen aus digitalen Tapes FKTG Regionalveranstaltung Hamburg 24. April 2012 Dipl. Ing. Götz Mensel 1

2 IBM: Innovation und Leadership in Storage Erstes magnetischer Bandspeicher Erstes hierachisches Storage Management Storage Network Virtualisierung Erste intelligente Daten Platzierung IBM 726 Kapazität: 1,4 MB. IBM Hierarchical Storage Manager ( HSM ) IBM SAN Volume Controller (SVC) IBM System Storage Easy Tier 2

3 1952: IBM Modell 726 erster Bandspeicher Lochkarten Characters 1.44 MB Eisenoxydbeschichtung 7-Spur Technik Photo 1951 Prototyp Photo 1952 IBM 726 in Betrieb Meter Bandlänge 100 BPI

4 IBM: Innovation und Leadership in Storage Erstes magnetischer Bandspeicher Erstes hierachisches Storage Management Storage Network Virtualisierung Erste intelligente Daten Platzierung IBM 726 Kapazität: 1,4 MB. IBM Hierarchical Storage Manager ( HSM ) IBM SAN Volume Controller (SVC) IBM System Storage Easy Tier 4

5 MADE IN IBM LABS: IBM Forscher erzielen Rekord- Speicherdichte auf Magnetband Ca Stunden Video 50Mbps) Eine Speicherdichte von 29,5 Milliarden Bits pro Quadratzoll legt Fundament für künftige Bandspeichersysteme mit 35 Terabytes Daten pro Bandkassette und mehr Zürich, Schweiz, 22. Januar 2010 Forscher von IBM Research Zürich (NYSE: IBM) haben in Zusammenarbeit mit dem japanischen Unternehmen FUJIFILM 29,5 Gigabit pro Quadratzoll (rund 6,45 cm2) auf ein weiterentwickeltes Test-Magnetband geschrieben das entspricht der 39-fachen Speicherdichte des momentan führenden Industriestandard-Magnetbandproduktes1. Dieser Meilenstein zeigt, dass eine der ältesten Technologien zur Datenspeicherung das Potential besitzt, weitere Kapazitätssteigerungen für viele Jahre zu bieten. Die heutige Ankündigung signalisiert unseren Kunden, dass die Bandspeichertechnologie ihren Kostenvorteil gegenüber Festplattenspeichern und Flash weiterhin aufrechterhalten kann und auch künftig bezahlbare und robuste Datensicherung ermöglicht, sagt Cindy Grossmann, Vice President, IBM Bandspeicher- und Archivierungssysteme.... 5

6 Die M&E Industrie wandelt sich von siloartigen, vertikalen zu horizontalen Workflows 6

7 Der Speichermarkt unterscheidet in Business Data und Content Data Business Data Content Data Aktuelle Marktuntersuchungen zeigen, daß der Markt der strukturierten Daten nur halb so schnell wächst wie der Markt mit dem digitalen Content 7

8 Rich Media führt zu neuen Anforderungen an die Speicherlösungen gespeicherter Datenbestand ändert sich Mix von traditionellen Business Data ( z.b. Transaktional, Docs, , Datenbanken und Backup vs Rich Media ( Video, Images, digitalisierter Content ) Zugang und Asset Managment Profile von Rich Media sind signifikant anders als traditionelle Business Daten Traditionelle Business Data werden in Rechenzentren gespeichert Compliance, Disaster Recovery für unternehmenskritische Daten und Prozesse Rich Media wird primär für die eigentlichen Geschäftszwecke gespeichert Produktions Archive, Asset Sicherungen Wiederverwendung von Content und Distribution Langzeit Archive und Vermarktung von Assets Bandbreiten ändern alles Zugang zu Content, Motivation Content zur Verfügung zu stellen 8

9 Linear Tape File System (LTFS) Tape wie USB-Stick Tape wird als Filesystem dargestellt Für Single-Drive und Library LTO5 und TS1140 TS3500, TS31/3200, TS3310 und TS2900 Ermöglicht Filesysteme von über 60 PB Mit geringstem Stromverbrauch Einsatzmöglichkeiten: Digital Media Große offline Archive Disk Emulation Einfacher Datenaustausch großer Datenmengen self describing file system CD/DVD disc HDD Portability 10 USB Memory

10 Anforderungen an Rich Media Archive Selbst beschreibende Kassette Unabhängigkeit von einer Tape Archivierungsanwendung Sicherung des Contents für den Fall eines zentralen DB Verlustes Vereinfachter Content Austausch / Verteilung Unabhängigkeit von einer Tape Anwendung bei Austausch / Verteilung Reduzierte Kosten für Datenaustausch vergleichbar zur Videokassette Partial Recall nur auf Ausschnitte aus einem Video zugreifen Verbessertes Speicherhierachien Management Vereinfachung der Verschiebung der Dateien zwischen Speicher Hierachien, Platte - Band Verbesserung des Management für Daten Im-/Export /GB, Stromaufnahme Reduzierung der Kosten für die digitale Speicherung, Stromaufnahme und /min Offene Standards Große verteitelte Infrastrukturen benötigen Offene Standards Offenen Standards sicheren die Investitionen in Archive Langzeitarchivierung Archivierung für Jahre 11

11 Das Liniar Tape File System ist : 1. Ein Offenes Format, wie die Daten auf die Kassette geschrieben werden Beschreibt das Format der Daten und Metadaten Metadaten in XML Format Entwickelt von IBM für LTO5 und Enterprise Tape TS1140 benötigt Tape Partionierung 2. File System Support (code) zum Lesen/Schreiben von Kassetten im LTFS Format Externe Unterstützung von LTO5 und TS1140 für File Systeme Standard Anwendungen können LTFS Tapes Lesen und Schreiben Unterstützt Update, Edit und Delete von Dateien auf LTFS Tapes Unterstützt Partial Retrieve von A/V Dateien Von IBM an Open Source übergeben Für Linux, Mac OSX und Linux verfügbar 12

12 LTFS: Partitionierung für selbstbeschreibende Medien Partitionierte Medien sind notwendig für LTFS Partitionierung der Medien ist die logische und physische Teilung des Bandes in Segmente 2 Partitionen Index Partition (Partition 0): Enthält die Filesystem Info (ca GB) Data Partition (Partition 1): Enthält die Files (ca.1.5 TB) Der LTFS Treiber partitioniert das Medium Verschlüsselung (Encryption) ist unterstützt Ein Key für die gesamte Cartridge in transparenter Verschlüsselung Standard Operation für die das Band nutzende Anwendung B O T Index Partition LTFS Index XML File Guard Wraps File File File Data Partition E O T 13

13 14

14 LTFS Phase 1: In stand alone drive Modus (Von IBM als Open Source zur Verfügung gestellt) File Zugriff auf ein LTO-5 Band ähnlich wie der Zugriff auf eine Festplatte,CD/DVD Disk oder USB Medien Zugriff per Windows Explorer oder Drag&Drop auf dem Desktop File Open, Write, Read, Append, Delete und Close durch eine Anwendung Das Band kann wie ein random access Gerät benutzt werden Aber: Das Band ist immer noch ein sequential access Gerät Das Band muss zur richtigen Position gespult werden Es kann 40 bis 60 Sekunden dauern, bis die Aktivität startet Nach der Positionierung des Bandes werden Transfer Raten von 140MB/s erreicht Drag&Drop Directory Darstellung File List Darstellung LTO Disk Anwendung 15

15 16

16 Long Term File System: How it works Filesystem Information Reference Purpose Only LTO-5 Cartridge (1.5TB) LTO Tape Load Directory Structure Index Partition (For Filesystem Information) Read Index Partition on a stretch when a tape is loaded. Fast restore of filesystem info. (30 to 60 seconds approx.) Directory Display File Attribute File Location File Pointer File Body Search (1.5min ave, 2.5min worst approx.) Files Data Partition (For File Bodies) LTO Tape Image Application File Read/Write/Edit/Delete File List High Data Rate (140MB/s (1.12Gbps)as interface speed) 20GB can be sent in 2.5min (20 times faster than videotape) 17

17 LTFS Einfacher Austausch von Daten Daten können zwischen verschiedenen Plattformen geteilt werden File System Info Files PCs mit LTFS installiert Linux Directory Struktur File Attribute LTFS Mac OS LTO5 Cartridge PC Windows Archiv 18

18 LTO/LTFS Compatibility Demonstration at Inter BEE 2010 LTO/LTFS as an Open Technology IBM 5. Back to IBM NEC 1. Format and write MXF files on an IBM LTO-5 tape 2. Retrieve the MXF file by a HP system LTFS Tape Booth Tour 4. Retrieve the MXF files by a NEC system 3. Retrieve the MXF file and write a new MXF file by a FOR-A system HP FOR-A 19

19 Phase 2: LTFS Library Support LTFS zeigt Filesystem - Directory der kompletten Library Jede Kassette wird als separates Directory / Ordner angezeigt Directory / Filesystem Informationen werden von LTFS gecached Das komplette LTFS Filessystem ist sichtbar und nutzbar (Search) ohne laden von Tape Kassetten LTFS steuert Tape Library und Tape Drives Lädt Kassetten bei Read/Write Anfroderungen True File System Support Jede Kassette und deren Inhalt ist verfügbar für jede Anwendung durch Standard Filesystem View of Folders of Cartridges 20

20 LTFS Phase 2: Library Mode (Produkt von IBM) LTO-5 Cartridges in dem Magazin der Library Alle physischen Cartridges sind als Netzwerk Laufwerk gemapped und haben Verzeichnisse die den Barcode Namen der Cartridge tragen. LTFS Library erscheint als Netzwerk Laufwerk 21 Windows 7 Explorer

21 Library Cartridge 1 Files Cartridge 2 22

22 23

23 IBC Showcase 2011: Mehrere MAM System auf demselben Essenzmanagement Layer In the IBC demo installation the FOR-A MAM system uses AREMA as well as the S4M VPMS system which is part of the workflow demo. LTFS Tape Im-/Export FOR-A Media Concierge S4M VPMS IBM Archive and Essence Manager AREMA Clients Content can be shared between the different top level applications Linux Filesystem Disk Storage LTFS LE Tape Library TS 3100 IBM Storage Infrastructure 28

24 Welche Anwendungen sehen unsere Kunden? Preisgünstiger, sicherer und schneller Zwischenspeicher in der digitalen Produktion Auslagerung von Projekten aus teuren Video-Produktionsinseln ( existierende Schnittstelle zum AVID Archive Manager ) Materialaustausch zwischen Produktionshäuser und Rundfunkhäuser basierend auf preisgünstigen IT Tape ( anstelle Videotapes ) Unterstützung von Auslandsproduktionen ( z.b. Sport Events )... Fensterbankarchiv 29

25 33

26 Von klein bis groß Shuttle connections TS31/ / 44 Slots Halbe Höhe Einzellaufwerk LTO5 Einzellaufwerk TS Slots Multiple Library Strings TS3500 Erweiterungen Shuttle Connections bis zu 15 Libraries (915 PB) LTFS Support 38

27 LTFS - Infos IBM Linear Tape File System: LTFS Info Center: LTFS Format Specification: LTFS, LFV and ITDT Download (Linux, Mac OS X, Windows): (Storage Systems / Tape Systems / Tape Dev Driver and Software / Linear Tape File System / )(Storage Systems / Tape Systems / Tape Dev Driver and Software / LTFS Format Verifier / )(Storage Systems / Tape Systems / Tape Dev Driver and Software / Tape Diagnostic Tool / ) Almaden Research Project: Wikipedia: 39

28 Danke für Ihre Aufmerksamkeit! innovation that matters 40