Storage. Flash-Technik im Detail. ebook. Was der kleine Baustein im Rechenzentrum wirklich leisten und verändern kann. Storage Insider.

Transkript

1 Storage ebook Flash-Technik im Detail Was der kleine Baustein im Rechenzentrum wirklich leisten und verändern kann Powered by: Eine Publikation von Storage Insider

2 Inhalt 3 Der wahlfreie Zugriff hat die EDV/IT revolutioniert Allgemeingültige Kriterien beim Vergleich von Speichermedien VSR, TRIM etc. wie funktioniert Flash? 6 Floating-Gate, Technischer Aufbau des Flash-Speichers Einfluss von Flash auf die Systemintegration 9 Der Die Klimatisierung hochintegrierter Speicherschränke 11 SLC vs. emlc welcher Zellentyp ist der richtige? Flächendichte, Geschwindigkeit und Kostenstruktur 13 Optimiert IBM FlashSystem Frisch aus dem Labor und der Presse Analysten-Statements zu IBM FlashSystem Alternative Halbleitertechniken Die Zukunft von Flash ist nicht zweidimensional Powered by: IBM Deutschland GmbH IBM-Allee Ehningen Telefon +49 (0) Fax +49 (0) halloibm@de.ibm.com Web 2 für den Enterprise-Einsatz Vogel IT-Medien GmbH August-Wessels-Str. 27, Augsburg Telefon +49 (0) 821/ redaktion@storage-insider.de Web Geschäftsführer: Werner Nieberle Chefredakteur: Rainer Graefen, V.i.S.d.P., rainer.graefen@vogel-it.de Erscheinungstermin: Januar 2014 Titelbild: Dmytro Tolokonov - Fotolia.com Storage-Insider.de Flash-Systeme: technische Aspekte Haftung: Für den Fall, dass Beiträge oder Informa tionen unzutreffend oder fehlerhaft sind, haftet der Verlag nur beim Nachweis grober Fahrlässigkeit. Für Beiträge, die namentlich gekennzeichnet sind, ist der jeweilige Autor verantwortlich. Copyright: Vogel IT-Medien GmbH. Alle Rechte vorbehalten. Nachdruck, digitale Verwendung jeder Art, Vervielfältigung nur mit schriftlicher Genehmigung der Redaktion. Nachdruck und elektronische Nutzung: Wenn Sie Beiträge dieses ebooks für eigene Veröffent li chun gen wie Sonderdrucke, Websites, sonstige elektroni sche Medien oder Kundenzeitschriften nutzen möchten, erhalten Sie Informationen sowie die erforderlichen Rechte über Tel. +49 (0) 931/

3 Allgemeingültige Kriterien beim Vergleich von Speichermedien Der wahlfreie Zugriff hat die EDV/IT revolutioniert In einer digitalisierten Welt ist es wichtig, zwei Zustände über viele Jahre und dann immer noch eindeutig unterscheiden zu können. Diese Aufgabe hat lange Zeit die Polarisierung magnetischer Werkstoffe gut und kostengünstig geleistet. Große Anstrengungen wurden danach aufgewendet, um die Erkennung dieser zwei Zustände in immer kleinere Dimensionen voranzutreiben. Das gelingt Speichermedien in Form von Festplatten ebenfalls sehr gut. Herausgefordert wird die Festplatte durch ungeduldige Anwender. Mit der RAMAC 350 von IBM begann 1956 der kommerzielle Einsatz von Festplatten. (Foto: Computer History Museum) Die Anfänge der damals noch EDV genannten Datenverarbeitung liegen in einem schnellen Kernspeicher und sequenziell aufzeichnenden Magnetbändern. Rasch war klar, dass der Datenzugriff ein schnelleres Speichermedium mit wahlfreiem Zugriff benötigte. Die erste Festplatte, die ab 1956 in einem kommerziellen System eingesetzt wurde, war die RAMAC 350 von IBM (Random- Access Method of Accounting and Control). Sie hatte eine Speicherkapazität von fünf Megabyte, die auf 50 Platten mit je einem Durchmesser von 24 Zoll (61 cm) verteilt waren. Der Plattenstapel drehte mit Umdrehungen pro Minute und benötigte Pressluft für die Positionierung der Köpfe. Verglichen mit diesen Ungetümen der Speichertechnik sind aktuelle Festplatten filigran, speichern im Formfaktor 3,5-Zoll sechs Terabyte Daten und drehen sich im besten Fall mit Umdrehungen pro Minute. Als großes Manko der Festplatte gilt jedoch, seit fast so vielen Jahren wie es die Festplatte gibt, der langsame Zugriff und die geringe Anzahl wahlfreier Zugriffe pro Sekunde (IOPS). Daten müssen verfügbar sein Gemessen an den Anforderungen einer schnelllebigen Geschäftswelt sind Festplatten schneckenlangsam, insbesondere bei den Zugriffszeiten und bei der Übertragung von vielen, aber kleinen Datenmengen. Hieran lässt sich jedoch nichts ändern, da die elektrisch gesteuerte mechanische Positionierung der Schreib-/ Leseköpfe eine gewisse Beruhigungszeit im Millisekundenbereich für die träge Kopfhalterung benötigt. Halbleiterspeicher, sogenannte Flash- Speicher, die ähnlich wie die Festplatte Daten dauerhaft ohne Strom speichern können, zeigen heutzutage, dass man mit zehnmal höheren Kosten pro Speicher- 3 Storage-Insider.de Flash-Systeme: technische Aspekte

4 Allgemeingültige Kriterien beim Vergleich von Speichermedien Ludodesign - Fotolia.com Auch Flash-Speicher muss alle Anforderungen an die sichere Datenaufbewahrung erfüllen, die die Festplatte zum beliebtesten Speichermedium gemacht haben. Geschwindigkeit Kleinere Strukturen erhöhen die Geschwindigkeit der Chips, weil kürzere Signalwege weniger Laufzeit bedeuten. Die optimale Speicherarchitektur erhöht ebenfalls die Geschwindigkeit und reduziert die Zugriffszeit. So ist eine Architektur mit vielen einzelnen SSDs langsamer als ein System aus einem großen Speicherbereich mit entsprechend angepasstem Speicher- Controller. Sequenzielle Geschwindigkeiten (streaming), gemessen als Übertragungsrate in MByte pro Sekunde, haben in modernen Systemen eine nicht ganz so hohe Bedeutung wie der wahlfreie Zugriff. Besonders wichtig sind kurze Reaktions- und Latenzzeiten, die in Mikrosekunden angegeben werden. Dabei geht es um die Bereitsteleinheit 300 Mal mehr I/O-Transaktionen in derselben Zeitspanne leisten kann. Diese Speichersysteme können durch ihre Leistung und verbesserter Wirtschaftlichkeit als reine All-Flash-Speichersysteme inzwischen wirtschaftlicher sein als herkömmliche Plattensysteme, insbesondere wenn man die Effizienz des Datenzugriffs zum gemeinsamen Maßstab macht. Trotz solch überzeugender Leistungsfähigkeit darf der Anwender nicht vernachlässigen, dass für die Aufbewahrung von Daten mehr notwendig ist als deren schneller Abruf. Lebensdauer Verschiedene Varianten von Flash-Speicherzellen haben eine unterschiedliche Lebensdauer von etwa bis Lösch-/Schreibzyklen. Am unteren Ende sind Wegwerf-Speicher wie USB-Sticks, SD-Karten oder ähnliche angesiedelt. Das obere Ende bilden Speicher in Rechenzentren. Mit Fehlerkorrekturmethoden können durchaus Verbesserungen erreicht werden. Bei Flash-Speichern hat die Anzahl der Lösch- und Schreibzyklen großen Einfluss auf die Lebensdauer. Das Lesen der Information ist dagegen ohne nennenswerten Einfluss auf die Lebensdauer. Zuverlässigkeit Der Anwender muss sich darauf verlassen können, dass beim Lesen eines Datums das herauskommt, was hineingeschrieben wurde. Es kommt also darauf an, dass das Halbleitermaterial möglichst lange in sich stabil bleibt. Getestet wird das durch Fehlerkorrekturverfahren, die einmalige Fehler ausbügeln können. Sollte eine Speicherzelle dauerhaft jedes geschriebene Datum verändern, so muss diese Zelle aussortiert und durch eine andere Zelle ersetzt werden. Hochwertiger Speicher stellt hier mehr Ersatzzellen zur Verfügung als dies bei Consumer-Produkten der Fall ist, damit die zugesicherte Speicherkapazität über einen meist fünfjährigen Zeitraum immer noch vorhanden ist. Die Zuverlässigkeit wird schon während der Produktion der Halbleiter erhöht, wenn die Chips nach entsprechenden Kriterien getestet und aussortiert werden. 4 Storage-Insider.de Flash-Systeme: technische Aspekte

5 Allgemeingültige Kriterien beim Vergleich von Speichermedien lung oder Speicherung von kleinen Dateien oder Informationseinheiten, die wahllos über das Speichermedium verteilt sein können. Da Flash-Systeme weder mechanisch drehen noch positionieren müssen, sind sie um Größenordnungen schneller als Plattensysteme. Sie können mit elektronischer Geschwindigkeit jede vorgegebene Adresse gleich schnell ansprechen. Regel von Arrhenius, nach der die mittlere Lebensdauer von Halbleitern bei einer Erhöhung der Arbeitstemperatur um 10 C halbiert wird. Verfügbarkeit Trotz bester Produktionstechnik und ausgeklügelter Kontrollverfahren kann weder bei der Festplatte noch bei Halbleiterspeichern sichergestellt werden, dass sie nicht ausfallen. Die Verfügbarkeit des Datenzugriffs ist insofern nur mit Redundanz zu bewerkstelligen. Das heißt, dass man mindestens zwei Speichermedien mit denselben Inhalten befüllt. Redundanz ist eine Aufgabenstellung der Speichersystemarchitektur. Hermann Strass IBM FlashSystem ist schon heute in vielen Disziplinen nicht von der Festplatte zu schlagen: Speicherdichte pro Raumvolumen, Preis pro IOPS, Anzahl von 19-Zoll-Schränken für 20 Millionen IOPS, Leistungsaufnahme für 20 Millionen IOPS. (Grafik: IBM) Umwelteinflüsse Festplatten (HDDs) sind mechanischelektrische Geräte. Vibrationen und Stöße sind große Probleme, da die Schreib-/ Leseköpfe nur wenige Nanometer (nm) über den Platten schweben. Jede Abweichung bringt mechanische Schäden oder zumindest Schreib-/Lesefehler, die korrigiert werden müssen. Die Temperatur hat Einfluss auf die Längenausdehnung von Positionierarmen und ist damit ebenfalls problematisch. Flash-Systeme haben keine mechanisch bewegten Teile und sind damit auch frei von entsprechenden Problemen. Wie bei allen Halbleitersystemen spielt die Temperatur allerdings auch eine Rolle, insbesondere für die Zuverlässigkeit und für die Lebensdauer. Für sie gilt die 5 Storage-Insider.de Flash-Systeme: technische Aspekte

6 Technischer Aufbau des Flash-Speichers Floating-Gate, VSR, TRIM etc. wie funktioniert Flash? Bei Flash unterscheidet man zwei wesentliche Varianten: NOR und NAND. In IT- und Speichersystemen werden nur NAND-Speicherbausteine eingesetzt. In industriellen und Steuersystemen (Embedded-Systems) werden in den Steuerbausteinen nur NOR-Varianten genutzt. Aufbau einer Flash-Speicherzelle mit Floating Gate (Grafik: IBM) Die Flash-Technik nutzt ähnliche Techniken wie EPROMs (Erasable Programmable Read-Only Memory) und EEPROMs (Electrically Erasable Programmable Read- Only Memory) wie beispielsweise im BIOS eines PCs. Jedoch kann Flash sehr viel öfter und schneller umprogrammiert (beschrieben) werden als die anderen beiden Techniken. Eine Flash-Speicherzelle besteht aus einem Transistor, der noch zusätzlich eine isoliertes Floating Gate besitzt. Darin ist eine oder keine elektrische Ladung gespeichert. So kann zwischen logisch NULL und EINS unterschieden werden. Beim Löschen oder Schreiben werden die Ladungselektronen bei erhöhter Spannung durch das Dielektrikum (isolierende Wand) in das Floating-Gate eingebracht oder wieder herausgeholt. Lesen geschieht bei niedriger Spannung. Vor einem Wiederbeschreiben muss erst gelöscht werden. Das benötigt Zeit. Daher dauert schreiben deutlich länger als lesen. Das Dielektrikum wird bei häufigem Löschen oder Schreiben stark beansprucht und nach vielen Zyklen soweit zerstört, dass eine zuverlässige Speicherung nicht mehr möglich ist. Im passiven oder ausgeschalteten Zustand rechnet man mit etwa zehn Jahren Datenerhalt. Bei hochverfügbaren Systemen ist eine komplexe Vielfalt an Funktionen und Verfahren nötig damit der Anwender ein einfach zu bedienendes und sicheres System erhält. Garbage-Collection Weil bei der NAND-Technik keine einzelnen Bits oder Bytes, sondern nur größere Blöcke bearbeitet werden, werden in manchen Systemen zu löschende Daten markiert, aber erst gelöscht und möglicherweise neu beschrieben, wenn der ganze oder fast der ganze Block als gelöscht markiert ist. So wird die Anzahl der schädlichen Zyklen reduziert. Bit-Rot und Silent-Errors Damit werden unentdeckte Bitfehler bezeichnet, die durch Ladungsträgerverlust im Floating-Gate oder durch unentdeckte Architekturfehler entstehen können. Over-Provisioning Das ist Speicher, der intern zusätzlich vorgehalten wird, aber für den Anwender nicht 6 Storage-Insider.de Flash-Systeme: technische Aspekte

7 Technischer Aufbau des Flash-Speichers Vorteile des von Texas Instruments patentierten Variable-Stripe-RAID- Verfahrens (Grafik: IBM) TRIM Werden Daten vom Betriebssystem gelöscht, dann erfährt ein herkömmliches Speicherlaufwerk nichts davon, denn der gelöschte Bereich kann dort ja jederzeit mit neuen Daten überschrieben werden. In einem Flash-System muss jedoch zuerst der ganze Block mit dem gelöschten Bereich wieder zum Schreiben vorbereitet werden. Mit dem TRIM-Befehl wird dem Flash-System also mitgeteilt, dass die gelöschten Blöcke jetzt ungültig sind. Deren Inhalte werden nicht mehr mitgeschrieben. Das vermindert die Schreibzugriffe und die Abnutzungseffekte. Diese als ungültig markierten Blöcke können dann beim nächsten Löschen ihres Blocks mitgelöscht werden. Den TRIM-Befehl gibt es in ATA-Systemen für verschiedene Betriebssysteme. In RAID-Systemen mit Garbage-Collection würden Flash-Systeme wesentlich schneldirekt nutzbar ist. Dieser Speicherbereich enthält Blöcke, die schon gelöscht sind und somit sofort für eine Speicherung zur Verfügung stehen. Das beschleunigt den Schreibvorgang. Dafür wird ein zu löschender Block in die Reserve übernommen. Ein weiterer Grund für das Over-Provisioning ist es, sich einfach eine Reserve als Ersatz für fehlerhafte Blöcke vorzuhalten. Für den Anwender bedeutet damit ein Blockausfall keine sichtbare Reduzierung der Kapazität. Somit wird eine längere ungestörte Produktlebensdauer erreicht. Wear-Levelling Damit wird eine möglichst gleichmäßige Nutzung aller Speicherzellen erzeugt. So wird erreicht, dass kein Speicherbereich durch Dauernutzung frühzeitig ausfällt. Bei professionellen Systemen kommen bis zu drei Arten von Wear-Levelling zum Einsatz: statisch, dynamisch und aktiv. VSR Texas Memory Systems (jetzt IBM Flash- System) nutzt ein patentiertes Variable- Stripe-RAID-Verfahren und drei weitere Fehlerkorrektur-Mechanismen gegen alle Arten von denkbaren Ausfallmöglichkeiten. Die ECC- und RAID-Verfahren sind speziell auf die Besonderheiten der eingesetzten Flash-Technik abgestimmt. Die für Fest- platten genutzten RAID-Verfahren sind für Flash-Systeme nicht geeignet, zusätzlich würde die Verarbeitungsgeschwindigkeit ausgebremst. Plötzlicher Stromausfall Flash-Speichersysteme sind intern sehr viel komplexer als Festplattensysteme. Im Betrieb müssen sehr viele Zwischenzustände permanent vorgehalten und überwacht werden. Zur Leistungssteigerung werden Schreibvorgänge in einem lokalen RAM-Speicher gepuffert und dann im Hintergrund abgearbeitet. Aus diesen Gründen muss das System gegen plötzlichen Stromausfall abgesichert werden. Dazu werden oft sogenannte Supercaps genutzt, die man als Kurzzeit-Energiespeicher verstehen kann. Das bedeutet höheren Platzbedarf und höhere Kosten. 7 Storage-Insider.de Flash-Systeme: technische Aspekte

8 Technischer Aufbau des Flash-Speichers Aufbau und Struktur einer NAND-Zelle. Flash-Zellen lassen sich in NAND- oder NOR-Technik herstellen. Die NAND-Technik hat als herausragendes Merkmal eine sehr hohe Packungsdichte. (Grafik: Wikipedia) Aufbau und Struktur einer NOR-Zelle. Vor allem bei Firmware setzt die Industrie auf schnelle Lesespeicher. Die Software testet man gerne auf NOR-Flash, da hier ähnlich schnelle Zugriffszeiten möglich sind und das Programmieren der Speicherzellen bequemer ist. (Grafik: Wikipedia) ler altern und langsamer werden. Es ist also sorgfältig zu prüfen, welche Verfahren in welchen Systembereichen eingesetzt werden und diese aufeinander abzustimmen oder Teile davon zu eliminieren. Herstellerspezifische Techniken Es gibt noch weitere Verfahren in hochverfügbaren Systemen mit denen ein ausfallsicherer und effektiver Betrieb gewährleistet wird. So werden in Flash-Systemen der Reihen IBM 720 und 820 beispielsweise Schwellwerte für die Ausfallraten überwacht und bei Bedarf fehlerhafte Chips oder Bereiche im laufenden Betrieb ausgeblendet. Ausgefallene Speicherkarten können bei laufendem Betrieb ersetzt werden. NOR, NAND NOR und NAND sind zwei verschiedene Flash-Techniken mit unterschiedlichen Vor- und Nachteilen. In der Firmware von Industriesteuerungen und im Boot-Code fast aller Rechnersysteme wird NOR-Flash eingesetzt. In reinen Speichersystemen (von USB-Sticks bis zu unternehmensweiten Rechenzentren) wird nur NAND-Flash eingesetzt. NOR-Flash kann ohne zusätzliche Logik am Bussystem eines Rechners betrieben werden. NOR-Flash hat bei gleicher Strukturgröße eine deutlich geringere Speicherkapazität als NAND-Flash. NAND benötigt nur etwa 40 Prozent der Chip-Fläche im Vergleich zu NOR-Flash. Zur Ansteuerung benötigt NAND-Flash jedoch einen deutlich größeren Softwareaufwand. Das relativiert sich bei den üblichen großen Speichermengen, da der Aufwand je System nur einmal benötigt wird. So ergibt sich ein sehr geringer Preis pro Megabyte bei hoher Schreib- und Lesegeschwindigkeit bei großen Datenmengen. NOR erlaubt kurze Lese-Zugriffszeiten, NAND erlaubt hohe Programmier-/Löschgeschwindigkeit. Fazit Es gibt sehr viele technologische Themen zu beachten, wenn Flash-Speichersysteme zuverlässig, schnell und langlebig arbeiten sollen. Deshalb sind effektive Architekturen, eine große Erfahrung und genaue Kenntnis der eingesetzten Technik nötig, um dies zu erreichen. Der Anwender kann die Kriterien bei seinem Anbieter abfragen, kann aber nur wenige in der eigenen Anwendung nachträglich optimieren. Hermann Strass 8 Storage-Insider.de Flash-Systeme: technische Aspekte

9 Die Klimatisierung hochintegrierter Speicherschränke Der Einfluss von Flash auf die Systemintegration Um ein Speichersystem für mehrere Jahre betriebssicher aufzubauen, sind viele Details zu beachten. Da Speichersysteme große Stromverbraucher sind, gilt es Wärmestaus, sogenannte Hot Spots, zu vermeiden, die die Lebensdauer der Systeme herabsetzen. IBM hat bei der Adaptierung der TMS-Technik auf Rechenzentrumsbedürfnisse einen großen Schritt vorwärts gemacht. Alle Module und Kanister des FlashSystem 840 sind nun ohne Ausbau des Gehäuseeinschubs von vorne oder von hinten zugänglich und können im laufenden Betrieb getauscht werden. (Grafik: IBM) Speicher an sich ist ein großer Stromverbraucher und Abwärmeproduzent. Dies ist bei der Zusammenstellung größerer Speicherkonfigurationen zu beachten. Schon heute ist es keine Schwierigkeit, pro 19-Zoll-Rack einen Stromverbrauch von über 15 Kilowatt zu erreichen. Das überschreitet sogar die Kühlleistung pro Rack von modernen Rechenzentren. In Zukunft könnte das Aufeinanderstapeln von 2D-Flash-Speicherchips wie auch der Aufbau von sogenannten 4D-Speicherchips zu einer weiteren Konzentration dieser großen Hitzequellen führen. Eine gute Klimatisierung ist das A&O langlebiger Datenspeicher. Chips Chips sind inzwischen nicht nur kleine, flache Scheiben ( Dies ). Die einzelnen Dies können bereits 3D-Strukturen enthalten. Mehrere Dies werden nebeneinander oder aufeinander geklebt oder ohne Substrat dazwischen aufgebaut und mit einem Gehäuse ummantelt. Die kurzen Verbindungswege erhöhen die Geschwindigkeit, der kompakte Aufbau reduziert den Platzbedarf. So entstehen schelle Chips mit hohen Speicherkapazitäten. Problematisch ist die Wärmeabfuhr aus dem Inneren der Chips. Hier gilt die Arrhenius-Regel, dass die mittlere Lebensdauer von Halbleitern bei einer Erhöhung der Arbeitstemperatur um 10 C halbiert wird. Das wirkt sich deutlich aus, wenn MLC-Chips anstatt SLC- Chips eingesetzt werden, da MLC-Technik schon grundsätzlich erheblich kurzlebiger und störungsanfälliger ist. Platinen Die Flash-Speicherchips werden dann auf Platinen zusammen mit der Ansteuerelektronik aufgelötet. Die vielen Chips erzeugen alle zusammen eine größere Wärmemenge mit den bekannten Problemen. Die sehr schmalen Leiterbahnen zur Verbindung der Chips untereinander und mit den Steckverbindern zur Verbindung der Platinen miteinander in einem Gehäuse bilden Antennen, die Energie unnötig abstrahlen und 9 Storage-Insider.de Flash-Systeme: technische Aspekte

10 Die Klimatisierung hochintegrierter Speicherschränke Energieverluste erzeugen. Bei den sehr hohen Taktraten moderner Systeme werden die einzelnen Signale zum störungsfreien Transport auf zwei nebeneinander liegenden Differenzialleitungen übertragen. Die Bahnen dieser Leitungspaare müssen elektrisch exakt gleich lang sein. Sie dürfen auch keine 90-Grad-Winkel in ihrem Verlauf haben. Meist wird das mit zwei 45-Grad-Ecken umgangen. Baugruppenträger Chassis (Baugruppenträger) sind oft nur eine Höheneinheit (HE; 44,75 mm) hoch und 19 Zoll breit für die Montage in einem genormten Standardschrank. Manche Systeme sind auch 3 HE (3U) hoch. Im Chassis sind die Flash-Speicherkarten, Schnittstellenkarten, Stromversorgung und weitere unterstützende Elektronik untergebracht. So wird die abzuleitende Wärmemenge immer größer. Ist ein Speichersystem als System aus Speicherlaufwerken (Ersatz für Festplatten) aufgebaut, dann sind die SSDs (Solid-State Disk Drives) individuell in einem Umgehäuse untergebracht und mechanisch neben- oder übereinander in einem mechanischen Rahmen untergebracht, der dann ebenfalls in einen Schrank eingebaut wird. Oft werden einzelne PCIe-Speicherkarten im Server als SDDs bezeichnet. 19-Zoll-Schrank Der Standardschrank für Rechenzentren ist 42 HE (ca. 1,90 m) hoch. Es passen also rein mechanisch bis zu 42 Chassis Typ IBM FlashSystem 820 in einen Schrank. Bei einer Speicherkapazität von 24 TByte pro Höheneinheit bedeutet das eine Gesamtspeicherkapazität pro Rack von TByte. Dies gilt auch für das Anfang 2014 auf den Markt gekommene FlashSystem 840. Die Leistungsaufnahme würde beim Komplettausbau mit dem 840er Chassis etwas über 15 Kilowatt erreichen. Mehrere Schränke werden in Rechenzentren oft nebeneinander in Reihen angeordnet, wobei aufgrund der Kühlluftführung dann Kalt- und Warmgänge entstehen. Diese sind gegeneinander abgeschottet, damit die abgeleitete Warmluft nicht erneut in den Kühlluftkreislauf gelangt. Moderne Systeme benutzen die meiste Zeit des Jahres ungekühlte, aber gefilterte Außenluft. Die von IBM entwickelte Technik der Kühlung mit warmem (nicht vorgekühltem) Wasser wird in Höchstleistungsrechenzentren eingesetzt. Die abgeführte Wärme wird oft zur Heizung der Büroräume genutzt, der Rest wird aus dem Gebäude ausgeblasen. Die früher übliche Methode, sehr stark vorgekühlte Luft durch einen Doppelboden und durch die Schränke zu blasen, ist für heutige Anwendungen zu energieaufwendig. Die erwähnte Warmwasserkühlung mit typisch 40 C Zulauf- und bis zu 60 C Ablauftemperatur erscheint zunächst unter Beachtung der Arrhenius-Regel problematisch zu sein. Solche Höchstleistungssysteme sind aus sehr zuverlässigen Komponenten aufgebaut und mit effektiven Korrekturmechanismen ausgerüstet. Damit arbeiten solche Systeme problemlos während der oftmals geplanten Lebensdauer von fünf Jahren. Nach dieser Zeit sind solche Systeme leistungsmäßig so veraltet, dass sie ohnehin ausgemustert werden. Fazit Neben der effektiven Nutzung der Besonderheiten einer Architektur aus Flash- Chips, Speichersystem-Aufbau und Rechenzentrumsbetrieb ist das wichtigste Thema die Abfuhr der erzeugten Verlustwärme. Bei sorgfältiger Planung und mit großer Erfahrung beim Anbieter und Anwender können Speichersysteme besonders effektiv betrieben werden. Hermann Strass 10 Storage-Insider.de Flash-Systeme: technische Aspekte

11 Flächendichte, Geschwindigkeit und Kostenstruktur SLC vs. emlc welcher Zellentyp ist der richtige? In professionellen Flash-Speichsystemen werden üblicherweise SLC- oder emlc-flash-chips verbaut. TLC-Chips sind für den professionellen Einsatz und Rechenzentrumsbetrieb beim derzeitigen Stand der Technik ungeeignet. Vergleich zwischen MLC und SLC (Grafik: Wikipedia) Eine Flash-Speicherzelle hat im Unterschied beispielsweise zu Transistorschaltungen zusätzlich ein sogenanntes Floating-Gate zwischen Source (Zufluss, Quelle) und Drain (Abfluss, Senke). Das Gate (Tor, Gatter) zum Steuern dieser Anordnung ist natürlich ebenfalls vorhanden. Das Floating-Gate ist eine Art Behälter für Elektronen (Ladungsträger), der mit einem Dielektrikum isoliert ist. Single Level Cell (SLC) In einer Single Level Cell (SLC) wird ein Bit in Form von zwei Zuständen gespeichert. Die Zustände sind: viele Ladungsträger oder wenige (keine) Ladungsträger im isolierten Floating-Gate. Damit wird die Leitungsfähigkeit im Kanal zwischen Source und Drain beeinflusst. So kann der Wert eines Bits mit den beiden Zuständen 0 oder 1 beim Lesen oder Schreiben anhand der beiden zugehörigen Spannungspegel ermittelt werden. Mulit Level Cell (MLC) In einer Multi Level Cell (MLC) werden zwei Bit im Floating-Gate gespeichert. Das heißt, es sind die vier Werte 00, 01, 10 und 11 entsprechend der vier Spannungspegel zu unterscheiden. Da heutzutage nur noch eine sehr geringe Anzahl an Ladungsträgern im Floating-Gate gespeichert wird, sind die Differenzen zwischen den daraus resultierenden vier Spannungspegeln sehr viel kleiner als in einer SLC-Zelle. Eine falsche Erkennung des Ladungszustandes ist damit viel wahrscheinlicher als bei einer SLC-Zelle. Bei den geringen Spannungsunterschieden machen sich kleine Temperaturunterschiede im Inneren des Chips oder Widerstandsunterschiede im Halbleitermaterial bedingt durch Herstellungstoleranzen schon sehr stark bemerkbar. Die Fehlerkorrekturverfahren sind also viel aufwendiger. Das reduziert die Speichermenge und Reaktionszeit. Die Schreib- und Lesegeschwindigkeiten sind deutlich niedriger. emlc Die Bezeichnung emlc (enterprise MLC) wird für besonders getestete MLC-Bausteine vergeben. Durch eine zusätzliche 11 Storage-Insider.de Flash-Systeme: technische Aspekte

12 Flächendichte, Geschwindigkeit und Kostenstruktur Fehlerkorrektur wird die Zuverlässigkeit weiter erhöht. Dadurch kann ein emlc- System etwa um den Faktor 6 zuverlässiger sein als ein MLC-System. Triple Level Cell (TLC) Die derzeit schon verfügbaren Flash-Speicher auf der Basis von TLC-Technik sind wegen ihrer extrem geringen Zuverlässigkeit nur für Wegwerf-Speicher (USB- Sticks) im Privateinsatz geeignet. TLC- Speicher verlangen acht unterscheidbare Spannungspegel zur Speicherung von drei Bit in einer Flash-Zelle. Lebensdauer der Flash-Zellen Die mögliche Anzahl von Lösch-/Schreibzyklen für die unterschiedlichen Flash-Zellen werden üblicherweise so geschätzt: senschaftliche Untersuchungen haben ergeben, dass SLC-Systeme auch nach ihrer geplanten Lebensdauer (Anzahl Schreib-/ Löschzyklen) noch längere Zeit mit nur geringfügig höherer Fehlerrate arbeiten. Bei MLC-Systemen nimmt die Fehlerrate kurz vor oder nach der errechneten Lebensdauer erheblich zu. Fazit Bei höchsten Anforderungen an Zuverlässigkeit und Lebensdauer kann auf SLC- Technik nicht verzichtet werden. Anhand der Durchschnittswerte muss der Anwender für seine Einsatzbedingungen ausrechnen, welche Technik für ihn optimal ist. Hermann Strass Flash-Zellentyp Lösch-/Schreibzyklen SLC emlc MLC TLC Eine Beispielrechnung von IBM zeigt, dass MLC-Konfigurationen nicht für den professionellen Bereich geeignet sind. (Grafik: IBM) In der Grafik Reale Haltbarkeit ist Deviceabhängig ist eine Beispielrechnung von IBM dargestellt. Obwohl mit der MLC-Konfiguration langsamer und weniger gegenüber der emlc-konfiguration geschrieben wurde, ist die Haltbarkeit des Speichersystems fast um den Faktor 10 niedriger und liegt damit deutlich unter der üblichen Lebensdauer eines Speichersystems. Wis- 12 Storage-Insider.de Flash-Systeme: technische Aspekte

13 FlashSystem 840 von IBM Optimiert für den Enterprise-Einsatz IBM hat im Januar dieses Jahres das neue FlashSystem 840 auf den Markt gebracht. Mit dem neuen Produkt ist IBMs FlashSystem zum Primärspeicher für unternehmenskritische ERP- und OLTP-Anwendungen aufgestiegen. Das neue FlashSystem 840 von IBM (Bild: IBM) All-Flash-Arrays stehen zum Erscheinungszeitpunkt dieses ebooks im Kreuzfeuer der Kritik klassischer Storage-Hersteller. Die typischen Formfaktoren (2,5- und 3,5-Zoll) der Festplatte, der günstige Preis (5 Cent pro Gigabyte) für die eingekaufte Speichermenge und nicht zuletzt die Wartungsfreundlichkeit werden aus dieser Sicht als Messlatte für die Halbleiter-Speichersysteme angelegt. Ein Stück weit haben sich viele All-Flash- Array-Hersteller dieser Sichtweise angeschlossen und ihre Systeme mit Solid State Drives (SSD) ausgestattet. Man will damit dem Anwender den Übergang von der Festplatte zur SSD leichter machen, den vertrauten Umgang bedienen und dem Anwender signalisieren: Schau her, es ist wie immer, bei einem Fehler wechselt man einfach das Laufwerk. Diese halbherzige Vorgehensweise der Mitbewerber hat allerdings einen großen technischen Nachteil zur Folge. SSDs gegen modulare Flash-Container Die Wartungsfreundlichkeit spricht einerseits für den Einsatz von SSDs, andererseits spricht die Anbindung über Festplattenschnittstellen wie SATA oder SAS mit maximal 12 Gbit/s dagegen, die schon heute die Leistungsfähigkeit der Halbleiterfestplatten behindern. Die Skalierfähigkeit pro 19-Zoll-Gehäuseeinschub bei I/Os wie auch bei der Kapazität ist beschränkt. Eine vollkommene Überarbeitung dieser Architektur ist insofern unvermeidbar. Bei IBM wurde dies erkannt. Am Preis kann Big Blue zwar auch nichts ändern, den gibt der Markt vor, aber bei der Enterprise- Tauglichkeit der ehemaligen TMS-Systeme bestand Erneuerungsbedarf. Statt den Appliance-Ansatz von Texas Memory Systems fortzuführen, haben die IBM-Ingenieure die funktionell zusammengehörenden Bestandteile herausgearbeitet und auf jederzeit austauschbare Canister und Module umgestellt. Eine wichtige Änderung der FlashSystem-Architektur Wahrscheinlich wäre diese Umstellung ohne das bewährte Know-how aus der Serversparte nicht so schnell möglich gewesen. Zwei Crossbar-Switche sorgen auch bei Komponentenausfällen für den schnellstmöglichen parallelen Datentrans- 13 Storage-Insider.de Flash-Systeme: technische Aspekte

14 FlashSystem 840 von IBM fer zwischen allen Komponenten vom redundanten RAID-Controller bis hin zu den zwölf Flash-Modulen. Mit diesem Redesign wurde die im Rechenzentrum notwendige, einfache Wartbarkeit aller Komponenten erreicht. Austauschbar waren die Komponenten früher auch, aber damals ging es meistens um eine Beschleunigung des Netzwerk-Datendurchsatzes mit einer transparenten Appliance. Jetzt ist IBMs FlashSystem zum Primärspeicher für unternehmenskritische ERPund OLTP-Anwendungen aufgestiegen, das nun als FlashSystem 840 nicht nur Rückansicht des IBM FlashSystem 840 (Bild: IBM) ausfallsicher ist, sondern bei einem Modulausfall mit wenigen Handgriffen und in kürzester Zeit auch wieder hochverfügbar gemacht werden kann. Skalierbarkeit verbessert Wer sich die Leistungswerte des Flash- Systems 840 genauer anschaut, der wird feststellen, das bezogen auf das Raumvolumen sich nichts geändert hat. Absolut betrachtet sieht das Flash-Array leistungsfähiger aus, weil es im Vollausbau 48 TByte Speicher hat und bis zu 1,1 Millionen IOPS (Input/Output-Operationen pro Sekunde) liefert. Es hat sich bei der Latenzzeit ein wenig verschlechtert: Von 110 auf 130 Mikro sekunden beim Lesen und von 25 auf 90 Mikrosekunden beim Schreiben. Das sind jedoch immer noch Spitzenwerte. Für den Käufer dieses Hochgeschwindigkeitsspeichers dürfte die durch die Architekturänderung gewonnene Skalierbarkeit mehr Bedeutung haben. Er kann nun 12 Speichermodule mit entweder zwei oder 4 TByte Kapazität einsetzen. Ausbaustufen mit zwei, vier, acht oder zwölf Modulen sind möglich. Abhängig von der Speicherkapazität skaliert das System die IOPS bei 70 Prozent Lesen und 30 Prozent Schreiben von minimal IOPS bis zur Maximalleistung von IOPS. Der interne Datendurchsatz wurde durch den Wechsel auf den Crossbar-Switch von fünf auf maximal acht GByte pro Sekunde beim Lesen angehoben. Die Systemebene Zum Server hin stehen Schnittstellen für Fibre Channel (FC), Fibre Channel over Ethernet (FCoE) und Infiniband (IB) bereit. Das bedeutet bei acht Ports für IB und 16 Ports für FC und FCoE, dass im Maximalausbau zwischen 160 bis 320 Gbit Daten pro Sekunde zwischen Speicher und Server fließen könnten. 14 Storage-Insider.de Flash-Systeme: technische Aspekte

15 FlashSystem 840 von IBM Jedes FlashSystem 840 hat zwei hotswappable Canister. (Bild: IBM) Das FlashSystem 840 fasst bis zu 12 Flash- Module. (Bild: IBM) Bei der Verwaltung des Systems hat man das Rad nicht neu erfunden, sondern die gut eingeführten Konzepte der bestehenden Speicherfamilien adaptiert. Das Flash- System 840 nutzt die Kommandozeilenschnittstelle IBM SAN Volume Controller CLI und die grafische Benutzeroberfläche des IBM SAN Volume Controller GUI wie sie schon bei der IBM XIV GUI zum Einsatz kommt. SMTP und die Syslog Redirection für den unternehmensweiten Zugriff werden ebenfalls unterstützt. Dazu ist nur einer der üblichen Web-Browser nötig. Fazit Das FlashSystem 840 ist auf den ersten Blick eindrucksvoll, aber scheinbar unspektakulär. Spektakulär könnte es werden, wenn moderne Flash-Speicher im 3D-Format die Enterprise-Tauglichkeit erreichen. Dann könnten IBMs Flash- Container schnell auf die zehn- bis zwanzigfache Kapazität aufgestockt werden und der Crossbar-Switch geht nicht in die Knie. Kritisch könnte so eine Aufrüstung vielleicht für die Stromversorgung und die Klimatisierung werden. Schon jetzt benötigt ein mit 21 Gehäuseeinschüben vollgepackter 19-Zoll-Schrank 15 Kilowatt Leistung. Diese Packungsdichte dürfte bei höherer Speicherkapazität wahrscheinlich nur mit innovativen Kühlkonzepten möglich sein. Rainer Graefen 15 Storage-Insider.de Flash-Systeme: technische Aspekte

16 Analysten-Statements zu IBM FlashSystem 840 Frisch aus dem Labor und der Presse IBM zeigt sich bei seinem eigenen, auf den alten TMS-Traditionen aufbauenden Flashsystem kompromisslos. Die SSD als Ausweis für ein All-Flash-System hat ausgedient und das honorieren viele Analysten. Solid State entwickelt sich zunehmend zu einem unerlässlichen Bestandteil heutiger Rechenzentrumsinfrastrukturen. Eine entscheidende Rolle fällt bei diesem Transformationsprozess All-Flash-Arrays wie dem FlashSystem 840 von IBM zu. Das für den Einsatz in Rechenzentren entwickelte System ist extrem leistungsstark und bietet im Gegensatz zu einigen vergleichbaren Mitbewerbsprodukten unverzichtbare Funktionen wie beispielsweise Thin Provisioning oder Snapshots, die für Unternehmen unentbehrlich sind. Jeff Janukowicz, IDC-Analyst [Flash] läutet nicht den Kampf SSDs gegen klassische Festplatten ein. Vielmehr leitet die Technologie eine neue Ära in der Memory-/Speicher-Hierarchie ein, die schnellere Verarbeitungszeiten zu günstigeren Kosten verspricht. Jim Handy, Objective Analysis Dank seines Funktionsumfangs ist das FlashSystem 840 von IBM vergleichbaren Produkten haushoch überlegen. Die Lösung bietet vom Front- bis zum Back-End eine optimale Leistung. Dadurch eignet sie sich für das Zusammenspiel mit Anwendungen, die schnell große Datenmengen verarbeiten müssen. Leistungsoptimierte klassische Festplatten sind dem nicht gewachsen, da sie mit den physikalischen I/O-Aktivitäten (oder der Ausfallssicherheit) nicht Schritt halten können. Mark Peters, Enterprise Strategy Group Mit dem jüngst angekündigten neuen FlashSystem 840 zeigt IBM eindrucksvoll, wie sich mit einem einzigen Produkt zwei Fliegen mit einer Klappe schlagen lassen. Zum einen eignet sich das All-Flash-Array für den Einsatz in Umgebungen mit extrem hohen Leistungsanforderungen. Zum anderen bietet die Flash- Festplattenkombination unter Kosten-, Performance- und Verwaltbarkeitsaspekten Vorteile gegenüber einem reinen Disk Array. David Hill, Mesabi Group Das Schreib-/ Leseverhalten des Flashsystems 840: In der Legende sind die random read (rr) und random write (rw) von 100 Prozent Lesen bis 100 Prozent Schreiben dargestellt. Das System skaliert über einen weiten Bereich bis fast 1,2 Millionen IOPS. Und auch bei intensivem Schreiben sinken die Antwortzeiten nur von unter einer Millisekunde auf unter 3 Millisekunden. (Grafik: IBM) 16 Storage-Insider.de Flash-Systeme: technische Aspekte

17 Die Zukunft von Flash ist nicht zweidimensional Alternative Halbleitertechniken Große Speichersysteme auf Basis von Flash-Chips sind noch relativ neu. Und Flash-Speicherzellen sind schon durch kleine Eingriffe verbesserungsfähig. Das ist die Basis von permanenten bahnbrechenden Neuigkeiten. Doch die Forschungslabore mancher Hersteller haben besseres in petto, wenn denn die Fertigungsgiganten mitspielen würden. In den Entwicklungslaboren von IBM setzt man auf PCM und Nanotechnologien. (Grafik: IBM) Flash steht im Wettbewerb mit nachdrängenden Ersatztechnologien, die teilweise nur noch auf den Ritterschlag der Marktfähigkeit warten. Obwohl die technischen Parameter mehr als vielversprechend sind, wird sich die Markteinführung wahrscheinlich um weitere zehn Jahre verzögern, da eine komplette vertikale Fertigungsindustrie mit Milliardeninvestitionen umgestellt werden müsste. Eine schleichende Umstellung mit geringerem Risiko hat insofern die größte Wahrscheinlichkeit. Flash-Technik ist noch vielfältig formbar Es gibt sehr viele Parameter in der Flash- Technik, die je nach den gewünschten Leistungsdaten veränderbar sind. Wird beispielsweise in MLC-Systemen der Aufwand für Fehlerkorrektur erhöht, dann wird die Anzahl der möglichen Programmier-/ Löschzyklen (Endurance) deutlich verbessert, obwohl der Chip nicht besser ist. Das geht aber auf Kosten von Geschwindigkeit und Speicherplatz. Die Zugriffs- oder Latenzzeiten können virtuell ebenfalls stark verändert werden. Bei MLC-Varianten gibt es schnelle (Fast Pages) und langsame (Slow Pages), bei TLC auch mittelschnelle Speicherseiten (Medium Pages). Das kann in der Steuerung im Chip oder im System genutzt werden, um Daten gezielt so zu verteilen, dass schnell verfügbare Daten in schnellen Seiten gespeichert werden, oder alternativ so gespeichert wird, dass ein günstiger Mittelwert erzielt wird. Eine andere Variante sperrt alle langsamen Seiten, wodurch beispielsweise ein MLC- Speicher im Datenblatt als sehr schnell angegeben werden kann. Allerdings wird dadurch die Gesamtkapazität oft bis auf die Hälfte reduziert. So kann ein möglicherweise preisgünstig herstellbarer MLC- Speicher fast zum Preis eines schnellen SLC-Speichers verkauft werden. Preiswürdigkeit kann eine Definitionsfrage sein Eine andere Variante erklärte Violin Memory vor kurzem in einem Whitepaper. Das Unternehmen könne dem Kunden die 17 Storage-Insider.de Flash-Systeme: technische Aspekte

18 Die Zukunft von Flash ist nicht zweidimensional Das Diagramm eines Nanodrahtes zeigt, wie mithilfe eines elektrischen Stroms kleine magnetische Muster um die Rennbahn sausen und sich so Daten in unter einer Nanosekunde schreiben oder auslesen lassen. (Archiv: Vogel Business Media) höheren Kosten von emlc ersparen, wenn man die Spezifikation von MLC so verändere, dass die sichere Datenhaltung ohne Stromzufuhr von den üblichen zwölf Monaten auf drei Monate reduziert würde. Statt des Prefixes e bekommt der Anwender dann ein v vor das MLC und darf sich über die innovative Preiswürdigkeit freuen. Und die Menge des Reservespeichers (Hidden Memory, Over-Provision ing) ist ein seit langem genutzter Parameter, der Consumer von professionellen Produkten unterscheidet. Ausreichernder Reservespeicher ist vielfältig nutzbar, um zum Beispiel Geschwindigkeit und Haltbarkeit auf wünschenswerte Größenordnungen zu trimmen. Ein weiterer Aspekt, der größere Aufmerksamkeit erfahren sollte, ist die sicherheitskritische Löschung von Dateien oder eines ganzen Speichersystems. Die Wahrscheinlichkeit ist groß, dass Daten nur zum Löschen markiert wurden, aber aufgrund von Fehlerkorrekturen noch im versteckten Speicher vorhanden sind, selbst wenn diese Dateien durch gezieltes Überschreiben eigentlich gelöscht sein sollten. Im Betriebssystem als gelöscht markierte Datenblöcke existieren manchmal ganz oder teilweise noch in den abgemeldeten, aber noch nicht wiederverwendeten Blöcken. In den Forschungslaboren ist man schon weiter Die Flash-Technik für professionelle Systeme wird gerade erst mit großem Aufwand vorangetrieben. Es ist trotzdem nicht verfrüht, schon jetzt einen Blick auf Techniken zu werfen, die in naher Zukunft als Ablösung der Flash-Technik zur Verfügung stehen könnten. Häufig genannte Kandidaten sind derzeit: FRAM (FeRAM) MRAM (STT-MRAM, NV-RAM) Memristor NVDIMM PMC (CBRAM, Nanobridge) PCM (PCRAM, PRAM, C-RAM) Racetrack RRAM (ReRAM) Spintronik Diese Kandidatenliste ist unvollständig und sie ändert sich auch im Laufe der Zeit. Insbesondere für den professionellen Einsatz kann eine neue Technik erst dann in die Auswahl kommen, wenn eine gewisse Erfahrung damit im harten Einsatz bei Anwendern nachweisbar ist und wenn die Preise zum Zeitpunkt der Einführung marktgerecht sind. IBM räumt der im eigenen Züricher Forschungslabor entwickelten PCM-Technik (Phase Change Memory) gute Chancen ein, der Flash-Nachfolger zu werden. Die 18 Storage-Insider.de Flash-Systeme: technische Aspekte

19 Die Zukunft von Flash ist nicht zweidimensional Prinzipielle Funktionsweise einer PCM-Speicherzelle (Grafik: IBM) Grundlagen dieser Technik sind seit über neunzig Jahren bekannt und jeder, der einmal eine CD gebrannt hat, vertraut darauf. Seit 1990 gibt es CDs und DVDs in PCM-Technik. IBM hat diese Technologie seit vielen Jahren vorangetrieben und konnte 2011 nachweisen, dass PCM-Speicher kleiner, schneller und langlebiger ist als Flash und zudem theoretisch in der Lage, zwei ganze Byte in einer Speicherzelle aufzubewahren. Ein weiteres heißes Eisen hat der Weltmeister in Sachen Patente mit dem Racetrack-Memory im Feuer, das dreidimensional im Nanobereich speichern kann. Die Angebotsvielfalt an Halbleiter-Speicherzellen für zukünftige Flash-Speichersysteme ist derzeit noch sehr groß. Noch machen sich viele Hersteller mit ihren Technologie-Studien oder schon im Labor funktionierenden Speicher-Chips Hoffnungen. Kurze Zeit war sogar das Zeitfenster für eine Ablösung der NAND-Flash-Technik offen. Jetzt sieht es indes eher danach aus, dass die verbliebenen Flash-Hersteller so groß geworden sind, dass sie den Übergang von 2D- auf 3D-Flash bewältigen werden und damit erst wieder im zweiten Jahrzehnt des zweiten Jahrtausends Chancen für leistungsfähigere und langlebigere Halbleiterspeicher bestehen. Trotz aller kritischen Stimmen scheint die aktuelle Flash-Technik in der Lage zu sein, die herkömmlichen Festplatten aus der Primärspeicherzone zurückzudrängen. Ob dies in Form von SSDs passieren wird, ist angesichts der neuesten Entwicklungen bei IBM fraglich. Dort werden bereits die ersten Flash-Module auf die Motherboards integriert und auch beim FlashSystem 840 setzt der Hersteller von außen zugängliche Flash-Kanister ein, die wie SSDs wartungsfreundlich sind. Rainer Graefen Die Flash-Speicher- Technik ist der erste Schritt zu einer langlebigen Halbleiterspeichertechnik. Schon die nächste Alternative wird noch schneller und vor allem um Größenordnungen haltbarer sein. (Grafik: IBM Research) Fazit 19 Storage-Insider.de Flash-Systeme: technische Aspekte