Seminar Softwarebasierte Fehlertoleranz

Transkript

1 Seminar Softwarebasierte Fehlertoleranz Kombinierte HW/SW-Verfahren zur Behebung von Hauptspeicherfehlern Februar 2013 Jan Lahni TU Dortmund

2 Table of Contents Kombinierte HW/SW-Verfahren zur Behebung von Hauptspeicherfehlern 1 Motivation III 1.1 Problematik III 1.2 Ziele III 2 Grundlagen III 2.1 Speichertypen/-konfigurationen III 2.2 Standardisierte Schutzmaßnahmen IV 3 Verfahren der Virtuellen Fehlererkennung und -korrektur (VECC).... V 3.1 Basisverfahren auf Speicherbausteinen mit integriertem ECC.... V 3.2 Erweiterung für Speicherbausteine ohne ECC VII 3.3 Verschiedene Konfiguration für die Umsetzung von chipkill... VIII 4 Verfahren der lokalen und mehrstufigen Fehlererkennung und -korrektur (LOT-ECC) VIII 4.1 Lokale Fehlererkennung VIII 4.2 Globale Fehlerkorrektur IX 5 Zusammenfassung X

3 III 1 Motivation 1.1 Problematik In den letzten Jahren hat der Bedarf an Hauptspeicher eine kontinuierliche Zunahme erfahren, was wiederum eine Steigerung der daraus resultierenden Chipzahlen nach sich zieht. Aus diesen erhöhten Chipzahlen resultierend kann eine Zunahme der Wahrscheinlichkeit des Auftretens von Fehlern angenommen werden. Im Allgemeinen wird erwartet und ist teilweise unerlässlich, dass beim Auftreten eines Fehlers der für den Anwender resultierende Effekt minimal bzw. nicht merklich vorhanden ist. Das heißt, es sollte weder zu nennenswerten Performanceeinbußen, Datenverlust und insbesondere nicht zu Komplettausfällen von Systemen kommen. Die zu diesem Zweck eingesetzten gängigen Verfahren erfordern das Abspeichern von redundanten Daten und erhöhen somit den Speicherbedarf, was wiederum zu einer Steigerung der Kosten und des Energieverbrauchs des Hauptspeichers nach sich zieht. Diese Steigerung des Energieverbrauchs kann bis zu fünfzig Prozent des gesamten Systems ausmachen. 1.2 Ziele Die hier vorgestellten Verfahren der Virtuellen Fehlererkennung und -korrektur (VECC) und lokalen und mehrstufigen Fehlererkennung und -korrektur (LOT- ECC) haben zum Ziel, den durch die Schutzmaßnamen entstandenen Mehrbedarf an Speicher zu reduzieren ohne gewünschte Fehlertoleranz herabzusetzen und so Kosten und Energiebedarf zu senken. Der Schwerpunkt der VECC-Entwicklung lag hierbei auf einem flexiblen Schutzmechanismus, der immer wieder dynamisch an die sich z.b aus verschiedenen Anwendungen ergebenden aktuellen Anforderungen angepasst werden kann. Die Entwicklung des LOT-ECC dagegen basierte auf dem Ziel, ein kommerziell umsetzbares Verfahren zu entwickeln, was eine Beschränkung der Änderungen auf den Speichercontroller und die Systemfirmware bedingt. 2 Grundlagen 2.1 Speichertypen/-konfigurationen Heutzutage kommen in Rechnern größtenteils sogenannte Dual Inline Memory Module, kurz DIMMs, als Hauptspeicher zum Einsatz. Ein solches besteht aus mehreren Dynamic Random Access Memory, kurz DRAM Chips. Ein einzelner DRAM Chip hat eine begrenzte Datenbandbandbreite von normalerweise vier, acht oder sechzehn Bit. Diese DRAMs sind in sogenannten ranks organisiert. Ein rank hat eine bestimmte Bandbreite, normalerweise 64 Bit, aus welcher dann abhängig von den verwendeten Chips die Anzahl dieser pro Rank folgt. Ein Rank ist die kleinste Einheit in einem DIMM, die vom Memory Controller individuell adressiert werden kann. Ein DIMM wird abhängig von der Art der verwendeten DRAMs als x4 DIMM, x8 DIMM oder x16 DIMM klassifiziert. DIMMs mit einer größeren DRAM Bandbreite arbeiten energieeffizienter.

4 IV 2.2 Standardisierte Schutzmaßnahmen Fig. 1. Chipkill Konfiguration Quelle: Virtualized and Flexible ECC for Main Memory Seite 399 Normale ECC-DIMMs verwenden einen Error Checking and Correction(ECC) Code. Häufig wird hier das sogenannte SEC-DED Verfahren verwendet. Hierbei werden 8 Bits verwendet, um 64 Bits an Daten zu schützen. Die entsprechenden DIMMs bieten zum Speichern der redundanten Informationen extra Platz in den jeweiligen Ranks. Daraus ergibt sich für ein Rank eine Bandbreite von 72 Bit. Bei der Produktion von x16 DIMMs mit der normalen 64 Bit Bandbreite mit dem extra Speicherplatz für ECC ergäbe dies einen Speicherplatz-Überhang, daher werden für ECC-DIMMs nur kleinere DRAM Versionen verendet. Noch mehr Schutz bieten DIMMs, die die sogenannten chipkill correct unterstützen, für den Fall, dass ein kompletter Chip ausfällt. Ein durch chipkill geschütztes System kann eine beliebige Anzahl von Bit-Fehlern korrigieren, solange diese auf einen Chip begrenzt sind. Dazu verwendet wird das sogenannte Single Symbol Correct Double Symbol Detect (SSC-DSD), welches eine 3- oder 4-Symbol Prüfsumme anwendet. In normalen, kommerziellen Systemen wird die 4-Symbol Prüfsumme angewandt, da sie ein besseres Daten- / ECC- Chip Verhältnis bietet(4 ECC Symbole: 32 Daten Symbole). Durch die Anwendung von Chipkill werden Performance und Energieverbrauch negativ beein-

5 V flusst, da für die Berechnung des ECC Codes bei jedem Zugriff eine höhere Anzahl an Chips aktiviert werden müssen, als dies ohne Chipkill der Fall ist. Aufgrund der Nichtverfügbarkeit von x16 ECC DIMMs kommen für Chipkill von vornherein nur die DIMMs mit kleineren DRAM in Frage. Bei Betrachtung der normale Speicherkonfiguration für Chipkill (Abbildung 1), zwei ECC- DIMMS mit jeweils 18 Chips, ist zu erkennen, dass auch die Verwendung von x8 DIMMs einen Überhang an Speicherplatz- verursachen würden. Bei einem x8 ECC-DIMM wären die benötigten 72 Bit mit 9 Chips pro DIMM erreicht, was ohne das kostspielige Hinzunehmen eines weiteren Chips eine gleichmäßige Verteilung der ECC Symbole unmöglich machen würde. Aus diesen Punkten folgt, dass für Chipkill nur 4x DIMMs eingesetzt werden (können). Wie bereits oben beschreiben, werden bei dieser Lösung zur Erreichung der selben Bandbreite mehr DRAM Chips benötigt, woraus ein höherer Energieverbrauch resultiert. 3 Verfahren der Virtuellen Fehlererkennung und -korrektur (VECC) 3.1 Basisverfahren auf Speicherbausteinen mit integriertem ECC Bei der Virtuellen Fehlererkennung und korrektur müssen zwei Methoden verwendet werden. Zum einen wird der DRAM ECC Mechanismus auf zwei ECC Codes aufgeteilt, einmal den tier-one error code (T1EC) welche bei jedem Speicherzugriff benutzt wird um Fehler aufzuspüren und den tier-tow error code (T2EC), der nur aufgerufen wird, falls ein Fehler gefunden wird, um diesen dann zu beheben. Zum anderen wird das virtuelle Speicher-Interface so angepasst, dass die Daten und die dazugehörigen Error Checking und Correction Codes im physikalischen Speicher getrennt gespeichert werden können und, dass jedes Mal wenn eine neue physikalische Adresse belegt wird, auch eine entsprechend große Stelle für den T2EC Code freigehalten werden muss. Ebenso muss die Freigabe von nicht mehr für die Speicherung der T2EC Informationen benötigen Speicherplatzes vom Betriebssystem übernommen werden. Bei den Lesezugriffen wird so im Vergleich zu herkömmlichen ECC-Speicher auf weniger Daten zugegriffen. Die T1EC Information wird, wie auch die ECC Information beim herkömmlichen ECC zusammen mit den Daten gespeichert, die T2EC Information dagegen wird an einer anderen physikalischen Speicheradresse auf demselben Speicherbaustein in einem anderen DRAM rank im Datenteil des Chips gespeichert. Das Speichern im Datenteil des Chips birgt den Vorteil, dass der T2EC, wie die normalen Daten auch, in den last-level cache (LLC) geladen werden kann. Abbildung 2 verdeutlicht den Prozess des Virtuellen zwei Stufen ECCs. Beim Lesen aus dem Speicher gleicht der Vorgang dem eines herkömmlichen Systems. Nach einem Cache Miss im LLC wird die benötigte Information aus dem Speicher in den LLC geladen und die Fehlererkennung wird mithilfe des T1EC Codes ausgeführt, deutlich zu erkennen in Abbildung 2 an dem mit 1 beschriftetem Pfeil. Sollte hierbei ein Fehler gefunden werden, wäre zur Korrektur desselben das Abfragen der T2EC Information notwendig. Im Falle des

6 VI Fig. 2. zwei Stufen DRAM ECC Quelle: Virtualized and Flexible ECC for Main Memory Seite 400 Nichtvorhandensein des selbigen im LLC wäre ein weiterer, im Vergleich zum herkömmlichen System zusätzlicher, Speicherzugriff nötig. Beim Schreiben in den Speicher dagegen muss ein größerer Aufwand betrieben werden, da hier zusätzlich die T2EC Information aktualisiert werden muss. Um dies zu erreichen, wird die Datenadresse von der ECC adress translation unit in die entsprechende Adresse des ECC Codes übersetzt. Die ECC adress translation unit ist zusätzliche Hardware, welche benötigt wird um VECC durchführen zu können. Werden die T2EC Informationen zu bestimmten Daten benötigt, muss der Speichercontroller die physische Adresse dieser Daten in die Adresse der dazugehörigen T2EC Daten übersetzen. Hierzu muss eine Adressenliste vom Betriebssystem verwaltet werden, die zu physische Adressen von Daten den entsprechenden Startpunkt der physikalischen Adresse der dazugehörigen ECC Informationen liefert. Die ECC adress translation unit muss dann auf Basis der T2EC Größe berechnen, in welchem Adressbereich die T2EC Informationen zu finden sind. Bei der Adresse könne zwei Fälle unterschieden werden. Entweder

7 VII die ECC Information ist im LCC, dann wird diese ohne weitere Hauptspeicherzugriffe im LCC aktualisiert oder sie befindet sich nicht im LCC. Auch in diesem Fall wird der neu T2EC berechnet und in den LCC geschrieben. Dieser Vorgang ist in Abbildung 2 an den Pfeilen 2 bis 4 zu sehen. Hierbei wird noch eine Zusatzinformation abgespeichert, anhand derer zu erkennen ist, ob der T2EC noch gültig ist. Dies ist nötig, um zu vermeiden, dass nicht mehr gültige T2EC Codes zu einem späteren Zeitpunkt zurück in den Hauptspeicher geschrieben werden und so die Schreibzugriffe auf Selbigen zu verringern. Ein solcher Schreibzugriff ist in der Abbildung 2, gekennzeichnet mit Pfeil 5, dargestellt. 3.2 Erweiterung für Speicherbausteine ohne ECC Fig. 3. Virtuelles ECC mit Non-ECC DIMMs Quelle: Virtualized and Flexible ECC for Main Memory Seite 400 Obwohl DIMMs selbst kein ECC unterstützen, kann virtuelles ECC verwendet werden, um die Daten zu schützen. Dazu werden die T1EC Informationen bei

8 VIII den T2EC Informationen gespeichert. Bei diesem Verfahren ergibt sich eventuell auch beim Lesen die Notwendigkeit eines weiteren Speicherzugriffes, in Abbildung 3 an den mit den Pfeile 1 bis 4 markierten Stellen dargestellt. Befindet sich die ECC Information nicht im LCC, muss zur Überprüfung der Korrektheit der gelesenen Daten der Zugriff auf die von der ECC Address Translation Unit angegebene Speicheradresse erfolgen. Hierbei werden die T2EC Daten sofort mitgelesen, so dass im Falle fehlerhafter Daten kein weiterer Hauptspeicherzugriff nötig ist. Beim Schreiben in den Hauptspeicher ergeben sich, abgesehen vom bereits erwähnten abweichenden Speicherort für die T1EC Information, im Vergleich zu dem virtuellen ECC bei DIMMs mit ECC keine Änderungen. 3.3 Verschiedene Konfiguration für die Umsetzung von chipkill Die Umsetzung von Chipkill mit Hilfe von Virtueller ECC wird durch den Einsatz eines 3-check-symbol-error code ermöglicht. Die ersten beiden Symbole realisieren den T1EC Code zur Fehlererkennung, das dritte Symbol ist der T2EC und wird gemeinsam mit den beiden anderen Symbolen zur Fehlerkorrektur benutzt. Dies findet bei zwei 2 gleichzeitigen Chipausfälle den Fehler und kann diesen bei einem Chipausfall beheben. Eine Erweiterung des T2EC Codes auf zwei Symbole erlaubt es, auch bei 4x und x8 DIMMs gegen zwei defekte Chips zu schützen, das heißt auch hier beide Fehler zu beheben. Bei x4 und x8 DIMMs hat jedes dieser Symbole 8 Bit, bei x16 DIMMs 16 Bit. Bei ECC DIMMs (nur als x4 und x8 Version verfügbar) werden die T1EC Prüfsymbole in 2 ECC DRAM Chips gespeichert, das T2CE Symbol in einem der Datenchips. Der Vorteil des Abspeicherns der T2EC Informationen in einem Datenchip liegt darin, dass kein zusätzlicher DRAM Chip zur Speicherung dieser Information benötigt wird. Sollen Non-ECC DIMMs verwendet werden, ergibt sich daraus, dass auch die T1CE Informationen in den Datenchips gespeichert werden müssen. Hier empfiehlt es sich, auf einen 2-check-symbol code zurückzugreifen, welcher allerdings nur einen Chipfehler erkennen kann. Die Verwendung der 16 Bit Symbole kann sich insofern als problematisch erweisen, da durch die höhere Symbollänge weniger T2EC Informationen im LCC gehalten werden können und so bei Schreiboperationen öfter ein zusätzlicher Hauptspeicherzugriff erfolgen muss. 4 Verfahren der lokalen und mehrstufigen Fehlererkennung und -korrektur (LOT-ECC) 4.1 Lokale Fehlererkennung LOT-ECC wurde für x4 oder x8 ECC Chips konzipiert. Das Verfahren verteilt den Schutz der Daten auf mehrere Ebenen. Die erste Ebene ist die lokale Fehlererkennung. Die lokale Fehlererkennung von LOT-ECC überprüft nach jeder Leseoperation die Richtigkeit der Daten. Sollte ein Fehler erkannt werden, muss der genaue Ort, das heißt der Rank, in welchem der Fehler aufgetreten ist, lokalisiert werden. Hierzu wird die Trennung der DRAM Chips in Daten und ECC Chips

9 IX aufgehoben. Die lokalen Fehlererkennungscodes werden, wie in Abbildung 4 zu sehen ist, in jedem der Chips gespeichert. Da bei ECC-DIMMS 8 Bits benötigt werden um 64 Bit Daten zu schützen, besteht ein Rank aus 64*8 Daten + zuzüglich 64 ECC Bits. Da die Größe einer Cachezeile beibehalten werden soll, ergeben sich bei gleichmäßiger Aufteilung der 576 Bits bei x8 DIMMs 57 Bit Daten pro Chip sowie 7 Bits LED Information. Da eine Speicherzeile nur 512 Bit hat, bleibt bei 57*9 Bits ein Bit pro Zeile über und wird für die Globale Fehlerkorrektur genutzt. Fig. 4. LOT-ECC auf einem Rank aus neun x8 DRAM Chips Quelle: LOcalized and Tiered Reliability Mechanisms for Commodity Memory Systems Seite Globale Fehlerkorrektur Die zweite Ebene zum Schutz der Daten ist die Globale Fehlerkorrektur. Sie dient dazu, verlorene Daten wieder herzustellen, nachdem der Datenverlust durch die erste Ebene festgestellt wurde. Wie schon Ebene eins kann auch diese aufgeteilt werden, in einen Paritycode und zwei Schutzmaßnahmen für diesen. Zum einen wird der XOR Paritycode über alle Datensegmente eines Ranks gebildet. Mit diesem können, nachdem der lokale Fehlererkennungscode den Chip auf dem der Fehler auftritt identifiziert hat, die Daten wiederhergestellt werden. Der Paritycode selbst wird im gleichen Rank wie die von ihm zu schützende Speicherzeile gespeichert. Wie in 4 am roten Bereich zu erkennen ist, wird zu diesem Zweck ein Bereich in jedem der Chips reserviert. Dies dient der Verringerung der Performanceeinbußen, welcher durch die zusätzlich notwendigen Zugriffe entsteht. In Abbildung 5 ist ersichtlich, wie genau der Paritycode über eine der Speicherzeilen aus 4 verteilt wird. Dabei werden die 57 Bit in 7 Bit Blöcken auf die ersten 8

10 X Fig. 5. Layout des GECs einer Speicherzeile Quelle: LOcalized and Tiered Reliability Mechanisms for Commodity Memory Systems Seite 289 Chips verteilt. Für das 57te Bit wird das bei der lokalen Fehlererkennung erfolgenden Speicheraufteilung, übrig gebliebene Bit verwendet. Der letzte in Abbildung 5 zu sehende Block gehört nicht zum Paritycode, sondern enthält den Paritycode der den Paritycode für den Fall eines Chipausfalls schützt. Für den Fall, dass 2 Chips gleichzeitig ausfallen, muss die Möglichkeit gegeben sein, den Fehler zu erkennen. Diesen zu korrigieren ist nicht mehr möglich, er muss aber als unkorrigierbar gekennzeichnet werden. Diesen Zweck erfüllen die in Abbildung 5 mit T gekennzeichneten Bits. Sie sind ein weiterer Fehlererkennungscode mit dem Fehler auch im Paritycode auch bei 2 simultanen Chipausfällen noch gefunden werden können. Bei Leseoperationen führt das LOT-ECC Verfahren nur zu weiteren Speicherzugriffen, wenn ein Fehler erkannt wird, denn nur dann muss auf den Global Error Correction Code zugegriffen werden. Bei Schreiboperation allerdings muss der GEC Code jedes Mal aktualisiert werden. Allerdings müssen hier nur die Bits des Global Error Correction Codes und die T4 Bits aktualisiert werden. Dies sind nur 72 Bits. Durch das DDR3 Protokoll ist man aber gezwungen immer die vollen 576 Bits zu schreiben. Durch das Zusammenfassen der Aktualisierung von acht verschieden Global Error Correction Codes kann man also weitere Energie einsparen und die Performance steigern. Dieses Verfahren nennen die Entwickler von LOT- ECC Oracular coalescing. Diese Energieeinsparung und Performacesteigerung wird auch von den durchgeführten Tests belegt. Für selbige wurden zwei handelsübliche, auf Intel Xenons basierende, Systeme benutzt. Die Performance von LOT-ECC wurde, anhand des PARSEC Benchmark Pakets, mit der von Single Symbol Correct Double Symbol Detect und der von Virtuellem ECC verglichen. Die Beurteilung der Energieeffizienz von LOT-ECC fand, mithilfe des Micron System Power Calculators, ebenfalls im Bezug auf diese beiden Verfahren statt. 5 Zusammenfassung Die beiden hier vorgestellten Verfahren zur Behebung von Hauptspeicherfehlern unterscheiden sich bereits im Ansatz sehr stark. LOT-ECC konzentriert sich einzig auf die Verwendung von ECC-DIMM, hierzu wird chipkill protection auch mit x8 DIMMs genutzt, um von den Vorteilen im Bereich Energieeffizienz

11 XI dieser DIMMs gegenüber den normalerweise für chipkill protection verwendeten x4 DIMMs zu profitieren. Zusätzlich sollen die hierfür erforderlichen Änderungen nur auf Ebene des Speichercontrollers vorgenommen werden, um das Verfahren für eine kommerzielle Umsetzung interessant zu machen. Das Verfahren des Virtualisierten ECC für Hauptspeicher hingegen setzt auf eine flexible Adaptierung des Schutzlevel an die jeweilige aktuelle Anwendung. Hier werden NON-ECC DIMMs als ECC-DIMMs verwendet und eine chipkill protection Variante mit beiden Chiptypen vorgestellt. Dafür wird allerdings in Kauf genommen, das Änderungen der Speicherverwaltung durch das Betriebssystem vorgenommen werden müssen und zusätzlich Hardware in Form einer ECC Address Translation Unit benötigt wird. Beide Verfahren können einen Schutz bieten, der über die herkömmliche chipkill protection, das Erkennen von Fehlern beim Ausfall von zwei Chips gleichzeitig oder das Korrigieren des Datenverlustes beim Ausfall eines von insgesamt 36 kompletten Chips. So kann mit Hilfe von LOT-ECC ein Ausfall von zwei Chips gleichzeitig oder das Korrigieren des Datenverlustes bei dem Ausfall eines kompletten Chips aus jeweils insgesamt 9 Chips umgesetzt werden. Virtualisiertes ECC erlaubt es, sogar bei 2 gleichzeitigen Chipausfällen aus 36 Chips diese zu erkennen und zu korrigieren. Bei beiden Verfahren ist es wichtig den Energieverbrauch durch den Hauptspeicher zu senken. LOT-ECC erreicht dies nicht nur durch den Einsatz der x8 DIMMs sondern auch aufgrund des geänderten chipkill protection Verfahrens. Während herkömmliche Verfahren alle 36 Chips bei Lese- und Schreibzugriffen aktivieren, müssen bei einem LOT-ECC Lesezugriff nur achtzehn Chips aktiviert werden, beim Schreiben allerdings auch alle 36 Chips. Je nach verwendetem Testsystem erreichte LOT-ECC eine durchschnittliche Energieeinsparung im Bereich von zwanzig bis vierzig Prozent im Vergleich zu einem modernen und kommerziell erhältlichen Singel Symbol Corect Double Symbol Detect (SSC- DSD). Mit Oracular coalescing konnte sogar eine maximale Energieeinsparung von 47,4 Prozent erzielt werden. In Systemen mit Virtuellem ECC sinkt der Energieverbrauch durch den Hauptspeicher um 10 bis 30 Prozent. Besonders positiv wirken sich hier die x8 ECC DIMMs mit ihrer höheren Energieeffizienz aus, welche bei einer konventionellen chipkill protection nicht verwendet werden können. Des Weiteren wird durch LOT-ECC eine Performacesteigerung durch Reduzierung der Latenz erreicht. Kurz vor der Auslastung eines System, welches SSC-DSD verwendet, liegen die erreichten Steigerungen im Bereich von knappen 5 Prozent bis hin zu guten 15 Prozent mit Oracular coalescing. Damit ergibt sich als weiterer durch LOT-ECC entstandener Vorteil, dass hier deutlich mehr Anfragen pro Zeiteinheit bis zum Erreichen der Auslastung bearbeitet werden können. Die chipkill protection Performance von virtualisiertem ECC ist dagegen geringfügig, das heißt um 0,5 Prozent schlechter, als die herkömmlicher Verfahren, bei der Verwendung von Non-ECC DIMMs sogar 10 Prozent. Allerdings ist die Möglichkeit zur Verwendung von Non-ECC DIMMs für chipkill

12 XII protection klar als Vorteil zu betrachten. Der Nachteil von LOT-ECC findet sich im erhöhte Speicherbedarf von 14 Prozent, der aus der Notwendigkeit des Abspeichern des Global Error Correction Codes entsteht. Dieser Speicherbedarf schlägt sich in höheren Anschaffungskosten nieder, was aber bei Großrechnern und Servern im Vergleich zu den möglichen Energieeinsparungen und der damit einhergehenden Betriebskostenreduktion eine untergeordnete Rolle spielt.

13 XIII References [2010] oe Hyun Yoon, Mattan Erez. Virtualized and flexible ECC for main memory. Proceedings of the fifteenth edition of ASPLOS on Architectural support for programming languages and operating systems. (2010) [2012]. N. Udipi, N. Muralimanohar, R. Balsubramonian, A. Davis, N.P. Jouppi. LOT- ECC: localized and tiered reliability mechanisms for commodity memory systems. 39th Annual International Symposium on Computer Architecture (ISCA). (2012) List of Figures 1 Chipkill Konfiguration (Quelle: Virtualized and Flexible ECC for Main Memory Seite 399).. 2 zwei Stufen DRAM ECC (Quelle: Virtualized and Flexible ECC for Main Memory Seite 400).. 3 Virtuelles ECC mit Non-ECC DIMMs (Quelle: Virtualized and Flexible ECC for Main Memory Seite 400).. 4 LOT-ECC shown with single rank of nine x8 DRAM chips (Quelle: LOcalized and Tiered Reliability Mechanisms for Commodity Memory Systems Seite 289) Data layout for one cache lines GEC (Quelle: LOcalized and Tiered Reliability Mechanisms for Commodity Memory Systems Seite 289) IV VI VII IX X