Hadoop I/O. Datenintegrität Kompression Serialisierung Datei-basierte Datenstrukturen Prof. Dr. Christian Herta 1/29

Transkript

1 Hadoop I/O Datenintegrität Kompression Serialisierung Datei-basierte Datenstrukturen Prof. Dr. Christian Herta 1/29

2 Data I/O und Hadoop Allgemeine Techniken Data I/O Datenintegrität Kompression aber es gibt Besonderheiten bei Multi- Terrabyte großen Daten Verteilte Systeme Serialisierungs-Frameworks On-disk data structures Prof. Dr. Christian Herta 2/29

3 Datenintegrität Prof. Dr. Christian Herta 3/29

4 Data Corruption Erkennen von korrumpierten (verdorbenen) Daten Checksum: zur Kontrolle ob Daten fehlerhaft CRC-32 (Cyclic redundancy check) 32 bit Integer Checksum Prof. Dr. Christian Herta 4/29

5 HDFS Daten-Integität io.bytes.per.checksum Parameter: default 512 bytes 4 bytes für CRC-32 Checksum => storage overhead < 1% Verantwortlich zur Kontrolle: DataNodes Bei pipeline-write Replikation: Letzte Datanode kontrolliert Status wird in log-files festgehalten Erkennen von fehlerhaften Disks Prof. Dr. Christian Herta 5/29

6 HDFS Daten-Integrität Client liest Daten Bei Fehler: Erkennen und Lesen aus anderem Namenode Falls keine unkorrumpierten Daten verfügbar ChecksumException Check kann ausgeschaltet werden (setverifychecksum(false) oder ignorecrc Schalter) In einem Hintergrund-Thread laufen auf den Datanodes Datanode block scanner Bei fehlerhaften Blocks Löschen fehlerhafter Blocks Erneute Replikation Prof. Dr. Christian Herta 6/29

7 Lokale Datenintegrität Hadoops LocalFileSystem überprüft auf dem Client Bei Schreiben des Files ex1 verborgene Datei.ex1.crc mit Checksumme der Datei-Chunks wird geschrieben Overhead für Checksumming gering kann aber ausgeschaltet werden RawLocalFileSystem Global über Property fs.file.impl ChecksumFileSystem als Wrapper für (nonchecksum) Dateisysteme Prof. Dr. Christian Herta 7/29

8 Kompression Prof. Dr. Christian Herta 8/29

9 Datenkompression Daten können in HDFS komprimiert werden Verschiedenste Formate möglich deflate, gzip, bzip2, LZO, Snappy Einige Formate unterstützen splitting Wichtig für große Files Datenlokalität! Kompression über Klassen wie CompressionCodec Prof. Dr. Christian Herta 9/29

10 Kompression in MapReduce Input Kompression kann über Dateierweiterung bestimmt werden: CompressionCodecFactory Bei Output FileOutputFormat(job, true); FileOutputFormat.setOutputCompressionClass (job, GzipCodec.class); Prof. Dr. Christian Herta 10/29

11 Serialization Prof. Dr. Christian Herta 11/29

12 Serialisierung Serialisierung ist der Prozess strukturierte Objekte in einen byte-stream umzuwandeln, z.b. für Übertragung im Netzwerk oder Schreiben zum persistenten Speicher Deserialisierung ist der umgekehrte Prozess Bei distributed data processing wichtig für: Interprozess-Kommunikation Persistente Speicherung Prof. Dr. Christian Herta 12/29

13 Interprozess Kommunikation in Hadoop Per RPC (Remote Procedure Calls) messages werden mittels Serialisierung in einen binary stream umgewandelt Ziele von RPC Kompact Schnell Erweiterbar Interoperabel Prof. Dr. Christian Herta 13/29

14 Writable Interface Hadoop eigenes Serialisierungsformat Zwei Methoden für Schreiben zu DataOutput binary stream Lesen von DataOutput binary stream Prof. Dr. Christian Herta 14/29

15 Writable package org.apache.hadoop.io; import java.io.dataoutput; import java.io.datainput; import java.io.ioexception; /**... */ public interface Writable { /**.. Serialize the fields of this object to out.. */ void write(dataoutput out) throws IOException; /**.. Deserialize the fields of this object from in... */ void readfields(datainput in) throws IOException; } Prof. Dr. Christian Herta 15/29

16 WritableComparable Erweitert Interface Writable und java.lang.comparable package org.apache.hadoop.io; public interface WritableComparable<T> extends Writable, Comparable<T> { } Wichtig für Key-Sortierung Prof. Dr. Christian Herta 16/29

17 RawComparator WritableComparator RawComparator ist Erweiterung des Java Interface Comparator zur Optimierung Ermöglicht Vergleich ohne dass das ganze Objekt deserialisiert werden muss (Overhead der Objekt-Erzeugung wird vermieden) Klasse WritableComparator ist eine allgemeine Implementierung des RawComparators Prof. Dr. Christian Herta 17/29

18 WritableComparable Wrapper Klassen für Java Primitives Java primitive Implementierung von Writable boolean BooleanWritable 1 byte ByteWritable 1 short ShortWritable 2 int IntWritable VIntWritable float FloatWritable 4 long LongWritable VLongWritable double DoubleWritable 8 Größe der Serialisieung in Bytes Prof. Dr. Christian Herta 18/29

19 Text Standard UTF-8 (nicht Javas modifizierte Version von UTF-8 für Objekt Serialisierung) Maximale Länge 2 GB Indexing über public void text(){ // 3byte 4byte Text mytext = new Text("\uD801\uDC00"); assertthat(mytext.find("\udc00", is(3)); } Text ist mutable (Java String nicht) Prof. Dr. Christian Herta 19/29

20 ObjectWritable Wrapper für JavaPrimitives, String, enum, Writable, null und Felder (Arrays) dieser Typen Schreibt Klassennamen der gewrappen Typen pro Eintrag zusätzlicher Speicherverbrauch Alternative für feste Typen (statisches Array fester Typen) per GenericWritable Prof. Dr. Christian Herta 20/29

21 weitere Writables bytewritable: Wrapper für Array von binären Daten nullwritable: Platzhalter für 0 bytes Immutable Singleton, Instanz über: NullWritable.get() Prof. Dr. Christian Herta 21/29

22 WritableCollections ArrayWritable ArrayPrimitiveWritable TwoDArrayWritable MapWritable SortedMapWritable EnumMapWritable keine sets (außer EnumSetWritable) oder lists Sets über MapWritable mit NullWritable Values Listen z.b. über ArrayWritable (gleicher Typ), GenericWritable (unterschiedliche Typen) Prof. Dr. Christian Herta 22/29

23 Serialisierung für eigene Typen Eigene Implementierungen des WritableComparators<XX> Kontrolle über Sortierordnung Tuning der binären Repräsentation wichtig für Performanz Keine Java Object Serialization (zu allgemein) API für pluggable Serialisierungsframeworks Apache Avro (oder mit begrenzter Unterstützung Apache Thrift, Google Protokol Buffers) Prof. Dr. Christian Herta 23/29

24 Datei-basierte Datenstrukturen Prof. Dr. Christian Herta 24/29

25 NLineinputFormat NLineinputFormat fasst n-zeilen für einen Mapper-Input zusammen Prof. Dr. Christian Herta 25/29

26 Datei-basierte Daten-Container Jedes binäre Blob in ein eigenes File skaliert nicht. Datei-basierte Daten-Container für binäre Daten Zwei Typen SequenceFile MapFile Prof. Dr. Christian Herta 26/29

27 SequenceFiles Für binäre Key-Value Paare Container für kleine Dateinen Prof. Dr. Christian Herta 27/29

28 MapFiles Sortiertes SequenceFile Persistente Version von java.util.map, die größer als die in-memory Version werden kann Prof. Dr. Christian Herta 28/29

29 Literatur Tom White, Hadoop The Definite Guide, third edition, 2012, O'Reilly Prof. Dr. Christian Herta 29/29