JSON. Johannes Baiter. 5. Mai 2015

Transkript

1 JSON Johannes Baiter 5. Mai 2015

2 Kurz und Knapp

3 JavaScript Object Notation (JSON) is a lightweight, text-based, language-independent data interchange format. { } "title" "JSON: JavaScript Object Notation", "speaker": { "name": "Johannes Baiter", "major": "Computerlinguistik (Master)" }, "date": " T12:00:00.000Z", "location": [ , ]

4 Als sprach-unabhängiges Format definiert in RFC 7159 und ECMA-404 Nah an der Syntax für Objekt-Literals in JavaScript Sehr kompakt performante Parser, speicherschonend

5 Hat sich nach dem SOAP/XML-Kater der 2000er und mit dem Aufkommen von RESTful APIs als das de-facto Standard-Datenaustauschformat für HTTP schlechthin etabliert Mittlerweile auch abseits des Webs: PostgreSQL (JSON/JSONB Datentypen) MongoDB (BSON) Elasticsearch

6 Datentypen

7 Number Kann Dezimalpunkt, Vorzeichen und Exponentenzeichen e enthalten 1337, 1.337, 1e-5 String Boolean Unicode (meist UTF8), abgetrennt durch doppelte Anführungszeichen "foobar" true/false

8 Array Komma-separierte geordnete Liste von Datentypen, durch eckige Klammern abgetrennt ["foo", 42, ["ene", "mene"], {"bar": "foo"}] Object Komma-separierte, ungeordnete Sammlung von key: value-paaren, und abgetrennt durch geschweifte Klammern Schlüssel sollten unique sein {"foo": 12, "moo": 21}

9 Vorsicht bei Array und Object: Nach letztem Element/Paar kein Komma!

10 Sicherheit

11 Bedingt durch Kompaktheit weitaus unproblematischer als XML oder YAML Vorsicht in JavaScript: Nicht per eval(...) deserialisieren, sondern nur mit JSON.parse(...). Von HTTP-APIs nur Objekte ausliefern um CSRF-Attacken zu verhindern ( JSON is not as safe as people think it is)

12 Hands on mit Python

13 Serialisierung/Deserialisierung mit pickle. # Bei Python 2 besser: `import cpickle as pickle` >>> import pickle # Einfache Datentypen >>> serialized = pickle.dumps({'foo': 13, 'bar': [12, 13]}) >>> print(serialized) b'\x80\x03}q\x00(x\x03\x00\x00\x00fooq\x01k\rx\x03\x00\x00\ >>> print(pickle.loads(serialied)) {'bar': [12, 13], 'foo': 13} # Komplexere Datentypen >>> from datetime import datetime >>> now = pickle.dumps(datetime.now()) >>> print(now) b'\x80\x03cdatetime\ndatetime\nq\x00c\n\x07\xdf\x04\x1e\r\x >>> pickle.loads(now) datetime.datetime(2015, 4, 30, 13, 29, 33, )

14 Serialisierung/Deserialisierung von Python Primitiven mit json.dumps und json.loads. >>> import json >>> serialized = json.dumps({'foo': 13, 'bar': [12, 13]}) >>> print(serizalied) '{"foo": 13, "bar": [12, 13]}' >>> json.loads(serialized) {u'bar': [12, 13], u'foo': 13}

15 Serialisierung von komplexeren Datentypen mit einem eigenen JSONEncoder. >>> from datetime import datetime >>> json.dumps({'now': datetime.now()}) #... TypeError: datetime.datetime(...) is not JSON serializable # :-( >>> json.dumps({'now': datetime.now()}, cls=customjsonencod >>> class CustomJSONEncoder(json.JSONEncoder):... def default(self, obj):... if isinstance(obj, datetime):... return obj.isoformat()... else:... return super().default(self, obj) '{"now": " T21:53: "}' # :-)

16 Vergleich

17 JSON vs. XML Vorteile von JSON Schnellere (De-)Serialisierung [quelle] Sicherer, da der Parser sehr viel simpler ist (300 LOC (jsmn) vs LOC (libxml2)) Kleinere Datengröße, da weniger gesprächig Ironischerweie häufig menschenlesbarer (als z.b. SOAP, Konfigurationsdateien, XML/RDF)

18 Nachteile Schemalosigkeit macht Datenaustausch zwischen mehreren Parteien problemanfälliger (aber: JSON Schema in der Mache) Weniger breit einsetzbar als XML (z.b. für Hypertexte) Viel weniger Features (Querverweise, Datentypen, etc) XML besser für (Hyper-)Texte (z.b. TEI für annotierte Volltexte)

19 JSON vs. YAML Vorteile von JSON Nachteile Schnellere (De-)Serialisierung [quelle] Sicherer, da der Parser sehr viel simpler ist (300 LOC [jsmn] vs LOC [libyaml]) Parser in sehr vielen Standardlibraries vorhanden Weniger gut menschenlesbar Keine Querverweise möglich wie in YAML Keine eingebaute Unterstützung für eigene Datentypen YAML besser für Datenstrukturen, die regelmäßig von Menschen bearbeitet werden müssen (Konfigurationsdateien!)

20 JSON vs. pickle Vorteile von JSON Nachteile Schneller und platzsparender Sicherer: pickle.load kann beliebigen Code ausführen! ( Playing With Pickle Security, Beispiel) Menschenlesbar Kann auch außerhalb von Python deserialisiert werden Mehr Aufwand wenn man eigene Datentypen speichern will pickle ausschließlich für quick n dirty Szenarien, wenn man sich 100%ig sicher sein kann, dass die Daten nicht von Dritten bearbeitet werden können.