Internet Briefing. Real-Time Web. Technische Standards und Herausforderungen. Namics. Jürg Stuker. CEO. Partner. 7. April 2010

Transkript

1 Internet Briefing. Real-Time Web. Technische Standards und Herausforderungen. Namics. Jürg Stuker. CEO. Partner. 7. April 2010

2 The sum of the expertise of the people in the audience is greater than the sum of expertise of the person on stage. Quelle:

3 Nutrition Facts Serving Size less than 1 Hour (1 RU = Reto Unit) % of Hourly Value Answers 0% Effects 10% Principles and Tipps 40% Your Experience Namics Experience 50% No significant source of Backend. * Percent Daily Values are based on a light tech diet.

4 Was ist neu? Präsentation / Austausch ist (gefühlt) synchron

5 Was ist neu? Ökosystem: APIs

6 Was ist neu? Ökosystem: Anwendungsintegration

7 Was ist neu? Embedding

8 Was ist neu? Userseitige Netzwerkeffekte

9 Was ist neu? Netzwerkeffekte erzeugen Lastspitzen

10 Was ist neu? Aggregation (und Republikation / Autopost) von Daten

11 Was ist neu? Aggregation (und Republikation / Autopost) von Daten

12 Was ist neu? mulitmediale Daten sind alltäglich

13 Was ist neu? Zeit als primäres Rangierungsprinzip

14 Was ist neu? Technische Implikationen? Präsentation / Austausch ist (gefühlt) synchron Ökosystem APIs Anwendungs-integration Embedding Userseitige Netzwerkeffekte Netzwerkeffekte erzeugen Lastspitzen mulitmediale Daten sind alltäglich Aggregation (und Republikation / Autopost) von Daten Zeit als primäres Rangierungsprinzip

15 Client Performance.

16

17 Client Performance Die Vielfalt war noch nie so gross Hardwareperformance 9,6 KB 100 MB Bandbreite für Access

18 Client Performance Die neue Problemzone

19 Client Performance Und dann noch...

20 Quelle:

21 Client Performance Geschwindigkeit: Tipps Yahoo: Best Practices for Speeding Up Your Web Site ( Page Speed: YSlow: Client Code Performance! clientseitige Tests Explizite Vereinbarung (aber: Realität zählt) Ladezeit (80% aller Requests) Darstellungszeit (definiertes Umfeld) minimale Bandbreiten

22 APIs.

23 APIs Nett und sinnvoll: Schnittstellen anbieten! So einfach wie nur irgendwie möglich selbstbeschreibend zustandslos Client bestimmt Ausgabeformat Web-Stack HTTP(s): GET / POST (/PUT / DELETE) URI XML, JSON cachable

24 Content Distribution (Networks).

25 Content Distribution (Networks) Der folgende Dreisatz (Grösse Mediadatei / ø Abspielzeit) * ø Zuschauer

26 Content Distribution (Networks) Meist so...

27 Content Distribution (Networks) Besser wäre aber so...

28 Content Distribution (Networks) Lösungsraum selber machen outsourcen Fragen Branding / Sichtbarkeit des Outsourcers Vertrags- / Compliancebestimmungen Kosten für Durchführung / Kosten für Auf- und Abbau (und weitere, irrationale Argumente)

29 Content Distribution (Networks) CDN: Tipps Auslagern von Mediendateien! bessere Infrastruktur mehrere Hostnamen (Sockets) (Spezialfall) Auslagern zentraler Bibliotheken z.b. Mein Favorit für Content Delivery Amazon S3 (mit oder ohne) Amazon Cloudfront

30 Timelines.

31 Timelines So eher nicht

32 Timelines So, je nachdem

33 Timelines Relevanzgewichtung Relevant heisst für mich hier und jetzt wichtig Doch wie weiss die Suchmaschine was hier und jetzt ist ( der Kontext ) Alle Dokumente der Kollektion objektive Relevanz subjektive Relevanz geschätzte Relevanz Mein Informationsbedürfnis Meine aktuelle Anfrage

34 Timelines Welche ist nun die beste Reihenfolge?

35 Everything runs from memory.

36 Everything runs from memory Links Twitter, an Evolving Architecture Improving Running Components at Twitter Memcached: Distributed Memory Object Caching System

37 Scale Out.

38 Scale Out Echte Skalierbarkeit? scale up scale out

39 Scale Out Ein paar Realitäten Bei tausenden von Knoten Disk, Memory und andere I/O-Fehler Ausfall einzelner Rechner Netzwerkprobleme / -partitionierung etc. Transaktionen müssen synchronisiert werden Riesige Datensets müssen partitioniert werden

40 Scale Out Folgen Neue Algorithmen Partionierung (Separations of Concerns) simple Schnittstellen Keine (möglichst wenig) zentralen Daten Zustand(slos) transaktionale Informationen Lose Koppelung Queueing

41 Scale Out ACID versus BASE ACID (Atomicity, Consistency, Isolation, Durability) Strong consistency Isolation Focus in commit Nested transactions Availablity? Conservative (pessimistic) Difficult evolution (e.g. schema) Quelle: Eric Brewer. Towards Robust Distributed Systems BASE (Basically Available, Soft-state, Eventual consitency) Weak consistency (stale OK) Availability first Best effort Approximative answers OK Aggressive (optimistic) Simpler! Faster Easier evolution

42 Scale Out Das CAP Theorem ( pick two ) Consistency Availability Tolerance to Network Partitions Quelle: Armando Fox and Eric A. Brewer. Harvest, Yield, and Scalable Tolerant Systems.

43 Scale Out Links (1 von 2) Eric Brewer. Towards Robust Distributed Systems Werner Vogels. Eventually consistent. Communications of the ACM Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung. The Google File System Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simplified Data Processing on Large Clusters

44 Scale Out Links (2 von 2) Fay Chang, Jeffrey Dean, Sanjay Ghemawat etc al. Bigtable: A Distributed Storage System for Structured Data Jinesh Varia. Architecting for the Cloud: Best Practices. AWS Whitepaper Jinesh Varia. Cloud Architectures Werner Vogels et al. Dynamo: Amazon s Highly Available Keyvalue Store amazons_dynamo.html

45 Cloud Deployment.

46 Cloud Deployment Cloud Deployment: Tipps Bei Patrice gut zuhören Elastizität Scalr:

47 Deduplikation.

48 Deduplikation Problem Derselbe Inhalt an hunderten von Orten?

49 Deduplikation Etwa so?

50 Deduplikation Deduplikation: Tipps Prio 1: Canonical URL festlegen und angeben specify-your-canonical.html Prio 2: Redirection HTTP STATUS 301 Den Rest für die Crawler aussperren <META NAME="ROBOTS" CONTENT="NOINDEX, FOLLOW > /robots.txt Test über Ego-Queries in den Suchmaschinen

51 Syndikation.

52 Syndikation Ausgangspunkt Inhalte können als Feeds (RSS / Atom) mit zustandslosen URLs (REST) ausgerufen werden Wie werde Änderungen populiert? Poll Push Publish/Subscribe

53 Syndikation Poll: Hast Du Dich geändert? Feed-Discovery

54 Syndikation Push: Ich habe mich geändert! XML-RPC POST REST GET

55 Syndikation Publish/Subscribe Paradigma aus der alten Welt Message Queue Paradigma zentraler Hub verwaltet Abos von Konsumenten ( Subscriber ) empfängt Updates von Produzenten ( Publishers ) und leitet dieser weiter Ziele (in der Nähe) von Real-Time effizient Alles drin : PubSubHubbub

56 Syndikation Syndikation: Tipps Es den Konsumenten einfach machen! Rechtlicher Rahmen Autodiscovery unterstützen (zumindest) Update Ping an die Wichtigen z.b. PubSubHubbub Protocol anschauen

57 <schon-fast-am-ende />.

58 Was ist neu? Technische Implikationen? Präsentation / Austausch ist (gefühlt) synchron Ökosystem APIs Anwendungs-integration Embedding Userseitige Netzwerkeffekte Netzwerkeffekte erzeugen Lastspitzen mulitmediale Daten sind alltäglich Aggregation (und Republikation / Autopost) von Daten Zeit als primäres Rangierungsprinzip

59 Was ist neu? Technische Implikationen! Schnittstelllen anbieten (und nutzen)! Effiziente Benachrichtigung über Plattformgrenzen Skalierbare und elastische Architektur Cachability und Auslagern von Daten

60 Download: