Modern Concepts of Distributed Computing

Transkript

1 Modern Concepts of Distributed Computing Seminar im Sommersemester 2013 Christopher Mutschler Stephan Otto

2 Inhalt 1. Einführung 2. Motivation 3. Was sind die grundlegenden Konzepte hinter Distributed Computing? 4. Ziele des Seminars 5. Voraussetzungen 6. Themen 7. Termine

3 Einführung Fraunhofer Institut für Integrierte Schaltungen

4 Einführung Fraunhofer Institut für Integrierte Schaltungen 1985 gegründet, ca. 700 MitarbeiterInnen Budget ca. 90 Mio. Euro, 80% Projektfinanzierung, 20% Grundfinanzierung Standorte in Erlangen, Nürnberg, Fürth, Dresen, Ilmenau, Würzburg, Saarbrücken (Berlin) Geschäftsfelder: Audio & Multimedia, Bildsysteme, Rundfunk, Eingebettete System, IC-Design, Lokalisierung, Navigation, Logistik, Medizintechnik... Hohe Vernetzung mit Hochschulen und Universitäten

5 Einführung Abteilung Funkortung und -kommunikation Lokalisierung: Wissen wo! Time (Difference) of Arrival (ToA / TDoA) Direction of Arrival (DoA) Sensorfusion & Ereignisverarbeitung Anwendungsentwicklung Winkelmessung Laufzeitmessung TOA, TDOA, RTT DOA Phasenmessung λ = c / f Inertialsensorik Beschleunigung Lage Kompass, Gyroskop

6 Einführung Gruppe Sensorfusion & Ereignisverarbeitung Software Framework Eventprocessing Antennas, Tags (ToA, RTT, AoA, ) Data Fusion Eventobservation Complex Event Processing Kalman Filter Partikelfilter Map Matching 3D-Visualisierung Anwendungen

7 Motivation RedFIR Echtzeit Performance Analyse im Sport RedFIR Ball & Spielertracking ( Chip im Ball ) Positionen pro Sekunde Echtzeitverarbeitung und Ereigniserkennung

8 Motivation Finanzen Finanzdienstleister und Börsen (NYSE) average latencies of 25 microseconds 1 million 200 byte messages per second per core. Sprtwetten Bet365: Server

9 Motivation Twitter facts Twitter facts Echtzeitsuche Anfragen / Sekunde Komplette in-memory Datenbank 300 tweets / Sekunde a 126 Follower 100 interne Requests für 1 externen Request

10 Was ist Distributed Computing? Begriffsklärung Distributed computing is a field of computer science that studies distributed systems. Distributed computing also refers to the use of distributed systems to solve computational problems. In distributed computing, a problem is divided into many tasks, each of which is solved by one or more computers, which communicate with each other by message passing Quelle:

11 Was ist Distributed Computing? Was bedeutet das nun konkret? Mehrere separierte Einheiten werden auf geeignete Weise so verwendet, um ein gemeinsames Ergebnis (Ziel) zu erreichen Geht über die Konzepte paralleler Programmierung hinaus bzw. vereinigt diese in sich Nebenläufigkeitsaspekte treten hier nicht nur zwischen einzelnen Threads sondern vielmehr zwischen den Rechenknoten auf Datenstromverteilung, Datenzugriffe, und Arbeitsverteilung müssen auch hier koordiniert ablaufen Bekannte Verfahren aus der klassischen Informatik in diesem Zusammenhang: Remote Procedure Calls (RPC) Message Passing Publish/Subscribe

12 Was ist Distributed Computing? Unterschiede zu Parallel Computing Größter Unterschied: Getrennter Adress- und Speicherbereich! Locking wird noch viel teurer, da u.u. Netzwerkverkehr notwendig ist Tasks laufen auf verschiedenen Cores unterschiedlich schnell ab, bei Parallelprogrammierungen haben alle Cores meist equivalente Leistung (Dynamische) Taskverteilung oft nicht von einer zentralen Stelle aus machbar Wenn überhaupt ein zentraler Koordinater vorhanden ist, hat der höchsten high-level Entscheidungsbereiche Etwas weiter entfernter Problembereich, dennoch relevant: Gehen die Uhren auf allen Maschinen denn gleich? Gehen die Uhren auf allen Maschinen denn gleich schnell?

13 Was ist Distributed Computing? Wohin geht s? Programmiersprachenunabhängige Paradigmen: Concurrency-Bibliotheken in.net und Java Software Transactional Memory Programmiersprachen: Erlang (seit 1987), verfügbare Systeme im Telekommunikationsbetrieb Google Go (seit 2009), entstanden aus der Unzufriedenheit über fehlende Skalierbarkeitshilfen bisheriger Programmiersprachen Scala (2001, 2011), Entwicklungen zum Ausbau paralleler Programmierungsmethoden Datenmanagement Daten werden immer häufiger on-the-fly verarbeitet, ohne sie überhaupt abzuspeichern

14 Ziele Was bringt's? Ziele des Seminars: Verstehen eines Themenkomplexes und Wissensvermittlung Identifizierung von Problemstellungen und eventueller Forschungsschwerpunkte Erlernen von Präsentationstechniken, freier Vortrag vor Publikum Ziele des Vortrags: Einarbeitung in ein (vielleicht) bisher unbekanntes Thema In vorgegebener Zeit das nötige Wissen über einen bestimmte Themenbereich vermitteln (Berücksichtigung des Wissens der Zuhörer) Spaß am Vortragen Spaß am Zuhören

15 Voraussetzungen Was wir wollen Was ihr wollt (braucht) Was wir wollen: Ein ca. 45-minütiger Vortrag ( + Zeit für Fragen, EN oder DE) Erstellung einer Ausarbeitung (ca. 6-8 Seiten) Anwesenheit bei den Vorträgen der anderen Teilnehmer Evaluation / Kritik anderer Vorträge Abgabe Folien: eine Woche vor dem Vortrag Ausarbeitung: Ende des Semesters Was ihr wollt: 5 ECTS Seminarschein benotet / unbenotet Was wollt ihr sonst?

16 Voraussetzungen Tipps zur Vorbereitung Mindestens 3 Wochen vorher beginnen Rechtzeitig Kontakt zum Betreuer aufnehmen und ggf. offene Fragen klären Frühzeitig um Literatur kümmern Folien Korrektur lesen lassen (Umlaute, Sprache, Rechtschreibung) Probevortrag halten (ganze Sätze, ähm, öh,...) Schriftgröße und Farben am Beamer und ggf. Ausdruck testen Pünktlich zum (eigenen) Vortrag erscheinen (Laptop, Tafel) Beamer testen

17 Voraussetzungen Tipps zu euren Folien Beschränkt euch aufs Wesentliche Eigene Worte benutzen Keine Plagiate Alle benutzten Quellen als Fußnote bzw. Referenz angeben (v.a. bei Bildern) Folienerstellung Latex (beamer) MS Office / OpenOffice

18 Voraussetzungen Tipps zu euren Folien Ein Gedankengang pro Folie Stichwörter und keine ganzen Sätze Schriftgröße: minimal 20, maximal 28 Bilder (Farbe ist erlaubt!) Animationen (wenn denn überhaupt) gezielt einsetzen 1-2 Minuten pro Folie rechnen (ihr kennt eure Folien, andere nicht) Auf Zusammenhang zwischen Folie und Vortrag achten Foliennummerierung, Name & Titel auf Deckblatt Zusammenfassung am Ende

19 Voraussetzungen Tipps zum Vortrag Aufmerksamkeitsspanne maximal Minuten Tipps: Themenwechsel Ein paar Bilder, Messwerte, etc. Passende Zitate einblenden Übergangsfolien Mal die Tafel benutzen... Weiterführende Tipps:

20 Themen 1. Programmiersprachenunabhängige Paradigmen, Modelle, und Methoden 2. Synchronization of Distributed Applications 3. Software Transactional Memory 4. Scala 5. Google Go 6. Erlang 7. Concurrency-Libs in.net und Java 8. Methods for Testing and Debugging of Distributed Applications 9. Distributed No-SQL Datastores: Übersicht und Vergleich 10. Distributed Algorithms in No-SQL Databases 11. Datenmodellierungstechniken für verteilten Datenbanken 12. Verteilte Dateisysteme 13. Bigtable: A Distributed Storage System for Structured Data 14. Apache Hadoop und MapReduce 15. Redis 16. Apache Lucen 17. Complex Event Processing 18. Twitter 19. Amazon EC2 20. Facebook

21 Termin Infos zur Terminfindung Doodle zur Terminfindung Mei mehr als einem notwendigen Termin: 1. Doodle-Poll zur Anwesenheitsabdeckung (bis ) Hier bitte großzügig eure freien Termine angeben ihr legt euch hier noch nicht mit eurem Vortrag auf diesen Termin fest 2. Doodle-Poll für den eigenen Vortrag (bis ) Aufbauend auf dem 1. Poll werden nun Termine ausgewählt. Bitte tragt hier die Termine ein, an denen ihr euren Vortrag halten könntet. Tipp: je flexibler ihr euch im 1. Poll eintragt, desto größer ist die Wahrscheinlichkeit nicht so viele Termine zu haben! Ähnliches gilt für den 2. Poll