Lehrgebiet Informationssysteme

Transkript

1 Copyright/trademark held by / of the respective companies/organisations Lehrgebiet Informationssysteme AG Datenbanken und Informationssysteme (Prof. Härder & Prof. Michel) AG Heterogene Informationssysteme (Prof. Deßloch)

2 Was sind Informationssysteme? Informationssysteme sind computergestützte Programmsysteme, die Informationen erfassen, dauerhaft speichern, verarbeiten, verändern, analysieren, bereit stellen, anzeigen Lehrgebiet Informationssysteme 2

3 Wie sehen Daten und Anfragen aus? Beispiel: Betriebliche Informationssysteme spiegeln Geschäftsmodell eines Unternehmens wider organisieren und unterstützen Arbeitsabläufe integrieren eine Vielzahl von Datenquellen Gewährleistung von Konsistenz (ACID) essenziell im Kern: traditionelle Datenbanksysteme (Oracle, DB2, ) PersNr Name Rang Raum 2125 Sokrates W Russel W Kopernikus W Popper W Augustinus W Curie W Kant W3 7 In welchem Raum sitzt Prof. Kant? Welche W3 Professoren halten keine Vorlesungen? VorlNr Titel ECTS GelesenVon 5001 Grundzuege Ethik Erkenntnistheorie Maeeutik Logik Wissenschaftstheorie Bioethik Der Wiener Kreis Glaube und Wissen Die 3 Kritiken Wie viele ECTS lehrt Prof. Kopernikus? Hält Prof. Sokrates eine 4 ECTS Vorlesung? Lehrgebiet Informationssysteme 3

4 Wie sehen Daten und Anfragen aus? (2) Beispiel: Soziale Netzwerke, Twitter, Google, Petabytes an Daten in Google, mehrere hundert Millionen Tweets, Freundschaftsgraph in Facebook über Milliarden von Benutzern Verarbeitung von riesigen Datenmengen (in Echtzeit) Skalierung über hunderte/tausende Rechner in Datenzentren Stichwort: Big-Data Im Kern: Cloud-Computing, MapReduce, NoSQL, Datenstromverarbeitung Ist Stau auf der A6? Tom kennt Bob Alice Sue Sam Was ist die Durchschnittsgeschwindi gkeit auf der A1? Kennt Sue Bob? Um wieviele Ecken Kennen sich Aliceund Sue? Lehrgebiet Informationssysteme 4

5 Anforderungen an Informationssysteme Performance Corbis/Bettmann/Denis Pacquin Lehrgebiet Informationssysteme 5

6 Anforderungen an Informationssysteme Performance Korrektheit/Konsistenz Lehrgebiet Informationssysteme 6

7 Anforderungen an Informationssysteme Performance Korrektheit/Konsistenz Lehrgebiet Informationssysteme 7

8 Anforderungen an Informationssysteme Performance Korrektheit/Konsistenz Ausfallsicherheit Lehrgebiet Informationssysteme 8

9 The Big Data Era: Ein paar Zahlen Datenvolumen Google: PB (=15 Exabytes) Facebook: 300 PB Ebay: 90 PB Spotify: 10 PB Verarbeitete Daten/Tag Google: 100 PB Ebay: 100 PB NSA: 29 PB Facebook: 600 TB Twitter: 100 TB Spotify: 2,2 TB MB = 10 6 Bytes GB = 10 9 Bytes TB (Terabyte) = Bytes PB (Petabyte) = Bytes EB (Exabyte) = Bytes Dilbert.com Lehrgebiet Informationssysteme 9

10 Beispiel: Kritisches Datenvolumen Nehmen wir an wir haben 10 TB Daten auf Festplatte. Nun möchten wir diese Daten analysieren! Mit einer 100MB/s Festplatte dauert alleine das Lesen Sekunden 1666 Minuten 27 Stunden Lehrgebiet Informationssysteme 10

11 Google 1998 und heute Lehrgebiet Informationssysteme 11

12 Google 1998 und heute Nehmen wir an eine Festplatte geht ein Mal im Jahr kaputt. Wahrscheinlichkeit, dass heute mindestens eine von n kaputt geht? n=1: 0,0027 n=100: 0,239 n=1000: 0,9356 n=10 000: ~ 1,0 Lehrgebiet Informationssysteme 12

13 Ausfallsicherheit durch. Redundanz in Datenhaltung und Verarbeitung. (Log-basiertes) Recovery google.com Bei Systemabsturz: Welche Informationen müssen vorher auf Festplatte geschrieben werden? Was passiert bei Absturz während des Wiederanlaufes? noaa.gov Lehrgebiet Informationssysteme 13

14 Korrektheit Verschiedene Anwendungen haben verschiedene Anforderungen an Korrektheit/Konsistenz von Resultaten bzw. den gespeicherten Daten. Beispiel: Betriebliche Informationssysteme ACID Paradigma: Harte Anforderungen an Konsistenz, Mehrbenutzersynchronisation, etc. Alle Ergebnisse einer Anfrage sind korrekt und vollständig. Typischer Anwendungsfall: Transaktionen in einer Bank! A := Lese Kontostand Alice B := Lese Kontostand Bob A:=A-50 Schreibe A als Kontostand Alice B:=B+50 Schreibe B als Kontostand Bob Lehrgebiet Informationssysteme 14

15 Lehrgebiet Informationssysteme Amit Singhal: SIGIR 05 Keynote 15 Korrektheit (2) Beispiel: Soziale Netzwerke, Twitter, Google, Wollen Sie alle Treffer einer Google-Anfrage oder nur die besten 10? Und wie kann man Dokumente nach Güte ordnen? Wann ist ein Objekt überhaupt ein Ergebnis? Was ist mit Benutzereingaben?

16 Themen des Lehrgebiets IS Lehrgebiet Informationssysteme 16

17 Schwerpunkt IS im Bachelor Informatik jedes Jahr im Sommersemester jedes Jahr im Wintersemester alle 2 Jahre (versetzt) im Sommersemester Informationssysteme Middleware für heterogene und verteilte IS (8 ECTS) Neuere Entwicklungen f. Datenmodelle (8 ECTS) Distributed Data Management (4 ECTS) Information Retrieval und Data Mining (4 ECTS) Datenbanksysteme (DBS) Seminar Bachelorarbeit Erweiterung 16 LP Schwerpunkt: DBS + MWHVIS/NEDM Kernmodul LG x Kernmodul LG y Schwer punkt modul Kernmodul LG z Projekt Nebenfachmodule (inkl. Mathematik) 12 LP Schwerpunkt: DBS + DDM/IRDM Softwareentwicklung Basissysteme Theoretische Grundlagen (mit Mathematik) Allg. GL Lehrgebiet Informationssysteme 17

18 Projekte und Seminare DB-Projekt (im Sommersemester) Erstellung einer DB, Entwickeln von Anwendungsprogrammen, ORDBS (benutzerdef. Funktionen, Stored Procedures), Anwendungsentwicklung für Data Warehousing/OLAP IS-Projekt (im Wintersemester) Implementierung einer Web-Suchmaschine, inkl. Web-Crawler, Indexierung von Webseiten, Web-Suche, Qualitätsaspekte, Link-Analyse (PageRank), Bildersuche, Seminare (Bachelor und Master) regelmäßig im WS und SS aktuelle Themen aus dem Bereich Informationssysteme, z.b. Big Data Methoden oder Data Management auf moderner (SIMD, NUMA, etc.) Lehrgebiet Informationssysteme 18

19 Aktuelle Themen des Lehrgebiets Verarbeitung von großen Datenmengen in Echtzeit Trend-Analyse und Vorhersage in Twitter Methoden zur horizontalen Skalierung der Datenstromverarbeitung Extraktion von Entitäts-Ranglisten Analyse von strukturieren, semi-strukturierten Daten und Text, insbesondere Wissensdatenbanken (Ontologien) Instandhaltung der Ranglisten über dynamischen Daten Indexstrukturen und Algorithmen zur Ähnlichkeitssuche Lokalitäts-Sensitives-Hashing (LSH) Metrische Indexstrukturen, invertierte Indexe ligdb: Anfragegetriebene Datenverarbeitung ohne vollständige Datenbasis Lehrgebiet Informationssysteme 19

20 Aktuelle Themen des Lehrgebiets (2) Verarbeitung und Transformation von großen Datenmengen in Integrationsumgebungen Modellierung Generierung effizienter Implementierungen (Deployment) Datenmanagement in der Cloud NoSQL Databases Change Data Capture Inkrementelle Verarbeitung Effiziente Datentransformation in der Cloud Unterstützung inkrementeller MapReduce-Jobs Optimierung von Datenplatzierung und materialisierung in hybriden Plattformumgebungen (DBMS, ETL, Cloud) Transaktionssysteme Logging und Recovery Instant Restart Lehrgebiet Informationssysteme 20

21 Vorlesung Informationssysteme Vorlesung Informationssysteme Umfang: 4V + 2Ü (8 ECTS credits) regelmäßig im Sommersemester vermittelt Grundlagen und Methodenwissen Bachelor Informatik Pflichtmodul Informationssysteme im Block Basissysteme Bachelor Angewandte Informatik, Anwendungsbereich Information Management Pflichtmodul Informationssysteme auch in den Anwendungsbereichen Mathematisches Modellieren und Produktions- und Fahrzeugtechnik: Produktion und Konstruktion Lehrgebiet Informationssysteme 21

22 Vorlesung Informationssysteme: Inhalte Informationssuche und Data-Mining Informations- und Datenmodellierung Entity/Relationship-Modell, Relationenmodell Aufbau, Wartung und Abfrage von Datenbanken SQL: SELECT raum FROM professoren WHERE name= Härder Benutzerdefinierte Funktionen (UDFs), Trigger Schnittstelle für Anwendungsprogrammierung (JDBC) Sicherung der Abläufe in Datenbanken (Transaktionskonzept) ACID Prinzip: Atomarität, Konsistenz, Isolation, Dauerhaftigkeit Grundlagen von Informationssuche Vektorraummodell, Bewertungsmodelle, Google Pagerank Lehrgebiet Informationssysteme 22

23 Vorlesung Datenbanksysteme Kernmodul des Lehrgebiets Informationssysteme Umfang: 4V + 2Ü (8 ECTS credits) regelmäßig im Wintersemester setzt VL Informationssysteme voraus ist Voraussetzung für alle weiteren Veranstaltungen des LGs Bachelor Informatik Pflichtmodul im Schwerpunkt Informationssysteme Wahlmodul in der Erweiterung Bachelor Angewandte Informatik Pflichtmodule im Informatik-Schwerpunkt für Anwendung Information Management (-> Masteranwendung) Wahlmodul im Informatik-Schwerpunkt für Anwendung Mathematisches Modellieren und Produktions- und Fahrzeugtechnik Lehrgebiet Informationssysteme 23

24 Vorlesung Datenbanksysteme: Inhalte Anfragebearbeitung Implementierung von Operatoren Aufbau von und Zugriff auf Dateien Anfrageoptimierung Indexe, Kostenmodelle, Histogramme Anfrageübersetzung und Optimierung Transaktionskonzept Fehlerbehandlung (Recovery) nach Crash (Mehrdimensionale) Indexstrukuren R-Baum, Quadrantenbaum, erweiterbares Hashing, Methoden für Big Data Verarbeitung MapReduce Lehrgebiet Informationssysteme 24

25 Wieso eine Fokussierung auf IS-Themen? Hochinteressant (klar!) Extrem facettenreich in Forschung und Lehre Jobs! Anwendung von Datenbanken als Backend von z.b. Webentwicklung Arbeiten am Kern von Datenbanksystem Data Science: Modelle, Statistiken.. arbeiten mit echten Daten Lehrgebiet Informationssysteme 25

26 Wieso eine Fokussierung auf IS-Themen? (2) Copyright/trademark held by / of the respective companies/organisations Lehrgebiet Informationssysteme 26