Datenbanken Unit 10: Ranking und Data Mining Erstellen und Ändern von Datenbanken

Transkript

1 Datenbanken Unit 10: Ranking und Data Mining Erstellen und Ändern von Datenbanken 7. VI. 2016

2 Organisatorisches nächste Woche am 14. Juni Abschlusstest (Gruppe 1: 10:00 11:15, Gruppe 2: 11:30 12:45 ) Übungsblatt mit vermischten Aufgaben als Vorbereitung heute letzte Wissensüberprüfung Am 21. Juni VO + UE im RWZ HS (von 8:30 bis 11 Uhr). XML-Einführung von Martin Antenreiter voraussichtlich am 21. Juni ab 10 Uhr Abschlusstest VO am 28. Juni, 9 11 Uhr im Zeichensaal (Anmeldung über MU Online) alte Prüfung online

3 Organisatorisches VO nächste Woche (14. Juni): Fragen zum UE-Abschlusstest VO übernächste Woche (21. Juni): Fragen zur VO-Abschlussprüfung & weitere Normalisierungsbeispiele

4 Nachbetrachtung Wissensüberprüfung DIE REGEL!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!Alles was im SELECT keine Aggregatfunktion ist,!! muss ins GROUP BY!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

5 Nachbetrachtung Wissensüberprüfung DIE REGEL!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!Alles was im SELECT keine Aggregatfunktion ist,!! muss ins GROUP BY!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! Hat man mehrere Attribute neben Aggregatfunktion im SELECT, dann müssen auch mehrere Attribute ins GROUP BY.

6 Nachbetrachtung Wissensüberprüfung DIE REGEL!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!Alles was im SELECT keine Aggregatfunktion ist,!! muss ins GROUP BY!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! Hat man mehrere Attribute neben Aggregatfunktion im SELECT, dann müssen auch mehrere Attribute ins GROUP BY. z.b.: SELECT spalte1, spalte2, COUNT(*) FROM tabelle GROUP BY spalte1, spalte2

7 SQL: Erstellen und Ändern von Datenbanken und Tabellen Heute: Erstellen und Ändern von Datenbanken und Tabellen Index auf Datenbanken

8 Index auf Datenbanken Outline 1 Organisatorisches 2 Ranking und Data Mining Index auf Datenbanken Ranking Klassifikation Assoziationsregeln Clustering 3 Datenschutz 4 Normalisierung

9 Index auf Datenbanken Indexstrukturen auf Datenbanken (letzte Kopien dazu im Sekretariat) Sucht man in Tabelle Zeilen mit bestimmtem Wert in Spalte, muss man sich im schlimmsten Fall alle Zeilen ansehen. Indexstrukturen auf Tabellen helfen durch Vorsortierung, sodass Abfragen schneller ausgeführt werden können. Verschiedene Indexstrukturen: Index Sequential Access Method (ISAM) B-Bäume B + -Bäume Hashing Bitmap Indizes

10 Index auf Datenbanken Indexstrukturen auf Datenbanken Verschiedene Indexstrukturen: Index Sequential Access Method (ISAM) B-Bäume B + -Bäume Hashing Bitmap Indizes Der Performancegewinn von Abfragen sowie der Performanceverlust von Änderungen hängen von der verwendeten Indexstruktur ab. In SQL hat man entsprechend je nach verwendeter Variante die Wahl zwischen verschiedenen Indextypen.

11 Ranking Outline 1 Organisatorisches 2 Ranking und Data Mining Index auf Datenbanken Ranking Klassifikation Assoziationsregeln Clustering 3 Datenschutz 4 Normalisierung

12 Ranking Ranking Aufgabe: haben mehrere Listen derselben Objekte, gereiht nach verschiedenen Kriterien aggregieren die verschiedenen Kriterien zu einem Wert (einfachster Fall: Summe) hätten gerne die besten k Objekte Naive Lösung: Berechnen Wert für alle Objekte und sortieren Bessere Lösung: Threshold Algorithmus No Random Access Algorithmus

13 Klassifikation Outline 1 Organisatorisches 2 Ranking und Data Mining Index auf Datenbanken Ranking Klassifikation Assoziationsregeln Clustering 3 Datenschutz 4 Normalisierung

14 Klassifikation Data Mining Idee: haben viele Daten suchen nach speziellen Mustern

15 Klassifikation Data Mining Idee: haben viele Daten suchen nach speziellen Mustern Wir unterscheiden dabei: Klassifikation Assoziationsregeln Clustering

16 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese

17 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese Beispiele:

18 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese Beispiele: Risiko für Versicherungsfall (gegeben: Geschlecht, Alter etc.)

19 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese Beispiele: Risiko für Versicherungsfall (gegeben: Geschlecht, Alter etc.) Risiko, dass Kredit nicht zurückgezahlt wird (gegeben: Geschlecht, Alter, Familienstand, Arbeitsverhältnis, etc.)

20 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese Beispiele: Risiko für Versicherungsfall (gegeben: Geschlecht, Alter etc.) Risiko, dass Kredit nicht zurückgezahlt wird (gegeben: Geschlecht, Alter, Familienstand, Arbeitsverhältnis, etc.) Aussicht, dass medizinische Behandlung erfolgreich

21 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese Beispiele: Risiko für Versicherungsfall (gegeben: Geschlecht, Alter etc.) Risiko, dass Kredit nicht zurückgezahlt wird (gegeben: Geschlecht, Alter, Familienstand, Arbeitsverhältnis, etc.) Aussicht, dass medizinische Behandlung erfolgreich Ist Spam?

22 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese Beispiele: Risiko für Versicherungsfall (gegeben: Geschlecht, Alter etc.) Risiko, dass Kredit nicht zurückgezahlt wird (gegeben: Geschlecht, Alter, Familienstand, Arbeitsverhältnis, etc.) Aussicht, dass medizinische Behandlung erfolgreich Ist Spam? Enthält dieses Bild eine Katze?

23 Klassifikation Klassifikation Setting: interessieren uns für bestimmte Eigenschaft schauen uns vergangene Daten an und generieren Hypothese Beispiele: Risiko für Versicherungsfall (gegeben: Geschlecht, Alter etc.) Risiko, dass Kredit nicht zurückgezahlt wird (gegeben: Geschlecht, Alter, Familienstand, Arbeitsverhältnis, etc.) Aussicht, dass medizinische Behandlung erfolgreich Ist Spam? Enthält dieses Bild eine Katze? Ist diese Website über Datenbanknormalisierung?

24 Klassifikation Maschinelles Lernen Es gibt viele verschiedene Methoden, um aus Daten zu lernen : Neuronale Netze Entscheidungsbäume Support Vector Machines. Lehrveranstaltung Maschinelles Lernen (Auer)

25 Assoziationsregeln Outline 1 Organisatorisches 2 Ranking und Data Mining Index auf Datenbanken Ranking Klassifikation Assoziationsregeln Clustering 3 Datenschutz 4 Normalisierung

26 Assoziationsregeln Assoziationsregeln Setting: möchten aus großer Datenmenge bestimmte Regeln ableiten Beispiel: Wenn jemand einen PC kauft, dann auch einen Drucker.

27 Assoziationsregeln Assoziationsregeln Setting: möchten aus großer Datenmenge bestimmte Regeln ableiten Beispiel: Wenn jemand einen PC kauft, dann auch einen Drucker. Diese Assoziationsregeln gelten i.a. nicht immer:

28 Assoziationsregeln Assoziationsregeln Setting: möchten aus großer Datenmenge bestimmte Regeln ableiten Beispiel: Wenn jemand einen PC kauft, dann auch einen Drucker. Diese Assoziationsregeln gelten i.a. nicht immer: Konfidenz: In wievielen % der Fälle stimmt die Regel? (Wieviele PC Käufer haben auch einen Drucker gekauft?)

29 Assoziationsregeln Assoziationsregeln Setting: möchten aus großer Datenmenge bestimmte Regeln ableiten Beispiel: Wenn jemand einen PC kauft, dann auch einen Drucker. Diese Assoziationsregeln gelten i.a. nicht immer: Konfidenz: In wievielen % der Fälle stimmt die Regel? (Wieviele PC Käufer haben auch einen Drucker gekauft?) Support: Aus wievielen Daten wurde die Regel abgeleitet? (In wievielen % der Einkäufe wurden ein PC und ein Drucker zusammen gekauft?)

30 Assoziationsregeln Der A Priori Algorithmus möchten alle Assoziationsregeln mit Support s min und Konfidenz c min. frequent itemset := Menge von Items mit Support s min Algorithmus für das Finden von frequent itemsets: Überprüfe für jeden Item i, ob {i} ein frequent itemset ist. Wiederhole: Für jedes gefundene frequent itemset F und jeden Item i / F überprüfe ob F {i} ein frequent itemset ist.

31 Assoziationsregeln Ableiten von Regeln aus Frequent Itemsets Sind frequent itemsets bekannt, so lassen sich leicht Assoziationsregeln daraus ableiten: Wenn F ein frequent itemset und F = L R mit L R =, dann ist L R Assoziationsregel mit Konfidenz(L R) = Support(F) Support(L) Überprüfe, ob Regel Konfidenz c min hat.

32 Assoziationsregeln Ableiten von Regeln aus Frequent Itemsets Wenn F ein frequent itemset und F = L R mit L R =, dann ist L R Assoziationsregel mit Konfidenz(L R) = Support(F) Support(L) Überprüfe, ob Regel Konfidenz c min hat. Beispiel: Wenn {Drucker, Papier, Toner} ein frequent itemset, dann haben wir die Assoziationsregel mit Konfidenz Drucker Papier, Toner Support({Drucker, Papier, Toner}) Support({Drucker})

33 Assoziationsregeln Erhöhen der Konfidenz Für zwei Assoziationsregeln L R, L + R abgeleitet aus demselben frequent itemset F = L R = L + R mit L L + und R R, gilt allgemein Konfidenz(L + R ) Konfidenz(L R). kann Konfidenz durch Verschieben von Items von rechts nach links erhöhen!

34 Assoziationsregeln Erhöhen der Konfidenz Für zwei Assoziationsregeln L R, L + R abgeleitet aus demselben frequent itemset F = L R = L + R mit L L + und R R, gilt allgemein Konfidenz(L + R ) Konfidenz(L R). kann Konfidenz durch Verschieben von Items von rechts nach links erhöhen! Beispiel: Konfidenz({Drucker, Papier} {Toner}) (1) Konfidenz({Drucker} {Papier, Toner}) (2)

35 Assoziationsregeln Anwendung: Empfehlungen Beispiel: Empfehlungen bei amazon funktioniert nicht immer gut (etwa bei Kunden mit ausgefallenem Geschmack): Liebe Kundin, lieber Kunde! Kunden, die sich für The Art of Chess Combination von Eugene Znosko-Borovsky interessierten, haben Read the High Country: A Guide to Western Books and Films von Mort bestellt. Daher möchten wir Sie darüber informieren, dass Read the High Country: A Guide to Western Books and Films von Mort in Kürze erscheinen wird. Bestellen Sie jetzt Ihr Exemplar vor! (Support zu gering!)

36 Clustering Outline 1 Organisatorisches 2 Ranking und Data Mining Index auf Datenbanken Ranking Klassifikation Assoziationsregeln Clustering 3 Datenschutz 4 Normalisierung

37 Clustering Clustering Setting: Gegeben: große Datenmenge finde Cluster von ähnlichen Daten

38 Clustering Clustering Setting: Gegeben: große Datenmenge finde Cluster von ähnlichen Daten Beispiel: Cluster in Bilddaten Bilder im gleichen Cluster zeigen ähnliche Objekte

39 Clustering Beispiel: Books that make you dumb

40 Clustering Beispiel: Music that makes you dumb

41 Datenschutz In George Orwells Dystopie 1984 überwacht die Regierung ihre Bürger. ( Big brother is watching you. )

42 Datenschutz In George Orwells Dystopie 1984 überwacht die Regierung ihre Bürger. ( Big brother is watching you. ) Die Gegenwart ist noch schlimmer: Menschen teilen alle Details ihres Leben mit

43 Datenschutz In George Orwells Dystopie 1984 überwacht die Regierung ihre Bürger. ( Big brother is watching you. ) Die Gegenwart ist noch schlimmer: Menschen teilen alle Details ihres Leben mit ihren Freunden und Bekannten,

44 Datenschutz In George Orwells Dystopie 1984 überwacht die Regierung ihre Bürger. ( Big brother is watching you. ) Die Gegenwart ist noch schlimmer: Menschen teilen alle Details ihres Leben mit ihren Freunden und Bekannten, jedem, den es interessiert,

45 Datenschutz In George Orwells Dystopie 1984 überwacht die Regierung ihre Bürger. ( Big brother is watching you. ) Die Gegenwart ist noch schlimmer: Menschen teilen alle Details ihres Leben mit ihren Freunden und Bekannten, jedem, den es interessiert, großen Firmen wie Facebook oder google (und der NSA).

46 Datenschutz In George Orwells Dystopie 1984 überwacht die Regierung ihre Bürger. ( Big brother is watching you. ) Die Gegenwart ist noch schlimmer: Menschen teilen alle Details ihres Leben mit ihren Freunden und Bekannten, jedem, den es interessiert, großen Firmen wie Facebook oder google (und der NSA). If it s free, YOU (=your data) are the product.

47 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können?

48 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste?

49 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste? (regelmäßig große Mengen an Alkohol)

50 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste? (regelmäßig große Mengen an Alkohol) Bücher, die Sie lesen / Musik, die Sie hören?

51 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste? (regelmäßig große Mengen an Alkohol) Bücher, die Sie lesen / Musik, die Sie hören? (siehe oben)

52 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste? (regelmäßig große Mengen an Alkohol) Bücher, die Sie lesen / Musik, die Sie hören? (siehe oben) Ihre Hobbies

53 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste? (regelmäßig große Mengen an Alkohol) Bücher, die Sie lesen / Musik, die Sie hören? (siehe oben) Ihre Hobbies (Fallschirmspringen)

54 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste? (regelmäßig große Mengen an Alkohol) Bücher, die Sie lesen / Musik, die Sie hören? (siehe oben) Ihre Hobbies (Fallschirmspringen) Informationen können isoliert betrachtet harmlos aussehen, in Kombination jedoch unerwünschte Schlüsse zulassen: Sie haben gestern früh Milch gekauft. Sie haben sich gestern nachmittag auf Facebook eingeloggt.

55 Datenschutz Welche Informationen sind so harmlos, dass Sie sie mit jedem teilen können? Ihre Einkaufsliste? (regelmäßig große Mengen an Alkohol) Bücher, die Sie lesen / Musik, die Sie hören? (siehe oben) Ihre Hobbies (Fallschirmspringen) Informationen können isoliert betrachtet harmlos aussehen, in Kombination jedoch unerwünschte Schlüsse zulassen: Sie haben gestern früh Milch gekauft. Sie haben sich gestern nachmittag auf Facebook eingeloggt. Sie waren gestern krank gemeldet.

56 Datenschutz Gewisse Information möchte man u.u. nicht mit anderen teilen (z.b. dem Arbeitgeber, der Versicherung, dem Nachbarn, usw.): Krankheiten politische Einstellung sexuelle Orientierung...

57 Datenschutz Gewisse Information möchte man u.u. nicht mit anderen teilen (z.b. dem Arbeitgeber, der Versicherung, dem Nachbarn, usw.): Krankheiten politische Einstellung sexuelle Orientierung... Darüber sprechen Sie nicht auf Facebook?

58 Datenschutz Zuverlässigkeit der Einschätzung nach 170 Facebook Likes:

59 Datenschutz Zuverlässigkeit der Einschätzung nach 170 Facebook Likes: Sexuelle Orientierung: 88 %

60 Datenschutz Zuverlässigkeit der Einschätzung nach 170 Facebook Likes: Sexuelle Orientierung: 88 % Politische Einstellung: 85 %

61 Datenschutz Zuverlässigkeit der Einschätzung nach 170 Facebook Likes: Sexuelle Orientierung: 88 % Politische Einstellung: 85 % Religion: 82 %

62 Datenschutz Zuverlässigkeit der Einschätzung nach 170 Facebook Likes: Sexuelle Orientierung: 88 % Politische Einstellung: 85 % Religion: 82 % Beziehungsstatus: 67 %

63 Datenschutz Zuverlässigkeit der Einschätzung nach 170 Facebook Likes: Sexuelle Orientierung: 88 % Politische Einstellung: 85 % Religion: 82 % Beziehungsstatus: 67 % Drogenkonsum: 65 %

64 Datenschutz Auch ohne Likes können aus dem Facebook-Graphen Rückschlüsse gezogen werden über: ehemalige Mitschüler Arbeitskollegen mit wem Sie Ihre Freizeit verbringen Ihren Partner

65 Datenschutz Social credit sytem (SCS) in China bewertet Bürger anhand Verhalten in sozialen Netzwerken Einkaufsverhalten Bankdaten Jeder Bürger erhält sogenannte Sesame credit points für gutes Verhalten, für schlechtes Verhalten gibt es Punkteabzüge. Ob ein Bürger z.b. ein Visum fürs Ausland bekommt, hängt dann von seinem Punktestand ab.