4. Aufgabenblatt - Auswertung -

Transkript

1 4. Aufgabenblatt - Auswertung - Patrick Schäfer Berlin, 22. Januar 2017 patrick.schaefer@hu-berlin.de

2 Agenda Aufgabe 4 Aufgabe 5: Naïve Bayes

3 Daten (Wettbewerbsaufgabe!) - Gegeben sei eine Datenbank aller Einwohner eines Landes - Felder der Tabelle EINWOHNER: - ID, Name, Vorname, Geburtsdatum, Wohnort, Adresse, PLZ, Bundesland, VaterID, MutterID - Instanziierung ist vorher unbekannt! - Ca Tupel - Die älteste Person wurde 1914 geboren - Kinder bekommt man frühestens mit 18 - VaterID bzw. MutterID ist NULL, wenn das Elternteil nicht im Land wohnt oder gestorben ist! und Beispieldaten (nicht die Wettbewerbsdaten) und CREATE-Skript auf der Übungsseite

4 Datenquelle Hauptquelle Tausende Vornamen, Nachnamen, Straßen, Einziges Problem: keine Bundesländer Stadt/PLZ/Bundesland workshop/blob/master/demos/liste-staedte-in- Deutschland.csv

5 Anmerkungen Anmerkung: Primary Key anlegen? Fremdschlüssel anlegen? PRIOR ist kein feststehendes Schlüsselwort: [...] PRIOR ID = VATERID OR PRIOR ID = MUTTERID [...] Laufzeit von Teilaufgabe 4 war entscheidend für den Wettbewerb Schön: Adresse kann Buchstaben am Ende enthalten, also 23a, 23b

6 12 Abgaben Gruppe Blauer Vogel CJLdwhdm dsh DWHMiMoJoin2017 Gruppe 1 JoinVenture MondayMorning SMH SpeedyGonzales TeamHA9876 wwgds GundDan

7 Anmerkungen im Detail URL:

8 12 Abgaben Gruppe Skript Blauer Vogel CJLdwhdm dsh DWHMiMoJoin2017 Gruppe 1 JoinVenture MondayMorning Keine Views! Escaping falsch Anfrage 3: count(*) fehlte Fehler im Script (*REATE* MATERIALIZED...) Anfrage 2 (count),3 (count),4 (PRIOR) korrigiert ok SMH SpeedyGonzales TeamHA9876 ok wwgds GrundDan Fehlende Anfrage 4

9 Benchmark: 7 Teams Gruppe Blauer Vogel 17,5 s CJLdwhdm dsh DWHMiMoJoin2017 JoinVenture MondayMorning TeamHA ,3 s 19,6 s 15,6 s 19,1 s 16,1 s 16,8 s

10 Benchmark: 7 Teams Gruppe Blauer Vogel 17,5 s 1455,6 s CJLdwhdm 21,3 s 1964,9 s dsh 19,6 s 1557,6 s DWHMiMoJoin ,6 s 1451,2 s JoinVenture 19,1 s 1931,9 s MondayMorning 16,1 s 1471,5 s TeamHA ,8 s 1563,3 s

11 Welcher Ansatz hat gewonnen? Idee: Sortieren und erster Eintrag: SELECT SYS_CONNECT_BY_PATH(ID, '/') as "Path" FROM EINWOHNER START WITH VATERID IS NULL AND MUTTERID IS NULL CONNECT BY PRIOR ID = VATERID OR PRIOR ID = MUTTERID ORDER BY LEVEL DESC FETCH FIRST ROW ONLY; Idee: Subquery und Maximum bestimmen: TRAVERSAL AS ( SELECT ID, SYS_CONNECT_BY_PATH(ID,'/') as "Path", LEVEL AS L FROM EINWOHNER START WITH VATERID IS NULL AND MUTTERID IS NULL CONNECT BY PRIOR ID = MUTTERID OR PRIOR ID = VATERID) SELECT "Path" FROM TRAVERSAL WHERE L=(SELECT MAX(L) FROM TRAVERSAL);

12 Benchmark: 7 Teams Gruppe Blauer Vogel 17,5 s 1455,6 s 8,02 h CJLdwhdm 21,3 s 1964,9 s 9,88 h dsh 19,6 s 1557,6 s 9,30 h DWHMiMoJoin ,6 s 1451,2 s 8,27 h JoinVenture 19,1 s 1931,9 s 9,76 h MondayMorning 16,1 s 1471,5 s 8,13 h TeamHA ,8 s 1563,3 s 10,11 h

13 Blauer Vogel TRAVERSAL AS ( SELECT ID, SYS_CONNECT_BY_PATH(ID,'/') as "Path", LEVEL AS L FROM EINWOHNER START WITH VATERID IS NULL AND MUTTERID IS NULL CONNECT BY PRIOR ID = MUTTERID OR PRIOR ID = VATERID) SELECT "Path" FROM TRAVERSAL WHERE L=(SELECT MAX(L) FROM TRAVERSAL); Id Operation Name Rows Bytes Cost (%CPU) Time SELECT STATEMENT M 121 (3) 00:00:01 1 TEMP TABLE TRANSFORMATION 2 LOAD AS SELECT SYS_TEMP_0FD9D6F8A_19C23E * 3 CONNECT BY NO FILTERING WITH START-WITH 4 TABLE ACCESS FULL EINWOHNER (0) 00:00:01 * 5 VIEW M 42 (0) 00:00:01 6 TABLE ACCESS FULL SYS_TEMP_0FD9D6F8A_19C23E K 42 (0) 00:00:01 7 SORT AGGREGATE VIEW K 42 (0) 00:00:01 9 TABLE ACCESS FULL SYS_TEMP_0FD9D6F8A_19C23E K 42 (0) 00:00:

14 Monday Morning SELECT SYS_CONNECT_BY_PATH(ID, '/') as "Path FROM EINWOHNER START WITH VATERID IS NULL AND MUTTERID IS NULL CONNECT BY PRIOR ID = VATERID OR PRIOR ID = MUTTERID ORDER BY LEVEL DESC FETCH FIRST ROW ONLY; Id Operation Name Rows Bytes TempSpc Cost (%CPU) Time SELECT STATEMENT (2) 00:00:01 1 SORT ORDER BY (2) 00:00:01 * 2 VIEW (1) 00:00:01 * 3 WINDOW SORT PUSHED RANK K 1440K 319 (1) 00:00:01 * 4 CONNECT BY NO FILTERING WITH START-WITH 5 TABLE ACCESS FULL EINWOHNER (0) 00:00:

15 Präsentation Montags (Gruppe 1) Mittwochs (Gruppe 2)

16 Punkte (Blatt 4) 1. Blauer Volgel: 5 2. MondayMorning: 3 3. DWHMiMoJoin2017: 2 4. Dsh 5. JoinVenture 6. CJLdwhdm 7. TeamHA9876

17 Gesamtpunkte (Blatt 1+2+4) 1. MondayMorning: Blauer Vogel: 7 3. DWHMiMoJoin2017: CJLdwhdm: 5 5. SMH: SpeedyGonzales: TeamHA9876: 2 Gruppe 1: 2 JoinVenture: 2 Dsh: 2 Wwgds: 2

18 Fragen?