Daten verwalten mit einer relationalen Datenbank

Transkript

1 Verwaltung und Analyse digitaler Daten in der Wissenschaft Daten verwalten mit einer relationalen Datenbank Projektaufgabe Inhaltsverzeichnis 1 Einführung Datenquelle und Aufarbeitung der Daten Vorbereitendes Einlesen der bereitgestellten Datenbank Aufgaben Aufbau der relationalen Datenbank analysieren Abfragen erstellen Liste aller Linien Linien finden Ankunftszeiten einer Linie Datenanalyse Analyse Verkehrssituation Hauptbahnhof Richtung ETH Analyse der Verkehrssituation Bellevue Zusatz: Visualisierung von Haltestellen mit grossen Verspätungen auf einer Karte Bedingungen für die Präsentation 8

2 Begriffe Datenliste Datenbank Tabellen Spaltenüberschriften Zeilen Beziehung Beziehungstyp Primärschlüssel Fremdschlüssel Normalisierung Tabellenschema Referentielle Integrität Redundanz Relationale Operatoren Logische Operatoren SQL Autoren: Lukas Fässler, Oliver Probst Datum: 07 August 2017 Version: 2.0 Hash: a9ee87a Trotz sorgfältiger Arbeit schleichen sich manchmal Fehler ein. Die Autoren sind Ihnen für Anregungen und Hinweise dankbar! Dieses Material steht unter der Creative-Commons-Lizenz Namensnennung - Nicht kommerziell - Keine Bearbeitungen 4.0 International. Um eine Kopie dieser Lizenz zu sehen, besuchen Sie 2

3 1 Einführung Sie haben im E.Tutorial anhand einer einfachen Datenbank einige wichtige Grundlagen kennengelernt, die beim Umgang mit Datenbanken von Bedeutung sind: Verwaltung von Daten unter Verwendung einer grafischen Oberfläche Aufbau einer relationalen Datenbank Tabellen erstellen und Daten einfügen mit SQL Abfragen an eine Datenbank erstellen mit SQL Die Projektaufgabe gibt Ihnen die Möglichkeit, diese Fähigkeiten zu festigen und Ihre Flexibilität im Umgang mit Datenbanken und SQL zu steigern. 1.1 Datenquelle und Aufarbeitung der Daten Als Datenquelle dienen die Fahrzeiten der Verkehrsbetriebe Zürich (VBZ). Informationen zu diesen Daten finden Sie auf dem Open Data Portal der Stadt Zürich. 1 Die bereitgestellten Daten wurden zuvor bearbeitet und in eine relationale Datenbank überführt. Abbildung 1 zeigt das Tabellenschema der relationalen Datenbank. Abbildung 1: Tabellenschema der VBZ-Datenbank. Es wurden nur Werte in die Datenbank übernommen, welche für die Aufgabe relevant sind. Von den Fahrzeiten wurden nur die Messwerte bei der Ankunft in Sekunden (Delay) abgespeichert, andere wurden weggelassen

4 In der Datenbank sind über eine Million Ankunftszeiten an den Haltestellen der verschiedenen Linien verzeichnet das ist definitiv zu gross für die Verarbeitung mit einer Tabellenkalkulation. Die Werte in der Spalte Delay bedeuten folgendes: Ein Wert 0 bedeutet, dass das Verkehrsmittel rechtzeitig eingetroffen ist (Wert in Sekunden). Ein positiver Wert bedeutet, dass das Verkehrsmittel verspätet eingetroffen ist (Wert in Sekunden). Ein negativer Wert bedeutet, dass das Verkehrsmittel verfrüht eingetroffen ist (Wert in Sekunden). Die Überführung der Daten in eine relationale Datenbank machte es notwendig, dass zusätzliche Spalten (z.b. zur Definition der Primär- und Fremdschlüssel) eingefügt werden. Hinweis Der Primärschlüssel jeder Tabelle ist jeweils als Id bezeichnet. Die Fremdschlüssel sind jeweils mit einem nachgestellten _Id gekennzeichnet. 2 Vorbereitendes 2.1 Einlesen der bereitgestellten Datenbank Laden Sie die Datenbank vbz.db auf Ihren Rechner. Öffnen Sie die Datenbank mit dem Programm DB Browser for SQLite. 3 Aufgaben Bei dieser Projektaufgabe geht es darum, die Verkehrssituation bezüglich der verspäteten Ankunftszeiten von Verkehrsmitteln der Verkehrsbetriebe der Stadt Zürich zu analysieren. Sie verwenden hierfür die zur Verfügung gestellte relationale Datenbank und formulieren passende SQL-Abfragen. Diese Projektaufgabe besteht aus folgenden Teilen: 1. Aufbau der Datenbank analysieren 2. Abfragen erstellen 3. Datenanalyse 3.1 Aufbau der relationalen Datenbank analysieren Diskutieren Sie folgende Fragen zum Aufbau der relationalen Datenbank: 4

5 Wieso ist die Spalte Id der Tabelle Haltestelle in Abbildung 1 mit (PK) markiert? Was bedeutet das? Wie viele Fremdschlüssel gibt es in dieser Datenbank? Wozu dienen diese? Erweitern Sie das Tabellenschema der Datenbank in Abbildung 1, indem Sie die Beziehungen zwischen den Tabellen einzeichnen. Beantworten Sie dabei folgende Fragen: Welche Beziehungstypen werden in der Datenbank verwendet? In der Datenbank gibt es eine Zwischentabelle. Wie heisst sie und wozu dient sie? Es gibt Linien, die keinen eindeutigen Fahrweg haben, da sie je nach Wochentag unterschiedliche Strecken bedienen. Linie 5 bedient beispielsweise an Werktagen die Strecke Laubegg Kirche Fluntern, an Sonntagen jedoch die Strecke Laubegg - Zoo. Wie wird dieser Zusammenhang in der Datenbank abgebildet? 3.2 Abfragen erstellen Formulieren Sie folgende Abfragen an die Datenbank. Benutzen Sie hierzu ausschliesslich SQL. In Klammern steht zur Selbstkontrolle die Anzahl der Treffer, die Sie bei der jeweiligen Abfrage erreichen sollten Liste aller Linien Erstellen Sie eine Liste aller Linien (751). SELECT FROM Linien finden Finden Sie die Linien, welche von der Haltestelle Enge zur Haltestelle Zoo fahren. Verwenden Sie die Fahrwegbezeichnung ENGE -- ZOO und geben Sie nur die Nummer der Linien aus (2). SELECT FROM WHERE 5

6 3.2.3 Ankunftszeiten einer Linie Finden Sie alle Ankunftszeiten der Linie 9 und ordnen Sie diese absteigend (8331). SELECT FROM WHERE ORDER BY 3.3 Datenanalyse Analyse Verkehrssituation Hauptbahnhof Richtung ETH Ermitteln Sie mit Hilfe der Daten aus der relationalen Datenbank und geeigneten SQL- Abfragen die Antwort auf folgende Frage: Sie befinden sich bei der Haltestelle Zuerich, Bahnhofstrasse/HB und wollen mit der Tramlinie 6 oder 10 zur Haltestelle Zuerich, ETH/Universitaetsspital fahren. An welcher Haltestelle würden Sie einsteigen, um möglichst pünktlich anzukommen? Mögliche Zwischenschritte: Wie lautet die Id der Haltestelle Zuerich, Bahnhofstrasse/HB, an der Linie 6 abfährt? Betrachten Sie das Datum und die Verspätung (positiver Delay) an dieser Haltestelle für alle Linien. Zeigen Sie nur die Daten für Linie 6 an. Bestimmen Sie einen Schwellenwert für den Delay. Wann handelt es sich um eine wirkliche Verspätung? Sortieren Sie die Daten nach Datum und Delay. Führen Sie dieselben Schritte für Linie 10 (ab Zuerich, Bahnhofplatz/HB) durch. Vergleichen Sie die Daten der beiden Abfragen Analyse der Verkehrssituation Bellevue Die Haltestelle Zuerich, Bellevue ist im Streckennetz der Verkehrsbetriebe ein verkehrstechnischer Knotenpunkt. Was kann mit folgender SQL-Abfrage untersucht werden? 6

7 SELECT * FROM Haltepunkt INNER JOIN Haltestelle ON Haltepunkt.Haltestelle_Id = Haltestelle.Id INNER JOIN Ankunftszeiten ON Ankunftszeiten.Haltepunkt_Id = Haltepunkt.Id WHERE Haltepunkt.Latitude >= AND Haltepunkt.Longitude >= AND Haltepunkt.Latitude <= AND Haltepunkt.Longitude <= AND Ankunftszeiten.Delay > 180; Zusatz: Visualisierung von Haltestellen mit grossen Verspätungen auf einer Karte Erstellen Sie eine geografische Karte mit allen Haltestellen, bei denen Verspätungen von einer halben Stunde und mehr aufgetreten sind. Mögliche Zwischenschritte: Erstellen Sie eine SQL-Abfrage mit den Koordinaten der Haltestellen mit einer Verspätung grösser als 1800 Sekunden. Exportieren Sie die Resultate in eine CSV-Datei (siehe Abbildung 2). Öffnen Sie die Webseite kopieren Sie die Datenliste und fügen Sie die Koordinaten ein. Abbildung 2: Export der Daten in eine CSV-Datei. 7

8 Hinweis Um die Daten im erforderlichen Format (ein Koordinatenpaar pro Zeile, Komma-getrennt ohne Leerschlag) zu erhalten, müssen Sie die Datenliste zunächst in einem Text-Editor (z.b. Textpad) öffnen, bevor Sie sie in die Zwischenablage kopieren können. 4 Bedingungen für die Präsentation Erklären Sie einer Assistentin oder einem Assistenten mit einfachen Worten den Aufbau der Fahrzeitendatenbank der VBZ und Ihre Abfragen und Analysen. Überlegen Sie sich, wie Sie einem Laien folgende Fragen erklären würden: Wie werden Daten in einer relationalen Datenbank organisiert? Was ist der Unterschied zwischen Datenlisten und einer Tabelle einer relationalen Datenbank? Welche Datenbank-Schlüssel gibt es und wozu dienen sie? Was versteht man unter referentieller Integrität? Welches sind die Grundelemente einer SQL-Abfrage? Wieso benötigt man in SQL-Abfragen relationale und logische Operatoren? Wozu dient das JOIN...ON? Zeigen Sie anhand eines Beispiels, wie JOIN...ON-Abfragen in WHERE-Abfragen umgewandelt werden können. Die Begriffe dieses Kursmoduls sollten Sie mit einfachen Worten erklären können. 8