Inhaltsverzeichnis. Study Guide CAS Big Data 2/16

Transkript

1 CAS Big Data

2 Inhaltsverzeichnis 1 Abstract 3 2 Umfeld und Motivation 3 3 Zielgruppe 3 4 Ausbildungsziele 4 5 Voraussetzungen 4 6 Kursübersicht 4 7 Kompetenzprofil 5 8 Kursbeschreibungen Grundlagen, Hadoop Ökosystem Datenbanktechnologien Hardware, Architektur, Cloud Stream- and Event-Processing Data Analytics Text Analytics Nutzenaspekte von Big Data Projekten Projektarbeit 11 9 Kompetenznachweise Ergänzende Lehrmittel Dozierende Organisation Termine 15 Study Guide CAS Big Data 2/16

3 1 Abstract Grosse Datenmengen in Echtzeit analysieren und nutzbar machen? Big Data ist eine der wichtigsten IT- Technologien des Jahrzehnts. Im Fokus stehen möglichst präzise und rasche Vorhersagen für Geschäftsentscheide, das Auffinden kritischer Ereignisse und Muster oder das Auffinden komplexer Zusammenhänge durch Auswertung eigener und globaler Datenquellen. 2 Umfeld und Motivation Die Methoden und Werkzeuge von Big Data ermöglichen die Beschaffung und Analyse grosser Datenmengen. Die Komplexität der Analysen und die oft kurze Lebensdauer der Daten machen eine massiv parallele und stream-orientierte Verarbeitung der Quellen notwendig, beispielsweise mit einem Hadoop-Cluster. Gegenüber klassischen BI-Methoden ist vor allem die Verschiedenartigkeit und Volatilität der Datenquellen ein wichtiges Merkmal von Big Data. Big Data wird oft über die 3V-Metapher definiert: Volume: Hohe zu verarbeitenden Datenmenge. Velocity: Hohe Verarbeitungsgeschwindigkeit, aber auch hohe Alterungsgeschwindigkeit der Quelldaten. Realtime-Ansprüche. Variety: Unterschiedlichste Quellen, die gleichzeitig und ad hoq angezapft werden müssen, komplexe Verarbeitungslogik, z.b. Textmining 3 Zielgruppe Fachkräfte in Unternehmen und IT-Bereichen, die für den Aufbau, die Planung und die Umsetzung von Big Data Projekten verantwortlich sind. Study Guide CAS Big Data 3/16

4 4 Ausbildungsziele Die Teilnehmenden: kennen die methodischen und technologischen Grundlagen von Big Data. lernen Einsatzmöglichkeiten kennen, und können im eigenen beruflichen Umfeld neue Ideen zur Nutzung von Big Data und zum Erzeugen eines Business Value entwickeln. besitzen eine fundierte Übersicht über die Architektur von Big Data Lösungen. können Big Data-Projekte in ihrem Unternehmen planen, umsetzen und betreiben. können die Einbettung von Big Data Lösungen in die eigene IT-Architektur beurteilen und konzipieren. können globale und firmeninterne Datenquellen und Datenströme in eine Big Data Appliance integrieren. kennen moderne Methoden und Werkzeuge zur Aufbereitung, Analyse und Darstellung von Realtime-Datenströmen. In der Semesterarbeit erarbeiten die Teilnehmenden ein eigenes Thema, typischerweise aus dem beruflichen Umfeld. 5 Voraussetzungen Die Teilnehmenden bringen Vorkenntnisse im Rahmen einer Informatik- oder Wirtschaftsinformatik- Ausbildung mit, insbesondere mit Kenntnissen über Programmiersprachen, Datenbanksysteme und Abfragesprachen (SQL). In den Übungen werden die Programmiersprachen Java und R eingesetzt. 6 Kursübersicht Kurs/Lehreinheit Lektionen Stunden Dozierende Grundlagen, Hadoop Ökosystem 24 Guido Schmutz Datenbanktechnologien 16 Guido Schmutz Hardware, Architektur, Cloud 12 Daniel Steiger Stream- and Event-Processing 16 Guido Schmutz Data Analytics 16 Werner Dähler Text Analytics 32 Jürgen Vogel Nutzenaspekte von Big Data Projekten 4 Heinz Steiner Projektarbeit Verschiedene Betreuer Total Das CAS umfasst insgesamt 12 ECTS Punkte. Für die einzelnen Kurse ist entsprechend Zeit für Selbststudium, Prüfungsvorbereitung etc. einzurechnen. Study Guide CAS Big Data 4/16

5 7 Kompetenzprofil Legende: 1. Kenntnisse von Begriffen, Definitionen und Regeln; Faktenwissen 2. Verstehen von Zusammenhängen, Erklären von Sachverhalte erklären können 3. Anwendung des Wissen in einfachen Situationen 4. Analyse der eigenen Lösung 5. Synthese neuer Lösungen und Anwendung in komplexen Situationen 6. Beurteilung der Anwendbarkeit für bestimmte Probleme und Situationen, methodische Abwägung und Evaluation von Alternativen, Beziehungen zu anderen Fachgebieten Study Guide CAS Big Data 5/16

6 8 Kursbeschreibungen Nachfolgend sind die einzelnen Kurse dieses Studienganges beschrieben. Der Begriff Kurs schliesst alle Veranstaltungstypen ein, es ist ein zusammenfassender Begriff für verschiedene Veranstaltungstypen wie Vorlesung, Lehrveranstaltung, Fallstudie, Living Case, Fach, Studienreise, Semesterarbeiten usw. 8.1 Grundlagen, Hadoop Ökosystem Kursbeschreibung Lernziele Die Teilnehmenden: lernen die Architektur von Apache Hadoop kennen kennen die Kernkomponenten von Hadoop und dem Hadoop Ökosystem wissen wie HDFS und MapReduce funktioniert können mit MapReduce einfache Big Data Anwendungen entwickeln lernen die Mittel für die Definition von Datenworkflows kennen lernen die Grenzen von Hadoop kennen und sehen für welche Art von Problemen sich MapReduce bzw. Hadoop eignet lernen Alternativen zu MapReduce, wie z.b. Apache Spark kennen Themen Warum und wozu Hadoop verwendet wird Eigenschaften der Hadoop Architektur Kernkonzepte von Hadoop Funktionalität von MapReduce Die wichtigsten Komponenten des Hadoop Ökosystem: HDFS, MapReduce, Pig, Hive, HBase, Zookeeper, Flume, Cascading, usw. Entwicklung von MapReduce Anwendungen Daten-Import und Export Automatisierung von Datenworkflows Datenserizalisierung/Deseralisierung mit Avro Hadoop APIs Best Practices und Patterns Apache Spark Lehrmittel Folien/Skript Literaturempfehlungen: [2], [7], [8], [9] Study Guide CAS Big Data 6/16

7 8.2 Datenbanktechnologien Kursbeschreibung Lernziele Die Teilnehmenden: erwerben ein grundlegendes Verständnis von alternativen Datenbankkonzepten verstehen die Konzepte hinter den neuen, modernen NoSQL und NewSQL Datenbanken kennen die Unterschiede zu den relationalen Datenbanken kennen lernen die verschiedenen Arten von NoSQL kennen können erfolgsversprechende Einsatzszenarien erkennen Themen Was ist NoSQL? Was ist NewSQL? Warum gibt es diese neuen Datenbankarten? Relevante Datenbankkonzepte wie BASE, ACID, CAP, Partitionierung, Sharding, Replikation, usw. Eigenschaften der NoSQL und NewSQL Datenbanken Klassifikation der NoSQL und NewSQL Datenbanken Anwendungsfälle für NoSQL und NewSQL Datenbanken Was geschieht mit den traditionellen, relationalen Datenbanken? Schema-Less vs. Schema bzw. Schema-on-Write vs. Schema-on-Read Ausgewählte, populäre NoSQL und NewSQL Datenbanken: MongoDB, HBase, Redis, Cassandra, Neo4J, u.a. NoSQL und NewSQL in einer BigData Architektur Lehrmittel Folien/Skript Literaturempfehlungen: [3], [11] Study Guide CAS Big Data 7/16

8 8.3 Hardware, Architektur, Cloud Kursbeschreibung Lernziele Die Teilnehmenden: lernen Big-Data -spezifische Infrastrukturanforderungen zu formulieren kennen die wesentlichen Architekturmerkmale eines Big-Data Systems kennen die aktuellen Big-Data-Plattformen und -Appliances der Marktleader kennen die wichtigsten Integrationstechnologien kennen die betrieblichen Aspekte einer Big-Data Infrastruktur und sind in der Lage, ein Betriebskonzept zu erstellen können die Unterschiede zwischen einer cloud-basierten und einer onpremis Infrastruktur beschreiben und beurteilen lernen die infrastrukturtechnischen Voraussetzungen für die Erfüllung von Sicherheitsanforderungen kennen können den Reifegrad verschiedener Technologien beurteilen Themen Anforderungen und Architekturtreiber im Big-Data Umfeld Reliability, Availability, Scaleability und Performance Big-Data Infrastruktur-Blueprints Big-Data Plattformen Integration von Big-Data Systemen in die bestehende IT-Landschaft (Konnektoren) Lifecycle einer Big-Data Infrastruktur (Aufbau, Betrieb, Optimierung) Überlegungen und Implikationen zu Big-Data in der Cloud Secure Infrastructure Leading-Edge Technologien und Technologietrends Lehrmittel Vorlesungsunterlagen (SlideDoc) Aktuelle Whitepapers, Fachartikel und Hersteller-Unterlagen Study Guide CAS Big Data 8/16

9 8.4 Stream- and Event-Processing Kursbeschreibung Lernziele Die Teilnehmenden: lernen die Prinzipien des Stream- und Event-Processing kennen können die Komponenten einer Event-Driven Architecture (EDA) beschreiben lernen die Unterschiedlichen Sprachen für die Erkennung und Verarbeitung von Events kennen können Probleme mit Hilfe von Event-Processing lösen können abschätzen, wann sich der Einsatz von Event-Processing lohnt kennen die Positionierung von Event Processing interhalb einer Big Data Architektur Themen Was ist ein Event, was ist eine Message? Was ist Complex Event Processing (CEP)? Historie und Prinzipien von Stream- und Complex Event Processing Event Processing Design Patterns Erkennen von Events Aggregation von Events wie können Business Events von den Raw Events abgeleitet werden Internet of Things und Machine to Machine (M2M) was hat dies mit Event-Processing zu tun? Welche Sprachen für das Event-Processing gibt es? Plattformen und Frameworks für Event-Processing: Twitter Storm bzw. Trident, Esper, Spark Streaming usw. Lehrmittel Folien/Skript Literaturempfehlungen: [4], [10] 8.5 Data Analytics Kursbeschreibung Lernziele Die Teilnehmenden Die Teilnehmenden kennen Methoden und Techniken für die Analyse von grossen Data Sets und können diese mit Hilfe der Open Source Tools R / SparkR anwenden Themen Allgemeine Konzepte der statistischen Datenanalyse/Methodenübersicht Nicht-überwachtes Lernen o Clusteranalyse o Dimensionsreduktion Assoziationsanalyse/Frequent Item Sets Analyse von Daten-Strömen, Zeitreihen Datenreduktion, Arbeiten mit Stichproben Visualisierung von grossen Datenmengen Lehrmittel Folien/Skript Literaturempfehlungen bei Kursstart Study Guide CAS Big Data 9/16

10 8.6 Text Analytics Kursbeschreibung Lernziele Die Teilnehmenden: lernen Algorithmen und Werkzeuge zur Analyse unstrukturierter Daten (insbesondere von Textdokumenten) und sozialer Netzwerke (Twitter, Facebook, etc.) kennen entwerfen, implementieren und evaluieren Analyseverfahren mit Hilfe gängiger Open Source-Bibliotheken in Java kennen aktuelle technologische Entwicklungen im Web (Open Data, Semantic Web) und haben einen Überblick über die verschiedenen Web- Standards für Daten (HTML/XML, RDF,...) Themen Analyse von Textdokumenten (Natural Language Processing) mit unterschiedlichen Methoden aus der (Computer-) Linguistik und dem maschinellen Lernen: Reguläre Ausdrücke, Named Entity Recognition, Syntax, Semantik Information Retrieval und Web Mining: Text Classification, PageRank Analyse von sozialen Netzwerken auf der Basis von Graphenalgorithmen und Natural Language Processing: Sentiment Analysis, Prestige Publizieren und konsumieren von frei zugänglichen Datensätzen im Web (Open Data) Lehrmittel Folien/Skript Entwicklungsumgebung (Eclipse, Maven, Java) Literaturempfehlungen: [5], [6] 8.7 Nutzenaspekte von Big Data Projekten Kursbeschreibung Lernziele Die Teilnehmenden: kennen den wirtschaftlichen Nutzen und die Herausforderungen von Big Data Projekten gewinnen einer Übersicht, wann der Einsatz von Big Data sinnvoll ist Themen Was macht ein typisches Big Data-Projekt aus? Nutzen und Abgrenzung von Big Data Projekten beurteilen Welche Fallen gilt es zu umschiffen? Bei Big Data-Projekten stellt die Heterogenität der Teammitglieder eine besondere Herausforderungen dar: Welche Vorteile bieten Pilot-Projekte beim Thema Big Data? Projektpolitik. Was ist bei der Kommunikation der Projekte zu beachten? Lehrmittel Folien/Skript Literaturempfehlungen: [1] Study Guide CAS Big Data 10/16

11 8.8 Projektarbeit 1. Zielsetzung und Thema In der Semesterarbeit bearbeiten die Teilnehmenden ein Projekt oder eine Fragestellung aus ihrer Firma. Mit dem gewählten Thema vertiefen die Studierende die im Studium erlernten Methoden. Das Thema der Semesterarbeit kann umfassen: Machbarkeitsstudie Umsetzung oder Implementation von Analytics-Anforderungen Evaluation und Projektierung Algorithmen- oder Software-Entwicklung IT-Architektur Konzeption Optimierung von Lösungen usw. 2. Ablauf Die Semesterarbeit beinhaltet folgende Meilensteine: In der Firma ein Thema suchen, und mit Vorteil einen Ansprechpartner/Betreuer in der Firma definieren. Erstellen einer Projektskizze (siehe unten), Eingabe an die CAS-Leitung Individuelle Kurzpräsentation ( 10' ) und Diskussion (10') des Themas an der BFH Weiterbildung in Bern vor einer Dozierendengruppe. Eventuell Überarbeitung der Projektskizze gemäss Feedback an der Präsentation. Zuordnung eines Experten durch die SWS für die Begleitung. Durchführung der Arbeit in eigener Terminplanung, 1-3 Zwischenreviews mit dem Experten. Schlusspräsentation der Arbeit (Plenum mit allen KursTeilnehmendenn). Dauer ca. 15 Min. Präsentation + 15 Min. Diskussion. Abgabe des Berichtes an den Experten. Beurteilung durch den Experten. Die Projektskizze umfasst eine ein- bis zweiseitige Aufgabenstellung und eine 10-minütige Power- Point Präsentation mit folgenden Teilen: Titel Umfeld Problemstellung Lösungsansatz (Vorgehen, Methoden) Name und Kontaktadressen der Gruppenmitglieder, und des Ansprechpartners/Betreuers in der Firma Gruppenarbeiten sind, wo möglich, erwünscht und je nach Rahmenbedingungen sogar von Vorteil. Ergebnis und Bewertung Der Bericht ist in elektronischer Form als PDF-Dokument an den Betreuer und den CAS- Verantwortlichen zu schicken. Auf Verlangen des Experten ist zusätzlich eine gedruckte Version abzugeben. Bericht: ca Seiten, Source Code soweit notwendig für die Projektbeurteilung. Die Semesterarbeit wird nach folgender Richtlinie bewertet. Es ist ein Hilfsmittel für den Experten, um zu einer angemessenen Gesamtpunktzahl zu kommen. Study Guide CAS Big Data 11/16

12 Nr. Kriterium Beschreibung Max. Punkte 1. Bericht 80 Punkte Genereller Eindruck Umfang, Vollständigkeit, Präsentation Komplexität, Stringenz Präsentationen 20 Punkte Darstellung, Sprache verständlich, nachvollziehbar Stil, ohne Fachjargon Grammatik, Orthografie etc. Ziele, Ausgangslage, Aufgabenstellung klar und verständlich beurteilbare Ziele Methoden Aus der ersten Beschreibung wird das Problem nachvollziehbar analysiert und strukturiert. Die Methodenauswahl ist begründet und nachvollziehbar. Angemessene Literatur- und Quellenrecherche Ergebnisse Methodik korrekt und professionell angewendet Fundierter Vergleich Zielsetzung vs. Erreichtes Neue Erkenntnisse und eigene Beiträge Stringente Schlussfolgerungen Management Summary, Fazit vollständig, nur Wichtiges ohne Nachschlagen verständlich Formal Zeitmanagement Inhaltlich Roter Faden, logisches Vorgehen klare Begründungen für alle Entscheide Identifikation mit dem Thema Präsentationstechnik Eingehen auf Fragen Total 100 Study Guide CAS Big Data 12/16

13 9 Kompetenznachweise Für die Anrechnung der 12 ECTS-Punkte ist das erfolgreiche Bestehen der Kompetenznachweise (Prüfungen, Projektarbeiten) erforderlich, gemäss folgender Aufstellung: Kompetenznachweis Gewicht Art der Qualifikation Block 1 Grundlagen, Architektur, Hadoop Datenbanktechnologien Hardware, Infrastruktur, Cloud Stream- & Event-Processing Block 2 Data- und Text-Analytics Erfolgsquote Studierende 4 Schriftliche Prüfung % 2 Schriftliche Prüfung % Semesterarbeit 4 Projektarbeit % Gesamterfolgsquote % Gesamtgewicht 10 ECTS Note A - F Jeder Studierende kann in einem Kompetenznachweis eine Erfolgsquote von 0 bis 100% erarbeiten. Die gewichtete Summe aus den Erfolgsquoten pro Thema und dem Gewicht des Themas ergibt eine Gesamterfolgsquote zwischen 0 und 100%. Die Gesamterfolgsquote wird in eine ECTS Note A bis E umgerechnet, gemäss Studienreglement. Weniger als 50% Gesamterfolgsquote ergibt eine ungenügende Note F. Study Guide CAS Big Data 13/16

14 10 Ergänzende Lehrmittel Ergänzende Lehrmittel sind Empfehlungen, um den Stoff zu vertiefen oder zu erweitern. Die Beschaffung liegt im Ermessen der Studierenden: Nr Titel Autoren Verlag Jahr ISBN Nr. [1] Big Data Die Revolution, die unser Leben verändern wird Viktor Mayer- Schönberger Redline Verlag 2013 ISBN-10: [2] Hadoop: The Definitive Guide Tom White O' Reilly Press 2012 ISBN-10: [4] Event Processing in Action Peter Niblett, Opher Etzion Manning Press 2010 ISBN-10: [3] NoSQL Distilled Martin Fowler, Pramod J. Sadalage [5] N.N. Addision Wesley 2012 ISBN-10: [6] Taming Text Grant Ingersoll, Thomas Morton, Andrew Farris [7] Learning Spark Holden Karau, Andy Konwinski, Patrick Wendell, Matei Zaharia Manning Press 2013 ISBN-10: X O Reilly Media 2015 ISBN-10: [8] Hadoop Application Architecture [9] Big Data: Principles and best practices of scalable realtime data systems Mark Grover, Ted Malaska, Johnathan Seidman, Gwen Shapira Nathan Marz and James Warren O Reilly Media 2014 ISBN-10: Manning Press 2015 ISBN-10: [10] Storm Applied Sean T. Allen, Peter Pathirana, Matthew Jankowski Manning Press 2015 ISBN-10: [11] NoSQL for Mere Mortals Dan Sullivan Addison Wesley 2015 ISBN-10: Study Guide CAS Big Data 14/16

15 11 Dozierende Vorname Name Firma Heinz Steiner Trivadis AG Guido Schmutz Trivadis AG Daniel Steiger Trivadis AG Werner Dähler SECO Bern Jürgen Vogel BFH + Weitere Experten, Betreuer und Gastreferenten aus Unternehmen und Lehre 12 Organisation CAS-Leitung: Prof. Dr. Arno Schmidhauser Tel: CAS-Administration: Andrea Moser Tel: Termine Daten: KW bis KW Dienstag, von 08:30 Uhr bis 16:15 Uhr Study Guide CAS Big Data 15/16

16 Dokumenteninformation Study Guide CAS BGD Die Inhalte und Angaben in diesem Study Guide können sich bis zum Studienstart noch verändern. Berner Fachhochschule Technik und Informatik Weiterbildung Wankdorffeldstrasse 102 CH-3014 Bern Telefon ti.bfh.ch/weiterbildung ti.bfh.ch/cas-bgd Study Guide CAS Big Data 16/16