Methoden, Chancen und Risiken beim Auswerten großer Datenmengen

Ähnliche Dokumente
2. Lernen von Entscheidungsbäumen

Data Mining und maschinelles Lernen

Übungsblatt LV Künstliche Intelligenz, Data Mining (1), 2014

PPC und Data Mining. Seminar aus Informatik LV Michael Brugger. Fachbereich der Angewandten Informatik Universität Salzburg. 28.

Data Mining und Text Mining Einführung. S2 Einfache Regellerner

4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum

Motivation. Themenblock: Klassifikation. Binäre Entscheidungsbäume. Ansätze. Praktikum: Data Warehousing und Data Mining.

Moderne Methoden der KI: Maschinelles Lernen

Künstliche Intelligenz Maschinelles Lernen

Exploration und Klassifikation von BigData

Begriffsbestimmung CRISP-DM-Modell Betriebswirtschaftliche Einsatzgebiete des Data Mining Web Mining und Text Mining

MythMiner. Ein Empfehlungssystem für Fernsehprogramme auf Basis von RapidMiner. Balázs Bárány. Linuxwochen Wien,

Data Mining Anwendungen und Techniken

Mining High-Speed Data Streams

Proseminar - Data Mining

LISE MEITNER GYMNASIUM NEUENHAUS UELSEN

Maschinelles Lernen Entscheidungsbäume

MS SQL Server 2012 (4)

Was bisher geschah. Aufgaben: Diagnose, Entscheidungsunterstützung Aufbau Komponenten und Funktion

Proseminar - Data Mining

Fachgruppe Statistik, Risikoanalyse & Computing. STAT672 Data Mining. Sommersemester Prof. Dr. R. D. Reiß

riskkv Scorenalyse riskkv Scoring Seite 1 von 9

Big Data Wer gewinnt, wer verliert? Köln Revolvermänner AG

Prognosen via Datenanalyse Predictive Analytics: Darauf müssen Unternehmen achten

Master Logistik. Modultitel / Bezeichnung der Lehrveranstaltung Vertiefungsmodul Verfahren und IT-Systeme 1-3. Anzahl der SWS.

2. Microsoft Innovationstag Nord Integrierte Lösungen in der Öffentlichen Verwaltung

Anwendung der Predictive Analytics

Data Mining-Modelle und -Algorithmen

Vorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke

Binäre Bäume Darstellung und Traversierung

Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn

Tiefgreifende Prozessverbesserung und Wissensmanagement durch Data Mining

Data Mining Standards am Beispiel von PMML. Data Mining Standards am Beispiel von PMML

9 Resümee. Resümee 216

x 2 x 1 x Lernen mit Entscheidungsbäumen

Idee: Wenn wir beim Kopfknoten zwei Referenzen verfolgen können, sind die Teillisten kürzer. kopf Eine Datenstruktur mit Schlüsselwerten 1 bis 10

Digital traces: Möglichkeiten der bedeutungsvollen Analyse von komplexen Online-Daten

WEKA A Machine Learning Interface for Data Mining

Data Cube. Aggregation in SQL. Beispiel: Autoverkäufe. On-line Analytical Processing (OLAP) 1. Einführung. 2. Aggregation in SQL, GROUP BY

Positionspapier Big Data

Maschinelles Lernen. Kapitel 5

Analyse-Beispiel Banken

Data Mining - Marketing-Schlagwort oder ernstzunehmende Innovation?

Seminar Business Intelligence Teil II. Data Mining & Knowledge Discovery

Data Warehouse Definition (1)

Was bisher geschah Wissensrepräsentation und -verarbeitung in Zustandsübergangssystemen Constraint-Systemen Logiken Repräsentation von Mengen

Automatische Gesprächsauswertung im Callcenter

Algorithmen & Datenstrukturen 1. Klausur

Data Mining - Wiederholung

Automatische Mustererkennung zur Klassifikation von Konsumentenverhalten am Beispiel der Kreditwürdigkeitsprüfung

Data Mining als Arbeitsprozess

Kreditscoring zur Klassifikation von Kreditnehmern. Variablenübersicht des Datensatzes "Kreditscoring zur Klassifikation von Kreditnehmern"

Bestandskundenmanagement Wo drückt bei Ihnen der Schuh?

Fakultät Wirtschaftswissenschaft

Der Informatikunterricht vermittelt ein breites Grundverständnis über Funktionsweise, Möglichkeiten, Auswirkungen und Grenzen des Computers.

Data Mining mit Rapidminer im Direktmarketing ein erster Versuch. Hasan Tercan und Hans-Peter Weih

Algorithmen und Datenstrukturen (ESE) Entwurf, Analyse und Umsetzung von Algorithmen (IEMS) WS 2014 / 2015 Vorlesung 15, Donnerstag, 12.

Data Mining mit der SEMMA Methodik. Reinhard Strüby, SAS Institute Stephanie Freese, Herlitz PBS AG

Risiken bei der Analyse sehr großer Datenmengen. Dr. Thomas Hoppe

Treffsichere Absatzprognosen durch Predictive Analytics

Algorithmische Modelle als neues Paradigma

KREDIT BEWILLIGT ODER NICHT?

Häufige Item-Mengen: die Schlüssel-Idee. Vorlesungsplan. Apriori Algorithmus. Methoden zur Verbessung der Effizienz von Apriori

Schulinternes Curriculum im Fach Informatik

Einführung in die Wissensverarbeitung und Data Mining

MICHAEL RÜGER. Abschluss Diplom Fach Informatik. Geburtsjahr 1985 Profil-Stand April 2015

Advanced Analytics. Michael Ridder. Copyright TIBCO Software Inc.

Lernziele: Ausgleichstechniken für binäre Bäume verstehen und einsetzen können.

Machine Learning - Maschinen besser als das menschliche Gehirn?

Visual Business Intelligence Eine Forschungsperspektive

Visualisierung der Imperfektion in multidimensionalen Daten

Seminar Visual Analytics and Visual Data Mining

Umfrage Internet-Sicherheit 2010

Spezialisierung Business Intelligence

Watson Elementary. Fast. Easy. Data. High. Innovative Technik für die Diagnose von Prostatakrebs

Web Data Mining. Alexander Hinneburg Sommersemester 2007

Kapiteltests zum Leitprogramm Binäre Suchbäume

Data/Information Quality Management

Data-Mining: Ausgewählte Verfahren und Werkzeuge

Techniken der Ausspähung bedrohte Privatheit

EXASOL Anwendertreffen 2012

Seminar Informationsintegration und Informationsqualität. Dragan Sunjka. 30. Juni 2006

Eine Baumstruktur sei folgendermaßen definiert. Eine Baumstruktur mit Grundtyp Element ist entweder

Workflow- basiertes Data Mining in der Bioinformatik

Proseminar - Data Mining

Bereiche der KI. KI und das Web Eine Übersicht. Allgemeines zur KI. Einfluss der KI auf die Informatik. Herausforderungen im Web

MINT-Initiative am FKG: Von der Mathematik zur IT

Textmining Klassifikation von Texten Teil 1: Naive Bayes

Datenstrukturen & Algorithmen

EXTRAKTION UND KLASSIFIKATION VON BEWERTETEN PRODUKTFEATURES AUF WEBSEITEN

AutoSPARQL. Let Users Query Your Knowledge Base

Kapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen

B.SC. INFORMATIK TIM JUNGNICKEL

Lars Priebe Senior Systemberater. ORACLE Deutschland GmbH

Informatik (G9) Sek I - Differenzierung 8/9/10

Data Mining in SAP NetWeaver BI

Datenbanken-Themen im OS "Data Mining" SS 2010

Übersicht. 20. Verstärkungslernen

Transkript:

Methoden, Chancen und Risiken beim Auswerten großer Datenmengen Peter Dauscher Gymnasium am Kaiserdom, Speyer peter <dot> dauscher <AT> gak <minus> speyer <punkt>de Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 1 /

Einordnung in den Unterricht Datenbanken zur Informationsgewinnung nutzen??? Datenerhebungen unter dem Aspekt Datenschutz bewerten Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 2 /

Einordnung in den Unterricht Datenbanken zur Informationsgewinnung nutzen Data Mining und Entscheidungsbäume Datenerhebungen unter dem Aspekt Datenschutz bewerten Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 3 /

Einordnung in den Unterricht Datenbanken zur Informationsgewinnung nutzen Informatische Logische Modellierung Grundlagen Informatische Logische Modellierung Grundlagen Data Mining und Entscheidungsbäume Datenstrukturen Problemlösen mit StandardAlgorithmen Datenerhebungen unter dem Aspekt Datenschutz bewerten Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 4 /

Einordnung in den Unterricht Zielgruppe: Datenbanken zur Informationsgewinnung nutzen Motivierte und leistungsstarke Informatische Logische Informatische Logische Grundkurse Informatik Modellierung Grundlagen Modellierung Grundlagen (wie imdata gezeigten Mining undbeispiel) Entscheidungsbäume Datenstrukturen Leistungskurse Problemlösen mit StandardInformatikAlgorithmen Datenerhebungen unter dem Aspekt Datenschutz bewerten Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 5 /

Data Mining Erkennen von Regelhaftigkeiten in (großen) Datenbeständen (z.b. Klassifikation von Daten) Anwendungen Wissenschaftliche Datenanalyse Kundensegmentierung Werbung (Kampagnen-Management) Web-Empfehlungsdienste Voraussage der Kreditwürdigkeit Versuch der Detektion von Versicherungsbetrug Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 6 /

Klassifikation X Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 7 /

Klassifikation Name: Fritz Alter: 17 Schuhgröße: 42,5 verheiratet: X Name: Anton Alter: 38 Schuhgröße: 43,5 verheiratet: Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 8 /

Klassifikation Name: Fritz Alter: 17 Schuhgröße: 42,5 verheiratet: K1 K2 K3 Name: Anton Alter: 38 Schuhgröße: 43,5 verheiratet: Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 9 /

Lernen an Beispielen X Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 10 /

Lernen an Beispielen K1 K2 K3 Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 11 /

Darstellung von Klassifikationen Symbolisch Entscheidungslisten Entscheidungsbäume Subsymbolisch Neuronale Netze Support-Vektor-Maschinen Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 12 /

Darstellung von Klassifikationen Symbolisch Entscheidungslisten Entscheidungsbäume Subsymbolisch Neuronale Netze Support-Vektor-Maschinen Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 13 /

Entscheidungsbäume Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 14 /

Manuelle Konstruktion Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 15 /

Maschinelles Entscheidungsbaumlernen X Beispiel-Datensätze (bereits klassifiziert) Maschinell gelernter Baum Klassifikation durch den Baum K K K 1 2 3 Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 16 /

Genereller Algorithmus Tabelle mit klassifizierten Beispielen X1,Xn: Merkmale; K: Klasse Nr X1 X2 X3 1 0 2 1 3 0 4 1 1066 0 K Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 17 /

Genereller Algorithmus Tabelle mit klassifizierten Beispielen X1,Xn: Merkmale; K: Klasse Nr X1 X2 X3 K 1 0 2 1 3 0 4 1 1066 0 1. Wähle AUSSAGEKRÄFTIGSTES MERKMAL (das Merkmal, dessen Ausprägung am meisten über die Klasse verrät) Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 18 /

Genereller Algorithmus Tabelle mit klassifizierten Beispielen X1,Xn: Merkmale; K: Klasse Nr X1 X2 X3 K 1 0 2 1 3 0 4 1 1066 0 X2 2. Verwende dieses Merkmal als Wurzel des Entscheidungsbaumes. Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 19 /

Genereller Algorithmus Tabelle mit klassifizierten Beispielen X1,Xn: Merkmale; K: Klasse Nr X1 X2 X3 K 1 0 2 1 3 0 4 1 1066 0 X2 3. Erzeuge für jede Ausprägung (hier: und ) eine Kante. Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 20 /

Genereller Algorithmus X2= Nr X1 X2 X3 K 1 0 3 0 X2 X2= Nr X1 X2 X3 K 2 1 4 1 1066 0 4. Teile die Liste in so viele Teillisten, wie das AUSSAGEKRÄFTIGSTE MERKMAL Ausprägungen hat (hier zwei: / ). Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 21 /

Genereller Algorithmus X2= Nr X1 X2 X3 K 1 0 3 0 X2 X2= Nr X1 X2 X3 K 2 1 4 1 1066 0 X2= X2= 4. Erzeuge aus jeder Teilliste einen Unterbaum (rekursiv nach dem oben beschriebenen Verfahren) Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 22 /

Genereller Algorithmus X2= Nr X1 X2 X3 K 1 0 3 0 X2= Nr X1 X2 X3 K 2 1 4 1 1066 0 X2 0 X3 0 1 4. Erzeuge aus jeder Teilliste einen Unterbaum (rekursiv nach dem oben beschriebenen Verfahren) Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 23 /

Genereller Algorithmus Rekursionsabbrüche Eine Teilliste ist leer Blatt = Standard-Klasse Alle Elemente einer (Teil-)Liste gehören zur gleichen Klasse: Blatt = ebendiese Klasse Kein weiteres Merkmal zum Unterscheiden vorhanden: Blatt = häufigste Klasse in der (Teil-)Liste (Fehlklassifikation bestimmter klassifizierter Beispiele!!) Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 24 /

Einordnung in den Unterricht Datenbanken zur Informationsgewinnung nutzen Informatische Modellierung Logische Grundlagen Data Mining und Entscheidungsbäume Datenstrukturen Problemlösen mit StandardAlgorithmen Datenerhebungen unter dem Aspekt Datenschutz bewerten Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 25 /

Eine Unterrichtsreihe Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 26 /

Eine Unterrichtsreihe 1. Stunde Szenario: Eine Umfrage zur Ermittlung von potentiellen Kunden Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 27 /

Eine Unterrichtsreihe 1. Stunde Vorgabe: Verbale Entscheidungs-Regeln Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 28 /

Eine Unterrichtsreihe 1. Stunde Erfahrung: Verbale Regeln sind umständlich Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 29 /

Eine Unterrichtsreihe 1. Stunde Alternative: Graphische Darstellung Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 30 /

Lehrervortrag Eine Unterrichtsreihe 1. Stunde Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 31 /

Eine Unterrichtsreihe 2. Stunde Gruppe A Umsetzung von Entscheidungsbäumen in SQL (Bäume wachsender Komplexität) und Test an Beispieldatenbank (OpenOffice) Voraussetzung: SQL mit AND und OR Ableitung einer allgemeinen Übersetzungsregel (Disjunktion über Konjunktionen von Pfaden natürlich nicht so ausgedrückt) Anwendung der eigenen Regel an einem komplexen Beispiel. Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 32 /

Eine Unterrichtsreihe 2. Stunde Gruppe B Finden eines Maßes für die Güte einer Klassifikation (Fehlermaß) Umsetzung des Fehlermaßes in SQL und Test an Beispieldatenbank (OpenOffice) Voraussetzung: SQL mit COUNT oder AVG Kritischer Umgang mit Fehlermaßen und Betriebswirtschaftliche Bewertung Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 33 /

Eine Unterrichtsreihe 2. Stunde Gruppe C Nachvollziehen eines automatisierten Entscheidungsbaumlernens (ohne Rechner, mit Karteikarten) Dabei Auffinden des jeweilig AUSSAGEKRÄFTIGSTEN MERKMALS durch intuitive Statistik Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 34 /

Chancen und Risiken Denn wenn man verstehen möchte, welche Schäden Krebszellen von gesunden Zellen unterscheiden, dann muss man zuerst den normalen epigenetischen Zustand einer gesunden Zelle kennen.dafür haben wir eine Webbasierte Data Mining Software entwickelt, die es uns erlaubte, die DNA-Methylierungsmuster in weißen Blutkörperchen mit vielfältigen Informationen über das menschliche Erbgut zu vergleichen. Diese Software ist basiert auf Methoden des statistischen Lernens (z.b. Support-Vektor-Maschinen). Quelle: http://www.mpi-inf.mpg.de/~cbock/privat/spotlight_deutsch.html Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 35 /

Chancen und Risiken Auswahl von Angeboten an Kunden von (z.b.) Online-Buchhändlern, abhängig davon, was in der Vergangenheit vom Kunden bestellt wurde. Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 36 /

Chancen und Risiken BANK Max Mustermann Elendsherbergswühl 17 67346 Speyer Antrag auf ein Darlehen in Höhe von 10.000 EUR Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 37 /

Chancen und Risiken BANK Data.Mining.Fox kann einer Bank also beispielsweise helfen, Kreditwürdigkeiten von Kunden besser vorherzusagen und somit einerseits die Anzahl von Kreditausfällen zu reduzieren, andererseits bessere Konditionen für Kunden mit geringem Kreditausfallrisiko anzubieten. Der resultierende Vorteil ergibt sich für die Bank, aber auch für deren Kunden. Quelle: http://www.easydatamining.com Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 38 /

Chancen und Risiken Data.Mining.Fox kann einer Bank also beispielsweise helfen, Kreditwürdigkeiten von Kunden besser Leider bedauern wir, Ihren Antrag auf Kredit ablehnen zu müssen. vorherzusagen und somit einerseits die BANK Anzahl von für Kreditausfällen zu Wir wünschen Ihnen viel Erfolg die Zukunft und verbleiben reduzieren, andererseits bessere Konditionen für Kunden mit geringem mit freundlichen Grüßen Kreditausfallrisiko anzubieten. Der resultierende Vorteil ergibt sich für Ihre Bank die Bank, aber auch für deren Kunden. Quelle: http://www.easydatamining.com Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 39 /

Chancen und Risiken vom 30.4.2010 Der Suchmaschinenbetreiber Google hat auf solchen Formeln erst ein Geschäftsmodell errichtet und versucht nun, sie für Vorhersagen zu nutzen. Bei Google berechnet man bereits, welcher Mitarbeiter demnächst kündigen will. "So können wir in die Köpfe der Leute gucken, ehe sie selbst wissen, dass sie vielleicht gehen wollen", zitiert das Wall Street Journal den Google Personalmanager Laszlo Bock. Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 40 /

FAZIT Datenbanken zur Informationsgewinnung nutzen Informatische Logische Modellierung Grundlagen Informatische Logische Modellierung Grundlagen Data Mining und Entscheidungsbäume Datenstrukturen Problemlösen mit StandardAlgorithmen Datenerhebungen unter dem Aspekt Datenschutz bewerten Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 41 /

Anknüpfungspunkte Informatisch-Technisch Implementation von Entscheidungsbaumlernern Facharbeiten und/oder Jugend-forscht-Arbeiten im Bereich Data Mining/Machine Learning Gesellschaftlich Weitere Beispiele für Data Mining-Anwendungen Diskussion von Chancen und Gefahren Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 42 /

S. Russell, P. Norvig Künstliche Intelligenz ein moderner Ansatz Pearson Studium, 2004 Frank Schirrmacher Payback Karl-Blesising-Verlag, 2009 Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 43 /

! t i e k m Methoden, Chancen und Risiken a s k r e beim Auswerten m f u A großer Datenmengen ie d r ü f k Peter Dauscher an D Gymnasium am Kaiserdom, Speyer n e l e Vi peter <dot> dauscher <AT> gak <minus> speyer <punkt>de Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 44 /

! t i e k m Methoden, Chancen und Risiken a s k r e beim Auswerten m f u A großer Datenmengen ie d r ü f k Peter Dauscher an D Gymnasium am Kaiserdom, Speyer n e l e Vi peter <dot> dauscher <AT> gak <minus> speyer <punkt>de Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 45 /

noch was ganz anderes Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 46 /

noch was ganz anderes Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 47 /

noch was ganz anderes http://informatik.bildung-rp.de/ werkzeuge-und-software/digitaltechnik-rechnerarchitektur.html oder mit Google-Suchbegriffen: dauscher simulator johnny peter <dot> dauscher <AT> gak <minus> speyer <punkt>de Data-Mining in der Schule - Eine Annäherung an Algorithmen zum Entscheidungsbaumlernen 48 /