Moderne Methoden der KI: Maschinelles Lernen
|
|
|
- Susanne Huber
- vor 6 Jahren
- Abrufe
Transkript
1 Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Sommer-Semester 2008 Konzept-Lernen Konzept-Lernen Lernen als Suche Inductive Bias Konzept-Lernen: Problemstellung Ausgangspunkt: Konzept beschreibt Menge von Objekten (mit bestimmten Eigenschaften) aus einer umfassenderen Menge X : Menge von Objekten x Merkmalen M 1,...,M m aus (endlichen) Wertebereichen W 1,...,W m Objekte als Merkmalsvektoren x = [x 1,...,x m ] C: Konzept definiert durch Umfang, d.h. als Teilmenge von X: C X bzw. durch charakteristische Funktion c C : X { 0,1} { 1, falls x C c C (x) = 0, sonst Sommer-Semester 2008 MMKI: Konzept-Lernen 2 1
2 Konzept-Lernen: Problemstellung Konzept-Lernen: Allgemeine Definition eines Konzeptes C anhand einiger positiver Beispiele ( x C) und negativer Beispiele ( x C) erkennen äquivalent: Boolesche Funktion c C :X { 0,1} anhand von Eingabe-/Ausgabepaaren lernen Sommer-Semester 2008 MMKI: Konzept-Lernen 3 Konzept-Lernen: Problemstellung Lernen als Suche Suchraum (Zustände/Operatoren): Menge von Hypothesen (hier für Konzepte C X bzw. Boolesche Fkten. X { 0,1}) evtl. nur eingeschränkte Hypothesen-Menge Übergänge zwischen Hypothesen (hier z.b. Halbordnung bzgl. Inklusion) Suchstrategie: Anordnung ausnutzen (hier z.b. umfassendere Hypothese suchen) Sommer-Semester 2008 MMKI: Konzept-Lernen 4 2
3 Konzept-Lernen: Notationen Gesamtmenge: X = W 1 x xw m, Objekte als Merkmalsvektoren x =[x 1,..., x m ] Konzept: C X bzw. charakterist. Fkt. c C : c C (x) = 1 x C korrekte Trainingsmenge D für Konzept C : Menge von Beispielen D = { [ x, c C (x) ] x X D } für eine Menge X D X mit positiven Beispiele [ x, 1 ] und negativen Beispiele [ x, 0 ] Trainingsmenge D kann fehlerbehaftet ( verrauscht ) bzgl. C sein: fehlerhaftes Beispiel: [ x,c(x)] mit c(x) c C (x) allgemein: D = { [ x, c(x) ] x X D } mit c: X {0,1} (ohne Korrektheitsforderung) Sommer-Semester 2008 MMKI: Konzept-Lernen 5 Konzept-Lernen: Notationen Hypothese h als Boolesche Funktion h: X { 0,1} beschreibt Konzept C h = { x h(x) = 1 } Lernziel bei Konzept C: Hypothese h C finden mit x X: h(x) = 1 x C Hypothese h ist konsistent mit Trainingsmenge D: [ x, c(x) ] D : h(x) = c(x) i.a. gibt es viele mit D konsistente Hypothesen (Problem der korrekten Verallgemeinerung) Sommer-Semester 2008 MMKI: Konzept-Lernen 6 3
4 Konzept-Lernen: Beispiel Die Menge H der zugelassenen Hypothesen ist Entwurfsentscheidung. Beispiel: Hypothesenmenge H 1 Hypothesen aus H 1 beschrieben durch verallgemeinerte Merkmalsvektoren h = [h 1,..., h m ], mit h i {?, x i, } wobei der Eintrag h i für das i-te Merkmal bedeutet: h i =? h i = x i h i = : beliebige Ausprägung des i-ten Merkmals zugelassen : i-tes Merkmal muss Wert x i haben : kein Wert zugelassen h(x) = h([x 1,..., x m ])= 1 gdw. i=1,...,m: h i {?, x i } Nicht alle Konzepte C X erfasst : H 1 2 X Sommer-Semester 2008 MMKI: Konzept-Lernen 7 General-to-Specific-Anordnung Lernen als Suche basiert auf Anordnung des Suchraumes General-to-Specific -Anordnung des Hypothesenraumes H durch Halbordnungsrelation für Boolesche Funktionen h: X { 0,1} h 1 allgemeiner oder gleich h 2 ( h 1 h 2 ) gdw. x X : h 2 (x) = 1 h 1 (x)=1 h 1 allgemeiner als h 2 (h 1 h 2 ) gdw. h 1 h 2 und h 1 h 2 Im Beispiel H 1 : minimale Hypothese: h = [,..., ] (C = ) maximale Hypothese: h = [?,...,?] (C = X) Sommer-Semester 2008 MMKI: Konzept-Lernen 8 4
5 Algorithmus Find-S Idee: Mit speziellster Hypothese h beginnen. Verallgemeinern, wenn ein positives Beispiel nicht überdeckt wird (wenn h(x) = 0 für Beispiel [x,1] D ) Ausgangspunkt: Ein Hypothesenraum H Beschränkungen der Merkmalswerte durch die Hypothesen Bezeichnung: b i = Beschränkung des i-ten Merkmals durch h (z.b. H 1 mit b i {?, x i, } ) Sommer-Semester 2008 MMKI: Konzept-Lernen 9 Algorithmus Find-S 0. Initialisierung: h:= speziellste (minimale) Hypothese aus H 1. Für jedes positive Trainingsbeispiel [[x 1,..., x m ],1] D : Für jedes Merkmal i=1,...,x : - Falls x i die Beschränkung b i erfüllt: Nichts verändern. - Sonst: h minimal verallgemeinern durch Verallgemeinerung von b i zu b i, so dass b i durch x erfüllt ist. 2. Hypothese h ausgeben. Sommer-Semester 2008 MMKI: Konzept-Lernen 10 5
6 Algorithmus Find-S (Fortsetzung) FIND-S ignoriert negative Beispiele. Wenn Hypothesen h H jeweils Konjunktionen von Merkmalsbeschränkungen ( b i ) sind und Trainingsmenge korrekt ist, so gilt: Find-S findet die spezifischste Hypothese h D+ aus H, die mit den positiven Beispiele aus der Trainingsmenge D konsistent ist. Falls Zielkonzept C in H enthalten ist, so ist die Hypothese h D+ auch konsistent mit den negativen Beispielen aus D. Sommer-Semester 2008 MMKI: Konzept-Lernen 11 Einige Probleme für Lernsysteme Problem-Diskussion (am Beispiel Find-S): Ist die gefundene Hypothese h das korrekte Zielkonzept C? Im allg. mehrere mit Trainingsmenge D konsistente Hypothesen in H. Algorithmus sollte Zuverlässigkeit von h angeben. Grund für Auswahl bei mehreren konsistenten Möglichkeiten? Hier: speziellste Hypothese, wegen Anordnung/Algorithmus (Design-Problem). Umgang mit fehlerhaften Beispielen: Algorithmus sollte Inkonsistenzen in D erkennen und behandeln. (wird bei Find-S ignoriert: negative Beispiele ohne Einfluss) Umgang mit evtl. unterschiedlichen besten Elementen in H: Backtracking vorsehen. Sommer-Semester 2008 MMKI: Konzept-Lernen 12 6
7 List-Then-Eliminate-Algorithmus Version Space bzgl. H und D: VS H,D := { h H h konsistent mit D } = alle potentiellen Ergebnisse List-Then-Eliminate-Algorithmus: 0. Initialisierung: V := H 1. Für jedes Trainingsbeispiel [x,c(x) ] D : V := V - { h h(x) c(x) } 2. Ergebnis: VS H,D := H zu komplex (Auflistung aller Hypothesen) Sommer-Semester 2008 MMKI: Konzept-Lernen 13 Candidate-Elimination-Algorithmus Kompaktere Repräsentation für Version Space mittels Begrenzungsmengen: G := Max(VS H,D ) = { h VS H,D g VS H,D : g h } S := Min (VS H,D ) = { h VS H,D g VS H,D : h g } G: allgemeinste Hypothesen aus VS H,D S: speziellste Hypothesen aus VS H,D Satz: VS H,D = { h g G s S : g h s } (Voraussetzung: G, S existieren) Candidate-Elimination-Alg. arbeitet mit Begrenzungsmengen Sommer-Semester 2008 MMKI: Konzept-Lernen 14 7
8 Candidate-Elimination-Algorithmus 0. Initialisierung: G:= Max H, S:=Min H 1. Für jedes Trainingsbeispiel d D : Falls d positiv ( d = [ x,1 ] ) : - G := G - { g g(x) 1 } - Für alle s S mit s(x) 1 : -- S := S - {s} -- S := S Min { h h(x) =1 g G: g h s} -- S := S - { h s S: h s} Falls d negativ ( d = [ x,0 ] ) : - S := S - { s s(x) 0 } - Für alle g G mit g(x) 0 : -- G := G - {g} -- G := G Max { h h(x) =0 s S: g h s} -- G := G - { h g G: g h } 2. Ergebnis: G = Max(VS H,D ), S = Min (VS H,D ) Sommer-Semester 2008 MMKI: Konzept-Lernen 15 Candidate-Elimination-Algorithmus Ergebnis korrekt, falls Trainings-Beispiele korrekt andernfalls wird korrektes Konzept eliminiert Zielkonzept in H enthalten sonst evtl. kein Ergebnis (alle Hypothesen verworfen) Dabei gilt: Ergebnis enthält alle alternativen Lösungen Abbruchmöglichkeit: falls Ergebnis eindeutig ( S = G = {h} ) Sommer-Semester 2008 MMKI: Konzept-Lernen 16 8
9 Weitere Probleme für Lernsysteme (am Beispiel Candidate-Elimination-Algorithmus) Reihenfolge der Beispiele aus D: Optimale Query-Strategie wählt Beispiel d aus, bei dem der aktuell konstruierte Version Space VS möglichst gleichmäßig aufgeteilt wird in: VS(d+) := { h V h(d) = 1 } VS(d- ) := { h V h(d) = 0 } allgemeines Prinzip: Entropie verringern Sommer-Semester 2008 MMKI: Konzept-Lernen 17 Weitere Probleme für Lernsysteme (am Beispiel Candidate-Elimination-Algorithmus) Anwendung partiell gelernter Konzepte C: Sei H eine Hypothesenmenge mit C H. Klassifikation ( x C? ) eines unbekannten Objekts x ist mittels H möglich, falls h(x) für alle h H den gleichen Wert ergibt. Es gilt: x C, falls h(x)=1 für alle h Min H (speziell: S) x C, falls h(x)=0 für alle h Max H (speziell: G) Allgemeineres Prinzip: Voting (gemäß Anzahl/Wahrsch. der Hypothesen h H mit h(x)= 1 bzw. =0) Sommer-Semester 2008 MMKI: Konzept-Lernen 18 9
10 Inductive Bias Einschränkung des Hypothesenraums Konsequenz: Evtl. keine Lösung Vergrößerung des Hypothesenraums Konsequenz: Verschlechterung der Generalisierungsfähigkeit Extremfall: Alle Hypothesen Wenn beim Lernen mit korrekten Beispielen alle konsistenten Hypothesen behalten werden, gibt es keine Generalisierung (Voting für unbekannte Beispiele 50:50) Sommer-Semester 2008 MMKI: Konzept-Lernen 19 Inductive Bias Generalisierung (Klassifizierung neuer Objekte) nur möglich, wenn a priori Zusatzannahmen getroffen werden. (Hier: Beschränkung des Hypothesenraum - restriction bias.) Zusatzannahme: Inductive Bias Beispiele: Datenbank positiver/negativer Beispiele: kein bias nur Beispiel-Objekte klassifizierbar Candidate Elimination: Hypothesenraum enthält Zielkonzept neue Objekte ggf. bei eindeutigem Votum klassifizierbar Find-S: Hypothesenraum enthält Zielkonzept Ungesehene Objekte sind negativ (CWA) alle Objekte klassifizierbar, solange Hypothese existiert Sommer-Semester 2008 MMKI: Konzept-Lernen 20 10
11 Inductive Bias Generalisierung nur möglich, wenn a priori Zusatzannahmen getroffen werden. Zusatzannahme: Inductive Bias In der Praxis oft implizite Annahmen als inductive bias. Analyse erforderlich Sommer-Semester 2008 MMKI: Konzept-Lernen 21 ZUSAMMENFASSUNG Konzeptlernen kann als Suchproblem spezifiziert werden. Algorithmus Find-S benutzt partielle Ordnung General-to-Specific. Entlang eines Pfades wird die spezifischste Hypothese gefunden, die mit den Trainingsdaten konsistent ist. Algorithmus Candidate-Elimination berechnet obere/untere Grenzen für Version Space. Der Version Space beschreibt vollständig alle verfügbaren Hypothesen der Zielfunktion (und ermöglicht damit Abbruchkriterium, Inkonsistenz-Prüfung der Trainingsdaten, optimale Auswahl von Trainingsbeispielen, Voting). Find-S und Candidate-Elimination sind nicht geeignet für fehlerhafte Trainingsdaten. Die Zielfunktion muss im Hypothesenraum enthalten sein. Generalisierung erfordert einen inductive bias, d.h. a-priori gegebene Auswahlkriterien für Mengen konsistenter Hypothesen. Sommer-Semester 2008 MMKI: Konzept-Lernen 22 11
12 Sommer-Semester 2008 MMKI: Konzept-Lernen 23 Übungen Anzahl der Beispiele: Card(X) = card(w 1 )x xcard(w m ) Anzahl der Konzepte (mögliche Hypothesen) insgesamt: 2 Card(X) Anzahl der Hypothesen in H1: Card(H1) > (card(w 1 )+2) x x (card(w m )+2) jeweils zusätzlich? und Tatsächlich alle mit aber gleiches Konzept (leere Menge): Card(H1) = 1+ (card(w 1 )+1) x x (card(w m )+1) Sommer-Semester 2008 MMKI: Konzept-Lernen 24 12
Moderne Methoden der KI: Maschinelles Lernen
Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Entscheidungsbäume Darstellung durch Regeln ID3 / C4.5 Bevorzugung kleiner Hypothesen Overfitting Entscheidungsbäume
Maschinelles Lernen. Moderne Methoden der KI: Maschinelles Lernen. Definitionen: Was ist Lernen? Definitionen: Was ist Lernen? 1.
Moderne Methoden der KI: Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung Sommer-Semester 2007 1. Einführung: Definitionen Grundbegriffe Lernsysteme Lernen: Grundbegriffe Lernsysteme Konzept-Lernen Entscheidungsbäume
Moderne Methoden der KI: Maschinelles Lernen
Moderne Methoden der KI: Maschinelles Lernen Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung Sommer-Semester 2009 1. Einführung: Definitionen Grundbegriffe Lernsysteme Maschinelles Lernen Lernen: Grundbegriffe
3. Entscheidungsbäume. Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002)
3. Entscheidungsbäume Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002) (aus Wilhelm 2001) Beispiel: (aus Böhm 2003) Wann sind Entscheidungsbäume
Moderne Methoden der KI: Maschinelles Lernen
Moderne Methoden der KI: Maschinelles Lernen Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung Sommer-Semester 2010 Grundlagen Definitionen Grundbegriffe Lernsysteme Generalisierung Maschinelles Lernen Lernen:
Data Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 3. Übungsblatt
Data Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 3. Übungsblatt 18. November 2015 1 Aufgabe 1: Version Space, Generalisierung und Spezialisierung (1) Gegeben sei folgende
2 Mengen, Relationen, Funktionen
Grundlagen der Mathematik für Informatiker Grundlagen der Mathematik für Informatiker Mengen, Relationen, Funktionen. Mengen Definition. [Georg Cantor 895] Eine Menge ist eine Zusammenfassung bestimmter,
2. Relationen, Graphen und Inferenz
2. Relationen, Graphen und Inferenz Relationen Ordnungsrelation: nach Bourbaki einer der zentralen Strukturtypen der Mathematik enge Bezüge zu algebraischen Strukturen (zweistellige) Relation R auf einer
Maschinelles Lernen: Symbolische Ansätze
Maschinelles Lernen: Symbolische Ansätze Wintersemester 2008/2009 Musterlösung für das 3. Übungsblatt Aufgabe 1: Version Space, Generalisierung und Spezialisierung Gegeben sei folgende Hierarchie von Begriffen:
2. Lernen von Entscheidungsbäumen
2. Lernen von Entscheidungsbäumen Entscheidungsbäume 2. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse
Datenbanken Unit 2: Das ER-Modell
Datenbanken Unit 2: Das ER-Modell 28. II. 2017 Outline 1 Organisatorisches 2 SQL 3 Das Entity-Relationship Modell Grundbegriffe Termin erster Zwischentest UE-Tests (Thema: SQL) erster Zwischentests am
Decision Tree Learning
Decision Tree Learning Computational Linguistics Universität des Saarlandes Sommersemester 2011 28.04.2011 Entscheidungsbäume Repräsentation von Regeln als Entscheidungsbaum (1) Wann spielt Max Tennis?
Bayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 10: Naive Bayes (V. 1.0)
Splitting. Impurity. c 1. c 2. c 3. c 4
Splitting Impurity Sei D(t) eine Menge von Lernbeispielen, in der X(t) auf die Klassen C = {c 1, c 2, c 3, c 4 } verteilt ist. Illustration von zwei möglichen Splits: c 1 c 2 c 3 c 4 ML: III-29 Decision
Teil 4: Lernen rekursiver Funktionen
Theorie des Algorithmischen Lernens Sommersemester 2007 Teil 4: Lernen rekursiver Funktionen Version 1.0 Gliederung der LV Teil 1: Motivation 1. Was ist Lernen 2. Das Szenario der Induktiven Inf erenz
13 Auswahlaxiom und Zornsches Lemma
13 Auswahlaxiom und Zornsches Lemma Handout zur Funktionalanalysis I von H. Glöckner, 25.11.2008 Wichtige Teile der modernen Mathematik beruhen auf dem sogenannten Auswahlaxiom der Mengenlehre. Dieses
Logische Grundlagen der Mathematik, WS 2014/15
Logische Grundlagen der Mathematik, WS 2014/15 Thomas Timmermann 12. November 2014 Darstellung natürlicher Zahlen durch Mengen 1. Wie können wir natürliche Zahlen durch Mengen darstellen? Idee 0 = und
Theoretische Informatik Kap 2: Berechnungstheorie
Gliederung der Vorlesung 0. Grundbegriffe 1. Formale Sprachen/Automatentheorie 1.1. Grammatiken 1.2. Reguläre Sprachen 1.3. Kontextfreie Sprachen 2. Berechnungstheorie 2.1. Berechenbarkeitsmodelle 2.2.
Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens
Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 19.12.2013 Allgemeine Problemstellung
4. Lernen von Entscheidungsbäumen
4. Lernen von Entscheidungsbäumen Entscheidungsbäume 4. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse
Vorlesung Datenstrukturen
Vorlesung Datenstrukturen Graphen (1) Darstellung Traversierung Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 441 Generalisierung von Bäumen Verallgemeinerung (von Listen zu Graphen)
Bayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
Kapitel 2. Mathematische Grundlagen. Skript zur Vorlesung Einführung in die Programmierung
LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS DATABASE Kapitel 2 Mathematische Grundlagen Skript zur Vorlesung Einführung in die Programmierung im Wintersemester 2012/13 Ludwig-Maximilians-Universität
Referat rekursive Mengen vs. rekursiv-aufzählbare Mengen
Kapitel 1: rekursive Mengen 1 rekursive Mengen 1.1 Definition 1.1.1 informal Eine Menge heißt rekursiv oder entscheidbar, wenn ihre charakteristische Funktion berechenbar ist. 1.1.2 formal Eine Menge A
Diskrete Strukturen Kapitel 2: Grundlagen (Relationen)
WS 2016/17 Diskrete Strukturen Kapitel 2: Grundlagen (Relationen) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_16
Neuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
Semantik: Semantik von Merkmalsstrukturen
Spezielle Themen der KI : von Subsumption Notation: t 1 t 2 Definition: Eine Merkmalsstruktur t 1 subsumiert eine Merkmalsstruktur t 2 gdw. die Menge der von t 2 beschriebenen Elemente eine Teilmenge der
Abschnitt 3: Mathematische Grundlagen
Abschnitt 3: Mathematische Grundlagen 3. Mathematische Grundlagen 3.1 3.2 Induktion und Rekursion 3.3 Boolsche Algebra Peer Kröger (LMU München) Einführung in die Programmierung WS 14/15 48 / 155 Überblick
Neuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
Algorithmische Methoden zur Netzwerkanalyse
Algorithmische Methoden zur Netzwerkanalyse Juniorprof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische
Spiele. Programmierpraktikum WS04/05 Lange/Matthes 106
Spiele Programmierpraktikum WS04/05 Lange/Matthes 106 Theorie eines Spiels mathematisch: k-spieler Spiel ist Graph G = (V, E) wobei V partitioniert in V 1,..., V k Knoten v V heissen Konfigurationen oft
Data Mining - Wiederholung
Data Mining - Wiederholung Norbert Fuhr 18. Januar 2006 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)
INTELLIGENTE DATENANALYSE IN MATLAB. Überwachtes Lernen: Entscheidungsbäume
INTELLIGENTE DATENANALYSE IN MATLAB Überwachtes Lernen: Entscheidungsbäume Literatur Stuart Russell und Peter Norvig: Artificial Intelligence. Andrew W. Moore: http://www.autonlab.org/tutorials. 2 Überblick
Maschinelles Lernen: Symbolische Ansätze
Semestralklausur zur Vorlesung Maschinelles Lernen: Symbolische Ansätze Prof. J. Fürnkranz / Dr. G. Grieser Technische Universität Darmstadt Wintersemester 2005/06 Termin: 23. 2. 2006 Name: Vorname: Matrikelnummer:
Verifizierende Testverfahren
Spezifikation Um einen Algorithmus zu schreiben, muss das zu lösende Problem genau beschrieben sein. Eine Spezifikation ist Verifizierende Testverfahren vollständig, wenn alle Anforderungen/alle relevanten
Semantik von Programmiersprachen SS 2017
Lehrstuhl für Programmierparadigmen Denis Lohner Sebastian Ullrich denis.lohner@kit.edu sebastian.ullrich@kit.edu Semantik von Programmiersprachen SS 2017 http://pp.ipd.kit.edu/lehre/ss2017/semantik Lösungen
4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum
4. Lernen von Entscheidungsbäumen Klassifikation mit Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch /Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse zugeordnet werden.
Theorie der Informatik
Theorie der Informatik 8. Reguläre Sprachen II Malte Helmert Gabriele Röger Universität Basel 24. März 24 Pumping Lemma Pumping Lemma: Motivation Man kann zeigen, dass eine Sprache regulär ist, indem man
Diskrete Strukturen Vorlesungen 5 und 6
Sebastian Thomas RWTH Aachen, WS 2016/17 07.11.2016 09.11.2016 Diskrete Strukturen Vorlesungen 5 und 6 3 Abbildungen In diesem Abschnitt führen wir Abbildungen zwischen Mengen ein. Während Mengen von der
Skript und Übungen Teil II
Vorkurs Mathematik Herbst 2009 M. Carl E. Bönecke Skript und Übungen Teil II Das erste Semester wiederholt die Schulmathematik in einer neuen axiomatischen Sprache; es ähnelt damit dem nachträglichen Erlernen
WS 2009/10. Diskrete Strukturen
WS 2009/10 Diskrete Strukturen Prof. Dr. J. Esparza Lehrstuhl für Grundlagen der Softwarezuverlässigkeit und theoretische Informatik Fakultät für Informatik Technische Universität München http://www7.in.tum.de/um/courses/ds/ws0910
17 Lineare Abbildungen
Chr.Nelius: Lineare Algebra II (SS2005) 1 17 Lineare Abbildungen Wir beginnen mit der Klärung des Abbildungsbegriffes. (17.1) DEF: M und N seien nichtleere Mengen. Eine Abbildung f von M nach N (in Zeichen:
Vorlesung Datenbanktheorie. Church-Rosser-Eigenschaft der Verfolgungsjagd. Berechnung von chase(t, t, Σ) Vorlesung vom Mittwoch, 05.
Vorlesung Datenbanktheorie Nicole Schweikardt Humboldt-Universität zu Berlin Sommersemester 2006 Vorlesung vom Mittwoch, 05. Juli 2006 Letzte Vorlesung: Kurze Bemerkungen zum Armstrong-Kalkül The Chase:
Diskrete Strukturen Kapitel 2: Grundlagen (Mengen)
WS 2016/17 Diskrete Strukturen Kapitel 2: Grundlagen (Mengen) Hans-Joachim Bungartz Lehrstuhl für wissenschaftliches Rechnen Fakultät für Informatik Technische Universität München http://www5.in.tum.de/wiki/index.php/diskrete_strukturen_-_winter_16
Kapitel ML: III. III. Entscheidungsbäume. Repräsentation und Konstruktion Impurity-Funktionen Entscheidungsbaumalgorithmen Pruning
Kapitel ML: III III. Entscheidungsbäume Repräsentation und Konstruktion Impurity-Funktionen Entscheidungsbaumalgorithmen Pruning ML: III-1 Decision Trees c STEIN/LETTMANN 2005-2011 Spezifikation von Klassifikationsproblemen
Modellierung: Relation (Beziehungen)
Modellierung: Relation (Beziehungen) Hans besitzt das Fahrrad. besitzen Gegenstände x Menschen Gegenstände Fahrrad Kleingeld Villa Menschen Hans Hans Fritz [Villa, Hans] besitzen besitzen(villa, Hans)
2.3 Basis und Dimension
Lineare Algebra I WS 205/6 c Rudolf Scharlau 65 2.3 Basis und Dimension In diesem zentralen Abschnitt werden einige für die gesamte Lineare Algebra fundamentale Grundbegriffe eingeführt: Lineare Abhängigkeit
Grundlagen des Maschinellen Lernens Kap. 1: Einleitung
Gliederung der Vorlesung 1. Einleitung Einführende Beispiele Grundszenario des induktiven Lernens 2. Induktives Lernen von formalen Sprachen Patterns & Patternsprachen Lernproblem und Lösung Szenario des
Kapitel ML:IV (Fortsetzung)
Kapitel ML:IV (Fortsetzung) IV. Statistische Lernverfahren Wahrscheinlichkeitsrechnung Bayes-Klassifikation Maximum-a-Posteriori-Hypothesen ML:IV-18 Statistical Learning c STEIN 2005-2011 Satz 3 (Bayes)
Rückblick auf die letzte Vorlesung
Rückblick auf die letzte Vorlesung 1. Anwendungen des Satzes über implizite Funktionen 2. Stationäre Punkte implizit definierter Funktionen 3. Reguläre Punkte 4. Singuläre Punkte Ausblick auf die heutige
Seminararbeit zur Spieltheorie. Thema: Rationalisierbarkeit und Wissen
Seminararbeit zur Spieltheorie Thema: Rationalisierbarkeit und Wissen Westfälische-Wilhelms-Universität Münster Mathematisches Institut Dozent: Prof. Dr. Löwe Verfasst von: Maximilian Mümken Sommersemester
Elemente der Algebra und Zahlentheorie Musterlösung, Serie 3, Wintersemester vom 15. Januar 2006
Prof. E.-W. Zink Institut für Mathematik Humboldt-Universität zu Berlin Elemente der Algebra und Zahlentheorie Musterlösung, Serie 3, Wintersemester 2005-06 vom 15. Januar 2006 2te, korrigierte und erweiterte
Entscheidungsbäume aus großen Datenbanken: SLIQ
Entscheidungsbäume aus großen Datenbanken: SLIQ C4.5 iteriert häufig über die Trainingsmenge Wie häufig? Wenn die Trainingsmenge nicht in den Hauptspeicher passt, wird das Swapping unpraktikabel! SLIQ:
Vorkurs Mathematik und Informatik Mengen, natürliche Zahlen, Induktion
Vorkurs Mathematik und Informatik Mengen, natürliche Zahlen, Induktion Saskia Klaus 07.10.016 1 Motivation In den ersten beiden Vorträgen des Vorkurses haben wir gesehen, wie man aus schon bekannten Wahrheiten
1 Einführung. 2 Typ-0- und Typ-1-Sprachen. 3 Berechnungsmodelle. 4 Unentscheidbarkeit. 5 Unentscheidbare Probleme. 6 Komplexitätstheorie
1 Einführung 2 Typ-0- und Typ-1-Sprachen 3 Berechnungsmodelle 4 Unentscheidbarkeit 5 Unentscheidbare Probleme 6 Komplexitätstheorie 139 Unentscheidbarkeit Überblick Zunächst einmal definieren wir formal
Erfüllbarkeitstests. Im folgenden: Ein sehr effizienter Erfüllbarkeitstest für eine spezielle Klasse von Formeln in KNF, sogenannte Hornformeln (vgl.
Erfüllbarkeitstests Im folgenden: Ein sehr effizienter Erfüllbarkeitstest für eine spezielle Klasse von Formeln in KNF, sogenannte Hornformeln (vgl. Grundlagen und diskrete Strukturen ) Ein für Formeln
Mathematik IT 2 (Lineare Algebra)
Lehrstuhl Mathematik, insbesondere Numerische und Angewandte Mathematik Prof Dr L Cromme Mathematik IT (Lineare Algebra für die Studiengänge Informatik, IMT und ebusiness im Sommersemester 3 Lineare Gleichungssysteme
15. Elementare Graphalgorithmen
Graphen sind eine der wichtigste Modellierungskonzepte der Informatik Graphalgorithmen bilden die Grundlage vieler Algorithmen in der Praxis Zunächst kurze Wiederholung von Graphen. Dann Darstellungen
Theoretische Informatik 1
Theoretische Informatik 1 Teil 12 Bernhard Nessler Institut für Grundlagen der Informationsverabeitung TU Graz SS 2007 Übersicht 1 Maschinelles Lernen Definition Lernen 2 agnostic -learning Definition
Uninformierte Suche in Java Informierte Suchverfahren
Uninformierte Suche in Java Informierte Suchverfahren Stephan Schwiebert WS 2008/2009 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln 8-Damen-Problem Gegeben: Schachbrett
Wann sind Codes eindeutig entschlüsselbar?
Wann sind Codes eindeutig entschlüsselbar? Definition Suffix Sei C ein Code. Ein Folge s {0, 1} heißt Suffix in C falls 1 c i, c j C : c i = c j s oder 2 c C und einen Suffix s in C: s = cs oder 3 c C
Grundlagen der Künstlichen Intelligenz
Grundlagen der Künstlichen Intelligenz 28. Aussagenlogik: DPLL-Algorithmus Malte Helmert Universität Basel 2. Mai 2014 Aussagenlogik: Überblick Kapitelüberblick Aussagenlogik: 26. Grundlagen 27. Logisches
Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
Einführung in das Maschinelle Lernen I
Einführung in das Maschinelle Lernen I Vorlesung Computerlinguistische Techniken Alexander Koller 26. Januar 2015 Maschinelles Lernen Maschinelles Lernen (Machine Learning): äußerst aktiver und für CL
Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen
5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus
Natürliche Zahlen sind interessant
Natürliche Zahlen sind interessant N. N. Technische Universität München 16. September 2008 1 Interessante Zahlen Vorbemerkungen Der Zentrale Satz 2 Anwendungen Pädagogik Übersicht 1 Interessante Zahlen
3. Lernen mit Vorwissen
3. Lernen mit Vorwissen Wissen beim Lernen 3. Lernen mit Vorwissen Sei Beschreibungen die Konjunktion aller Beispiele der Trainingsmenge und Klassifizierungen die Konjunktion aller Beispielklassifizierungen.
Algorithmen und Datenstrukturen 2
Algorithmen und Datenstrukturen 2 Sommersemester 2007 11. Vorlesung Peter F. Stadler Universität Leipzig Institut für Informatik studla@bioinf.uni-leipzig.de Das Rucksack-Problem Ein Dieb, der einen Safe
Algorithmen und Datenstrukturen 2
Algorithmen und Datenstrukturen 2 Sommersemester 2009 11. Vorlesung Uwe Quasthoff Universität Leipzig Institut für Informatik quasthoff@informatik.uni-leipzig.de Das Rucksack-Problem Ein Dieb, der einen
3. Klausur Einführung in die Theoretische Informatik Seite 1 von Welches der folgenden klassischen Probleme der Informatik ist entscheidbar?
3. Klausur Einführung in die Theoretische Informatik Seite 1 von 14 1. Welches der folgenden klassischen Probleme der Informatik ist entscheidbar? A. Gegeben eine kontextfreie Grammatik G. Gibt es ein
Konvergenz, Filter und der Satz von Tychonoff
Abschnitt 4 Konvergenz, Filter und der Satz von Tychonoff In metrischen Räumen kann man topologische Begriffe wie Stetigkeit, Abschluss, Kompaktheit auch mit Hilfe von Konvergenz von Folgen charakterisieren.
Das Heiratsproblem. Definition Matching
Das Heiratsproblem Szenario: Gegeben: n Frauen und m > n Männer. Bekanntschaftsbeziehungen zwischen allen Männern und Frauen. Fragestellung: Wann gibt es für jede der Frauen einen Heiratspartner? Modellierung
Formale Sprachen und Automaten
Formale Sprachen und Automaten Kapitel 1: Grundlagen Vorlesung an der DHBW Karlsruhe Thomas Worsch Karlsruher Institut für Technologie, Fakultät für Informatik Wintersemester 2012 Ziel Einführung der wichtigsten
U = U, v i λ i = o und (z.b.) λ 1 0. i=1 1 = i=2. i=2
7 Lineare Unabhängigkeit, asis Existenzsatz M Am Ende des vorigen Paragraphen betrachteten wir bei vorgegebener Teilmenge T eines K-Vektorraumes V das Erzeugnis U von T in V. Die ildung des Erzeugnisses
Übersicht. Allgemeines Modell lernender Agenten. Lernende Agenten (1) Lernende Agenten (2)
Übersicht Allgemeines Modell lernender Agenten I Künstliche Intelligenz II Problemlösen III Wissen und Schlußfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen 18. Lernen aus Beobachtungen
Algo&Komp. - Wichtige Begriffe Mattia Bergomi Woche 6 7
1 Kürzeste Pfade Woche 6 7 Hier arbeiten wir mit gewichteten Graphen, d.h. Graphen, deren Kanten mit einer Zahl gewichtet werden. Wir bezeichnen die Gewichtsfunktion mit l : E R. Wir wollen einen kürzesten
1 Einführung. 2 Typ-0- und Typ-1-Sprachen. 3 Berechnungsmodelle. 4 Unentscheidbarkeit. 5 Unentscheidbare Probleme. 6 Komplexitätstheorie
1 Einführung 2 Typ-0- und Typ-1-Sprachen 3 Berechnungsmodelle 4 Unentscheidbarkeit 5 Unentscheidbare Probleme 6 Komplexitätstheorie WS 11/12 155 Überblick Zunächst einmal definieren wir formal den Begriff
Prinzipien der modernen Kryptographie Sicherheit
Prinzipien der modernen Kryptographie Sicherheit Prinzip 1 Sicherheitsziel Die Sicherheitsziele müssen präzise definiert werden. Beispiele für ungenügende Definitionen von Sicherheit Kein Angreifer kann
Teil 5. Maschinelles Lernen
Teil 5 Maschinelles Lernen Definitionen und Abgrenzungen Was ist Lernen? Zentrale Fähigkeit von intelligenten Systemen in Natur und KI Zielgerichtete Veränderung von Wissen und/oder Verhaltensweisen durch
Wertebereiche, Overflow und Underflow
Wertebereiche, Overflow und Underflow s exponent fraction 1 Bit 8 Bits 23 Bits Kleinste darstellbare nicht negative Zahl annähernd 2,0 * 10 38 Größte darstellbare Zahl annähernd 2,0 * 10 38 Was, wenn die
FORMALE SYSTEME. 8. Vorlesung: Minimale Automaten. TU Dresden, 6. November Markus Krötzsch Lehrstuhl Wissensbasierte Systeme
FORMALE SYSTEME 8. Vorlesung: Minimale Automaten Markus Krötzsch Lehrstuhl Wissensbasierte Systeme TU Dresden, 6. November 2017 Rückblick Markus Krötzsch, 6. November 2017 Formale Systeme Folie 2 von 26
Der Dreyfus-Wagner Algorithmus für das Steiner Baum Problem
Der Dreyfus-Wagner Algorithmus für das Steiner Baum Problem Andreas Moser Dietmar Ebner Christian Schauer Markus Bauer 9. Dezember 2003 1 Einführung Der in der Vorlesung gezeigte Algorithmus für das Steiner
Vorlesung Mathematik für Ingenieure I (Wintersemester 2007/08)
1 Vorlesung Mathematik für Ingenieure I (Wintersemester 2007/08) Kapitel 4: Konvergenz und Stetigkeit Volker Kaibel Otto-von-Guericke Universität Magdeburg (Version vom 22. November 2007) Folgen Eine Folge
Teil III. Schaltnetze und ihre Optimierung
Teil III Schaltnetze und ihre Optimierung 1 Teil III.1 Schaltnetze 2 Beispiel 1 Schaltnetz für xor mit {+,, } x y x y 0 0 0 0 1 1 1 0 1 1 1 0 DNF: x y = xy + xy 3 Beispiel 2 xor mittels nand-verknüpfung;
Vorlesung 3: Logik und Mengenlehre
28102013 Erinnerung: Zeilen-Stufen-Form (ZSF) eines LGS 0 0 1 c 1 0 0 0 1 0 0 1 c r 0 0 0 c r+1 0 0 0 0 0 0 0 0 0 c m Erinnerung: Information der Zeilen-Stufen-Form Aus der ZSF liest man ab: Folgerung
Lernen von Klassifikationen
Lernen von Klassifikationen Gegeben: Trainingsbeispiele: Paare der Form (x i, f(x i )) Gesucht: Funktion f, die die Trainingsbeispiele klassifiziert. (a): Lernen mit Trainingsdaten (b): Genauigkeitsüberprüfung
Kardinalzahlen. Bemerkung. Eine unendliche Kardinalzahl α muss eine Limesordinalzahl sein. (Beweis zur Übung)
Kardinalzahlen Kardinalzahlen sollen die Größe von Mengen messen, daher suchen wir eine Aussage der Form, dass jede Menge bijektiv auf eine Kardinalzahl abgebildet werden kann. Um eine brauchbare Theorie
Topologische Aspekte: Eine kurze Zusammenfassung
Kapitel 1 Topologische Aspekte: Eine kurze Zusammenfassung Wer das erste Knopfloch verfehlt, kommt mit dem Zuknöpfen nicht zu Rande J. W. Goethe In diesem Kapitel bringen wir die Begriffe Umgebung, Konvergenz,
Prinzipien der modernen Kryptographie Sicherheit
Prinzipien der modernen Kryptographie Sicherheit Prinzip 1 Sicherheitsmodell Das Sicherheitsmodell (Berechnungsmodell, Angriffstypen, Sicherheitsziele) muss präzise definiert werden. Berechnungsmodell:
Lösungen der Übungsaufgaben von Kapitel 3
Analysis I Ein Lernbuch für den sanften Wechsel von der Schule zur Uni 1 Lösungen der Übungsaufgaben von Kapitel 3 zu 3.1 3.1.1 Bestimmen Sie den Abschluss, den offenen Kern und den Rand folgender Teilmengen
Lemma Für jede monotone Grammatik G gibt es eine kontextsensitive
Lemma Für jede monotone Grammatik G gibt es eine kontextsensitive Grammatik G mit L(G) = L(G ). Beweis im Beispiel (2.): G = (V,Σ, P, S) : P = {S asbc, S abc, CB BC, ab ab, bb bb, bc bc, cc cc}. (i) G
Fragenkatalog zur Vorlesung "Grundlagen des Data Mining" (WS 2006/07)
Fragenkatalog zur Vorlesung "Grundlagen des Data Mining" (WS 2006/07) 1. Grenzen Sie die Begriffe "Daten" und "Wissen" mit je 3 charakteristischen Eigenschaften gegeander ab. 2. Nennen Sie vier verschiedene
Lineare Algebra I (WS 12/13)
Lineare Algebra I (WS 12/13) Bernhard Hanke Universität Augsburg 17.10.2012 Bernhard Hanke 1 / 9 Wir beschreiben den folgenden Algorithmus zur Lösung linearer Gleichungssysteme, das sogenannte Gaußsche
Analysis I - Stetige Funktionen
Kompaktheit und January 13, 2009 Kompaktheit und Funktionengrenzwert Definition Seien X, d X ) und Y, d Y ) metrische Räume. Desweiteren seien E eine Teilmenge von X, f : E Y eine Funktion und p ein Häufungspunkt
Fragen zum Nachdenken: Wie könnte man das Fehlen eines Attribut-Wertes interpretieren?
Attribut-Werte-Paare Eine Eigenschaft kann beschrieben werden durch ein Paar [a,w]. Dabei bezeichnet a das Attribut und w den konkreten Wert aus dem Wertebereich W a des Attributs. Die Eigenschaften eines
Mathematik für Informatiker 1 Wintersemester 2013/14 Übungsblatt 12
Dipl.Inf. Malte Isberner Dr. Oliver Rüthing Dipl.Inf. Melanie Schmidt Dr. Hubert Wagner Übungen zur Vorlesung Mathematik für Informatiker 1 Wintersemester 2013/14 Übungsblatt 12 Die Lösungshinweise dienen
Dieser Foliensatz darf frei verwendet werden unter der Bedingung, dass diese Titelfolie nicht entfernt wird.
Thomas Studer Relationale Datenbanken: Von den theoretischen Grundlagen zu Anwendungen mit PostgreSQL Springer, 2016 ISBN 978-3-662-46570-7 Dieser Foliensatz darf frei verwendet werden unter der Bedingung,
Statistik II für Betriebswirte Vorlesung 1
Statistik II für Betriebswirte Vorlesung 1 Dr. Andreas Wünsche TU Bergakademie Freiberg Institut für Stochastik 16. Oktober 2017 Dr. Andreas Wünsche Statistik II für Betriebswirte Vorlesung 1 Version: