Kapitel ML: III. III. Entscheidungsbäume. Repräsentation und Konstruktion Impurity-Funktionen Entscheidungsbaumalgorithmen Pruning

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Kapitel ML: III. III. Entscheidungsbäume. Repräsentation und Konstruktion Impurity-Funktionen Entscheidungsbaumalgorithmen Pruning"

Transkript

1 Kapitel ML: III III. Entscheidungsbäume Repräsentation und Konstruktion Impurity-Funktionen Entscheidungsbaumalgorithmen Pruning ML: III-1 Decision Trees c STEIN/LETTMANN

2 Spezifikation von Klassifikationsproblemen [vgl. Einführung] X ist ein Instanzenraum (Merkmalsraum) über endlich vielen Merkmalen. C ist eine Menge von Klassen. c : X C ist der ideale Klassifikator für X. D = {(x 1,c(x 1 )),...,(x n,c(x n ))} X C ist eine Menge von Beispielen. ML: III-2 Decision Trees c STEIN/LETTMANN

3 Entscheidungsbaum für das Konzept EnjoySport Example Sky Temperature Humidity Wind Water Forecast EnjoySport 1 sunny warm normal strong warm same yes 2 sunny warm high strong warm same yes 3 rainy cold high strong warm change no 4 sunny warm high strong cool change yes attribute: Sky sunny attribute: Temperature cloudy label: yes rainy attribute: Wind cold warm strong weak label: no label: yes label: no label: yes Zerlegung von X am Wurzelknoten: X = {x X : x Sky = sunny} {x X : x Sky = cloudy} {x X : x Sky = rainy} ML: III-3 Decision Trees c STEIN/LETTMANN

4 Definition 1 (disjunkte Zerlegung (Splitting)) Sei X ein Instanzenraum und D eine Menge von Beispielen. Eine disjunkte Zerlegung (Splitting) von X, X 1,...,X s, ist eine Aufteilung von X in nichtleere und paarweise disjunkte Teilmengen X 1,...,X s, d.h. X = X 1... X s mit X j und X j X j = für j,j {1,...,s},j j. Eine disjunkte Zerlegung X 1,...,X s von X induziert eine disjunkte Zerlegung von D in D 1,...,D s durch D j := {(x,c(x)) D : x X j }. ML: III-4 Decision Trees c STEIN/LETTMANN

5 Definition 1 (disjunkte Zerlegung (Splitting)) Sei X ein Instanzenraum und D eine Menge von Beispielen. Eine disjunkte Zerlegung (Splitting) von X, X 1,...,X s, ist eine Aufteilung von X in nichtleere und paarweise disjunkte Teilmengen X 1,...,X s, d.h. X = X 1... X s mit X j und X j X j = für j,j {1,...,s},j j. Eine disjunkte Zerlegung X 1,...,X s von X induziert eine disjunkte Zerlegung von D in D 1,...,D s durch D j := {(x,c(x)) D : x X j }. Splittings sind abhängig vom Skalenniveau der Merkmale im Instanzenraum X: 1. Splitting für ein Merkmal A mit endlichem Wertebereich: A = {a 1,...,a m } : X = {x X : x A = a 1 }... {x X : x A = a m } 2. Binäres Splitting für ein nominalskaliertes Merkmal A: A A : X = {x X : x A A } {x X : x A A } 3. Binäres Splitting für ein ordinalskaliertes Merkmal A: v dom(a) : X = {x X : x A v} {x X : x A v} ML: III-5 Decision Trees c STEIN/LETTMANN

6 Definition 1 (disjunkte Zerlegung (Splitting)) Sei X ein Instanzenraum und D eine Menge von Beispielen. Eine disjunkte Zerlegung (Splitting) von X, X 1,...,X s, ist eine Aufteilung von X in nichtleere und paarweise disjunkte Teilmengen X 1,...,X s, d.h. X = X 1... X s mit X j und X j X j = für j,j {1,...,s},j j. Eine disjunkte Zerlegung X 1,...,X s von X induziert eine disjunkte Zerlegung von D in D 1,...,D s durch D j := {(x,c(x)) D : x X j }. Splittings sind abhängig vom Skalenniveau der Merkmale im Instanzenraum X: 1. Splitting für ein Merkmal A mit endlichem Wertebereich: A = {a 1,...,a m } : X = {x X : x A = a 1 }... {x X : x A = a m } 2. Binäres Splitting für ein nominalskaliertes Merkmal A: A A : X = {x X : x A A } {x X : x A A } 3. Binäres Splitting für ein ordinalskaliertes Merkmal A: v dom(a) : X = {x X : x A v} {x X : x A v} ML: III-6 Decision Trees c STEIN/LETTMANN

7 Bemerkungen: Ein Zerlegung in genau zwei disjunkte und nichtleere Teilmengen heißt binäre Zerlegung (binäres Splitting). Wir betrachten in diesem Kontext ausschließlich Splittings, die sich durch Zerlegung des Wertebereichs für ein einzelnes Merkmal ergeben. ML: III-7 Decision Trees c STEIN/LETTMANN

8 Definition 2 (Entscheidungsbaum) Sei X ein Instanzenraum und C eine Menge von Klassen. Ein Entscheidungsbaum T für X und C ist ein endlicher Baum mit einem ausgezeichneten Wurzelknoten. Jedem inneren Knoten von T ist eine disjunkte Zerlegung von X zugeordnet, so dass genau ein Nachfolger des Knoten mit genau einer Teilmenge der Zerlegung korrespondiert. Jedem Blattknoten ist eine Klasse aus C zugeordnet. ML: III-8 Decision Trees c STEIN/LETTMANN

9 Definition 2 (Entscheidungsbaum) Sei X ein Instanzenraum und C eine Menge von Klassen. Ein Entscheidungsbaum T für X und C ist ein endlicher Baum mit einem ausgezeichneten Wurzelknoten. Jedem inneren Knoten von T ist eine disjunkte Zerlegung von X zugeordnet, so dass genau ein Nachfolger des Knoten mit genau einer Teilmenge der Zerlegung korrespondiert. Jedem Blattknoten ist eine Klasse aus C zugeordnet. Klassifikation von Elementen x X mit einem Entscheidungsbaum T : 1. Beginne im Wurzelknoten von T. 2. In einem inneren Knoten von T bestimme die Teilmenge X j der Zerlegung mit x X j und fahre fort in dem Nachfolgerknoten, der mit dieser Teilmenge korrespondiert. 3. Die Klasse eines so erreichten Blattknotens wird x zugeordnet. Die möglichen Entscheidungsbäume bilden den Hypothesenraum. ML: III-9 Decision Trees c STEIN/LETTMANN

10 Bemerkungen: Durch die Klassifikation ergibt sich für jedes x X ein Pfad von der Wurzel von T zu einem Blatt. Bei Verwendung von Splittings, die sich durch Zerlegung des Wertebereichs für ein einzelnes Merkmal ergeben, wird in jedem inneren Knoten eines Entscheidungsbaumes der Wert für ein Merkmal überprüft und anhand dieses Wertes über das weitere Vorgehen entschieden. Jeder Pfad von dem Wurzelknoten zu einem Blattknoten entspricht so einer Konjunktion von Tests hinsichtlich der Merkmalsausprägungen, die mit diesem Pfad assoziiert sind. Dieser Test kann in Form einer Regel formuliert werden Beispiel: IF Sky=rainy AND Wind=weak THEN EnjoySport=yes Ist jede Entscheidung in einem inneren Knoten nur von einem Merkmal (Attribut) abhängig, sprechen wir von monothetischen Entscheidungsbäumen. Beispiele für polythetische Entscheidungsbäume sind die sogenannten Oblique Decision Trees. Eine Zerlegung wie im Beispiel existiert nur bei endlichen Wertebereichen der Merkmale, da für jede mögliche Ausprägung eine Kante zu einem Kindknoten führen muss. Entscheidungsbäume wurden populär durch die Vorstellung des ID3-Algorithmus von J. R. Quinlan im Jahr ML: III-10 Decision Trees c STEIN/LETTMANN

11 Entscheidungsbaum allgemein Sei T ein Entscheidungsbaum für X und C, sei D eine Beispielmenge und sei t ein Knoten in T. Dann sei folgende Schreibweise vereinbart: X(t) bezeichne die von Knoten t repräsentierte Teilmenge des InstanzenraumesX. D(t) bezeichne die von Knoten t repräsentierte Teilmenge der Beispiele D. Es gilt: D(t) = {(x,c(x)) D : x X(t)} Illustration: t 1 D(t 1 ) D(t 1 ) t 2 D(t 2 ) t 3 D(t 3 ) D(t 2 ) D(t 3 ) t 4 D(t 4 ) t 5 D(t 5 ) c 3 t 6 D(t 6 ) D(t 5 ) D(t 6 ) c 1 c 1 c 3 c 2 c 1 ML: III-11 Decision Trees c STEIN/LETTMANN

12 Bemerkungen: Die in einem Knoten repräsentierte Teilmenge X(t) ist die Menge der Elemente x X, die mit einem Pfad durch t vom Entscheidungsbaum klassifiziert werden. Die von einem Knoten repräsentierte Teilmenge X(t) läßt sich wie folgt bestimmen: Bestimme den Wurzelpfad von in T zu t. Jedem Knoten vor t in diesem Pfad ist ein Splitting zugeordnet. Die Nachfolger der Knoten auf dem Pfad korrespondieren mit bestimmten Teilmengen dieser Splittings. X(t) ergibt sich als Schnitt dieser Teilmengen. leaves(t) bezeichnet die Menge aller Blattknoten in T. Ein Entscheidungsbaum repräsentiert eine stückweise konstante Funktion und bildet so einen komplexen, typischerweise nicht-linearen Klassifikator. ML: III-12 Decision Trees c STEIN/LETTMANN

13 Algorithmenschema: Entscheidungsbaumkonstruktion Algorithm: DT -construct Decision Tree Construction Input: D (Teil-)Menge von Beispielen. Output: t Wurzelknoten eines (Teil-)Entscheidungsbaums. DT -construct(d) 1. t = newnode() label(t) = representativeclass(d) 2. IF impure(d) THEN criterion = splitcriterion(d) ELSE return(t) 3. {D 1,...,D s } = decompose(d, criterion) 4. FOREACH D IN {D 1,...,D s } DO addsuccessor(t, DT -construct(d )) ENDDO 5. return(t) [vgl. Illustration] ML: III-13 Decision Trees c STEIN/LETTMANN

14 Algorithmenschema: Beispielklassifikation Algorithm: DT -classify Decision Tree Classification Input: x Merkmalsvektor. t Wurzelknoten eines (Teil-)Entscheidungsbaums. Output: y(x) Klasse für Merkmalsvektor x im (Teil-)Entscheidungsbaum unterhalb t. DT -classify(x, t) 1. IF isleafnode(t) THEN return(label(t)) ELSE return(dt -classify(x, splitsuccessor(t, x)) ML: III-14 Decision Trees c STEIN/LETTMANN

15 Bemerkungen: Weil jedem Knoten eines Entscheidungsbaums durch DT -construct eine Klasse zugewiesen wird, bildet der gesamte Baum und jeder Teilbaum sowie auch jeder durch Abschneiden von Nachfolgern verkleinerte Baum einen Entscheidungsbaum. representativeclass(d) Bestimmt eine repräsentative Klasse für die Beispiele D. Beachte, dass jeder Knoten durch späteres Pruning zu einem Blattknoten werden kann. impure(d) Entscheidet über eine weitere Aufteilung der Beispiele D anhand der Reinheit (Purity) in D. splitcriterion(d) Bestimmt das Splitting-Kriterium für X auf Basis der Beispiele in D. decompose(d, criterion) Teilt die Beispiele D entsprechend criterion in disjunkte Teilmengen. addsuccessor(t,t ) Fügt einen Nachfolger t für den Knoten t ein. isleafnode(t) Testet, ob der Knoten t ein Blattknoten ist. splitsuccessor(t, x) Gibt den Nachfolgerknoten von t an, der die Teilmenge von X repräsentiert, in der x liegt. ML: III-15 Decision Trees c STEIN/LETTMANN

16 Einsatz von Entscheidungsbäumen Charakteristika, die für den Einsatz von Entscheidungsbäumen sprechen: die Beispiele sind durch Attribut-Wert-Kombinationen beschreibbar die Zielfunktion ist diskretwertig (zunächst Bild- als auch Urbildbereich) Hypothesen sind grundsätzlich als Disjunktion aufgebaut die Trainingsmenge ist nicht rauschfrei Anwendungsgebiete (Auswahl): Diagnose in der Medizin Fehlersuche in technischen Systemen Risikoanalyse bei der Kreditvergabe einfache Scheduling-Aufgaben, z.b. in der Terminplanung Klassifikation von Design-Schwächen im Softwareentwurf ML: III-16 Decision Trees c STEIN/LETTMANN

17 Einsatz von Entscheidungsbäumen (Fortsetzung) Wie konstruiert man einen Entscheidungsbaum für D? Was ist ein guter Entscheidungsbaum? Wie soll entschieden werden, ob ein Knoten zum Blattknoten wird? Welche Klasse erhält ein Blattknoten bei Nicht-Eindeutigkeit? ML: III-17 Decision Trees c STEIN/LETTMANN

18 Güte von Entscheidungsbäumen Klassifikationsfehler. Quantifiziert die Eindeutigkeit, mit der für ein x in einem Blattknoten von T auf Basis von D eine Entscheidung für eine Klasse erfolgt. Ein Entscheidungsbaum, dessen Blätter jeweils ein Beispiel aus D repräsentieren, macht keinen Klassifikationsfehler auf D. Größe. Von mehreren Theorien, die den gleichen Sachverhalt erklären, ist die einfachste allen anderen vorzuziehen (Occam s Razor): Entia non sunt multiplicanda praeter necessitatem oder sine necessitate. [Johannes Clauberg ] Hier: unter allen Entscheidungsbäumen mit minimalem Klassifikationsfehler wählen wir den mit minimaler Größe. ML: III-18 Decision Trees c STEIN/LETTMANN

19 Güte von Entscheidungsbäumen Klassifikationsfehler. Quantifiziert die Eindeutigkeit, mit der für ein x in einem Blattknoten von T auf Basis von D eine Entscheidung für eine Klasse erfolgt. Ein Entscheidungsbaum, dessen Blätter jeweils ein Beispiel aus D repräsentieren, macht keinen Klassifikationsfehler auf D. Größe. Von mehreren Theorien, die den gleichen Sachverhalt erklären, ist die einfachste allen anderen vorzuziehen (Occam s Razor): Entia non sunt multiplicanda praeter necessitatem oder sine necessitate. [Johannes Clauberg ] Hier: unter allen Entscheidungsbäumen mit minimalem Klassifikationsfehler wählen wir den mit minimaler Größe. ML: III-19 Decision Trees c STEIN/LETTMANN

20 Güte von Entscheidungsbäumen: Größe Blattanzahl Die Blattanzahl entspricht der Anzahl der Regeln, die man aus einem Entscheidungsbaum generiert. Baumhöhe Die Baumhöhe entspricht der maximalen Regellänge, d. h. der Anzahl der maximal zu verifizierenden Prämissen für eine Entscheidung. externe Pfadlänge Die externe Pfadlänge ist definiert als die Summe der Längen aller Pfade von dem Wurzelknoten zu einem Blatt. Sie entpricht dem Speicherplatz für eine aus dem Baum generierte Regelmenge. gewichtete externe Pfadlänge Die gewichtete externe Pfadlänge wird berechnet wie die externe Pfadlänge, wobei die Längen der Pfade auf Basis der Anzahl der zugeordneten Beispiele in D gewichtet werden. ML: III-20 Decision Trees c STEIN/LETTMANN

21 Güte von Entscheidungsbäumen: Größe Blattanzahl Die Blattanzahl entspricht der Anzahl der Regeln, die man aus einem Entscheidungsbaum generiert. Baumhöhe Die Baumhöhe entspricht der maximalen Regellänge, d. h. der Anzahl der maximal zu verifizierenden Prämissen für eine Entscheidung. externe Pfadlänge Die externe Pfadlänge ist definiert als die Summe der Längen aller Pfade von dem Wurzelknoten zu einem Blatt. Sie entpricht dem Speicherplatz für eine aus dem Baum generierte Regelmenge. gewichtete externe Pfadlänge Die gewichtete externe Pfadlänge wird berechnet wie die externe Pfadlänge, wobei die Längen der Pfade auf Basis der Anzahl der zugeordneten Beispiele in D gewichtet werden. ML: III-21 Decision Trees c STEIN/LETTMANN

22 Güte von Entscheidungsbäumen: Größe Folgende Alternativen klassifizieren alle Beispiele aus D korrekt: Alternative 1: a: Farbe Alternative 2: a: Größe rot grün braun klein groß a: Größe y: essbar (1x) y: essbar (2x) a: Punkte y: essbar (2x) klein groß ja nein y: giftig (1x) y: essbar (1x) y: giftig (1x) y: essbar (2x) Kriterium Alternative 1 Alternative 2 Blattanzahl 4 3 Baumhöhe 2 2 externe Pfadlänge 6 5 gewichtete externe Pfadlänge 7 8 ML: III-22 Decision Trees c STEIN/LETTMANN

23 Güte von Entscheidungsbäumen: Größe Satz 1 (externe Pfadlänge < b) Das Problem, ob für eine Trainingsmenge D ein Entscheidungsbaum mit einer durch b beschränkten externen Pfadlänge existiert, ist NP-vollständig. ML: III-23 Decision Trees c STEIN/LETTMANN

24 Güte von Entscheidungsbäumen: Missklassifikationsanteil In einem Entscheidungsbaum T für die Beispielmenge D wird einem Knoten t, der die Menge D(t) D repräsentiert, label(t) auf Basis folgender Überlegung zugewiesen: label(t) = argmax c C {(x,c(x)) D(t) : c(x) = c} D(t) ML: III-24 Decision Trees c STEIN/LETTMANN

25 Güte von Entscheidungsbäumen: Missklassifikationsanteil In einem Entscheidungsbaum T für die Beispielmenge D wird einem Knoten t, der die Menge D(t) D repräsentiert, label(t) auf Basis folgender Überlegung zugewiesen: label(t) = argmax c C {(x,c(x)) D(t) : c(x) = c} D(t) Missklassifikationsanteil Err(t, D(t)) im Knoten t auf D(t): Err(t,D(t)) = 1 max c C {(x,c(x)) D(t) : c(x) = c} D(t) Trainingsfehler (Missklassifikationsanteil auf Trainingsmenge) Err(T, D) für Entscheidungsbaum T : Err(T,D) = Err(t,D(t)) D(t) D t leaves(t) ML: III-25 Decision Trees c STEIN/LETTMANN

26 Bemerkungen: Beachte den Unterschied zwischen argmax{...} und max {...}. c C c C Ein Entscheidungsbaum T insgesamt, aber auch jeder einzelnen Knoten t stellt einen Klassifikator dar. Statt y T,y t : X C verwenden wir kurz T und t auch als Bezeichner dieser Klassifikatoren. Für einen Entscheidungsbaum T wird der wahre Missklassifikationsanteil Err (T) auf Grundlage eines Wahrscheinlichkeitsmaßes P über X C (anstatt durch relative Häufigkeiten über D) angegeben. Für einen Knoten t in T wird die Wahrscheinlichkeit der Missklassifikation minimal, falls gilt: label(t) = argmax c C P(c X(t)) Die Berechnung des Trainingsfehlers Err(T, D) für einen Entscheidungsbaum T ist nur sinnvoll, wenn die induktive Lernannahme (Inductive Learning Hypothesis) zutrifft. Diese fordert implizit auch, dass die Verteilung von C in dem Instanzenraum X der Verteilung von C in der Menge D der Beispiele entspricht. ML: III-26 Decision Trees c STEIN/LETTMANN

27 Güte von Entscheidungsbäumen: Missklassifikationskosten In einem Entscheidungsbaum T für die Beispielmenge D wird einem Knoten t, der die Menge D(t) D repräsentiert, label(t) auf Basis folgender Überlegung zugewiesen: label(t) = argmin c C cost(c c) c C {(x,c(x)) D(t) : c(x) = c} D(t) ML: III-27 Decision Trees c STEIN/LETTMANN

28 Güte von Entscheidungsbäumen: Missklassifikationskosten In einem Entscheidungsbaum T für die Beispielmenge D wird einem Knoten t, der die Menge D(t) D repräsentiert, label(t) auf Basis folgender Überlegung zugewiesen: label(t) = argmin c C cost(c c) c C {(x,c(x)) D(t) : c(x) = c} D(t) Missklassifikationskosten Err cost (t,d(t)) im Knoten t auf D(t): Err cost (t,d(t)) = min c C cost(c c) c C {(x,c(x)) D(t) : c(x) = c} D(t) Missklassifikationskosten auf der Trainingsmenge) Err cost (T,D) für Entscheidungsbaum T : Err cost (T,D) = Err cost (t,d(t)) D(t) D t leaves(t) ML: III-28 Decision Trees c STEIN/LETTMANN

29 Bemerkungen: Beachte den Unterschied zwischen argmin{...} und min {...}. c C c C ML: III-29 Decision Trees c STEIN/LETTMANN

Kapitel ML: III (Fortsetzung)

Kapitel ML: III (Fortsetzung) Kapitel ML: III (Fortsetzung) III. Entscheidungsbäume Repräsentation und Konstruktion Impurity-Funktionen Entscheidungsbaumalgorithmen Pruning ML: III-87 Decision Trees c STEIN/LETTMANN 2005-2011 Missklassifikationskosten

Mehr

Moderne Methoden der KI: Maschinelles Lernen

Moderne Methoden der KI: Maschinelles Lernen Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Entscheidungsbäume Darstellung durch Regeln ID3 / C4.5 Bevorzugung kleiner Hypothesen Overfitting Entscheidungsbäume

Mehr

2. Lernen von Entscheidungsbäumen

2. Lernen von Entscheidungsbäumen 2. Lernen von Entscheidungsbäumen Entscheidungsbäume 2. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse

Mehr

4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum

4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum 4. Lernen von Entscheidungsbäumen Klassifikation mit Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch /Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse zugeordnet werden.

Mehr

Kapitel ML:IV (Fortsetzung)

Kapitel ML:IV (Fortsetzung) Kapitel ML:IV (Fortsetzung) IV. Statistische Lernverfahren Wahrscheinlichkeitsrechnung Bayes-Klassifikation Maximum-a-Posteriori-Hypothesen ML:IV-18 Statistical Learning c STEIN 2005-2011 Satz 3 (Bayes)

Mehr

3. Entscheidungsbäume. Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002)

3. Entscheidungsbäume. Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002) 3. Entscheidungsbäume Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002) (aus Wilhelm 2001) Beispiel: (aus Böhm 2003) Wann sind Entscheidungsbäume

Mehr

Künstliche Intelligenz Maschinelles Lernen

Künstliche Intelligenz Maschinelles Lernen Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert Sommersemester 2009 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Maschinelles Lernen Überwachtes Lernen

Mehr

Entscheidungsbaum-Lernen: Übersicht

Entscheidungsbaum-Lernen: Übersicht Entscheidungsbaum-Lernen: Übersicht Entscheidungsbäume als Repräsentationsformalismus Semantik: Klassifikation Lernen von Entscheidungsbäumen vollst. Suche vs. TDIDT Tests, Ausdrucksfähigkeit Maße: Information

Mehr

Maschinelles Lernen. Kapitel 5

Maschinelles Lernen. Kapitel 5 Kapitel 5 Maschinelles Lernen Im täglichen Leben begegnet uns das Lernen meist in einer Mischung aus den Aspekten der Vergrößerung von Wissen und der Verbesserung von Fähigkeiten. Beim Erlernen einer Fremdsprache

Mehr

Kapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen

Kapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen Kapitel ML: I I. Einführung Beispiele für Lernaufgaben Spezifikation von Lernproblemen ML: I-8 Introduction c STEIN/LETTMANN 2005-2010 Beispiele für Lernaufgaben Autoeinkaufsberater Welche Kriterien liegen

Mehr

Bayes sches Lernen: Übersicht

Bayes sches Lernen: Übersicht Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.

Mehr

3. Lernen von Entscheidungsbäumen

3. Lernen von Entscheidungsbäumen 3. Lernen von Entscheidungsbäumen Entscheidungsbäume 3. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Maschinelles Lernen II: Klassifikation mit Entscheidungsbäumen Vera Demberg Universität des Saarlandes 12. Juli 2012 Vera Demberg (UdS) Mathe III 12. Juli 2012 1 / 38 Einleitung

Mehr

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen 5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x

Mehr

Maschinelles Lernen Entscheidungsbäume

Maschinelles Lernen Entscheidungsbäume Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Entscheidungsbäume Paul Prasse Entscheidungsbäume Eine von vielen Anwendungen: Kreditrisiken Kredit - Sicherheiten

Mehr

Data Mining und Text Mining Einführung. S2 Einfache Regellerner

Data Mining und Text Mining Einführung. S2 Einfache Regellerner Data Mining und Text Mining Einführung S2 Einfache Regellerner Hans Hermann Weber Univ. Erlangen, Informatik 8 Wintersemester 2003 hans.hermann.weber@gmx.de Inhalt Einiges über Regeln und Bäume R1 ein

Mehr

Lernen von Entscheidungsbäumen. Volker Tresp Summer 2014

Lernen von Entscheidungsbäumen. Volker Tresp Summer 2014 Lernen von Entscheidungsbäumen Volker Tresp Summer 2014 1 Anforderungen an Methoden zum Datamining Schnelle Verarbeitung großer Datenmengen Leichter Umgang mit hochdimensionalen Daten Das Lernergebnis

Mehr

4. OBDDs und Modellüberprüfung

4. OBDDs und Modellüberprüfung 4. OBDDs und Modellüberprüfung OBDD Ordered Binary Decision Diagrams Geordnete binäre Entscheidungsdiagramme Binäres Entscheidungsdiagramm: in der einfachsten Form ein binärer Entscheidungsbaum, in dem

Mehr

4 Greedy-Algorithmen (gierige Algorithmen)

4 Greedy-Algorithmen (gierige Algorithmen) Greedy-Algorithmen (gierige Algorithmen) Greedy-Algorithmen werden oft für die exakte oder approximative Lösung von Optimierungsproblemen verwendet. Typischerweise konstruiert ein Greedy-Algorithmus eine

Mehr

Kapitel VI. Wahrscheinlichkeitsbegriff. Wahrscheinlichkeitsbegriff. LF: VI Bayesian Learning c STEIN

Kapitel VI. Wahrscheinlichkeitsbegriff. Wahrscheinlichkeitsbegriff. LF: VI Bayesian Learning c STEIN Kapitel VI VI. Bayes sches Lernen Maximum-a-Posteriori-Hypothesen 1 Definition 18 (Zufallsexperiment, Zufallsbeobachtung) Ein Zufallsexperiment ist ein im Prinzip beliebig oft wiederholbarer Vorgang mit

Mehr

Kapitel 4: Dynamische Datenstrukturen. Algorithmen und Datenstrukturen WS 2012/13. Prof. Dr. Sándor Fekete

Kapitel 4: Dynamische Datenstrukturen. Algorithmen und Datenstrukturen WS 2012/13. Prof. Dr. Sándor Fekete Kapitel 4: Dynamische Datenstrukturen Algorithmen und Datenstrukturen WS 2012/13 Prof. Dr. Sándor Fekete 4.4 Binäre Suche Aufgabenstellung: Rate eine Zahl zwischen 100 und 114! Algorithmus 4.1 INPUT: OUTPUT:

Mehr

8. A & D - Heapsort. Werden sehen, wie wir durch geschicktes Organsieren von Daten effiziente Algorithmen entwerfen können.

8. A & D - Heapsort. Werden sehen, wie wir durch geschicktes Organsieren von Daten effiziente Algorithmen entwerfen können. 8. A & D - Heapsort Werden sehen, wie wir durch geschicktes Organsieren von Daten effiziente Algorithmen entwerfen können. Genauer werden wir immer wieder benötigte Operationen durch Datenstrukturen unterstützen.

Mehr

Der Alpha-Beta-Algorithmus

Der Alpha-Beta-Algorithmus Der Alpha-Beta-Algorithmus Maria Hartmann 19. Mai 2017 1 Einführung Wir wollen für bestimmte Spiele algorithmisch die optimale Spielstrategie finden, also die Strategie, die für den betrachteten Spieler

Mehr

Datenstrukturen & Algorithmen Lösungen zu Blatt 6 FS 14

Datenstrukturen & Algorithmen Lösungen zu Blatt 6 FS 14 Eidgenössische Technische Hochschule Zürich Ecole polytechnique fédérale de Zurich Politecnico federale di Zurigo Federal Institute of Technology at Zurich Institut für Theoretische Informatik 2. April

Mehr

Vorlesung 04.12.2006: Binäre Entscheidungsdiagramme (BDDs) Dr. Carsten Sinz

Vorlesung 04.12.2006: Binäre Entscheidungsdiagramme (BDDs) Dr. Carsten Sinz Vorlesung 04.12.2006: Binäre Entscheidungsdiagramme (BDDs) Dr. Carsten Sinz Datenstruktur BDD 1986 von R. Bryant vorgeschlagen zur Darstellung von aussagenlogischen Formeln (genauer: Booleschen Funktionen)

Mehr

Was bisher geschah. Aufgaben: Diagnose, Entscheidungsunterstützung Aufbau Komponenten und Funktion

Was bisher geschah. Aufgaben: Diagnose, Entscheidungsunterstützung Aufbau Komponenten und Funktion Was bisher geschah Daten, Information, Wissen explizites und implizites Wissen Wissensrepräsentation und -verarbeitung: Wissensbasis Kontextwissen Problemdarstellung fallspezifisches Wissen repräsentiert

Mehr

Vorlesung Wissensentdeckung

Vorlesung Wissensentdeckung Gliederung Vorlesung Wissensentdeckung Additive Modelle Katharina Morik, Weihs 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung.6.015 1 von 33 von 33 Ausgangspunkt: Funktionsapproximation Aufteilen der

Mehr

Data Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 3. Übungsblatt

Data Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 3. Übungsblatt Data Mining und Maschinelles Lernen Wintersemester 2015/2016 Lösungsvorschlag für das 3. Übungsblatt 18. November 2015 1 Aufgabe 1: Version Space, Generalisierung und Spezialisierung (1) Gegeben sei folgende

Mehr

Begriffsbestimmung CRISP-DM-Modell Betriebswirtschaftliche Einsatzgebiete des Data Mining Web Mining und Text Mining

Begriffsbestimmung CRISP-DM-Modell Betriebswirtschaftliche Einsatzgebiete des Data Mining Web Mining und Text Mining Gliederung 1. Einführung 2. Grundlagen Data Mining Begriffsbestimmung CRISP-DM-Modell Betriebswirtschaftliche Einsatzgebiete des Data Mining Web Mining und Text Mining 3. Ausgewählte Methoden des Data

Mehr

Kapitel MK:IV. IV. Modellieren mit Constraints

Kapitel MK:IV. IV. Modellieren mit Constraints Kapitel MK:IV IV. Modellieren mit Constraints Einführung und frühe Systeme Konsistenz I Binarization Generate-and-Test Backtracking-basierte Verfahren Konsistenz II Konsistenzanalyse Weitere Analyseverfahren

Mehr

Eine Baumstruktur sei folgendermaßen definiert. Eine Baumstruktur mit Grundtyp Element ist entweder

Eine Baumstruktur sei folgendermaßen definiert. Eine Baumstruktur mit Grundtyp Element ist entweder Programmieren in PASCAL Bäume 1 1. Baumstrukturen Eine Baumstruktur sei folgendermaßen definiert. Eine Baumstruktur mit Grundtyp Element ist entweder 1. die leere Struktur oder 2. ein Knoten vom Typ Element

Mehr

Informatik II Vorlesung am D-BAUG der ETH Zürich

Informatik II Vorlesung am D-BAUG der ETH Zürich Informatik II Vorlesung am D-BAUG der ETH Zürich Vorlesung 9, 2.5.2016 [Nachtrag zu Vorlesung : Numerische Integration, Zusammenfassung Objektorientierte Programmierung] Dynamische Datenstrukturen II:

Mehr

Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07

Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07 Regression Trees Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07 Ao.Univ.Prof. Dr. Marcus Hudec marcus.hudec@univie.ac.at Institut für Scientific Computing, Universität Wien 2

Mehr

Binary Decision Diagrams (Einführung)

Binary Decision Diagrams (Einführung) Binary Decision Diagrams (Einführung) Binary Decision Diagrams (BDDs) sind bestimmte Graphen, die als Datenstruktur für die kompakte Darstellung von booleschen Funktionen benutzt werden. BDDs wurden von

Mehr

Entscheidungsbaum-Lernen: Übersicht

Entscheidungsbaum-Lernen: Übersicht Entscheidungsbaum-Lernen: Übersicht Entscheidungsbäume Repräsentationsformalismus Tests Semantik: Klassifikation Ausdrucksfähigkeit Lernen von Entscheidungsbäumen Szenario vollst. Suche vs. TDIDT Maße:

Mehr

Vorlesung Informatik 2 Algorithmen und Datenstrukturen

Vorlesung Informatik 2 Algorithmen und Datenstrukturen Vorlesung Informatik 2 Algorithmen und Datenstrukturen (18 Bäume: Grundlagen und natürliche Suchbäume) Prof. Dr. Susanne Albers Bäume (1) Bäume sind verallgemeinerte Listen (jedes Knoten-Element kann mehr

Mehr

Übung zur Vorlesung Algorithmische Geometrie

Übung zur Vorlesung Algorithmische Geometrie Übung zur Vorlesung Algorithmische Geometrie Dipl.-Math. Bastian Rieck Arbeitsgruppe Computergraphik und Visualisierung Interdisziplinäres Zentrum für Wissenschaftliches Rechnen 8. Mai 2012 B. Rieck (CoVis)

Mehr

Der Dreyfus-Wagner Algorithmus für das Steiner Baum Problem

Der Dreyfus-Wagner Algorithmus für das Steiner Baum Problem Der Dreyfus-Wagner Algorithmus für das Steiner Baum Problem Andreas Moser Dietmar Ebner Christian Schauer Markus Bauer 9. Dezember 2003 1 Einführung Der in der Vorlesung gezeigte Algorithmus für das Steiner

Mehr

Vorlesung Maschinelles Lernen

Vorlesung Maschinelles Lernen Vorlesung Maschinelles Lernen Additive Modelle Katharina Morik Informatik LS 8 Technische Universität Dortmund 7.1.2014 1 von 34 Gliederung 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung 2 von 34 Ausgangspunkt:

Mehr

Very simple methods for all pairs network flow analysis

Very simple methods for all pairs network flow analysis Very simple methods for all pairs network flow analysis Tobias Ludes 02.07.07 Inhalt Einführung Algorithmen Modifikation der Gomory-Hu Methode Einführung Nach Gomory-Hu nur n-1 Netzwerk-Fluss- Berechnungen

Mehr

Graphen und Bäume. A.1 Graphen

Graphen und Bäume. A.1 Graphen Algorithmen und Datenstrukturen 96 A Graphen und Bäume A.1 Graphen Ein gerichteter Graph (auch Digraph) G ist ein Paar (V, E), wobei V eine endliche Menge und E eine Relation auf V ist, d.h. E V V. V heißt

Mehr

Vorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke

Vorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,

Mehr

Logik für Informatiker

Logik für Informatiker Vorlesung Logik für Informatiker 13. Prädikatenlogik Der Satz von Herbrand Bernhard Beckert Universität Koblenz-Landau Sommersemester 2006 Logik für Informatiker, SS 06 p.1 Semantische Bäume Eine klassische

Mehr

Kapitel LF: I. Beispiele für Lernaufgaben. Beispiele für Lernaufgaben. LF: I Introduction c STEIN

Kapitel LF: I. Beispiele für Lernaufgaben. Beispiele für Lernaufgaben. LF: I Introduction c STEIN Kapitel LF: I I. Einführung in das Maschinelle Lernen Bemerkungen: Dieses Kapitel orientiert sich an dem Buch Machine Learning von Tom Mitchell. http://www.cs.cmu.edu/ tom/mlbook.html 1 Autoeinkaufsberater?

Mehr

Grundlagen: Algorithmen und Datenstrukturen

Grundlagen: Algorithmen und Datenstrukturen Grundlagen: Algorithmen und Datenstrukturen Prof. Dr. Hanjo Täubig Lehrstuhl für Effiziente Algorithmen (Prof. Dr. Ernst W. Mayr) Institut für Informatik Technische Universität München Sommersemester 00

Mehr

Einführung in die Methoden der Künstlichen Intelligenz. Maschinelles Lernen

Einführung in die Methoden der Künstlichen Intelligenz. Maschinelles Lernen Einführung in die Methoden der Künstlichen Intelligenz Maschinelles Lernen Dr. David Sabel WS 2012/13 Stand der Folien: 14. Februar 2013 Einführung Direkte Programmierung eines intelligenten Agenten nicht

Mehr

Maschinelles Lernen: Symbolische Ansätze. Wintersemester 2013/2014 Musterlösung für das 7. Übungsblatt

Maschinelles Lernen: Symbolische Ansätze. Wintersemester 2013/2014 Musterlösung für das 7. Übungsblatt Maschinelles Lernen: Symbolische Ansätze Wintersemester 2013/2014 Musterlösung für das 7. Übungsblatt 1 Aufgabe 1 Nearest Neighbour Gegeben sei folgende Beispielmenge: Day Outlook Temperature Humidity

Mehr

Fortgeschrittene Netzwerk- und Graph-Algorithmen

Fortgeschrittene Netzwerk- und Graph-Algorithmen Fortgeschrittene Netzwerk- und Graph-Algorithmen Dr. Hanjo Täubig Lehrstuhl für Eziente Algorithmen (Prof. Dr. Ernst W. Mayr) Institut für Informatik Technische Universität München Wintersemester 2007/08

Mehr

6. Bayes-Klassifikation. (Schukat-Talamazzini 2002)

6. Bayes-Klassifikation. (Schukat-Talamazzini 2002) 6. Bayes-Klassifikation (Schukat-Talamazzini 2002) (Böhm 2003) (Klawonn 2004) Der Satz von Bayes: Beweis: Klassifikation mittels des Satzes von Bayes (Klawonn 2004) Allgemeine Definition: Davon zu unterscheiden

Mehr

Algo&Komp. - Wichtige Begriffe Mattia Bergomi Woche 6 7

Algo&Komp. - Wichtige Begriffe Mattia Bergomi Woche 6 7 1 Kürzeste Pfade Woche 6 7 Hier arbeiten wir mit gewichteten Graphen, d.h. Graphen, deren Kanten mit einer Zahl gewichtet werden. Wir bezeichnen die Gewichtsfunktion mit l : E R. Wir wollen einen kürzesten

Mehr

Tutorium Algorithmen & Datenstrukturen

Tutorium Algorithmen & Datenstrukturen June 16, 2010 Binärer Baum Binärer Baum enthält keine Knoten (NIL) besteht aus drei disjunkten Knotenmengen: einem Wurzelknoten, einem binären Baum als linken Unterbaum und einem binären Baum als rechten

Mehr

Computer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10

Computer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Computer Vision: AdaBoost D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Idee Gegeben sei eine Menge schwacher (einfacher, schlechter) Klassifikatoren Man bilde einen guten durch eine geschickte Kombination

Mehr

Data Mining und Maschinelles Lernen Lösungsvorschlag für das 7. Übungsblatt

Data Mining und Maschinelles Lernen Lösungsvorschlag für das 7. Übungsblatt Data Mining und Maschinelles Lernen Lösungsvorschlag für das 7. Übungsblatt Knowledge Engineering Group Data Mining und Maschinelles Lernen Lösungsvorschlag 7. Übungsblatt 1 Aufgabe 1a) Auffüllen von Attributen

Mehr

6 Baumstrukturen. Formale Grundlagen der Informatik I Herbstsemester 2012. Robert Marti

6 Baumstrukturen. Formale Grundlagen der Informatik I Herbstsemester 2012. Robert Marti 6 Baumstrukturen Formale Grundlagen der Informatik I Herbstsemester 2012 Robert Marti Vorlesung teilweise basierend auf Unterlagen von Prof. emer. Helmut Schauer Beispiel: Hierarchisches File System 2

Mehr

Maschinelles Lernen: Symbolische Ansätze

Maschinelles Lernen: Symbolische Ansätze Maschinelles Lernen: Symbolische Ansätze Wintersemester 2008/2009 Musterlösung für das 7. Übungsblatt Aufgabe 1: Evaluierung und Kosten Gegeben sei ein Datensatz mit 300 Beispielen, davon 2 /3 positiv

Mehr

Alle bislang betrachteten Sortieralgorithmen hatten (worst-case) Laufzeit Ω(nlog(n)).

Alle bislang betrachteten Sortieralgorithmen hatten (worst-case) Laufzeit Ω(nlog(n)). 8. Untere Schranken für Sortieren Alle bislang betrachteten Sortieralgorithmen hatten (worst-case) Laufzeit Ω(nlog(n)). Werden nun gemeinsame Eigenschaften dieser Algorithmen untersuchen. Fassen gemeinsame

Mehr

Effiziente Algorithmen und Datenstrukturen I. Kapitel 9: Minimale Spannbäume

Effiziente Algorithmen und Datenstrukturen I. Kapitel 9: Minimale Spannbäume Effiziente Algorithmen und Datenstrukturen I Kapitel 9: Minimale Spannbäume Christian Scheideler WS 008 19.0.009 Kapitel 9 1 Minimaler Spannbaum Zentrale Frage: Welche Kanten muss ich nehmen, um mit minimalen

Mehr

Teil III. Komplexitätstheorie

Teil III. Komplexitätstheorie Teil III Komplexitätstheorie 125 / 160 Übersicht Die Klassen P und NP Die Klasse P Die Klassen NP NP-Vollständigkeit NP-Vollständige Probleme Weitere NP-vollständige Probleme 127 / 160 Die Klasse P Ein

Mehr

6.6 Vorlesung: Von OLAP zu Mining

6.6 Vorlesung: Von OLAP zu Mining 6.6 Vorlesung: Von OLAP zu Mining Definition des Begriffs Data Mining. Wichtige Data Mining-Problemstellungen, Zusammenhang zu Data Warehousing,. OHO - 1 Definition Data Mining Menge von Techniken zum

Mehr

ADS: Algorithmen und Datenstrukturen 2

ADS: Algorithmen und Datenstrukturen 2 ADS: Algorithmen und Datenstrukturen Der Tragödie IV. Theyl Peter F. Stadler & Konstantin Klemm Bioinformatics Group, Dept. of Computer Science & Interdisciplinary Center for Bioinformatics, University

Mehr

Definition Gerichteter Pfad. gerichteter Pfad, wenn. Ein gerichteter Pfad heißt einfach, falls alle u i paarweise verschieden sind.

Definition Gerichteter Pfad. gerichteter Pfad, wenn. Ein gerichteter Pfad heißt einfach, falls alle u i paarweise verschieden sind. 3.5 Gerichteter Pfad Definition 291 Eine Folge (u 0, u 1,..., u n ) mit u i V für i = 0,..., n heißt gerichteter Pfad, wenn ( i {0,..., n 1} ) [ (u i, u i+1 ) A]. Ein gerichteter Pfad heißt einfach, falls

Mehr

Suche in Spielbäumen Spielbäume Minimax Algorithmus Alpha-Beta Suche. Suche in Spielbäumen. KI SS2011: Suche in Spielbäumen 1/20

Suche in Spielbäumen Spielbäume Minimax Algorithmus Alpha-Beta Suche. Suche in Spielbäumen. KI SS2011: Suche in Spielbäumen 1/20 Suche in Spielbäumen Suche in Spielbäumen KI SS2011: Suche in Spielbäumen 1/20 Spiele in der KI Suche in Spielbäumen Spielbäume Minimax Algorithmus Alpha-Beta Suche Einschränkung von Spielen auf: 2 Spieler:

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Entscheidungsbäume

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Entscheidungsbäume Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Entscheidungsbäume Christoph Sawade/Niels Landwehr Jules Rasetaharison, Tobias Scheffer Entscheidungsbäume Eine von vielen Anwendungen:

Mehr

Data Warehousing und Data Mining

Data Warehousing und Data Mining Data Warehousing und Data Mining Klassifikation Ulf Leser Wissensmanagement in der Bioinformatik Inhalt dieser Vorlesung Einführung Problemstellung Evaluation Overfitting knn Klassifikator Naive-Bayes

Mehr

Quadtrees und Meshing

Quadtrees und Meshing Vorlesung Algorithmische Geometrie INSTITUT FÜR THEORETISCHE INFORMATIK FAKULTÄT FÜR INFORMATIK Martin Nöllenburg 24.06.2014 Motivation: Meshing von Platinenlayouts Zur Simulation der Hitzeentwicklung

Mehr

Lösungen zur 1. Klausur. Einführung in Berechenbarkeit, formale Sprachen und Komplexitätstheorie

Lösungen zur 1. Klausur. Einführung in Berechenbarkeit, formale Sprachen und Komplexitätstheorie Hochschuldozent Dr. Christian Schindelhauer Paderborn, den 21. 2. 2006 Lösungen zur 1. Klausur in Einführung in Berechenbarkeit, formale Sprachen und Komplexitätstheorie Name :................................

Mehr

Dezimaldarstellung ganzer Zahlen (Division mit Rest) 1 Division mit Rest in der Hochschule

Dezimaldarstellung ganzer Zahlen (Division mit Rest) 1 Division mit Rest in der Hochschule Berufsfeldbezogenes Fachseminar - Zahlentheorie Lisa Laudan Prof. Dr. Jürg Kramer Wintersemester 2014/2015 Dezimaldarstellung ganzer Zahlen (Division mit Rest) 1 Division mit Rest in der Hochschule 1.1

Mehr

8 Diskrete Optimierung

8 Diskrete Optimierung 8 Diskrete Optimierung Definition 8.1. Ein Graph G ist ein Paar (V (G), E(G)) besteh aus einer lichen Menge V (G) von Knoten (oder Ecken) und einer Menge E(G) ( ) V (G) 2 von Kanten. Die Ordnung n(g) von

Mehr

Vorlesung Datenstrukturen

Vorlesung Datenstrukturen Vorlesung Datenstrukturen Binärbaum Suchbaum Dr. Frank Seifert Vorlesung Datenstrukturen - Sommersemester 2016 Folie 356 Datenstruktur Binärbaum Strukturrepräsentation des mathematischen Konzepts Binärbaum

Mehr

Algorithmen II Vorlesung am 15.11.2012

Algorithmen II Vorlesung am 15.11.2012 Algorithmen II Vorlesung am 15.11.2012 Kreisbasen, Matroide & Algorithmen INSTITUT FÜR THEORETISCHE INFORMATIK PROF. DR. DOROTHEA WAGNER KIT Universität des Landes Baden-Württemberg und Algorithmen nationales

Mehr

Bäume und Wälder. Definition 1

Bäume und Wälder. Definition 1 Bäume und Wälder Definition 1 Ein Baum ist ein zusammenhängender, kreisfreier Graph. Ein Wald ist ein Graph, dessen Zusammenhangskomponenten Bäume sind. Ein Knoten v eines Baums mit Grad deg(v) = 1 heißt

Mehr

ADS: Algorithmen und Datenstrukturen 2

ADS: Algorithmen und Datenstrukturen 2 ADS: Algorithmen und Datenstrukturen 2 Teil 5 Prof. Peter F. Stadler & Dr. Christian Höner zu Siederdissen Bioinformatik/IZBI Institut für Informatik & Interdisziplinäres Zentrum für Bioinformatik Universität

Mehr

Formale Methoden 1. Gerhard Jäger 12. Dezember Uni Bielefeld, WS 2007/2008 1/22

Formale Methoden 1. Gerhard Jäger 12. Dezember Uni Bielefeld, WS 2007/2008 1/22 1/22 Formale Methoden 1 Gerhard Jäger Gerhard.Jaeger@uni-bielefeld.de Uni Bielefeld, WS 2007/2008 12. Dezember 2007 2/22 Bäume Baumdiagramme Ein Baumdiagramm eines Satzes stellt drei Arten von Information

Mehr

Kapiteltests zum Leitprogramm Binäre Suchbäume

Kapiteltests zum Leitprogramm Binäre Suchbäume Kapiteltests zum Leitprogramm Binäre Suchbäume Björn Steffen Timur Erdag überarbeitet von Christina Class Binäre Suchbäume Kapiteltests für das ETH-Leitprogramm Adressaten und Institutionen Das Leitprogramm

Mehr

3.1 Konstruktion von minimalen Spannbäumen Es gibt zwei Prinzipien für die Konstruktion von minimalen Spannbäumen (Tarjan): blaue Regel rote Regel

3.1 Konstruktion von minimalen Spannbäumen Es gibt zwei Prinzipien für die Konstruktion von minimalen Spannbäumen (Tarjan): blaue Regel rote Regel 3.1 Konstruktion von minimalen Spannbäumen Es gibt zwei Prinzipien für die Konstruktion von minimalen Spannbäumen (Tarjan): blaue Regel rote Regel EADS 3.1 Konstruktion von minimalen Spannbäumen 16/36

Mehr

5. Assoziationsregeln

5. Assoziationsregeln 5. Generieren von Assoziationsregeln Grundbegriffe 5. Assoziationsregeln Assoziationsregeln beschreiben gewisse Zusammenhänge und Regelmäßigkeiten zwischen verschiedenen Dingen, z.b. den Artikeln eines

Mehr

Gliederung. Definition Wichtige Aussagen und Sätze Algorithmen zum Finden von Starken Zusammenhangskomponenten

Gliederung. Definition Wichtige Aussagen und Sätze Algorithmen zum Finden von Starken Zusammenhangskomponenten Gliederung Zusammenhang von Graphen Stark Zusammenhängend K-fach Zusammenhängend Brücken Definition Algorithmus zum Finden von Brücken Anwendung Zusammenhangskomponente Definition Wichtige Aussagen und

Mehr

Kapitel DB:IV (Fortsetzung)

Kapitel DB:IV (Fortsetzung) Kapitel DB:IV (Fortsetzung) IV. Logischer Datenbankentwurf mit dem relationalen Modell Das relationale Modell Integritätsbedingungen Umsetzung ER-Schema in relationales Schema DB:IV-45 Relational Design

Mehr

Motivation. Themenblock: Klassifikation. Binäre Entscheidungsbäume. Ansätze. Praktikum: Data Warehousing und Data Mining.

Motivation. Themenblock: Klassifikation. Binäre Entscheidungsbäume. Ansätze. Praktikum: Data Warehousing und Data Mining. Motivation Themenblock: Klassifikation Praktikum: Data Warehousing und Data Mining Ziel Item hat mehrere Attribute Anhand von n Attributen wird (n+)-tes vorhergesagt. Zusätzliches Attribut erst später

Mehr

P (A B) P (B) = P ({3}) P ({1, 3, 5}) = 1 3.

P (A B) P (B) = P ({3}) P ({1, 3, 5}) = 1 3. 2 Wahrscheinlichkeitstheorie Beispiel. Wie wahrscheinlich ist es, eine Zwei oder eine Drei gewürfelt zu haben, wenn wir schon wissen, dass wir eine ungerade Zahl gewürfelt haben? Dann ist Ereignis A das

Mehr

Entscheidungsbaum-Lernen. im Proseminar Maschinelles Lernen

Entscheidungsbaum-Lernen. im Proseminar Maschinelles Lernen Entscheidungsbaum-Lernen im Proseminar Maschinelles Lernen Wintersemester 2003/2004 2. Dezember 2003 Gliederung: 1 Einleitung 1.1 Was sind Entscheidungsbäume? 1.2 Was ist Entscheidungsbaumlernen ( Decision

Mehr

Mathematische Grundlagen der Computerlinguistik Bäume

Mathematische Grundlagen der Computerlinguistik Bäume Mathematische Grundlagen der Computerlinguistik Dozentin: Wiebke Petersen 6. Foliensatz (basierend auf Folien von Gerhard Jäger) Wiebke Petersen math. Grundlagen 1 Baumdiagramme Ein Baumdiagramm eines

Mehr

Kombinatorische Optimierung

Kombinatorische Optimierung Juniorprof. Dr. Henning Meyerhenke 1 Henning Meyerhenke: KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Vorlesung 4 Programm des

Mehr

Minimal spannende Bäume

Minimal spannende Bäume http://www.uni-magdeburg.de/harbich/ Minimal spannende Fakultät für Informatik Otto-von-Guericke-Universität 2 Inhalt Definition Wege Untergraphen Kantengewichtete Graphen Minimal spannende Algorithmen

Mehr

Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...)

Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...) Proseminar Kodierverfahren bei Dr. Ulrich Tamm Sommersemester 2003 Thema: Codierung von Bäumen (Prüfer Codes...) Inhalt: Einleitung, Begriffe Baumtypen und deren Kodierung Binäre Bäume Mehrwegbäume Prüfer

Mehr

Datenstrukturen und Algorithmen

Datenstrukturen und Algorithmen Datenstrukturen und Algorithmen VO 708.031 Bäume robert.legenstein@igi.tugraz.at 1 Inhalt der Vorlesung 1. Motivation, Einführung, Grundlagen 2. Algorithmische Grundprinzipien 3. Sortierverfahren 4. Halden

Mehr

Bayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L

Bayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L Bayes Klassifikatoren M E T H O D E N D E S D A T A M I N I N G F A B I A N G R E U E L Inhalt Grundlagen aus der Wahrscheinlichkeitsrechnung Hypothesenwahl Optimale Bayes Klassifikator Naiver Bayes Klassifikator

Mehr

Grundlagen der Informatik. Prof. Dr. Stefan Enderle NTA Isny

Grundlagen der Informatik. Prof. Dr. Stefan Enderle NTA Isny Grundlagen der Informatik Prof. Dr. Stefan Enderle NTA Isny 2 Datenstrukturen 2.1 Einführung Syntax: Definition einer formalen Grammatik, um Regeln einer formalen Sprache (Programmiersprache) festzulegen.

Mehr

Algorithmen und Datenstrukturen

Algorithmen und Datenstrukturen Algorithmen und Datenstrukturen Datenstrukturen: Anordnung von Daten, z.b. als Liste (d.h. in bestimmter Reihenfolge) Beispiel: alphabetisch sortiertes Wörterbuch... Ei - Eibe - Eidotter... als Baum (d.h.

Mehr

Teil 5. Maschinelles Lernen

Teil 5. Maschinelles Lernen Teil 5 Maschinelles Lernen Definitionen und Abgrenzungen Was ist Lernen? Zentrale Fähigkeit von intelligenten Systemen in Natur und KI Zielgerichtete Veränderung von Wissen und/oder Verhaltensweisen durch

Mehr

6. Flüsse in Netzwerken Berechnung maximaler Flüsse. dann berechnet der Markierungsalgorithmus für beliebige Kapazitätsfunktionen

6. Flüsse in Netzwerken Berechnung maximaler Flüsse. dann berechnet der Markierungsalgorithmus für beliebige Kapazitätsfunktionen 6. Flüsse in Netzwerken Berechnung maximaler Flüsse Satz 6.4. Ersetzt man in Algorithmus 6.1 den Schritt 2 durch 2a. Wähle den Knoten, der zuerst in eingefügt wurde. Setze. dann berechnet der arkierungsalgorithmus

Mehr

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung

2. Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 2 Woche: Eindeutige Entschlüsselbarleit, Sätze von Kraft und McMillan, Huffmancodierung 24/ 44 Zwei Beispiele a 0

Mehr

5 Zwei spieltheoretische Aspekte

5 Zwei spieltheoretische Aspekte 5 Zwei spieltheoretische Aspekte In diesem Kapitel wollen wir uns mit dem algorithmischen Problem beschäftigen, sogenannte Und-Oder-Bäume (kurz UOB) auszuwerten. Sie sind ein Spezialfall von Spielbäumen,

Mehr

Idee: Wenn wir beim Kopfknoten zwei Referenzen verfolgen können, sind die Teillisten kürzer. kopf Eine Datenstruktur mit Schlüsselwerten 1 bis 10

Idee: Wenn wir beim Kopfknoten zwei Referenzen verfolgen können, sind die Teillisten kürzer. kopf Eine Datenstruktur mit Schlüsselwerten 1 bis 10 Binäre Bäume Bäume gehören zu den wichtigsten Datenstrukturen in der Informatik. Sie repräsentieren z.b. die Struktur eines arithmetischen Terms oder die Struktur eines Buchs. Bäume beschreiben Organisationshierarchien

Mehr

Probabilistische Primzahltests

Probabilistische Primzahltests 23.01.2006 Motivation und Überblick Grundsätzliches Vorgehen Motivation und Überblick Als Primzahltest bezeichnet man ein mathematisches Verfahren, mit dem ermittelt wird, ob eine gegebene Zahl eine Primzahl

Mehr

13. Binäre Suchbäume

13. Binäre Suchbäume 1. Binäre Suchbäume Binäre Suchbäume realiesieren Wörterbücher. Sie unterstützen die Operationen 1. Einfügen (Insert) 2. Entfernen (Delete). Suchen (Search) 4. Maximum/Minimum-Suche 5. Vorgänger (Predecessor),

Mehr

Kapitel MK:IV. IV. Modellieren mit Constraints

Kapitel MK:IV. IV. Modellieren mit Constraints Kapitel MK:IV IV. Modellieren mit Constraints Einführung und frühe Systeme Konsistenz I Binarization Generate-and-Test Backtracking-basierte Verfahren Konsistenz II Konsistenzanalyse Weitere Analyseverfahren

Mehr

Technische Universität Wien Institut für Computergraphik und Algorithmen Arbeitsbereich für Algorithmen und Datenstrukturen

Technische Universität Wien Institut für Computergraphik und Algorithmen Arbeitsbereich für Algorithmen und Datenstrukturen Technische Universität Wien Institut für Computergraphik und Algorithmen Arbeitsbereich für Algorithmen und Datenstrukturen 186.172 Algorithmen und Datenstrukturen 1 VL 4.0 Übungsblatt 4 für die Übung

Mehr

Wiederholung zu Flüssen

Wiederholung zu Flüssen Universität Konstanz Methoden der Netzwerkanalyse Fachbereich Informatik & Informationswissenschaft SS 2008 Prof. Dr. Ulrik Brandes / Melanie Badent Wiederholung zu Flüssen Wir untersuchen Flüsse in Netzwerken:

Mehr

Programmiertechnik II

Programmiertechnik II Bäume Symboltabellen Suche nach Werten (items), die unter einem Schlüssel (key) gefunden werden können Bankkonten: Schlüssel ist Kontonummer Flugreservierung: Schlüssel ist Flugnummer, Reservierungsnummer,...

Mehr