Rückblick. Entscheidungsunterstützende Systeme / Kapitel 4: Klassifikation

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "Rückblick. Entscheidungsunterstützende Systeme / Kapitel 4: Klassifikation"

Transkript

1 Rückblick k-nächste Nachbarn als distanzbasiertes Verfahren zur Klassifikation benötigt sinnvolles Distanzmaß und weist vorher unbekanntem Datenpunkt dann die häufigste Klasse seiner k nächsten Nachbarn zu Naïve Bayes als Familie von Klassifikationsverfahren wendet den Satz von Bayes an, um die bedingte Wahrscheinlichkeit zu schätzen, dass ein Datenpunkt zu einer bestimmten Klasse gehört; hierzu wird eine Unabhängigkeitsannahme über die Verteilung seiner Merkmale gemacht 64

2 4.6 Entscheidungsbäume Entscheidungsbäume (decision trees) sind diskriminative Verfahren zur Klassifikation in zwei oder mehr Klassen; unabhängige Merkmale der Datenpunkte können nominal, ordinal oder metrisch sein Idee: Jeder Knoten eines Entscheidungsbaums gibt ein Split-Kriterium (z.b. Hubraum < 3.1) vor; Teilbäume enthalten die entsprechend aufgeteilten Daten Entscheidungsbäume typischerweise binär; höhere Verzweigungsgrade sind jedoch prinzipiell möglich 65

3 Entscheidungsbäume yes Hubraum < 3.1 no Japan Hubraum < 2.2 Japan Gewicht >= 1251 Gewicht >= 1393 Europa Japan Europa 66

4 Entscheidungsbäume Gewicht Europa Japan Europa Hubraum 67

5 Informationstheorie Claude E. Shannon ( ) begründete die Informationstheorie, welche eine wichtige Rolle spielt z.b. Kodierung Datenkompression Informationsübertragung Quelle: en.wikipedia.org zudem kommen Konzepte der Informationstheorie zum Einsatz in anderen Gebieten z.b. Maschinelles Lernen (z.b. Klassifikation) Information Retrieval Computerlinguistik 68

6 Entropie Entropie (entropy) ist ein Maß des Informationsgehalts (auch: Unsicherheit) einer diskreten Zufallsvariable X H(X) = ÿ P[x ] log 2 P[x ] xœx Beispiel: fairer Würfel W, d.h. alle Zahlen mit Wahrscheinlichkeit 1/6 H(W ) 2.58 gezinkter Würfel Z, die Zahl 6 hat Wahrscheinlichkeit 1/2, alle anderen Zahlen Wahrscheinlichkeit 1/10 H(Z)

7 Entropie Entropie kann auch interpretiert werden als die mittlere Anzahl von Bits, die benötigt werden, um Werte der Zufallsvariable zu speichern oder zu kommunizieren Intuition: Wollen wir Ergebnisse von Würfen des gezinkten Würfels kommunizieren, macht es Sinn, ein kürzeres Codewort (d.h. weniger Bits) für das Ergebnis 6 zu verwenden, da es häufiger vorkommt 70

8 Bedingte Entropie Bedingte Entropie (conditional entropy) ist ein Maß des Informationsgehalts einer Zufallsvariablen X, wenn man den Wert einer zweiten Zufallsvariablen Y bereits kennt H(Y X) = ÿ P[X ] H(Y X = x) yœy,xœx Beispiel: fairer Würfel W, d.h. alle Zahlen mit Wahrscheinlichkeit 1/6 Zufallsvariable G {u, g} zeigt an, ob eine gerade oder eine ungerade Zahl gewürfelt wurde H(W G) =? 71

9 Bedingte Entropie Beispiel: fairer Würfel W, d.h. alle Zahlen mit Wahrscheinlichkeit 1/6 Zufallsvariable G {u, g} zeigt an, ob eine gerade oder eine ungerade Zahl gewürfelt wurde H(W G) = 1 2 H(W G = u)+1 2 H(W G = g) H(W G = u) = ( 1 3 log log log log log log 2 0) 1.58 H(W G = g) 1.58 H(W G) W G P [W G] 1 u g 0 2 u 0 2 g u g 0 4 u 0 4 g u g 0 6 u 0 6 g

10 Mutual Information Mutual Information (deutsch: Transinformation) misst die Abhängigkeit zwischen zwei Zufallsvariablen I(X, Y )= ÿ ÿ 3 4 P[x y ] P[x y ] log P[x ]P[y] xœx yœy und es gilt I(X, Y )=H(X) H(X Y )=H(Y ) H(Y X) Mutual Information kann als Informationsgewinn (information gain) interpretiert werden, den man durch Kenntnis der zweiten Zufallsvariable erlangt 73

11 Generieren von Entscheidungsbäumen Rekursive Generierung eines Entscheidungsbaums von der Wurzel zu den Blättern (top down) sind nur noch wenige Daten übrig oder gehören (fast) alle zur gleichen Klasse, dann erzeuge Blattknoten bestimme andernfalls das beste Split-Kriterium, teile die Daten entsprechend auf; erzeuge eine Knoten mit dem Split-Kriterium und einem linken und rechten Teilbaum, die durch Rekursion auf den beiden Teilen der Daten erzeugt werden 74

12 Generieren von Entscheidungsbäumen 1 Node decisiontree(data d) { 2 // Blattknoten, falls Daten rein 3 if (ispure(d)) { 4 return Leaf(majorityClass(d)); 5 } 6 7 // Bestimme bestes Split - Kriterium 8 Condition c = bestsplit(d); 9 10 // Teile Daten gemäß Split - Kriterium 11 Data ld, rd = split(d, c) // Generiere Teilbäume 14 Node lc = decisiontree(ld); 15 Node rc = decisiontree(rd); return new Node(c, lc, rc); 18 } 75

13 Split-Kriterien: Ordinale und metrische Merkmale Für ordinale und metrische Merkmale, auf denen eine Ordnung definiert ist, verwendet man ein Split-Kriterium x (i,j) <a mit einem zu bestimmenden Schwellwert a Zwar gibt es unendlich viele Werte für den Schwellwert a; bei der Bestimmung des besten Split-Kriteriums reicht es jedoch, die in den Daten vorkommenden Werte des Merkmals als mögliche Schwellwerte zu betrachten, damit sind alle möglichen Aufteilungen der Daten abgedeckt 76

14 Split-Kriterien: Nominale Merkmale Für nominale Merkmale (z.b. Geschlecht oder Farbe) wird eine Teilmenge der möglichen Werte A identifiziert; das Split-Kriterium ist dann x (i,j) œ A Zur Bestimmung des besten Split-Kriteriums, müssen alle Teilmengen, der in den Daten auftretenden Werte des Merkmals betrachtet werden; zwar sind dies exponentiell viele, aber nominale Merkmale haben oft nur wenige mögliche Werte 77

15 Auswahl des besten Split-Kriteriums Um das beste Split-Kriterium zu finden, müssen alle Merkmale und alle möglichen Split-Kriterien darauf betrachtet und bewertet werden Informationsgewinn (information gain) mit C als Klasse der Daten und S {l, r} als Seite gemäß Split-Kriterium I(C, S) =H(C) H(C S) Gini-Index misst Ungleichverteilung der Klassen in Daten G(D) =1 ÿ cœc P[c D ] 2 78

16 Ausputzen von Entscheidungsbäumen Führt man die rekursive Generierung durch, bis nur noch Datenpunkte einer Klasse in jedem Blatt enthalten sind, so erhält man einen tiefen Entscheidungsbaum, der zur Überanpassung (overfitting) an die Daten neigt Beende rekursive Generierung (ispure), sobald eine oder mehrere der folgenden Bedingungen erfüllt sind es sind nur noch weniger als minsize Datenpunkte übrig mehr als minpercentage Prozent der Datenpunkte gehören zur vorherrschenden Klasse (majorityclass) 79

17 Beispiel Entscheidungsbäume Beispiel: Risiko nach Alter und Fahrzeugtyps des Fahrers Alter Fahrzeugtyp Risiko 25 Sportwagen gering 20 Oldtimer hoch 25 Sportwagen gering 45 SUV hoch 20 Sportwagen hoch 25 SUV hoch Vollständiger Entscheidungsbaum mit Informationsgewinn als Gütemaß für Split-Kriterien soll erstellt werden 80

18 Beispiel Entscheidungsbäume Wurzel wird als Fahrzeugtyp = Sportwagen (S) bestimmt, der Informationsgewinn berechnet sich wie folgt H(Risiko) = 2 3 log log H(Risiko S) = H(Risk Fahrzeug = Sportwagen) H(Risk Fahrzeug = Sportwagen) H(Risiko S) = 3 6 ( 2 3 log ( 1 1 log I(Risiko,S) log ) 1 3 ) 81

19 Beispiel Entscheidungsbäume yes fahrzeug = Spr no alter >= 22 hoch gering hoch Vollständige Berechnung vgl. Tafelanschrift 82

20 Entscheidungsbäume in R 1 library(rpart) 2 library(rpart.plot) 3 4 # Entscheidungsbaum bestimmen (mindestens 50 Datenpunkte pro innerem Knoten) 5 dtree <- rpart(herkunft Gewicht+PS+Hubraum+Verbrauch+Beschleunigung+Jahr+Zylinder, 6 data=autos, method=" class", parms=list( split=" information"), 7 control=rpart.control(minsplit=50)) 8 9 # Entscheidungsbaum plotten 10 prp(dtree, type=1, extra=104) 83

21 Entscheidungsbäume in R yes Hubraum < % no Hubraum < 2.2 Japan % % Verbrauc >= 7.7 Japan % Gewicht >= % PS >= 88 Europa % Japan % Europa % % Japan % PS < 78 Europa % Europa % % 84

22 Interpretierbarkeit von Entscheidungsbäumen Interpretierbarkeit als Vorteil von Entscheidungsbäumen Jeder Pfad von der Wurzel zu einem Blattknoten entspricht einer Entscheidungsregel, wie (auch ungesehene) Datenpunkte zu klassifizieren sind Beispiel: hat ein Auto mehr als 3.1 Liter Hubraum, so kommt es aus hat ein Auto weniger als 2.2 Liter Hubraum und ein Gewicht weniger als 1251 kg, kommt es aus Japan yes Hubraum < 3.1 no Japan Hubraum < 2.2 Japan Gewicht >= 1251 Gewicht >= 1393 Europa Japan Europa 85

23 Zusammenfassung Informationstheorie stellt z.b. das Maß Entropie bereit, mit dem sich der Informationsgehalt messen lässt Entscheidungsbäume als diskriminatives Verfahren zur Klassifikation in zwei oder mehr Klassen, dessen Ergebnis als Entscheidungsregeln interpretierbar ist 86

24 Literatur [1] R. Kabacoff: R In Action, Manning 2015 [2] N. Zumel und J. Mount: Practical Data Science with R, Manning 2014 [3] M. J. Zaki und W. Meira Jr.: Data Mining and Analysis, Cambridge University Press, 2014 (Kapitel 19) [4] G. James, D. Witten, T. Hastie, R. Tibshirani: An Introduction to Statistical Learning - with Applications in R, Springer, 2015 (Kapitel 8) 87

3.5 Entscheidungsbäume

3.5 Entscheidungsbäume 3.5 Entscheidungsbäume Entscheidungsbäume (decision trees) sind diskriminative Verfahren zur Klassifikation in zwei oder mehr Klassen; unabhängige Merkmale der Datenpunkte können nominal, ordinal oder

Mehr

k-means als Verfahren zur Clusteranalyse basierend auf Repräsentanten bestimmt ein flaches Clustering

k-means als Verfahren zur Clusteranalyse basierend auf Repräsentanten bestimmt ein flaches Clustering Rückblick k-means als Verfahren zur Clusteranalyse basierend auf Repräsentanten bestimmt ein flaches Clustering Hierarchisches Clustering bestimmt eine Folge von Clusterings, die als Dendrogramm darstellbar

Mehr

Inhalt. 4.1 Motivation. 4.2 Evaluation. 4.3 Logistische Regression. 4.4 k-nächste Nachbarn. 4.5 Naïve Bayes. 4.6 Entscheidungsbäume

Inhalt. 4.1 Motivation. 4.2 Evaluation. 4.3 Logistische Regression. 4.4 k-nächste Nachbarn. 4.5 Naïve Bayes. 4.6 Entscheidungsbäume 4. Klassifikation Inhalt 4.1 Motivation 4.2 Evaluation 4.3 Logistische Regression 4.4 k-nächste Nachbarn 4.5 Naïve Bayes 4.6 Entscheidungsbäume 4.7 Support Vector Machines 4.8 Neuronale Netze 4.9 Ensemble-Methoden

Mehr

Entscheidungsbäume. Minh-Khanh Do Erlangen,

Entscheidungsbäume. Minh-Khanh Do Erlangen, Entscheidungsbäume Minh-Khanh Do Erlangen, 11.07.2013 Übersicht Allgemeines Konzept Konstruktion Attributwahl Probleme Random forest E-Mail Filter Erlangen, 11.07.2013 Minh-Khanh Do Entscheidungsbäume

Mehr

Splitting. Impurity. c 1. c 2. c 3. c 4

Splitting. Impurity. c 1. c 2. c 3. c 4 Splitting Impurity Sei D(t) eine Menge von Lernbeispielen, in der X(t) auf die Klassen C = {c 1, c 2, c 3, c 4 } verteilt ist. Illustration von zwei möglichen Splits: c 1 c 2 c 3 c 4 ML: III-29 Decision

Mehr

Analytics Entscheidungsbäume

Analytics Entscheidungsbäume Analytics Entscheidungsbäume Professional IT Master Prof. Dr. Ingo Claßen Hochschule für Technik und Wirtschaft Berlin Regression Klassifikation Quellen Regression Beispiel Baseball-Gehälter Gehalt: gering

Mehr

Induktion von Entscheidungsbäumen

Induktion von Entscheidungsbäumen Induktion von Entscheidungsbäumen Christian Borgelt Institut für Wissens- und Sprachverarbeitung Otto-von-Guericke-Universität Magdeburg Universitätsplatz 2, 39106 Magdeburg E-mail: borgelt@iws.cs.uni-magdeburg.de

Mehr

Mathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1

Mathe III. Garance PARIS. Mathematische Grundlagen III. Informationstheorie. 20. Juni /1 Mathematische Grundlagen III Informationstheorie 20 Juni 20 / Informationstheorie Ein Gerüst, um über den Informationsgehalt von (linguistischen) Ereignissen nachzudenken Einige Beispiele für Anwendungen:

Mehr

2. Lernen von Entscheidungsbäumen

2. Lernen von Entscheidungsbäumen 2. Lernen von Entscheidungsbäumen Entscheidungsbäume 2. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse

Mehr

Maschinelles Lernen: Symbolische Ansätze

Maschinelles Lernen: Symbolische Ansätze Maschinelles Lernen: Symbolische Ansätze Wintersemester 2009/2010 Musterlösung für das 9. Übungsblatt Aufgabe 1: Decision Trees Gegeben sei folgende Beispielmenge: Age Education Married Income Credit?

Mehr

Maschinelles Lernen Entscheidungsbäume

Maschinelles Lernen Entscheidungsbäume Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Entscheidungsbäume Paul Prasse Entscheidungsbäume Eine von vielen Anwendungen: Kreditrisiken Kredit - Sicherheiten

Mehr

4. Lernen von Entscheidungsbäumen

4. Lernen von Entscheidungsbäumen 4. Lernen von Entscheidungsbäumen Entscheidungsbäume 4. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB. Überwachtes Lernen: Entscheidungsbäume

INTELLIGENTE DATENANALYSE IN MATLAB. Überwachtes Lernen: Entscheidungsbäume INTELLIGENTE DATENANALYSE IN MATLAB Überwachtes Lernen: Entscheidungsbäume Literatur Stuart Russell und Peter Norvig: Artificial Intelligence. Andrew W. Moore: http://www.autonlab.org/tutorials. 2 Überblick

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Maschinelles Lernen II: Klassifikation mit Entscheidungsbäumen Prof Dr. Matthew Crocker Universität des Saarlandes 9. Juli 2015 Matthew Crocker (UdS) Mathe III 9. Juli 2015

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Maschinelles Lernen II: Klassifikation mit Entscheidungsbäumen Vera Demberg Universität des Saarlandes 12. Juli 2012 Vera Demberg (UdS) Mathe III 12. Juli 2012 1 / 38 Einleitung

Mehr

Textmining Klassifikation von Texten Teil 1: Naive Bayes

Textmining Klassifikation von Texten Teil 1: Naive Bayes Textmining Klassifikation von Texten Teil 1: Naive Bayes Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten 1: Naive

Mehr

Decision Tree Learning

Decision Tree Learning Decision Tree Learning Computational Linguistics Universität des Saarlandes Sommersemester 2011 28.04.2011 Entscheidungsbäume Repräsentation von Regeln als Entscheidungsbaum (1) Wann spielt Max Tennis?

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Informationstheorie Vera Demberg Universität des Saarlandes 26. Juni 202 Vera Demberg (UdS) Mathe III 26. Juni 202 / 43 Informationstheorie Entropie (H) Wie viel Information

Mehr

Künstliche Intelligenz Maschinelles Lernen

Künstliche Intelligenz Maschinelles Lernen Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert Sommersemester 2009 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Maschinelles Lernen Überwachtes Lernen

Mehr

3.3 Nächste-Nachbarn-Klassifikatoren

3.3 Nächste-Nachbarn-Klassifikatoren 3.3 Nächste-Nachbarn-Klassifikatoren Schrauben Nägel Klammern Neues Objekt Instanzbasiertes Lernen (instance based learning) Einfachster Nächste-Nachbar-Klassifikator: Zuordnung zu der Klasse des nächsten

Mehr

B / B* - Bäume. Guido Hildebrandt Seminar Datenbanksysteme

B / B* - Bäume. Guido Hildebrandt Seminar Datenbanksysteme B / B* - Bäume Guido Hildebrandt Seminar Datenbanksysteme 25.11.2010 Gliederung Einleitung Binärbaum B - Baum B* - Baum Varianten Zusammenfassung Quellen Gliederung Einleitung Binärbaum B - Baum B* - Baum

Mehr

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch

Grundlagen der Informationstheorie. Hanna Rademaker und Fynn Feldpausch Grundlagen der Informationstheorie Hanna Rademaker und Fynn Feldpausch . Thema Informationstheorie geht zurück auf Claude Shannon The Mathematical Theory of Communication beschäftigt sich mit Information

Mehr

Entscheidungsbäume aus großen Datenbanken: SLIQ

Entscheidungsbäume aus großen Datenbanken: SLIQ Entscheidungsbäume aus großen Datenbanken: SLIQ C4.5 iteriert häufig über die Trainingsmenge Wie häufig? Wenn die Trainingsmenge nicht in den Hauptspeicher passt, wird das Swapping unpraktikabel! SLIQ:

Mehr

4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum

4. Lernen von Entscheidungsbäumen. Klassifikation mit Entscheidungsbäumen. Entscheidungsbaum 4. Lernen von Entscheidungsbäumen Klassifikation mit Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch /Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse zugeordnet werden.

Mehr

5 BINÄRE ENTSCHEIDUNGS- DIAGRAMME (BDDS)

5 BINÄRE ENTSCHEIDUNGS- DIAGRAMME (BDDS) 5 BINÄRE ENTSCHEIDUNGS- DIAGRAMME (BDDS) Sommersemester 2009 Dr. Carsten Sinz, Universität Karlsruhe Datenstruktur BDD 2 1986 von R. Bryant vorgeschlagen zur Darstellung von aussagenlogischen Formeln (genauer:

Mehr

4 Induktion von Regeln

4 Induktion von Regeln 4 Induktion von egeln Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- aare beschrieben sind. Jedes Objekt kann einer Klasse zugeordnet werden. Ein Entscheidungsbaum liefert eine Entscheidung

Mehr

Syntaktische und Statistische Mustererkennung. Bernhard Jung

Syntaktische und Statistische Mustererkennung. Bernhard Jung Syntaktische und Statistische Mustererkennung VO 1.0 840.040 (UE 1.0 840.041) Bernhard Jung bernhard@jung.name http://bernhard.jung.name/vussme/ 1 Rückblick Distanzmaße, Metriken, Pattern Matching Entscheidungstabellen,

Mehr

Entscheidungsbaum-Lernen: Übersicht

Entscheidungsbaum-Lernen: Übersicht Entscheidungsbaum-Lernen: Übersicht Entscheidungsbäume als Repräsentationsformalismus Semantik: Klassifikation Lernen von Entscheidungsbäumen vollst. Suche vs. TDIDT Tests, Ausdrucksfähigkeit Maße: Information

Mehr

Definition der Entropie unter Verwendung von supp(p XY )

Definition der Entropie unter Verwendung von supp(p XY ) Definition der Entropie unter Verwendung von supp(p XY ) Wir fassen die Ergebnisse des letzten Abschnitts nochmals kurz zusammen, wobei wir von der zweidimensionalen Zufallsgröße XY mit der Wahrscheinlichkeitsfunktion

Mehr

Lernen von Entscheidungsbäumen. Volker Tresp Summer 2014

Lernen von Entscheidungsbäumen. Volker Tresp Summer 2014 Lernen von Entscheidungsbäumen Volker Tresp Summer 2014 1 Anforderungen an Methoden zum Datamining Schnelle Verarbeitung großer Datenmengen Leichter Umgang mit hochdimensionalen Daten Das Lernergebnis

Mehr

Boole sches Retrieval als frühes, aber immer noch verbreitetes IR-Modell mit zahlreichen Erweiterungen

Boole sches Retrieval als frühes, aber immer noch verbreitetes IR-Modell mit zahlreichen Erweiterungen Rückblick Boole sches Retrieval als frühes, aber immer noch verbreitetes IR-Modell mit zahlreichen Erweiterungen Vektorraummodell stellt Anfrage und Dokumente als Vektoren in gemeinsamen Vektorraum dar

Mehr

Seminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume. von Lars-Peter Meyer. im Seminar Methoden wissensbasierter Systeme

Seminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume. von Lars-Peter Meyer. im Seminar Methoden wissensbasierter Systeme Seminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume von Lars-Peter Meyer im Seminar Methoden wissensbasierter Systeme bei Prof. Brewka im WS 2007/08 Übersicht Überblick maschinelles Lernen

Mehr

Data Mining und Text Mining Einführung. S2 Einfache Regellerner

Data Mining und Text Mining Einführung. S2 Einfache Regellerner Data Mining und Text Mining Einführung S2 Einfache Regellerner Hans Hermann Weber Univ. Erlangen, Informatik 8 Wintersemester 2003 hans.hermann.weber@gmx.de Inhalt Einiges über Regeln und Bäume R1 ein

Mehr

Kapitel 9: Informationstheorie. 2. Entropie

Kapitel 9: Informationstheorie. 2. Entropie ZHAW, NT, FS2008, Rumc, Kapitel 9: 2-1 Kapitel 9: Informationstheorie 2. Entropie Inhaltsverzeichnis 2.1. INFORATIONSQUELLEN...2 2.2. INFORATIONSGEHALT...3 2.3. INIALE ANZAHL BINÄRE FRAGEN...5 2.4. ENTROPIE

Mehr

Prädiktion und Klassifikation mit

Prädiktion und Klassifikation mit Prädiktion und Klassifikation mit Random Forest Prof. Dr. T. Nouri Nouri@acm.org Technical University NW-Switzerland /35 Übersicht a. Probleme mit Decision Tree b. Der Random Forests RF c. Implementation

Mehr

Maschinelles Lernen. Kapitel 5

Maschinelles Lernen. Kapitel 5 Kapitel 5 Maschinelles Lernen Im täglichen Leben begegnet uns das Lernen meist in einer Mischung aus den Aspekten der Vergrößerung von Wissen und der Verbesserung von Fähigkeiten. Beim Erlernen einer Fremdsprache

Mehr

Unsicherheit * M RS = 6

Unsicherheit * M RS = 6 Informationstheorie Gegenstand Unsicherheit Überraschung Entropie Relative und maximale Entropie, Redundanz Konditionale Entropie und Verbundentropie Wechselseitige ("Mutual") Information Gegenstand Kodierung,

Mehr

Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell

Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil

Mehr

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b.

Entropie. Um der Begriff der Entropie zu erläutern brauchen wir erst mal einige Definitionen, z.b. Entropie Grundlegend für das Verständnis des Begriffes der Komprimierung ist der Begriff der Entropie. In der Physik ist die Entropie ein Maß für die Unordnung eines Systems. In der Informationstheorie

Mehr

Inhalt. 5.1 Motivation. 5.2 Clustering mit Repräsentanten. 5.3 Hierarchisches Clustering. 5.4 Dichtebasiertes Clustering. 5.

Inhalt. 5.1 Motivation. 5.2 Clustering mit Repräsentanten. 5.3 Hierarchisches Clustering. 5.4 Dichtebasiertes Clustering. 5. 5. Clustering Inhalt 5.1 Motivation 5.2 Clustering mit Repräsentanten 5.3 Hierarchisches Clustering 5.4 Dichtebasiertes Clustering 5.5 Validierung 5.6 Graphbasiertes Clustering 2 y 5.1 Motivation Datenpunkte

Mehr

11. Übung Knowledge Discovery

11. Übung Knowledge Discovery Prof. Dr. Gerd Stumme, Robert Jäsche Fachgebiet Wissensverarbeitung. Übung Knowledge Discovery.7.7 Sommersemester 7 Informationsgewinn Im folgenden betrachten wir die Menge von n rainingsobjeten, mit den

Mehr

Vorlesung Wissensentdeckung

Vorlesung Wissensentdeckung Gliederung Vorlesung Wissensentdeckung Additive Modelle Katharina Morik, Weihs 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung.6.015 1 von 33 von 33 Ausgangspunkt: Funktionsapproximation Aufteilen der

Mehr

Mathematische Grundlagen der Computerlinguistik III: Statistische Methoden Probeklausur

Mathematische Grundlagen der Computerlinguistik III: Statistische Methoden Probeklausur Mathematische Grundlagen der Computerlinguistik III: Statistische Methoden Probeklausur Crocker/Demberg/Staudte Sommersemester 2014 17.07.2014 1. Sie haben 90 Minuten Zeit zur Bearbeitung der Aufgaben.

Mehr

3. Entscheidungsbäume. Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002)

3. Entscheidungsbäume. Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002) 3. Entscheidungsbäume Verfahren zum Begriffslernen (Klassifikation) Beispiel: weiteres Beispiel: (aus Böhm 2003) (aus Morik 2002) (aus Wilhelm 2001) Beispiel: (aus Böhm 2003) Wann sind Entscheidungsbäume

Mehr

Künstliche Intelligenz Maschinelles Lernen

Künstliche Intelligenz Maschinelles Lernen Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert WS 2009/2010 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Maschinelles Lernen Überwachtes Lernen Unüberwachtes

Mehr

Mathematische Grundlagen III

Mathematische Grundlagen III Mathematische Grundlagen III Informationstheorie Prof Dr. Matthew Crocker Universität des Saarlandes 22. Juni 205 Matthew Crocker (UdS) Mathe III 22. Juni 205 / 43 Informationstheorie Entropie (H) Wie

Mehr

Übungsaufgaben zur Vorlesung Quellencodierung

Übungsaufgaben zur Vorlesung Quellencodierung Übungsaufgaben zur Vorlesung Quellencodierung Aufgabe 1: Gegeben seien die Verbundwahrscheinlichkeiten zweier diskreter Zufallsvariablen x und y: P(x, y) x 1 = 1 x 2 = 2 x 3 = 3 y 1 = 1 0.1 0.1 0.1 y 2

Mehr

Elementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung

Elementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung Elementare Begriffe der Wahrscheinlichkeitstheorie für die Sprachverarbeitung Kursfolien Karin Haenelt 1 Übersicht Wahrscheinlichkeitsfunktion P Wahrscheinlichkeit und bedingte Wahrscheinlichkeit Bayes-Formeln

Mehr

Moderne Methoden der KI: Maschinelles Lernen

Moderne Methoden der KI: Maschinelles Lernen Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Entscheidungsbäume Darstellung durch Regeln ID3 / C4.5 Bevorzugung kleiner Hypothesen Overfitting Entscheidungsbäume

Mehr

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen

1 Grundlagen. 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen 1 Grundlagen 1.1 Erste Grundbegriffe 1.2 Kryptographische Systeme 1.3 Informationstheoretische Grundlagen Die Überlegungen dieses Kapitels basieren auf der Informationstheorie von Shannon. Er beschäftigte

Mehr

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung

Seminar Kompressionsalgorithmen Huffman-Codierung, arithmetische Codierung Huffman-Codierung, arithmetische Codierung Theoretische Informatik RWTH-Aachen 4. April 2012 Übersicht 1 Einführung 2 3 4 5 6 Einführung Datenkompression Disziplin,die Kompressionsalgorithmen entwirft

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Entscheidungsbäume

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Entscheidungsbäume Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Entscheidungsbäume Christoph Sawade/Niels Landwehr Jules Rasetaharison, Tobias Scheffer Entscheidungsbäume Eine von vielen Anwendungen:

Mehr

zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6

zu Aufgabe 26: a) A 3 A 2 A 4 A 1 A 5 A 0 A 6 zu ufgabe 6: a) 3 5 6 7 p( ) p( ) p( 3 ) p( ) p( 5 ) p( 6 ) p( 7 ) = p( 3 ) = p( 3 ) = p( 3 ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = p( ) = 8 p( ) = p( ) = p( ) = p( ) Lösung: b) binär 8 p(

Mehr

Maschinelles Lernen: Symbolische Ansätze

Maschinelles Lernen: Symbolische Ansätze Maschinelles Lernen: Symbolische Ansätze Musterlösung für das 7. Übungsblatt Aufgabe 1 Gegeben sei folgende Beispielmenge: Day Outlook Temperature Humidity Wind PlayTennis D1? Hot High Weak No D2 Sunny

Mehr

Repetitive Strukturen

Repetitive Strukturen Repetitive Strukturen Andreas Liebig Philipp Muigg ökhan Ibis Repetitive Strukturen, (z.b. sich wiederholende Strings), haben eine große Bedeutung in verschiedenen Anwendungen, wie z.b. Molekularbiologie,

Mehr

Übungsblatt Nr. 6. Lösungsvorschlag

Übungsblatt Nr. 6. Lösungsvorschlag Institut für Kryptographie und Sicherheit Prof. Dr. Jörn Müller-Quade Nico Döttling Dirk Achenbach Tobias Nilges Vorlesung Theoretische Grundlagen der Informatik Übungsblatt Nr. 6 Aufgabe (K) (4 Punkte)

Mehr

Dokumenten-Clustering. Norbert Fuhr

Dokumenten-Clustering. Norbert Fuhr Dokumenten-Clustering Norbert Fuhr Dokumenten-Clustering (Dokumenten-)Cluster: Menge von ähnlichen Dokumenten Ausgangspunkt Cluster-Hypothese : die Ähnlichkeit der relevanten Dokumente untereinander und

Mehr

Unabhängigkeit von Zufallsvariablen

Unabhängigkeit von Zufallsvariablen Unabhängigkeit von Zufallsvariablen Seminar Gegenbeispiele in der Wahrscheinlichkeitstheorie Pascal Beckedorf 12. November 2012 Pascal Beckedorf Unabhängigkeit von Zufallsvariablen 12. November 2012 1

Mehr

Vorlesung Wissensentdeckung

Vorlesung Wissensentdeckung Vorlesung Wissensentdeckung Additive Modelle Katharina Morik, Weihs 2.6.2015 1 von 33 Gliederung 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung 2 von 33 Ausgangspunkt: Funktionsapproximation Die bisher

Mehr

2.4 Entscheidung bei Risiko

2.4 Entscheidung bei Risiko 2.4 Entscheidung bei Risiko Entscheidung bei Risiko nimmt an, dass für jeden Zustand S j seine Eintrittswahrscheinlichkeit P(S j ) bekannt ist Eintrittswahrscheinlichkeiten bestimmbar als statistische

Mehr

4. OBDDs und Modellüberprüfung

4. OBDDs und Modellüberprüfung 4. OBDDs und Modellüberprüfung OBDD Ordered Binary Decision Diagrams Geordnete binäre Entscheidungsdiagramme Binäres Entscheidungsdiagramm: in der einfachsten Form ein binärer Entscheidungsbaum, in dem

Mehr

Entscheidungsbaumverfahren

Entscheidungsbaumverfahren Entscheidungsbaumverfahren Allgemeine Beschreibung Der Entscheidungsbaum ist die Darstellung einer Entscheidungsregel, anhand derer Objekte in Klassen eingeteilt werden. Die Klassifizierung erfolgt durch

Mehr

Intuition: Wie lässt sich das abhängige Merkmal durch die unabhängigen Merkmale erklären?

Intuition: Wie lässt sich das abhängige Merkmal durch die unabhängigen Merkmale erklären? 3. Regression Motivation Regressionsanalysen modellieren den Zusammenhang zwischen einem oder mehreren unabhängigen Merkmalen (z.b. Gewicht und PS) und einem abhängigen Merkmal (z.b. Verbrauch) Intuition:

Mehr

Anhang II zur Vorlesung Kryptologie: Entropie

Anhang II zur Vorlesung Kryptologie: Entropie Anhang II zur Vorlesung Kryptologie: Entropie von Peter Hellekalek Fakultät für Mathematik, Universität Wien, und Fachbereich Mathematik, Universität Salzburg Tel: +43-(0)662-8044-5310 Fax: +43-(0)662-8044-137

Mehr

5 Zwei spieltheoretische Aspekte

5 Zwei spieltheoretische Aspekte 5 Zwei spieltheoretische Aspekte In diesem Kapitel wollen wir uns mit dem algorithmischen Problem beschäftigen, sogenannte Und-Oder-Bäume (kurz UOB) auszuwerten. Sie sind ein Spezialfall von Spielbäumen,

Mehr

Allgemeine diskrete Wahrscheinlichkeitsräume II. Beispiel II. Beispiel I. Definition 6.3 (Diskreter Wahrscheinlichkeitsraum)

Allgemeine diskrete Wahrscheinlichkeitsräume II. Beispiel II. Beispiel I. Definition 6.3 (Diskreter Wahrscheinlichkeitsraum) Allgemeine diskrete Wahrscheinlichkeitsräume I Allgemeine diskrete Wahrscheinlichkeitsräume II Verallgemeinerung von Laplaceschen Wahrscheinlichkeitsräumen: Diskrete Wahrscheinlichkeitsräume Ω endlich

Mehr

Mathias Krüger / Seminar Datamining

Mathias Krüger / Seminar Datamining Entscheidungsbäume mit SLIQ und SPRINT Mathias Krüger Institut für Informatik FernUniversität Hagen 4.7.2008 / Seminar Datamining Gliederung Einleitung Klassifikationsproblem Entscheidungsbäume SLIQ (

Mehr

Grundbegriffe der Wahrscheinlichkeitstheorie. Karin Haenelt

Grundbegriffe der Wahrscheinlichkeitstheorie. Karin Haenelt Grundbegriffe der Wahrscheinlichkeitstheorie Karin Haenelt 1 Inhalt Wahrscheinlichkeitsraum Bedingte Wahrscheinlichkeit Abhängige und unabhängige Ereignisse Stochastischer Prozess Markow-Kette 2 Wahrscheinlichkeitsraum

Mehr

Konfidenzintervalle Grundlegendes Prinzip Erwartungswert Bekannte Varianz Unbekannte Varianz Anteilswert Differenzen von Erwartungswert Anteilswert

Konfidenzintervalle Grundlegendes Prinzip Erwartungswert Bekannte Varianz Unbekannte Varianz Anteilswert Differenzen von Erwartungswert Anteilswert Konfidenzintervalle Grundlegendes Prinzip Erwartungswert Bekannte Varianz Unbekannte Varianz Anteilswert Differenzen von Erwartungswert Anteilswert Beispiel für Konfidenzintervall Im Prinzip haben wir

Mehr

Wünschenswerte Eigenschaft von Suchbäumen mit n Knoten: Suchen, Einfügen, Löschen auch im schlechtesten Fall O(log n)

Wünschenswerte Eigenschaft von Suchbäumen mit n Knoten: Suchen, Einfügen, Löschen auch im schlechtesten Fall O(log n) .6 Ausgeglichene Mehrweg-Suchbäume Wünschenswerte Eigenschaft von Suchbäumen mit n Knoten: Suchen, Einfügen, Löschen auch im schlechtesten Fall O(log n) Methoden: lokale Transformationen (AVL-Baum) Stochastische

Mehr

Woche 2: Zufallsvariablen

Woche 2: Zufallsvariablen Woche 2: Zufallsvariablen Patric Müller ETHZ WBL 17/19, 24.04.2017 Wahrscheinlichkeit und Statistik Patric Müller WBL 2017 Teil III Zufallsvariablen Wahrscheinlichkeit

Mehr

Theoretische Grundlagen der Informatik

Theoretische Grundlagen der Informatik Theoretische Grundlagen der Informatik Informationstheorie Vorlesung vom 2. und 4. Februar 26 INSTITUT FÜR THEORETISCHE KIT 4.2.26 Universität des Gog, Landes Sanders, Baden-Württemberg Wagner - Theoretische

Mehr

3. Lernen von Entscheidungsbäumen

3. Lernen von Entscheidungsbäumen 3. Lernen von Entscheidungsbäumen Entscheidungsbäume 3. Lernen von Entscheidungsbäumen Gegeben sei eine Menge von Objekten, die durch Attribut/Wert- Paare beschrieben sind. Jedes Objekt kann einer Klasse

Mehr

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut

Datenkompression. 1 Allgemeines. 2 Verlustlose Kompression. Holger Rauhut Datenkompression Holger Rauhut 1. September 2010 Skript für die Schülerwoche 2010, 8.-11.9.2010 Hausdorff Center for Mathematics, Bonn 1 Allgemeines Datenkompression hat zum Ziel, Daten in digitaler Form,

Mehr

Programmiertechnik II

Programmiertechnik II Bäume Symboltabellen Suche nach Werten (items), die unter einem Schlüssel (key) gefunden werden können Bankkonten: Schlüssel ist Kontonummer Flugreservierung: Schlüssel ist Flugnummer, Reservierungsnummer,...

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB. Unüberwachtes Lernen: Clustern von Attributen

INTELLIGENTE DATENANALYSE IN MATLAB. Unüberwachtes Lernen: Clustern von Attributen INTELLIGENTE DATENANALYSE IN MATLAB Unüberwachtes Lernen: Clustern von Attributen Literatur J. Han, M. Kamber: Data Mining Concepts and Techniques. J. Han et. al: Mining Frequent Patterns without Candidate

Mehr

Einführung in die medizinische Bildverarbeitung WS 12/13

Einführung in die medizinische Bildverarbeitung WS 12/13 Einführung in die medizinische Bildverarbeitung WS 12/13 Stephan Gimbel Kurze Wiederholung Landmarkenbasierte anhand anatomischer Punkte interaktiv algorithmisch z.b. zur Navigation im OP Markierung von

Mehr

Begriffsbestimmung CRISP-DM-Modell Betriebswirtschaftliche Einsatzgebiete des Data Mining Web Mining und Text Mining

Begriffsbestimmung CRISP-DM-Modell Betriebswirtschaftliche Einsatzgebiete des Data Mining Web Mining und Text Mining Gliederung 1. Einführung 2. Grundlagen Data Mining Begriffsbestimmung CRISP-DM-Modell Betriebswirtschaftliche Einsatzgebiete des Data Mining Web Mining und Text Mining 3. Ausgewählte Methoden des Data

Mehr

Begriffe aus der Informatik Nachrichten

Begriffe aus der Informatik Nachrichten Begriffe aus der Informatik Nachrichten Gerhard Goos definiert in Vorlesungen über Informatik, Band 1, 1995 Springer-Verlag Berlin Heidelberg: Die Darstellung einer Mitteilung durch die zeitliche Veränderung

Mehr

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau

Codierung. Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Codierung Auszug aus dem Skript von Maciej Liśkiewicz und Henning Fernau Ein bisschen Informationstheorie Betrachten wir das folgende Problem: Wie lautet eine sinnvolle Definition für das quantitative

Mehr

Maschinelles Lernen Entscheidungsbäume

Maschinelles Lernen Entscheidungsbäume Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Entscheidungsbäume Christoph Sawade /Niels Landwehr/Paul Prasse Dominik Lahmann Tobias Scheffer Entscheidungsbäume

Mehr

Algorithmische Modelle als neues Paradigma

Algorithmische Modelle als neues Paradigma Algorithmische Modelle als neues Paradigma Axel Schwer Seminar über Philosophische Grundlagen der Statistik, WS 2010/11 Betreuer: Prof. Dr. Thomas Augustin München, den 28. Januar 2011 1 / 29 LEO BREIMAN

Mehr

Datenstrukturen & Algorithmen

Datenstrukturen & Algorithmen Datenstrukturen & Algorithmen Matthias Zwicker Universität Bern Frühling 2010 Übersicht Dynamische Programmierung Einführung Ablaufkoordination von Montagebändern Längste gemeinsame Teilsequenz Optimale

Mehr

Zusammenfassung: diskrete und stetige Verteilungen. Woche 4: Gemeinsame Verteilungen. Zusammenfassung: diskrete und stetige Verteilungen

Zusammenfassung: diskrete und stetige Verteilungen. Woche 4: Gemeinsame Verteilungen. Zusammenfassung: diskrete und stetige Verteilungen Zusammenfassung: e und e Verteilungen Woche 4: Gemeinsame Verteilungen Wahrscheinlichkeitsverteilung p() Wahrscheinlichkeitsdichte f () WBL 15/17, 11.05.2015 Alain Hauser P(X = k

Mehr

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression

Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Einführung in die Informatik II Aus der Informationstheorie: Datenkompression Prof. Bernd Brügge, Ph.D Institut für Informatik Technische Universität München Sommersemester 2 2. Juli 2 Copyright 2 Bernd

Mehr

Mustererkennung und Klassifikation

Mustererkennung und Klassifikation Mustererkennung und Klassifikation WS 2007/2008 Fakultät Informatik Technische Informatik Prof. Dr. Matthias Franz mfranz@htwg-konstanz.de www-home.htwg-konstanz.de/~mfranz/heim.html Grundlagen Überblick

Mehr

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1

Grundlagen der Technischen Informatik. Informationsgehalt. Kapitel 4.1 Informationsgehalt Kapitel 4.1 Prof. Dr.-Ing. Jürgen Teich Lehrstuhl für Hardware-Software-Co-Design Technische Informatik - Meilensteine Informationstheorie Claude Elwood Shannon (geb. 1916) Quelle Sender

Mehr

Bayes sches Lernen: Übersicht

Bayes sches Lernen: Übersicht Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 10: Naive Bayes (V. 1.0)

Mehr

Wahrscheinlichkeiten

Wahrscheinlichkeiten Wahrscheinlichkeiten August, 2013 1 von 21 Wahrscheinlichkeiten Outline 1 Wahrscheinlichkeiten 2 von 21 Wahrscheinlichkeiten Zufallsexperimente Die möglichen Ergebnisse (outcome) i eines Zufallsexperimentes

Mehr

Institut für Biometrie und klinische Forschung. WiSe 2012/2013

Institut für Biometrie und klinische Forschung. WiSe 2012/2013 Klinische Forschung WWU Münster Pflichtvorlesung zum Querschnittsfach Epidemiologie, Biometrie und Med. Informatik Praktikum der Medizinischen Biometrie (3) Überblick. Deskriptive Statistik I 2. Deskriptive

Mehr

1.5 Erwartungswert und Varianz

1.5 Erwartungswert und Varianz Ziel: Charakterisiere Verteilungen von Zufallsvariablen (Bildbereich also reelle Zahlen, metrische Skala) durch Kenngrößen (in Analogie zu Lage- und Streuungsmaßen der deskriptiven Statistik). Insbesondere:

Mehr

Entscheidungsbäume. Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen

Entscheidungsbäume. Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Entscheidungsbäume Christoph Sawade /Niels Landwehr/Paul Prasse Silvia Makowski Tobias Scheffer Entscheidungsbäume Eine von vielen

Mehr

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir

Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir Kapitel 3: Entropie Motivation Wir erinnern uns: Um eine Zufallsvariable mit N verschiedenen, gleichwahrscheinlichen Zuständen binär zu codieren, benötigen wir log N Bits log p N Bits Die Information steht

Mehr

(Prüfungs-)Aufgaben zur Codierungstheorie

(Prüfungs-)Aufgaben zur Codierungstheorie (Prüfungs-)Aufgaben zur Codierungstheorie 1) Gegeben sei die folgende CCITT2-Codierung der Dezimalziffern: Dezimal CCITT2 0 0 1 1 0 1 1 1 1 1 0 1 2 1 1 0 0 1 3 1 0 0 0 0 4 0 1 0 1 0 5 0 0 0 0 1 6 1 0 1

Mehr

Teil VI. Gemeinsame Verteilungen. Lernziele. Beispiel: Zwei Würfel. Gemeinsame Verteilung

Teil VI. Gemeinsame Verteilungen. Lernziele. Beispiel: Zwei Würfel. Gemeinsame Verteilung Zusammenfassung: diskrete und stetige Verteilungen Woche 4: Verteilungen Patric Müller diskret Wahrscheinlichkeitsverteilung p() stetig Wahrscheinlichkeitsdichte f ()

Mehr

P (A B) P (B) = P ({3}) P ({1, 3, 5}) = 1 3.

P (A B) P (B) = P ({3}) P ({1, 3, 5}) = 1 3. 2 Wahrscheinlichkeitstheorie Beispiel. Wie wahrscheinlich ist es, eine Zwei oder eine Drei gewürfelt zu haben, wenn wir schon wissen, dass wir eine ungerade Zahl gewürfelt haben? Dann ist Ereignis A das

Mehr

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen 5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x

Mehr

Bayes sches Lernen: Übersicht

Bayes sches Lernen: Übersicht Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.

Mehr

Klasse räumlicher Indexstrukturen, die den Datenraum rekursiv in 4 gleich große Zellen unterteilen (Quadranten NW, NE, SW, SE)

Klasse räumlicher Indexstrukturen, die den Datenraum rekursiv in 4 gleich große Zellen unterteilen (Quadranten NW, NE, SW, SE) 4.4 Quadtrees Überblick Klasse räumlicher Indexstrukturen, die den Datenraum rekursiv in 4 gleich große Zellen unterteilen (Quadranten NW, NE, SW, SE) Verwaltung von Punkten, Kurven, Flächen usw., häufig

Mehr

Business Intelligence & Machine Learning

Business Intelligence & Machine Learning AUSFÜLLHILFE: BEWEGEN SIE DEN MAUSZEIGER ÜBER DIE ÜBERSCHRIFTEN. AUSFÜHRLICHE HINWEISE: LEITFADEN MODULBESCHREIBUNG Business Intelligence & Machine Learning Kennnummer Workload Credits/LP Studiensemester

Mehr