One-class Support Vector Machines

Save this PDF as:
 WORD  PNG  TXT  JPG

Größe: px
Ab Seite anzeigen:

Download "One-class Support Vector Machines"

Transkript

1 One-class Support Vector Machines Seminar Wissensbasierte Systeme Dietrich Derksen 3. Januar 204

2 Motivation One-class Support Vector Machines: Detektion von Ausreißern (Systemfehlererkennung) Klassifikation unterrepresentierter Klassen Vergleich von Datenmengen (Sprechererkennung) Dietrich Derksen 2

3 Überblick Support Vector Machines Zweiklassenproblem mit linear separierbaren Trainingsdaten Erweiterung auf das Mehrklassenproblem Nicht linear trennbare Trainingsdaten Soft Margin Kernel Trick One-class Support Vector Machines ν-support Vector Classifier (ν-svc) SVDD Zusammenfassung Dietrich Derksen 3

4 Support Vector Machines Gegeben: Trainingsdaten x = [x,...,xk] im mehrdiminsionalem Vektorraum aus zwei verschiedenen Klassen (Abstand der Vektoren als Ähnlichkeitsmaß) Ziel: Lineare Diskriminante mit maximalem Abstand zu den am nächsten liegenden Merkmalsvektoren zu bestimmen x 2 g(x) = - g(x) = 0 g(x) = g(x) w w Margin x Dietrich Derksen 4

5 Mehrklassenproblem One-versus-All: K Diskriminanten zwischen der k-ten Klasse und allen anderen Klassen Datum gehört zur k-ten Klasse wenn die Diskriminante für diese Klasse den maximalen Wert liefert One-versus-One: K(K-)/2 Diskriminanten zwischen jeweils zwei Klassen Abstimmungsprinzip: Vergleich der K(K-)/2 Diskriminanten Klasse mit den meisten Stimmen gewinnt Dietrich Derksen 5

6 Nicht linear separierbare Trainingsdaten Trainingsdaten nur durch eine nichtlineare Hyperebene trennbar x 2 x Dietrich Derksen 6

7 Soft Margin Einige Merkmalsvektoren können im Margin liegen Robuster gegen Overfitting x 2 g(x) = - g(x) = 0 g(x) = w g(x) w ξ=0 ξ> ξ< Margin x Dietrich Derksen 7

8 Kernel Trick Exclusive-Or Problem: Liner nicht trennbar Dietrich Derksen 8

9 Kernel Trick (Exclusive-Or Problem) Exclusive-Or Problem: nach Transformation vom zweidimensionalen in den dreidimensionalen Vektorraum Margin Entscheidungsgrenze Dietrich Derksen 9

10 Kernel Trick Kreisförmig angeordnete Daten 3 Entscheidungsgrenze Dietrich Derksen 0

11 Kernel Trick Transformation der kreisförmig angeordneten Daten in den dreidimensionalen Vektorraum Margin Entscheidungsgrenze Dietrich Derksen

12 Kernel Trick Transformation: ϕ(x) = (x, x²) Kernel (von D = 2 nach D = 3): k (x n,x m )=(x n T x m ) 2 = l= N N k = x nl x ml x nk x mk = 2 n =(x 2 x n x n2 2 x n2 )T 2 (xm 2 x m2 2 x m x )=ϕ m2 (x n ) T ϕ (x m ) Dietrich Derksen 2

13 Kernel Funktionen Polynomialkernel: k (x n,x m )=(a x T n x m +c) p Radial Basis Function-Kernel (RBF): k (x n,x m )=e x n x m 2 /(2σ 2 ) Sigmoid Kernel: k (x n,x m )=tanh (a x n T x m +c) Dietrich Derksen 3

14 One-class Support Vector Machines Zwei Verfahren: ν-support Vector Classifier nach Schölkopf et al. (999) Support Vector Data Description (SVDD) nach Tax und Duin (2004) Dietrich Derksen 4

15 ν-svc Maximiert den Abstand der Trainingsdaten zum Ursprung Soft Margin: Erlaubt einige Ausreißer in den Trainingsdaten Robuster gegenüber Overfitting Kernel Trick: ϕ(x 2 ) Transformation der Trainingsdaten auf eine ξ=0 Hypersphäre für k(xn,xm) = const ξ< Vergrößert Abstand zum Ursprung w Margin g(x) = 0 g(x) = ϕ(x ) Dietrich Derksen 5

16 SVDD Minimiert das Volumen eines Hyperballs um die Trainingsdaten Soft Margin: Erlaubt einige Ausreißer in den Trainingsdaten Robuster gegenüber Overfitting x 2 Kernel Trick: Beschreibung der Trainingsdaten durch Hyperball im höherdiminsionalen Merkmalsraum entspricht einer Hyperwolke im Ursprungsraum ξn- R a g(x) = ξn Dietrich Derksen 6 x

17 Vergleich SVDD und ν-svc SVDD Lösung äquivalent mit ν-svc wenn ein translationsinvarianter Kernel wie z.b. der RBF-Kernel verwendet wird ϕ(x 2 ) ξ< ξ=0 R a w 0 Margin w g(x) = 0 ξ< g(x) = ϕ(x ) Dietrich Derksen 7

18 Zusammenfassung Support Vector Machines One-versus-One, One-versus-All Soft-Margin-SVM Kernel Trick One-class Support Vector Machines ν-support Vector Classifier (ν-svc) SVDD ϕ(x 2 ) x 2 ξn- g(x) = ξ< ξ=0 R a w Margin g(x) = 0 g(x) = ϕ(x ) ξn Dietrich Derksen 8 x

Einführung in Support Vector Machines (SVMs)

Einführung in Support Vector Machines (SVMs) Einführung in (SVM) Januar 31, 2011 Einführung in (SVMs) Table of contents Motivation Einführung in (SVMs) Outline Motivation Vektorrepräsentation Klassifikation Motivation Einführung in (SVMs) Vektorrepräsentation

Mehr

Support Vector Machines (SVM)

Support Vector Machines (SVM) Universität Ulm 12. Juni 2007 Inhalt 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor-

Mehr

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen 5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus

Mehr

Support Vector Machines (SVM)

Support Vector Machines (SVM) Seminar Statistische Lerntheorie und ihre Anwendungen Support Vector Machines (SVM) Jasmin Fischer 12. Juni 2007 Inhaltsverzeichnis Seite 1 Inhaltsverzeichnis 1 Grundlagen 2 2 Lineare Trennung 3 2.1 Aufstellung

Mehr

Hauptseminar Machine Learning: Support Vector Machines, Kernels. Katja Kunze

Hauptseminar Machine Learning: Support Vector Machines, Kernels. Katja Kunze Hauptseminar Machine Learning: Support Vector Machines, Kernels Katja Kunze 13.01.2004 Inhaltsverzeichnis 1 Einführung 2 1.1 Grundlagen............................ 2 2 Lineare Seperation 5 2.1 Maximum

Mehr

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen

x 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen 5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x

Mehr

Überwachtes Lernen / Support Vector Machines. Rudolf Kruse Neuronale Netze 246

Überwachtes Lernen / Support Vector Machines. Rudolf Kruse Neuronale Netze 246 Überwachtes Lernen / Support Vector Machines Rudolf Kruse Neuronale Netze 246 Überwachtes Lernen, Diagnosesystem für Krankheiten Trainingsdaten: Expressionsprofile von Patienten mit bekannter Diagnose

Mehr

9.5 Entscheidungsbäume

9.5 Entscheidungsbäume 9.5. ENTSCHEIDUNGSBÄUME 149 9.5 Entscheidungsbäume Wir betrachten wieder einen Datensatz von Ereignissen mit jeweils m Merkmalen, zusammengefasst in x, die zwei verschiedenen Klassen angehören, zum Beispiel

Mehr

Digitale Bildverarbeitung Einheit 11 Klassifikation

Digitale Bildverarbeitung Einheit 11 Klassifikation Digitale Bildverarbeitung Einheit 11 Klassifikation Lehrauftrag WS 06/07 Fachbereich M+I der FH-Offenburg Dr. Bernard Haasdonk Albert-Ludwigs-Universität Freiburg Ziele der Einheit Verstehen, dass basierend

Mehr

Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung

Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung Jan Eichhorn jan.eichhorn@tuebingen.mpg.de Max-Planck-Institut für biologische Kybernetik 72076 Tübingen Danksagung Olivier

Mehr

Thema: Support Vector Machines Johannes Lächele

Thema: Support Vector Machines Johannes Lächele Proseminar: Machine Learning 26. Juli 2006 Johannes Lächele Zusammenfassung: In dieser Seminararbeit wird das Basiswissen für das Verständnis von Support Vector Machines oder SVM vermittelt. Nach einer

Mehr

Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell

Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil

Mehr

Vorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke

Vorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,

Mehr

Einführung in die Bioinformatik: Lernen mit Kernen

Einführung in die Bioinformatik: Lernen mit Kernen Einführung in die Bioinformatik: Lernen mit Kernen Dr. Karsten Borgwardt Forschungsgruppe für Maschinelles Lernen und Bioinformatik Max-Planck-Institut für Intelligente Systeme & Max-Planck-Institut für

Mehr

Statistical Learning

Statistical Learning Statistical Learning M Gruber KW 45 Rev 1 1 Support Vector Machines Definition 1 (Lineare Trennbarkeit) Eine Menge Ü µ Ý µ Ü Æµ Ý Æµ R ist linear trennbar, wenn mindestens ein Wertepaar Û R µ existiert

Mehr

Multivariate Pattern Analysis. Jan Mehnert, Christoph Korn

Multivariate Pattern Analysis. Jan Mehnert, Christoph Korn Multivariate Pattern Analysis Jan Mehnert, Christoph Korn Übersicht 1. Motivation 2. Features 3. Klassifizierung 4. Statistik 5. Annahmen & Design 6. Similarity 7. Beispiel Grenzen & Probleme der klassischen

Mehr

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und

Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion

Mehr

Statistische Lerntheorie und Empirische Inferenz Statistical Learning Theorie and Empirical Inference

Statistische Lerntheorie und Empirische Inferenz Statistical Learning Theorie and Empirical Inference Statistische Lerntheorie und Empirische Inferenz Statistical Learning Theorie and Empirical Inference Schölkopf, Bernhard Max-Planck-Institut für biologische Kybernetik, Tübingen Korrespondierender Autor

Mehr

Syntaktische und Statistische Mustererkennung. Bernhard Jung

Syntaktische und Statistische Mustererkennung. Bernhard Jung Syntaktische und Statistische Mustererkennung VO 1.0 840.040 (UE 1.0 840.041) Bernhard Jung bernhard@jung.name http://bernhard.jung.name/vussme/ 1 Rückblick Entscheidungstheorie Bayes'sche Klassifikation

Mehr

SEMINAR AUTOMATISCHE GESICHTSERKENNUNG

SEMINAR AUTOMATISCHE GESICHTSERKENNUNG SEMINAR AUTOMATISCHE GESICHTSERKENNUNG OBERSEMINAR AUTOMATISCHE ANALYSE VON GESICHTSAUSDRÜCKEN Organisation, Überblick, Themen Überblick heutige Veranstaltung 1. Organisatorisches 2. Überblick über beide

Mehr

Kapitel 4: Data Mining

Kapitel 4: Data Mining LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS Skript zur Vorlesung: Einführung in die Informatik: Systeme und Anwendungen Sommersemester 2017 Kapitel 4: Data Mining Vorlesung:

Mehr

Mustererkennung und Klassifikation

Mustererkennung und Klassifikation Mustererkennung und Klassifikation WS 2007/2008 Fakultät Informatik Technische Informatik Prof. Dr. Matthias Franz mfranz@htwg-konstanz.de www-home.htwg-konstanz.de/~mfranz/heim.html Grundlagen Überblick

Mehr

Klassifikation und Ähnlichkeitssuche

Klassifikation und Ähnlichkeitssuche Klassifikation und Ähnlichkeitssuche Vorlesung XIII Allgemeines Ziel Rationale Zusammenfassung von Molekülen in Gruppen auf der Basis bestimmter Eigenschaften Auswahl von repräsentativen Molekülen Strukturell

Mehr

Vortragsthema. Thema: Klassifikation. Klassifikation. OS Data Mining SS10 Madeleine Weiand 1

Vortragsthema. Thema: Klassifikation. Klassifikation. OS Data Mining SS10 Madeleine Weiand 1 Vortragsthema Klassifikation OS Data Mining SS0 Madeleine Weiand Agenda Agenda I III Begriff Klassifikation Abgrenzung Anforderungen Anwendungsgebiete Dimensionsreduktion Umsetzung in Software Vergleich

Mehr

Kernel, Perceptron, Regression. Erich Schubert, Arthur Zimek. 2014-07-20 KDD Übung

Kernel, Perceptron, Regression. Erich Schubert, Arthur Zimek. 2014-07-20 KDD Übung Kernel, Perceptron, Regression Erich Schubert, Arthur Zimek Ludwig-Maximilians-Universität München 2014-07-20 KDD Übung Kernel-Fukctionen Kernel kann mehrdeutig sein! Unterscheidet zwischen: Kernel function

Mehr

Überblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator

Überblick. Überblick. Bayessche Entscheidungsregel. A-posteriori-Wahrscheinlichkeit (Beispiel) Wiederholung: Bayes-Klassifikator Überblick Grundlagen Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes-Klassifikator

Mehr

The State of the Game: Spamerkennung in den TREC und CEAS Spam-Challenges

The State of the Game: Spamerkennung in den TREC und CEAS Spam-Challenges The State of the Game: Spamerkennung in den TREC und CEAS Spam-Challenges Christoph Raupach Universität Paderborn craupach@upb.de Zusammenfassung. Ich stelle zwei Algorithmen zur Spamerkennung aus den

Mehr

Einführung in das statistische Lernen

Einführung in das statistische Lernen Universität Ulm 24. April 2007 Inhalt Motivation Grundbegriffe Kleinste Quadrate und k-nächste-nachbar-methode Statistische Entscheidungstheorie Regressionsmodelle und Kernmethoden Zusammenfassung Modellwahl

Mehr

Überblick. Classifying The Real World. Textkategorisierung. Textkategorisierung. Textkategorisierung (II)

Überblick. Classifying The Real World. Textkategorisierung. Textkategorisierung. Textkategorisierung (II) Classifying The Real World Sebastian Bitzer (sbitzer@uos.de) Sven Lauer (svlauer@uos.de) Seminar: Neuronale Netze University of Osnabrueck 10. 07. 2003 Anwendungen von Support Vector Machines Überblick

Mehr

Textklassifikation mit Support Vector Machines

Textklassifikation mit Support Vector Machines Köln, den 25. April 2015 Studiengang Informationsverarbeitung Wintersemester 2014/2015 Sprachliche Informationsverarbeitung Hauptseminar: Linguistic Software Engineering bei Prof. Dr. Jürgen Rolshoven

Mehr

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)

Neuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) 29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein

Mehr

Überblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung

Überblick. Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Grundlagen Überblick Einführung in die automatische Mustererkennung Grundlagen der Wahrscheinlichkeitsrechnung Klassifikation bei bekannter Wahrscheinlichkeitsverteilung Entscheidungstheorie Bayes- Entscheidungsfunktionen

Mehr

Robustes Boosting durch konvexe Optimierung

Robustes Boosting durch konvexe Optimierung Robustes Boosting durch konvexe Optimierung Gunnar Rätsch Research School for Information Sciences and Engineering Australian National University, ACT 2 Canberra, Australia email: Gunnar.Raetsch@anu.edu.au

Mehr

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20

Computational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20 Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt

Mehr

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen

Überwachtes Lernen II: Netze und Support-Vektor-Maschinen Überwachtes Lernen II: Klassifikation und Regression - Neuronale Netze und Support-Vektor-Maschinen Praktikum: Data Warehousing und Data Mining Praktikum Data Warehousing und Mining, Sommersemester 2009

Mehr

Nutzung maschinellen Lernens zur Extraktion von Paragraphen aus PDF-Dokumenten

Nutzung maschinellen Lernens zur Extraktion von Paragraphen aus PDF-Dokumenten Nutzung maschinellen Lernens zur Extraktion von Paragraphen aus PDF-Dokumenten Albert-Ludwigs-Universität zu Freiburg 13.09.2016 Maximilian Dippel max.dippel@tf.uni-freiburg.de Überblick I Einführung Problemstellung

Mehr

Moderne Methoden der KI: Maschinelles Lernen

Moderne Methoden der KI: Maschinelles Lernen Moderne Methoden der KI: Maschinelles Lernen Prof. Dr.Hans-Dieter Burkhard Vorlesung Entscheidungsbäume Darstellung durch Regeln ID3 / C4.5 Bevorzugung kleiner Hypothesen Overfitting Entscheidungsbäume

Mehr

Neuronale Netze. Christian Böhm.

Neuronale Netze. Christian Böhm. Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch

Mehr

Entscheidungsbäume aus großen Datenbanken: SLIQ

Entscheidungsbäume aus großen Datenbanken: SLIQ Entscheidungsbäume aus großen Datenbanken: SLIQ C4.5 iteriert häufig über die Trainingsmenge Wie häufig? Wenn die Trainingsmenge nicht in den Hauptspeicher passt, wird das Swapping unpraktikabel! SLIQ:

Mehr

Data Mining auf Datenströmen Andreas M. Weiner

Data Mining auf Datenströmen Andreas M. Weiner Technische Universität Kaiserslautern Fachbereich Informatik Lehrgebiet Datenverwaltungssysteme Integriertes Seminar Datenbanken und Informationssysteme Sommersemester 2005 Thema: Data Streams Andreas

Mehr

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen

6.4 Neuronale Netze zur Verarbeitung von Zeitreihen 6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1

Mehr

Erkennung von Fußgängern

Erkennung von Fußgängern Erkennung von Fußgängern Sensoren Radar Laserscanner Kameras sichtbares Spektrum Infrarot Verwandte Forschungsgebiete Automatische Überwachung oft feste Kamera Wiedererkennung von Personen Interesse an

Mehr

Pareto optimale lineare Klassifikation

Pareto optimale lineare Klassifikation Seminar aus Maschinellem Lernen Pareto optimale lineare Klassifikation Vesselina Poulkova Betreuer: Eneldo Loza Mencía Gliederung 1. Einleitung 2. Pareto optimale lineare Klassifizierer 3. Generelle Voraussetzung

Mehr

DIPLOMARBEIT. Martin-Luther-Universität Halle-Wittenberg. Detektion von Transkriptionsfaktorbindestellen mit Support-Vektor-Maschinen

DIPLOMARBEIT. Martin-Luther-Universität Halle-Wittenberg. Detektion von Transkriptionsfaktorbindestellen mit Support-Vektor-Maschinen DIPLOMARBEIT UNIVERSITÄTSZENTRUM INFORMATIK Martin-Luther-Universität Halle-Wittenberg Detektion von Transkriptionsfaktorbindestellen mit Support-Vektor-Maschinen Stefan Haufe (2005) Universitätszentrum

Mehr

Das Mathematikabitur. Abiturvorbereitung Geometrie. Autor: Claus Deser Abiturvorbereitung Mathematik 1

Das Mathematikabitur. Abiturvorbereitung Geometrie. Autor: Claus Deser Abiturvorbereitung Mathematik 1 Das Mathematikabitur Abiturvorbereitung Geometrie Autor: Claus Deser Abiturvorbereitung Mathematik 1 Gliederung Was sind Vektoren/ ein Vektorraum? Wie misst man Abstände und Winkel? Welche geometrischen

Mehr

Lineare Klassifikationsmethoden

Lineare Klassifikationsmethoden Universität Ulm Fakultät für Mathematik und Wirtschaftswissenschaften Lineare Klassifikationsmethoden Statistische Lerntheorie und ihre Anwendungen Seminararbeit in dem Institut für Stochastik Prüfer:

Mehr

Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte

Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte Fahrzeuglokalisierung anhand visueller Landmarken und einer digitalen Karte Oliver Pink INSTITUT FÜR MESS- UND REGELUNGSTECHNIK KIT - Universität des Landes Baden-Württemberg und nationales Großforschungszentrum

Mehr

Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection

Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection Peter N. Belhumeur, João P. Hespanha, David J. Kriegman IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.

Mehr

k-nächste-nachbarn-schätzung

k-nächste-nachbarn-schätzung k-nächste-nachbarn-schätzung Mustererkennung und Klassifikation, Vorlesung No. 7 1 M. O. Franz 29.11.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Support Vector Machine und Ridge Regression in der digitalen Bildverarbeitung

Support Vector Machine und Ridge Regression in der digitalen Bildverarbeitung Support Vector Machine und Ridge Regression in der digitalen Bildverarbeitung Volker Gimple, Gruppenleiter Bildverarbeitung STEMMER IMAGING GmbH, Puchheim INHALT (1) Einleitung Begriffsklärung Struktur

Mehr

Grundlegende Definitionen aus HM I

Grundlegende Definitionen aus HM I Grundlegende Definitionen aus HM I Lucas Kunz. März 206 Inhaltsverzeichnis Vektorraum 2 2 Untervektorraum 2 Lineare Abhängigkeit 2 4 Lineare Hülle und Basis 5 Skalarprodukt 6 Norm 7 Lineare Abbildungen

Mehr

Erkennung eines geprägten Zifferncodes mittels maschinellen Lernens

Erkennung eines geprägten Zifferncodes mittels maschinellen Lernens Montanuniversität Leoben Department für Mathematik und Infomationstechnologie Lehrstuhl für Informationstechnologie Erkennung eines geprägten Zifferncodes mittels maschinellen Lernens Bakkalaureatsarbeit

Mehr

Lineare Abbildungen (Teschl/Teschl 10.3, 11.2)

Lineare Abbildungen (Teschl/Teschl 10.3, 11.2) Lineare Abbildungen (Teschl/Teschl.3,.2 Eine lineare Abbildung ist eine Abbildung zwischen zwei Vektorräumen, die mit den Vektoroperationen Addition und Multiplikation mit Skalaren verträglich ist. Formal:

Mehr

Seminar Data Mining and Learning from Data. Predictive Modeling. Thorsten Holz

Seminar Data Mining and Learning from Data. Predictive Modeling. Thorsten Holz Seminar Data Mining and Learning from Data Predictive Modeling Thorsten Holz Human Language Technology and Pattern Recognition Lehrstuhl für Informatik VI, Computer Science Department RWTH Aachen University

Mehr

ML-Werkzeuge und ihre Anwendung

ML-Werkzeuge und ihre Anwendung Kleine Einführung: und ihre Anwendung martin.loesch@kit.edu (0721) 608 45944 Motivation Einsatz von maschinellem Lernen erfordert durchdachtes Vorgehen Programmieren grundlegender Verfahren aufwändig fehlerträchtig

Mehr

Ein Softwarepaket für die modellbasierte Segmentierung anatomischer Strukturen

Ein Softwarepaket für die modellbasierte Segmentierung anatomischer Strukturen Ein Softwarepaket für die modellbasierte Segmentierung anatomischer Strukturen Thomas Lange 1, Hans Lamecker 2 und Martin Seebaß 2 1 Robert Rössle Klinik, Charité, 13125 Berlin 2 Zuse Institut Berlin (ZIB),

Mehr

MULTI-CLASS PROTEIN CLASSIFICATION USING ADAPTIVE CODES

MULTI-CLASS PROTEIN CLASSIFICATION USING ADAPTIVE CODES 1 MULTI-CLASS PROTEIN CLASSIFICATION USING ADAPTIVE CODES Jérôme Kirchhoff Seminar maschinelles Lernen Einleitung 2 Motivation Ohne Proteine kein Stoffwechsel keine Zellteilung Verstehen der Proteine kein

Mehr

Künstliche Neuronale Netze und Data Mining

Künstliche Neuronale Netze und Data Mining Künstliche Neuronale Netze und Data Mining Catherine Janson, icasus GmbH Heidelberg Abstract Der Begriff "künstliche Neuronale Netze" fasst Methoden der Informationstechnik zusammen, deren Entwicklung

Mehr

PPC und Data Mining. Seminar aus Informatik LV-911.039. Michael Brugger. Fachbereich der Angewandten Informatik Universität Salzburg. 28.

PPC und Data Mining. Seminar aus Informatik LV-911.039. Michael Brugger. Fachbereich der Angewandten Informatik Universität Salzburg. 28. PPC und Data Mining Seminar aus Informatik LV-911.039 Michael Brugger Fachbereich der Angewandten Informatik Universität Salzburg 28. Mai 2010 M. Brugger () PPC und Data Mining 28. Mai 2010 1 / 14 Inhalt

Mehr

Prüfung Lineare Algebra Sei V ein n-dimensionaler euklidischer Raum. Welche der folgenden Aussagen ist wahr?

Prüfung Lineare Algebra Sei V ein n-dimensionaler euklidischer Raum. Welche der folgenden Aussagen ist wahr? 1. Sei V ein n-dimensionaler euklidischer Raum. Welche der folgenden Aussagen ist wahr? A. Wenn n = 3 ist, sind mindestens zwei der drei Euler-Winkel einer Drehung kleiner oder gleich π. B. Wenn n = 2

Mehr

Masterarbeit Erkennung und Klassifikation von ungeschützten Verkehrsteilnehmern unter Einsatz von FPGAs

Masterarbeit Erkennung und Klassifikation von ungeschützten Verkehrsteilnehmern unter Einsatz von FPGAs Masterarbeit Erkennung und Klassifikation von ungeschützten Verkehrsteilnehmern unter Einsatz von FPGAs Frerk Saxen 17.09.2011 Hochschule Aschaffenburg Würzburger Straße 45 63743 Aschaffenburg Prüfer:

Mehr

DPF Dynamic Partial distance Function

DPF Dynamic Partial distance Function DPF Dynamic Partial distance Function Vorgelegt von Sebastian Loose (MatrikelNR.: 169172), Computervisualistikstudent im 4. Semester. Hausarbeit zum Papier DPF A Perceptual Distance Function for Image

Mehr

Kapitel 1: Einleitung

Kapitel 1: Einleitung Ludwig Maximilians Universität München Institut für Informatik Lehr- und Forschungseinheit für Datenbanksysteme Skript zur Vorlesung Knowledge Discovery in Databases im Wintersemester 2003/2004 Kapitel

Mehr

Negative Identifizierung anhand des Tippverhaltens bei Verwendung fester und freier Textbestandteile

Negative Identifizierung anhand des Tippverhaltens bei Verwendung fester und freier Textbestandteile Negative Identifizierung anhand des Tippverhaltens bei Verwendung fester und freier Textbestandteile Sebastian Erdenreich Negative Identifizierung anhand des Tipp verhaltens bei Verwendung fester und freier

Mehr

Seminar Visual Analytics and Visual Data Mining

Seminar Visual Analytics and Visual Data Mining Seminar Visual Analytics and Visual Data Mining Dozenten:, AG Visual Computing Steffen Oeltze, AG Visualisierung Organisatorisches Seminar für Diplom und Bachelor-Studenten (max. 18) (leider nicht für

Mehr

6. Übungsblatt Aufgaben mit Lösungen

6. Übungsblatt Aufgaben mit Lösungen 6. Übungsblatt Aufgaben mit Lösungen Exercise 6: Find a matrix A R that describes the following linear transformation: a reflection with respect to the subspace E = {x R : x x + x = } followed by a rotation

Mehr

Lineare Gleichungsen + Lineare Funktionen

Lineare Gleichungsen + Lineare Funktionen 29. Mai 2006 Gliederung 1 2 Anmerkungen Bitte nummeriert die Zeilen! Bitte benutzt eine Büroklammer! Bitte nicht abschreiben! Anmerkungen Bitte nummeriert die Zeilen! Bitte benutzt eine Büroklammer! Bitte

Mehr

Visualisieren und Verstehen hochdimensionaler Entscheidungsmodelle mit Self-Organizing Maps

Visualisieren und Verstehen hochdimensionaler Entscheidungsmodelle mit Self-Organizing Maps Diplomarbeit Visualisieren und Verstehen hochdimensionaler Entscheidungsmodelle mit Self-Organizing Maps Sebastian Land Diplomarbeit an der Fakultät für Informatik der TU Dortmund Dortmund, 23. April 2009

Mehr

Anwendung der Regressions-SVM zur Vorhersage studentischer Leistungen

Anwendung der Regressions-SVM zur Vorhersage studentischer Leistungen Anwendung der Regressions-SVM zur Vorhersage studentischer Leistungen Alexander Askinadze Institut für Informatik Heinrich-Heine-Universität Düsseldorf Universitätsstr. 1 40225 Düsseldorf, Deutschland

Mehr

Lorenz Heikenfeld. Learning to Rank 1

Lorenz Heikenfeld. Learning to Rank 1 Lorenz Heikenfeld Learning to Rank 1 Einleitung Features Lernverfahren für Rankings Ordinal Regression Neural Nets Genetic Programming Konklusion Learning to Rank 2 Gegeben: Große Anzahl von Dokumenten

Mehr

Projekt 7. Machine Learning. (Matthias Bethge) 7.1 Overtüre

Projekt 7. Machine Learning. (Matthias Bethge) 7.1 Overtüre Projekt 7 Machine Learning Matthias Bethge) 7. Overtüre Alles messen, was messbar ist - und messbar machen, was noch nicht messbar ist. Galileo Galilei 564-642) Ziel der quantitativen Wissenschaft ist

Mehr

Proseminar - Data Mining

Proseminar - Data Mining Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1 Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen

Mehr

Opinion Mining Herausforderungen und Anwendung in der Politik

Opinion Mining Herausforderungen und Anwendung in der Politik Opinion Mining Herausforderungen und Anwendung in der Politik 28.09.2011 Umut Yilmaz Inhaltsübersicht 1. Einführung 2. Grundlagen 3. Anwendung in der Politik 4. Anwendungsbeispiel 5. Fazit 2 1. Einführung

Mehr

Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen

Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Einführung Auf binären Klassifikatoren beruhende Methoden One-Against-All One-Against-One DAGSVM Methoden die alle Daten zugleich betrachten

Mehr

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.

kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform. kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer

Mehr

Konvexe Mengen. Kanglin,Chen. Universität Bremen, Proseminar WS 04/05

Konvexe Mengen. Kanglin,Chen. Universität Bremen, Proseminar WS 04/05 Konvexe Mengen Kanglin,Chen Universität Bremen, Proseminar WS 04/05 Satz. (Satz von Kirchberger) Sei P, Q E n kompakt und nicht leer. Dann gilt: P, Q sind durch eine Hyperebene streng trennbar. Für jede

Mehr

L5 Matrizen I: Allgemeine Theorie

L5 Matrizen I: Allgemeine Theorie L5 Matrizen I: Allgemeine Theorie Matrix: (Plural: Matrizen) Vielfältige Anwendungen in der Physik: - Lösung von linearen Gleichungsystemen - Beschreibung von Drehungen - Beschreibung von Lorenz-Transformationen

Mehr

Bildverarbeitung/Mustererkennung: Zusammenfassung und Ausblick

Bildverarbeitung/Mustererkennung: Zusammenfassung und Ausblick Bildverarbeitung/Mustererkennung: Zusammenfassung und Ausblick D. Schlesinger TUD/INF/KI/IS D. Schlesinger () BV/ME: Zusammenfassung 1 / 6 Organisatorisches Es gibt keine Scheine und keine bestanden Abschlüsse

Mehr

Lernende Suchmaschinen

Lernende Suchmaschinen Lernende Suchmaschinen Qingchui Zhu PG 520 - Intelligence Service (WiSe 07 / SoSe 08) Verzeichnis 1 Einleitung Problemstellung und Zielsetzung 2 Was ist eine lernende Suchmaschine? Begriffsdefinition 3

Mehr

Erinnerung. Arbeitsschritte der Computergraphik. Modellierung. Animation. Rendering. Ausgabemedium. Generierung

Erinnerung. Arbeitsschritte der Computergraphik. Modellierung. Animation. Rendering. Ausgabemedium. Generierung Erinnerung Arbeitsschritte der Computergraphik Modellierung Animation Generierung Ausgabemedium Graphik/-Pipeline Wandelt die Beschreibung einer Szene im dreidimensionalen Raum in eine zweidimensionale

Mehr

Integration von Support Vector Machines in die objektbasierte Bildklassifizierung am Beispiel der Entwicklung eines Plug-Ins für ecognition

Integration von Support Vector Machines in die objektbasierte Bildklassifizierung am Beispiel der Entwicklung eines Plug-Ins für ecognition 52 Integration von Support Vector Machines in die objektbasierte Bildklassifizierung am Beispiel der Entwicklung eines Plug-Ins für ecognition Roland J. GRAF und Stefan WEGENKITTL Dieser Beitrag wurde

Mehr

2. Funktionale Einordnung des Themas Zielgruppenselektion 9

2. Funktionale Einordnung des Themas Zielgruppenselektion 9 DC Geleitwort Danksagung Abbildungsverzeichnis Tabellenverzeichnis Abkürzungsverzeichnis Symbolverzeichnis V VII IX XV XVII XIX XXI 1. Einführung 1 1.1 Rahmen und Motivation der Untersuchung 1 1.2 Zielsetzung

Mehr

Nichtlineare Gleichungen, mehrere Unbekannte

Nichtlineare Gleichungen, mehrere Unbekannte Dritte Vorlesung, 6. März 2008, Inhalt Aufarbeiten von Themen der letzten Vorlesung, und Nichtlineare Gleichungen, mehrere Unbekannte Systeme nichtlinearer Gleichungen Vektor- und Matrixnormen Fixpunkt-Iteration,

Mehr

Übungen zur Vorlesung Grundlagen der Bilderzeugung und Bildanalyse (Mustererkennung) WS 04/05. Musterlösung 9

Übungen zur Vorlesung Grundlagen der Bilderzeugung und Bildanalyse (Mustererkennung) WS 04/05. Musterlösung 9 ALBERT-LUDWIGS-UNIVERSITÄT FREIBURG INSTITUT FÜR INFORMATIK Lehrstuhl für Mustererkennung und Bildverarbeitung Prof. Dr.-Ing. Hans Burkhardt Georges-Köhler-Allee Geb. 52, Zi -29 D-79 Freiburg Tel. 76-23

Mehr

Mathematik III. Vorlesung 68. Das Verhalten von Maßen bei linearen Abbildungen

Mathematik III. Vorlesung 68. Das Verhalten von Maßen bei linearen Abbildungen Prof. Dr. H. Brenner Osnabrück WS 2010/2011 Mathematik III Vorlesung 68 Das Verhalten von Maßen bei linearen Abbildungen Lemma 68.1. Es sei V ein reeller Vektorraum und L :R n V eine bijektive lineare

Mehr

Exploration und Klassifikation von BigData

Exploration und Klassifikation von BigData Exploration und Klassifikation von BigData Inhalt Einführung Daten Data Mining: Vorbereitungen Clustering Konvexe Hülle Fragen Google: Riesige Datenmengen (2009: Prozessieren von 24 Petabytes pro Tag)

Mehr

Lösungsskizzen der Klausur zur Linearen Algebra im Herbst 2015

Lösungsskizzen der Klausur zur Linearen Algebra im Herbst 2015 sskizzen der Klausur zur Linearen Algebra im Herbst 5 Aufgabe I. Es sei (G, ) eine Gruppe mit neutralem Element e und M {x G x x e}. Zeigen Sie: (a) Ist G kommutativ, so ist M eine Untergruppe von G. (b)

Mehr

Reranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart

Reranking. Parse Reranking. Helmut Schmid. Institut für maschinelle Sprachverarbeitung Universität Stuttgart Institut für maschinelle Sprachverarbeitung Universität Stuttgart schmid@ims.uni-stuttgart.de Die Folien basieren teilweise auf Folien von Mark Johnson. Koordinationen Problem: PCFGs können nicht alle

Mehr

Lineare Algebra I. - 9.Vorlesung - Prof. Dr. Daniel Roggenkamp & Falko Gauß. Korrektur: 2. Klausurtermin:

Lineare Algebra I. - 9.Vorlesung - Prof. Dr. Daniel Roggenkamp & Falko Gauß. Korrektur: 2. Klausurtermin: Lineare Algebra I - 9.Vorlesung - rof. Dr. Daniel Roggenkamp & Falko Gauß Korrektur: 2. Klausurtermin: 09.02.2017 Linearkombination von Vektoren lineare Hülle Erzeugendensystem S lineare Unabhängigkeit

Mehr

Inhalt. 4.1 Motivation. 4.2 Evaluation. 4.3 Logistische Regression. 4.4 k-nächste Nachbarn. 4.5 Naïve Bayes. 4.6 Entscheidungsbäume

Inhalt. 4.1 Motivation. 4.2 Evaluation. 4.3 Logistische Regression. 4.4 k-nächste Nachbarn. 4.5 Naïve Bayes. 4.6 Entscheidungsbäume 4. Klassifikation Inhalt 4.1 Motivation 4.2 Evaluation 4.3 Logistische Regression 4.4 k-nächste Nachbarn 4.5 Naïve Bayes 4.6 Entscheidungsbäume 4.7 Support Vector Machines 4.8 Neuronale Netze 4.9 Ensemble-Methoden

Mehr

4.1. Vektorräume und lineare Abbildungen

4.1. Vektorräume und lineare Abbildungen 4.1. Vektorräume und lineare Abbildungen Mengen von Abbildungen Für beliebige Mengen X und Y bezeichnet Y X die Menge aller Abbildungen von X nach Y (Reihenfolge beachten!) Die Bezeichnungsweise erklärt

Mehr

Principal Component Analysis (PCA)

Principal Component Analysis (PCA) Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen

Mehr

Basis und Dimension. Als nächstes wollen wir die wichtigen Begriffe Erzeugendensystem und Basis eines Vektorraums definieren.

Basis und Dimension. Als nächstes wollen wir die wichtigen Begriffe Erzeugendensystem und Basis eines Vektorraums definieren. Basis und Dimension Als nächstes wollen wir die wichtigen Begriffe Erzeugendensystem und Basis eines Vektorraums definieren. Definition. Sei V ein K-Vektorraum und (v i ) i I eine Familie von Vektoren

Mehr

Länge, Skalarprodukt, Geradengleichungen

Länge, Skalarprodukt, Geradengleichungen Länge, Skalarprodukt, Geradengleichungen Jörn Loviscach Versionsstand: 9. April 2010, 18:48 Die nummerierten Felder sind absichtlich leer, zum Ausfüllen in der Vorlesung. Videos dazu: http://www.youtube.com/joernloviscach

Mehr

Rückblick auf die letzte Vorlesung. Bemerkung

Rückblick auf die letzte Vorlesung. Bemerkung Bemerkung 1) Die Bedingung grad f (x 0 ) = 0 T definiert gewöhnlich ein nichtlineares Gleichungssystem zur Berechnung von x = x 0, wobei n Gleichungen für n Unbekannte gegeben sind. 2) Die Punkte x 0 D

Mehr

Syntaktische und Statistische Mustererkennung. Bernhard Jung

Syntaktische und Statistische Mustererkennung. Bernhard Jung Syntaktische und Statistische Mustererkennung VO 1.0 840.040 (UE 1.0 840.041) Bernhard Jung bernhard@jung.name http://bernhard.jung.name/vussme/ 1 Organisatorisches Donnerstags, 13-15 (c.t.), Seminarraum

Mehr

Seminar Einführung in die Kunst mathematischer Ungleichungen

Seminar Einführung in die Kunst mathematischer Ungleichungen Seminar Einführung in die Kunst mathematischer Ungleichungen Geometrie und die Summe von Quadraten Clara Brünn 25. April 2016 Inhaltsverzeichnis 1 Einleitung 2 1.1 Geometrie allgemein.................................

Mehr

Kern Fisher Diskriminanten

Kern Fisher Diskriminanten Kern Fisher Diskriminanten Sebastian Mika idalab GmbH & Fraunhofer FIRST Mohrenstraße 63 10117 Berlin email: mika@{first.fraunhofer.de, idalab.com} 1 Einleitung Diese Zusammenfassung meiner Doktorarbeit

Mehr

Neuronale Netze Aufgaben 3

Neuronale Netze Aufgaben 3 Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus

Mehr

Aufgaben / Lösungen der Klausur Nr. 4 vom Juni 2002 im LK 12. nx ln(x)dx

Aufgaben / Lösungen der Klausur Nr. 4 vom Juni 2002 im LK 12. nx ln(x)dx Aufgaben / Lösungen der Klausur Nr. 4 vom Juni 2002 im LK 2 Aufgabe ) a) Berechne für alle natürlichen Zahlen n N das Integral e nx ln(x)dx. Mit Hilfe der partiellen Integration für f (x) = nx, somit f(x)

Mehr