Unüberwachte Nächste Nachbarn
|
|
- Dirk Müller
- vor 6 Jahren
- Abrufe
Transkript
1 Unüberwachte Nächste Nachbarn Ein effizientes Verfahren zur Dimensionsreduktion Oliver Kramer Department für Informatik Carl von Ossietzky Universität Oldenburg 4. Mai 2012 (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
2 Übersicht 1 Latentes Sortieren K-Nächste Nachbarn Unüberwachte Regression Unüberwachte Nächste Nachbarn 2 Evolutionärer Ansatz Algorithmen Experiment 3 Stochastische Einbettungen Algorithmus Experiment 4 Anwendungen Geräteerkennung Bauinformatik (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
3 Latentes Sortieren K-Nächste Nachbarn Maschinelles Lernen Was ist maschinelles Lernen? Typische Fragestellung: geg. eine Menge von Mustern x 1,..., x N mit Labeln (Klassen oder numerische Werte) y 1,..., y N Suche nach Vorhersagemodell f, so dass für unbekanntes x das richtige y vorhergesagt wird empirisches Risiko minimieren K-Nächste Nachbarn, Support-Vektor-Maschinen SVM, linear kernel SVM, RBF kernel (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
4 Nächste Nachbarn Latentes Sortieren K-Nächste Nachbarn K-Nächste Nachbarn Für unbekanntes Muster x wähle Label der K nächsten Muster im Datenraum ( d ) 1/2 Distanz im Datenraum, z.b. d(x, y) = i=1 (x i y i ) 2 Klassifikation (y { 1, 1}) f(x ) := { 1 falls i N K (x ) y i > 0 1 falls i N K (x ) y i < 0, (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
5 Nächste Nachbarn Latentes Sortieren K-Nächste Nachbarn K-Nächste Nachbarn Für unbekanntes Muster x wähle Label der K nächsten Muster im Datenraum ( d ) 1/2 Distanz im Datenraum, z.b. d(x, y) = i=1 (x i y i ) 2 Regression (y R d ) f(x ) := 1 K i N K (x ) y i (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
6 Latentes Sortieren Unüberwachte Regression Dimensionsreduktion Dimensionsreduktion Warum Dimensionsreduktion? Antwort: Vorverarbeitung, Visualisierung Finde Abbildungs F : y x für Muster y Y R d und latente Punkte x X R q mit d > q. Bilde mit X Topologie (Abstände, Nachbarschaften) des Datenraums ab Methoden: PCA, UKR, ISOMAP, LLE (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
7 Latentes Sortieren Unüberwachte Regression Unüberwachte Regression Unüberwachte Regression Sei Y = (y 1,..., y N ) with y i R d Matrix von Mustern Gesucht ist X = (x 1,..., x N ) Idee: Finde X durch Umkehr eines Regressions-Modelles f KNN (X) = [f KNN (x i, X)] N i=1 ] Minimiere den Datenraumrekonstruktions-Fehler (DSRE) minimiere E(X) = 1 N Y f(x) 2 F. (1) Optimierung: Initialisierung durch Spektralmethoden (LLE), Gradientenabstieg in R q (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
8 Latentes Sortieren Unüberwachte Nächste Nachbarn Unüberwachte Nächste Nachbarn UNN: UR mit KNN Idee 1: Verwende KNN zur Regression KNN gut in niedrigen Dimensionen (q = 1, 2, 3), viele Daten Idee 2: Konstruiere Lösung iterativ Bsp.: q = 1 Teste jeden Zwischenraum oder Nachbarn der nächsten Einbettung Wähle Position mit geringstem DSRE y 2 f(x ) 3 y x x x x x data space f(x ) 5 y x 1 latent space (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
9 Latentes Sortieren Unüberwachte Nächste Nachbarn Unüberwachte Nächste Nachbarn UNN: UR mit KNN Idee 1: Verwende KNN zur Regression KNN gut in niedrigen Dimensionen (q = 1, 2, 3), viele Daten Idee 2: Konstruiere Lösung iterativ Bsp.: q = 1 Teste jeden Zwischenraum oder Nachbarn der nächsten Einbettung Wähle Position mit geringstem DSRE y 2 f(x 3 ) f(x 4) y x y * x 3 * x 4 data space y 1 latent space (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
10 Latentes Sortieren Unüberwachte Nächste Nachbarn Unüberwachte Nächste Nachbarn (ii) 3-dimensionales S Einbettung von 500 Datenpunkten Farbe definiert Position im latenten Raum (ähnliche Farben = benachbarte Positionen) Abbildung : Einbettung des 3D S. Links vor der Einbettung, rechts: Einbettung durch UNN, Aus: Kramer: Dimensionality Reduction by Unsupervised K-Nearest Neighbor Regression, ICMLA (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
11 UNN - Vergleich Latentes Sortieren Unüberwachte Nächste Nachbarn 2D-S 3D-S K init UNN UNN g LLE D-S h digits (7) K init UNN UNN g LLE Tabelle : DSRE-Vergleich: initial, UNN, UNN g und Locally Linear Embedding (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
12 Übersicht Evolutionärer Ansatz 1 Latentes Sortieren K-Nächste Nachbarn Unüberwachte Regression Unüberwachte Nächste Nachbarn 2 Evolutionärer Ansatz Algorithmen Experiment 3 Stochastische Einbettungen Algorithmus Experiment 4 Anwendungen Geräteerkennung Bauinformatik (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
13 Evolutionärer Ansatz (Oliver Kramer, Abbildung Abteilung: CI) Fitness-Landschaft UNN Digits data set, N = 300, K 4. = Mai5, / 27 Warum Evolution? Motivation Fitnesslandschaft ist multimodal Keine UNN Ableitung berechenbar Blackbox-Optimierungsverfahren!
14 Evolutionärer Ansatz Evolutionäre Algorithmen Algorithmen Kontinuierlicher Ansatz Lösungskandidat X R q N ist Matrix latenter Vektoren x R q Fitnessberechnung f(x): eine komplette DSRE Berechnung Verwende CMA-ES (Gaussian-basierte Evolutionsstrategie ES mit Kovarianzmatrix-Adaptation) Regularisierung zur Vermeidung von Overfitting Kombinatorischer Ansatz Anzahl möglicher K-Nachbarschaften ist beschränkt: ( ) N K Platziere Lösungen auf Grid Verwende (1+1)-EA zur Evaluierung latenter Positionen auf Grid (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
15 Evolutionärer Ansatz Algorithmen Regularisierung Restriktion auf x [0, 1] q Beschränke latente Positionen auf Einheitswürfel x [0, 1] q : min E(X) r subject to x ij [0, 1] (2) mit quadratischer Straffunktion: p(x) = ɛ ij mit ɛ = i,j (x ij 1) 2 if x ij > 1 x 2 ij if x ij < 0 0 else. (3) Bestrafe Ausdehnung in latentem Raum mit λ X min E(X) p := min (E(X) + λ X ) (4) (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
16 Evolutionärer Ansatz Algorithmen Kombinatorische Variante (1+1)-EA Require: data set Y, Request: embedding X 1: initialization: random order of X = (x 1,... x N ). 2: repeat 3: choose two points p 1, p 2 N 4: change X to X by swapping x p1 and x p2 5: replace X by X if E(X ) E(X) 6: until termination condition 7: return embedding X latent space before swap latent space after swap x 1 x 2 x x 1 2 (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
17 Evo-UNN Evolutionärer Ansatz Experiment N = 30 3D-S K init 34.8 ± ± ±0.0 UNN g 23.4 ± ± ±0.0 CMA, [0, 1] q 24.5 ± ± ±15.0 CMA, λ X 22.2 ± ± ± 8.3 (1 + 1)-EA 13.3 ± ± ± 1.7 LLE 13.7 ± ± ±0.0 Tabelle : DSRE Vergleich für UNN g, CMA-ES Ansatz, (1+1)-EA (1000 FFE), and LLE. (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
18 Curse of Dimensionality Evolutionärer Ansatz Experiment DSRE UNN 1 UNN 2 (1+1)-EA CMA-ES cons CMA-ES lambda Number of Patterns DSRE UNN 1 UNN 2 (1+1)-EA CMA-ES cons CMA-ES lambda Number of Patterns Abbildung : Curse of dimensionality für Evo-UNN Varianten auf (a) 3D-S und (b) 3D-S mit Loch (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
19 Übersicht Stochastische Einbettungen 1 Latentes Sortieren K-Nächste Nachbarn Unüberwachte Regression Unüberwachte Nächste Nachbarn 2 Evolutionärer Ansatz Algorithmen Experiment 3 Stochastische Einbettungen Algorithmus Experiment 4 Anwendungen Geräteerkennung Bauinformatik (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
20 Stochastische Einbettungen Stochastische UNN-Variante Algorithmus Erweiterung für q > 1 Sample im latenten Raum mit Gaussverteilung N (x i, σ) σ ergibt sich durch Abstand von y zum nächsten eingebetteten Muster y Algorithmus 1 Wähle zufällig y Y 2 Suche nächstes Muster y mit latenter Position x 3 FOR i = 1 TO µ 4 x i = N (x, σ) mit σ = d(y, y ) 5 Wähle x = arg min 1,...,µ E(x i, X) und bette ein 6 Y = Y\y 7 Wiederhole ab Schritt 1 bis Y = (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
21 Stochastische Einbettungen Algorithmus k-d-bäume Komplexität Iteratives Hinzufügen: Für N Muster: Suche in 1 bis N Muster: O(N 2 ) Durch k-d-bäume: 1 Suche nach y in O(log N ) 2 suche µ mal K nächste Nachbarn im latenten Raum: O(µ K log N ) = O(log N ) 3 füge x und y zu k-d-bäumen zu: O(2 log N ) = O(log N ) resultiert in O(N log N) (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
22 Stochastische Einbettungen Experiment UNN - Digits Digits-Datensatz Einbettung von handgeschriebenen Zahlen (0,1 und 2) UNN Projection, no kernel LLE Abbildung : Vergleich von UNN (links) und LLE (rechts) bei Einbettung des Digits Datensatzes. (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
23 Stochastische Einbettungen Experiment UNN - Galaxien Astronomie Einbettung von Galaxie-Bildern (40 40 RGB-Bilder) Abbildung : Vergleich von UNN (links) und ISOMAP (rechts) bei Einbettung des EFIGI Galaxie Datensatzes. (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
24 Übersicht Anwendungen 1 Latentes Sortieren K-Nächste Nachbarn Unüberwachte Regression Unüberwachte Nächste Nachbarn 2 Evolutionärer Ansatz Algorithmen Experiment 3 Stochastische Einbettungen Algorithmus Experiment 4 Anwendungen Geräteerkennung Bauinformatik (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
25 Anwendungen Geräteerkennung Geräteerkennung durch Energieverbrauch-Analyse Ziele Energieberatung Gesundheitswesen, Monitoring alter Menschen Energieprognose Idee Physikalische Merkmale mit höchstem Informationsgehalt identifizieren Trainingsdaten generieren (im Labor oder vor Ort) Modell lernen (z.b. mit SVM) (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
26 Anwendungen Geräteerkennung Geräteerkennung, Experimentelle Analyse Ensemble-Methoden 15 Geräte (an/aus) K-nächste Nachbarn (K = 1, 3, 7), SVM (linear, RBF) Ensemble der Klassifikatoren f: f ENS (x ) = arg max y Y I(f i (x ) = y) (5) f i f Trainings- SVM SVM KNN KNN ENS menge linear RBF K = 1 K = 7 * Install Punkte (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
27 Anwendungen Bauinformatik Suffosionsstabilität Suffosionsstabilität Bewertung der Bodenstabilität für Erdbauwerke Feine Kornfraktionen können durch Strömungskraft des Wassers mobilisiert werden (Suffosion) Ziel: Bewertung der Suffosionsstabilität aufgrund von Korngrößen d 10 bis d 100 Bisherige Kriterien: geometrische und hydraulische Suffosionskriterien (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
28 Suffosionsstabilität (ii) Anwendungen Bauinformatik Tan et al. (1987) d 85 /d 50 < 5 und d 50 /d 35 < 5 und d 35 /d 15 < 5: keine Suffosion Burenkova et al. (1993) h = d 90 /d 15, h = d 90 /d 60 0, 76 log(h ) + 1 < h < 1, 86 log(h ) + 1: keine Suffosion Suffosionsstabilität mit SVMs empirisches geometrisches Modell Trainingsdatensatz: 20 Böden mit 10 Merkmalen (d 10 bis d 100 ) SVM mit linearem Kernel Kreuzvalidierungsfehler (LOO-CV): 0.0 Auswertung auf 35 Böden in Bearbeitung (Prof. Witt, Weimar) (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
29 Anwendungen Bauinformatik Unüberwachte Nächste Nachbarn Ein effizientes Verfahren zur Dimensionsreduktion Oliver Kramer Department für Informatik Carl von Ossietzky Universität Oldenburg 4. Mai 2012 (Oliver Kramer, Abteilung CI) UNN 4. Mai / 27
Unsupervised Kernel Regression
9. Mai 26 Inhalt Nichtlineare Dimensionsreduktion mittels UKR (Unüberwachte KernRegression, 25) Anknüpfungspunkte Datamining I: PCA + Hauptkurven Benötigte Zutaten Klassische Kernregression Kerndichteschätzung
MehrPrincipal Component Analysis (PCA)
Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen
MehrSeminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens
Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 19.12.2013 Allgemeine Problemstellung
MehrProseminar - Data Mining
Proseminar - Data Mining SCCS, Fakultät für Informatik Technische Universität München SS 2012, SS 2012 1 Data Mining Pipeline Planung Aufbereitung Modellbildung Auswertung Wir wollen nützliches Wissen
MehrInhaltliche Planung für die Vorlesung
Vorlesung: Künstliche Intelligenz - Mustererkennung - P LS ES S ST ME Künstliche Intelligenz Miao Wang 1 Inhaltliche Planung für die Vorlesung 1) Definition und Geschichte der KI, PROLOG 2) Expertensysteme
MehrRisiken bei der Analyse sehr großer Datenmengen. Dr. Thomas Hoppe
Risiken bei der Analyse sehr großer Datenmengen Dr. Thomas Hoppe Datenaufbereitung Datenanalyse Data Mining Data Science Big Data Risiken der Analyse Sammlung Integration Transformation Fehlerbereinigung
MehrVortrag zum Paper Results of the Active Learning Challenge von Guyon, et. al. Sören Schmidt Fachgebiet Knowledge Engineering
Vortrag zum Paper Results of the Active Learning Challenge von Guyon, et. al. Sören Schmidt Fachgebiet Knowledge Engineering 11.12.2012 Vortrag zum Paper Results of the Active Learning Challenge von Isabelle
MehrVisualisierung hochdimensionaler Daten. Hauptseminar SS11 Michael Kircher
Hauptseminar SS11 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung
MehrFakultät für Informatik Übung zu Kognitive Systeme Sommersemester 2016
Fakultät für Informatik Übung zu Kognitive Systeme Sommersemester 1 M. Sperber (matthias.sperber@kit.edu) S. Nguyen (thai.nguyen@kit.edu) Übungsblatt 3 Maschinelles Lernen und Klassifikation Abgabe online
MehrSimulation von Zufallsvariablen und Punktprozessen
Simulation von Zufallsvariablen und Punktprozessen 09.11.2009 Inhaltsverzeichnis 1 Einleitung 2 Pseudozufallszahlen 3 Punktprozesse Zufallszahlen Definition (Duden): Eine Zufallszahl ist eine Zahl, die
MehrAnwendungen des Fréchet-Abstandes Das Constrained Free Space Diagram zur Analyse von Körperbewegungen
Anwendungen des Fréchet-Abstandes Das Constrained Free Space Diagram zur Analyse von Körperbewegungen David Knötel Freie Universität Berlin, Institut für Informatik Seminar über Algorithmen Leitfaden Wiederholung
MehrIdeen der Informatik. Maschinelles Lernen. Kurt Mehlhorn Adrian Neumann Max-Planck-Institut für Informatik
Ideen der Informatik Maschinelles Lernen Kurt Mehlhorn Adrian Neumann Max-Planck-Institut für Informatik Übersicht Lernen: Begriff Beispiele für den Stand der Kunst Spamerkennung Handschriftenerkennung
MehrKapitel ML:XII. XII. Other Unsupervised Learning. Nearest Neighbor Strategies. Self Organizing Maps Neural Gas. Association Analysis Rule Mining
Kapitel ML:XII XII. Other Unsupervised Learning Nearest Neighbor Strategies Self Organizing Maps Neural Gas Association Analysis Rule Mining Reinforcement Learning ML:XII-1 Unsupervised Others LETTMANN
MehrVorlesungsplan. Von Naïve Bayes zu Bayesischen Netzwerk- Klassifikatoren. Naïve Bayes. Bayesische Netzwerke
Vorlesungsplan 17.10. Einleitung 24.10. Ein- und Ausgabe 31.10. Reformationstag, Einfache Regeln 7.11. Naïve Bayes, Entscheidungsbäume 14.11. Entscheidungsregeln, Assoziationsregeln 21.11. Lineare Modelle,
MehrDynamische Programmierung. Problemlösungsstrategie der Informatik
als Problemlösungsstrategie der Informatik und ihre Anwedung in der Diskreten Mathematik und Graphentheorie Fabian Cordt Enisa Metovic Wissenschaftliche Arbeiten und Präsentationen, WS 2010/2011 Gliederung
MehrAlgorithmische Methoden zur Netzwerkanalyse
Algorithmische Methoden zur Netzwerkanalyse Juniorprof. Dr. Henning Meyerhenke Institut für Theoretische Informatik 1 KIT Henning Universität desmeyerhenke, Landes Baden-Württemberg Institutund für Theoretische
MehrComputer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10
Computer Vision: AdaBoost D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Idee Gegeben sei eine Menge schwacher (einfacher, schlechter) Klassifikatoren Man bilde einen guten durch eine geschickte Kombination
MehrAlgorithmen mit konstantem Platzbedarf: Die Klasse REG
Algorithmen mit konstantem Platzbedarf: Die Klasse REG Sommerakademie Rot an der Rot AG 1 Wieviel Platz brauchen Algorithmen wirklich? Daniel Alm Institut für Numerische Simulation Universität Bonn August
MehrInformatik II Greedy-Algorithmen
7/7/06 lausthal Erinnerung: Dynamische Programmierung Informatik II reedy-algorithmen. Zachmann lausthal University, ermany zach@in.tu-clausthal.de Zusammenfassung der grundlegenden Idee: Optimale Sub-Struktur:
MehrOptimale Produktliniengestaltung mit Genetischen Algorithmen
Optimale Produktliniengestaltung mit Genetischen Algorithmen 1 Einleitung 2 Produktlinienoptimierung 3 Genetische Algorithmen 4 Anwendung 5 Fazit Seite 1 Optimale Produktliniengestaltung mit Genetischen
MehrComputer Vision: SVM-Anwendungsbeispiele, Generalisierbarkeit
Computer Vision: SVM-Anwendungsbeispiele, Generalisierbarkeit D. Schlesinger TUD/INF/KI/IS Visual Categorization with Bags of Keypoints Recognizing Human Actions: A Local SVM Approach Shape Matching and
MehrOne-class Support Vector Machines
One-class Support Vector Machines Seminar Wissensbasierte Systeme Dietrich Derksen 3. Januar 204 Motivation One-class Support Vector Machines: Detektion von Ausreißern (Systemfehlererkennung) Klassifikation
MehrKostenmaße. F3 03/04 p.188/395
Kostenmaße Bei der TM nur ein Kostenmaß: Ein Schritt (Konfigurationsübergang) kostet eine Zeiteinheit; eine Bandzelle kostet eine Platzeinheit. Bei der RAM zwei Kostenmaße: uniformes Kostenmaß: (wie oben);
MehrAlgorithms for Regression and Classification
Fakultät für Informatik Effiziente Algorithmen und Komplexitätstheorie Algorithms for Regression and Classification Robust Regression and Genetic Association Studies Robin Nunkesser Fakultät für Informatik
MehrGrundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung
Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung Jan Eichhorn jan.eichhorn@tuebingen.mpg.de Max-Planck-Institut für biologische Kybernetik 72076 Tübingen Danksagung Olivier
MehrAlgorithmus zum Graphen-Matching. und. Anwendung zur inhaltsbasierten Bildersuche
Algorithmus zum Graphen-Matching und Anwendung zur inhaltsbasierten Bildersuche Gliederung 1. Einführung 2. Algorithmus Beschreibung Beispiel Laufzeit 3. Anwendung des Algorithmus Seite 1 von 18 1. Einführung
MehrDatenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de
Datenbankanwendung Wintersemester 2014/15 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern smichel@cs.uni-kl.de Wiederholung: Anfragegraph Anfragen dieses Typs können als Graph dargestellt werden: Der
MehrÜbungsblatt LV Künstliche Intelligenz, Data Mining (1), 2014
Übungsblatt LV Künstliche Intelligenz, Data Mining (1), 2014 Aufgabe 1. Data Mining a) Mit welchen Aufgabenstellungen befasst sich Data Mining? b) Was versteht man unter Transparenz einer Wissensrepräsentation?
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Entscheidungsbäume
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Entscheidungsbäume Christoph Sawade/Niels Landwehr Jules Rasetaharison, Tobias Scheffer Entscheidungsbäume Eine von vielen Anwendungen:
MehrHybrid Optimization Methods for Warehouse Logistics and the Reconstruction of Destroyed Paper Documents
Hybrid Optimization Methods for Warehouse Logistics and the Reconstruction of Destroyed Paper Documents Betreut von: ao.univ.-prof. Dr. Günther R. Raidl ao.univ.-prof. Dr. Ulrich Pferschy 25. Jänner 2010
MehrETWR Teil B. Spezielle Wahrscheinlichkeitsverteilungen (stetig)
ETWR Teil B 2 Ziele Bisher (eindimensionale, mehrdimensionale) Zufallsvariablen besprochen Lageparameter von Zufallsvariablen besprochen Übertragung des gelernten auf diskrete Verteilungen Ziel des Kapitels
MehrINTELLIGENTE DATENANALYSE IN MATLAB
INTELLIGENTE DATENANALYSE IN MATLAB Bildanalyse Literatur David A. Forsyth: Computer Vision i A Modern Approach. Mark S. Nixon und Alberto S. Aguado: Feature Extraction and Image Processing. Ulrich Schwanecke:
MehrEntwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion
Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion Vortrag Seminararbeit David Pogorzelski Aachen, 22.01.2015 Agenda 1 2 3 4 5 Ziel der
MehrMotivation. Themenblock: Klassifikation. Binäre Entscheidungsbäume. Ansätze. Praktikum: Data Warehousing und Data Mining.
Motivation Themenblock: Klassifikation Praktikum: Data Warehousing und Data Mining Ziel Item hat mehrere Attribute Anhand von n Attributen wird (n+)-tes vorhergesagt. Zusätzliches Attribut erst später
MehrAnwendung einer Monokularen Kamera als Bewegungs-Sensor für Mobile Roboter p.1
Anwendung einer Monokularen Kamera als Bewegungs-Sensor für Mobile Roboter Tobias Pietzsch Anwendung einer Monokularen Kamera als Bewegungs-Sensor für Mobile Roboter p.1 Zielstellung Kamera als Sensor
MehrAlgorithmische Modelle als neues Paradigma
Algorithmische Modelle als neues Paradigma Axel Schwer Seminar über Philosophische Grundlagen der Statistik, WS 2010/11 Betreuer: Prof. Dr. Thomas Augustin München, den 28. Januar 2011 1 / 29 LEO BREIMAN
MehrSeminar Text- und Datamining Datamining-Grundlagen
Seminar Text- und Datamining Datamining-Grundlagen Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 23.05.2013 Gliederung 1 Klassifikationsprobleme 2 Evaluation
MehrMathe III. Garance PARIS. Mathematische Grundlagen III. Evaluation. 16. Juli /25
Mathematische Grundlagen III Evaluation 16 Juli 2011 1/25 Training Set und Test Set Ein fairer Test gibt an, wie gut das Modell im Einsatz ist Resubstitution: Evaluation auf den Trainingsdaten Resubstitution
MehrMultivariate Statistik
Hermann Singer Multivariate Statistik 1 Auflage 15 Oktober 2012 Seite: 12 KAPITEL 1 FALLSTUDIEN Abbildung 12: Logistische Regression: Geschätzte Wahrscheinlichkeit für schlechte und gute Kredite (rot/blau)
MehrTermin3 Klassifikation multispektraler Daten unüberwachte Verfahren
Ziel Termin3 Klassifikation multispektraler Daten unüberwachte Verfahren Einteilung (=Klassifikation) der Pixel eines multispektralen Datensatzes in eine endliche Anzahl von Klassen. Es sollen dabei versucht
MehrZufallszahlen in AntBrain
Zufallszahlen SEP 291 Zufallszahlen in AntBrain Spezifikation, Teil II: Zum Beispiel könnte ein Objekt vom Typ Match die Spielfelder nach jeweils 1000 Spielrunden speichern; bei einer Anfrage nach den
MehrLernen von Entscheidungsbäumen. Volker Tresp Summer 2014
Lernen von Entscheidungsbäumen Volker Tresp Summer 2014 1 Anforderungen an Methoden zum Datamining Schnelle Verarbeitung großer Datenmengen Leichter Umgang mit hochdimensionalen Daten Das Lernergebnis
MehrDie Varianz (Streuung) Definition
Die (Streuung) Definition Diskrete Stetige Ang., die betrachteten e existieren. var(x) = E(X EX) 2 heißt der Zufallsvariable X. σ = Var(X) heißt Standardabweichung der X. Bez.: var(x), Var(X), varx, σ
MehrWEKA A Machine Learning Interface for Data Mining
WEKA A Machine Learning Interface for Data Mining Frank Eibe, Mark Hall, Geoffrey Holmes, Richard Kirkby, Bernhard Pfahringer, Ian H. Witten Reinhard Klaus Losse Künstliche Intelligenz II WS 2009/2010
MehrLazar (Lazy-Structure-Activity Relationships)
Lazar (Lazy-Structure-Activity Relationships) Martin Gütlein, Albert-Ludwigs-Universität Freiburg Dr. Christoph Helma, in silico toxicology gmbh, Basel Halle, 4.3.2013 Advanced Course des AK Regulatorische
MehrKernel, Perceptron, Regression. Erich Schubert, Arthur Zimek. 2014-07-20 KDD Übung
Kernel, Perceptron, Regression Erich Schubert, Arthur Zimek Ludwig-Maximilians-Universität München 2014-07-20 KDD Übung Kernel-Fukctionen Kernel kann mehrdeutig sein! Unterscheidet zwischen: Kernel function
MehrAbschnitt: Algorithmendesign und Laufzeitanalyse
Abschnitt: Algorithmendesign und Laufzeitanalyse Definition Divide-and-Conquer Paradigma Divide-and-Conquer Algorithmen verwenden die Strategien 1 Divide: Teile das Problem rekursiv in Subproblem gleicher
MehrStatistische Verfahren für das Data Mining in einem Industrieprojekt
Statistische Verfahren für das Data Mining in einem Industrieprojekt Thorsten Dickhaus Forschungszentrum Jülich GmbH Zentralinstitut für Angewandte Mathematik Telefon: 02461/61-4193 E-Mail: th.dickhaus@fz-juelich.de
Mehr6. Algorithmen der Computer-Geometrie
6. Algorithmen der Computer-Geometrie 1. Einführung 2. Schnitt von zwei Strecken 3. Punkt-in-Polygon-Test 4. Schnitt orthogonaler Strecken 5. Punkteinschlussproblem Geo-Informationssysteme 146 6.1 Computer-Geometrie
MehrAlgorithmische Bioinformatik
Algorithmische Bioinformatik Effiziente Berechnung des Editabstands Dynamische Programmierung Ulf Leser Wissensmanagement in der Bioinformatik Inhalt dieser Vorlesung Rekursive Definition des Editabstands
MehrFerienakademie 2001: Kryptographie und Sicherheit offener Systeme. Faktorisierung. Stefan Büttcher stefan@buettcher.org
Ferienakademie 2001: Kryptographie und Sicherheit offener Systeme Faktorisierung Stefan Büttcher stefan@buettcher.org 1 Definition. (RSA-Problem) Gegeben: Ò ÔÕ, ein RSA-Modul mit unbekannten Primfaktoren
MehrProjekt Systementwicklung
Projekt Systementwicklung Effiziente Codierung: Laufzeitoptimierung Prof. Dr. Nikolaus Wulff Effiziente Codierung Der Wunsch effizienten Code zu schreiben entstammt mehreren Quellen: Zielplattformen mit
MehrSeminar Komplexe Objekte in Datenbanken
Seminar Komplexe Objekte in Datenbanken OPTICS: Ordering Points To Identify the Clustering Structure Lehrstuhl für Informatik IX - Univ.-Prof. Dr. Thomas Seidl, RWTH-Aachen http://www-i9.informatik.rwth-aachen.de
Mehr11 Stochastisches Integral und Itô-Formel
11 Stochastisches Integral und Itô-Formel Im diskreten Finanzmodell bei selbstfinanzierender Strategie ϑ = {ϑ n n=,...,n mit Anfangswert V gilt : Ṽ n ϑ = V + n ϑ T j S j. j=1 Dieser diskontierte Wertprozess
MehrKorrelationsmatrix. Statistische Bindungen zwischen den N Zufallsgrößen werden durch die Korrelationsmatrix vollständig beschrieben:
Korrelationsmatrix Bisher wurden nur statistische Bindungen zwischen zwei (skalaren) Zufallsgrößen betrachtet. Für den allgemeineren Fall einer Zufallsgröße mit N Dimensionen bietet sich zweckmäßiger Weise
MehrExercise (Part I) Anastasia Mochalova, Lehrstuhl für ABWL und Wirtschaftsinformatik, Kath. Universität Eichstätt-Ingolstadt 1
Exercise (Part I) Notes: The exercise is based on Microsoft Dynamics CRM Online. For all screenshots: Copyright Microsoft Corporation. The sign ## is you personal number to be used in all exercises. All
MehrEntwurf und Umsetzung eines Werkzeugs für die Fluchtwegplanung
Entwurf und Umsetzung eines Werkzeugs für die Fluchtwegplanung Diplomarbeit Christian Weiprecht Bauhaus-Universität Weimar Fakultät Bauingenieurwesen Professur CAD in der Bauinformatik Inhaltsübersicht
Mehr0 Einführung: Was ist Statistik
0 Einführung: Was ist Statistik 1 Datenerhebung und Messung 2 Univariate deskriptive Statistik 3 Multivariate Statistik 4 Regression 5 Ergänzungen Explorative Datenanalyse EDA Auffinden von Strukturen
MehrGeometrie I. Sebastian Redinger Informatik 2 Programmiersysteme Martensstraße Erlangen
Geometrie I Sebastian Redinger 01.07.2015 Informatik 2 Programmiersysteme Martensstraße 3 91058 Erlangen Gliederung Grundlagen CCW Polygone Picks Theorem Konvexe Hülle - Graham Scan - Jarvis March 2 Gliederung
MehrVorlesung Maschinelles Lernen
Vorlesung Maschinelles Lernen Strukturelle Modelle SVMstruct Katharina Morik LS 8 Künstliche Intelligenz Fakultät für Informatik 16.12.2008 1 von 35 Gliederung LS 8 Künstliche Intelligenz Fakultät für
MehrVorlesung 3 MINIMALE SPANNBÄUME
Vorlesung 3 MINIMALE SPANNBÄUME 72 Aufgabe! Szenario: Sie arbeiten für eine Firma, die ein Neubaugebiet ans Netz (Wasser, Strom oder Kabel oder...) anschließt! Ziel: Alle Haushalte ans Netz bringen, dabei
MehrSeminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume. von Lars-Peter Meyer. im Seminar Methoden wissensbasierter Systeme
Seminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume von Lars-Peter Meyer im Seminar Methoden wissensbasierter Systeme bei Prof. Brewka im WS 2007/08 Übersicht Überblick maschinelles Lernen
MehrSemestralklausur zur Vorlesung. Web Mining. Prof. J. Fürnkranz Technische Universität Darmstadt Sommersemester 2004 Termin: 22. 7.
Semestralklausur zur Vorlesung Web Mining Prof. J. Fürnkranz Technische Universität Darmstadt Sommersemester 2004 Termin: 22. 7. 2004 Name: Vorname: Matrikelnummer: Fachrichtung: Punkte: (1).... (2)....
MehrBildsegmentierung mit Level Sets
Bildsegmentierung mit Level Sets Seminar Bildsegmentierung und Computer Vision im Wintersemester 2005 Übersicht 1 Übersicht 2 Definitionen Ausbreitungsgeschwindigkeit Übersicht 3 Inter-Frame-basierte Modellierung
MehrProjekt 7. Machine Learning. (Matthias Bethge) 7.1 Overtüre
Projekt 7 Machine Learning Matthias Bethge) 7. Overtüre Alles messen, was messbar ist - und messbar machen, was noch nicht messbar ist. Galileo Galilei 564-642) Ziel der quantitativen Wissenschaft ist
MehrInformationstheorethisches Theorem nach Shannon
Informationstheorethisches Theorem nach Shannon Beispiel zum Codierungsaufwand - Wiederholung: Informationstheorethisches Modell (Shannon) Sei x eine Aussage. Sei M ein Modell Wieviele Bits sind aussreichend,
MehrKünstliche Intelligenz Maschinelles Lernen
Künstliche Intelligenz Maschinelles Lernen Stephan Schwiebert Sommersemester 2009 Sprachliche Informationsverarbeitung Institut für Linguistik Universität zu Köln Maschinelles Lernen Überwachtes Lernen
MehrSortieren. Eine Testmenge erstellen
Sortieren Eine der wohl häufigsten Aufgaben für Computer ist das Sortieren, mit dem wir uns in diesem Abschnitt eingeher beschäftigen wollen. Unser Ziel ist die Entwicklung eines möglichst effizienten
Mehr2.1 Berechnung gleichverteilter Zufallszahlen. (Linearer Kongruenz-Generator)
Seydel: Skript umerische Finanzmathematik, Kap. 2 (Version 20) 33 ¾º Ö ÒÙÒ ÚÓÒ Ù ÐÐ Þ Ð Ò Definition (Stichprobe einer Verteilung) Eine Folge von Zahlen heißt Stichprobe (sample) von einer Verteilungsfunktion
MehrVorlesung Maschinelles Lernen
Vorlesung Maschinelles Lernen Additive Modelle Katharina Morik Informatik LS 8 Technische Universität Dortmund 7.1.2014 1 von 34 Gliederung 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung 2 von 34 Ausgangspunkt:
MehrOptimierung. Optimierung. Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren. 2013 Thomas Brox, Fabian Kuhn
Optimierung Vorlesung 2 Optimierung ohne Nebenbedingungen Gradientenverfahren 1 Minimierung ohne Nebenbedingung Ein Optimierungsproblem besteht aus einer zulässigen Menge und einer Zielfunktion Minimum
Mehrl p h (x) δw(x) dx für alle δw(x).
1.3 Potentielle Energie 5 In der modernen Statik benutzen wir statt dessen einen schwächeren Gleichheitsbegriff. Wir verlangen nur, dass die beiden Streckenlasten bei jeder virtuellen Verrückung dieselbe
MehrKrümmungsapproximation auf 3D-Modellen
Krümmungsapproximation auf 3D-Modellen Mathematische Grundlagen und Approximation Christian Cyrus Matrikelnummer 157707 Fakultät für Informatik Otto-von-Guericke-Universität Magdeburg Diese Ausarbeitung
MehrRandomisierte Algorithmen
Randomisierte Algorithmen Randomisierte Algorithmen 5. Zwei spieltheoretische Aspekte Thomas Worsch Fakultät für Informatik Karlsruher Institut für Technologie Wintersemester 2015/2016 1 / 36 Überblick
MehrEngineering Design via Surrogate Modelling Sampling Plans
Engineering Design via Surrogate Modelling Sampling Plans Lisa Weber Universität Trier 01.06.2011 L. Weber (Universität Trier) Surrogate Models - Seminar Numerik 11 01.06.2011 1 / 34 Inhaltsverzeichnis
Mehr2 Euklidische Vektorräume
Sei V ein R Vektorraum. 2 Euklidische Vektorräume Definition: Ein Skalarprodukt auf V ist eine Abbildung σ : V V R, (v, w) σ(v, w) mit folgenden Eigenschaften ( Axiome des Skalarprodukts) (SP1) σ ist bilinear,
MehrEin Vergleich von Methoden für Multi-klassen Support Vector Maschinen
Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Einführung Auf binären Klassifikatoren beruhende Methoden One-Against-All One-Against-One DAGSVM Methoden die alle Daten zugleich betrachten
MehrExercise (Part XI) Anastasia Mochalova, Lehrstuhl für ABWL und Wirtschaftsinformatik, Kath. Universität Eichstätt-Ingolstadt 1
Exercise (Part XI) Notes: The exercise is based on Microsoft Dynamics CRM Online. For all screenshots: Copyright Microsoft Corporation. The sign ## is you personal number to be used in all exercises. All
MehrMehrdimensionale Numerische Integration mittels hierarchischer Basen
Mehrdimensionale Numerische Integration mittels hierarchischer Basen JobSis 004 1 October 004 Darko Zikic zikic@cs.tum.edu institut für informatik technische universität münchen WAS? Hierarchische Basen
MehrEinführung in Heuristische Suche
Einführung in Heuristische Suche Beispiele 2 Überblick Intelligente Suche Rundenbasierte Spiele 3 Grundlagen Es muss ein Rätsel / Puzzle / Problem gelöst werden Wie kann ein Computer diese Aufgabe lösen?
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrStatistik IV für Studenten mit dem Nebenfach Statistik Lösungen zu Blatt 9 Gerhard Tutz, Jan Ulbricht SS 07
Statistik IV für Studenten mit dem Nebenfach Statistik Lösungen zu Blatt 9 Gerhard Tutz, Jan Ulbricht SS 07 Ziel der Clusteranalyse: Bilde Gruppen (cluster) aus einer Menge multivariater Datenobjekte (stat
MehrCompanion Technologie
Companion Technologie Emotionen erkennen, verstehen und kai.bielenberg@haw-hamburg.de Agenda 1. Einleitung a. Was war nochmal Companion Technologie? b. Teilbereiche c. Warum Emotionen? 2. Ansätze a. Facial
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
MehrNumerisches Lösen von Gleichungen
Numerisches Gesucht ist eine Lösung der Gleichung f(x) = 0. Das sverfahren ist eine numerische Methode zur Bestimmung einer Nullstelle. Es basiert auf dem Zwischenwertsatz: Satz (1.1.1) Zwischenwertsatz:
MehrSpace Usage Rules. Neele Halbur, Helge Spieker InformatiCup 2015 19. März 2015
Space Usage Rules? InformatiCup 2015 1 Agenda 1. Vorstellung des Teams 2. Entwicklungsprozess und Umsetzung 3. Verbesserung der Strategien 4. Auswertung der Strategien 5. Ausblick 6. Fazit 2 Vorstellung
MehrPersonalisierung. Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung. Data Mining.
Personalisierung Personalisierung Thomas Mandl Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung Klassifikation Die Nutzer werden in vorab bestimmte Klassen/Nutzerprofilen
MehrVorlesung Wissensentdeckung
Gliederung Vorlesung Wissensentdeckung Additive Modelle Katharina Morik, Weihs 1 Merkmalsauswahl Gütemaße und Fehlerabschätzung.6.015 1 von 33 von 33 Ausgangspunkt: Funktionsapproximation Aufteilen der
MehrData-Mining: Ausgewählte Verfahren und Werkzeuge
Fakultät Informatik Institut für Angewandte Informatik Lehrstuhl Technische Informationssysteme Data-Mining: Ausgewählte Verfahren und Vortragender: Jia Mu Betreuer: Dipl.-Inf. Denis Stein Dresden, den
MehrNumerisches Programmieren
Technische Universität München WS /3 Institut für Informatik Prof Dr Hans-Joachim Bungartz Dipl-Inf Christoph Riesinger Dipl-Inf Dipl-Math Jürgen Bräckle Numerisches Programmieren Programmieraufgabe: Polnominterpolation,
MehrUniversität Duisburg - Essen
B.Sc. - Klausur - Bauinformatik - 14.03.2012 1 Universität Duisburg - Essen Campus Essen Fakultät für Ingenieurwissenschaften Abteilung Bauwissenschaften Fachprüfung - Bauinformatik WS 11/12 Mittwoch,
MehrKünstliche Neuronale Netze (KNN)
Künstliche Neuronale Netze (KNN) Die von Neuronalen Netzen ausgehende Faszination besteht darin, dass sie in der Lage sind, in einigen Fällen Probleme von hoher Kompleität mit einfachen Mitteln zu lösen.
MehrSignalverarbeitung 2. Volker Stahl - 1 -
- 1 - Hidden Markov Modelle - 2 - Idee Zu klassifizierende Merkmalvektorfolge wurde von einem (unbekannten) System erzeugt. Nutze Referenzmerkmalvektorfolgen um ein Modell Des erzeugenden Systems zu bauen
MehrMaschinelles Lernen Entscheidungsbäume
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Entscheidungsbäume Paul Prasse Entscheidungsbäume Eine von vielen Anwendungen: Kreditrisiken Kredit - Sicherheiten
MehrKonzepte der AI: Maschinelles Lernen
Konzepte der AI: Maschinelles Lernen Nysret Musliu, Wolfgang Slany Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme, TU-Wien Übersicht Was ist Lernen? Wozu maschinelles
MehrWMS Block: Management von Wissen in Dokumentenform PART: Text Mining. Myra Spiliopoulou
WMS Block: Management von Wissen in nform PART: Text Mining Myra Spiliopoulou WIE ERFASSEN UND VERWALTEN WIR EXPLIZITES WISSEN? 1. Wie strukturieren wir Wissen in nform? 2. Wie verwalten wir nsammlungen?
MehrData Mining im Einzelhandel Methoden und Werkzeuge
Fakultät Informatik Institut für Angewandte Informatik Professur Technische Informationssysteme Proseminar Technische Informationssysteme Data Mining im Einzelhandel Methoden und Werkzeuge Betreuer: Dipl.-Ing.
MehrIntegration geometrischer und fotogrammetrischer Information zum Wiederfinden von Bildern
Integration geometrischer und fotogrammetrischer Information zum Wiederfinden von Bildern Björn Burow SE Mustererkennung in Bildern und 3D-Daten Lehrstuhl Graphische Systeme BTU Cottbus Inhaltsübersicht
Mehr