Lineare Regression. Volker Tresp
|
|
- Dominik Auttenberg
- vor 6 Jahren
- Abrufe
Transkript
1 Lineare Regression Volker Tresp 1
2 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M 1 j=0 w i,j x i,j (beachte: x i,0 = 1 ist ein konstanter Eingang, so dass w 0 dem Bias entspricht) Es wird nun jedoch keine Binarisierung mehr vorgenommen, sondern ŷ i = f(x i ) = h i 2
3 Diskussion: Empirische Risiko Minimierung Wie beim Perzeptron stellen wir eine geeignete Kostenfunktion auf und Ziel im Training ist es, die Kostenfunktion zu minimieren Wir verwenden als Kostenfunktion den empirischer quadratischer Fehler: cost(w) = N (y i f(x i, w)) 2 i=1 Der Parametervektor, der diesen Fehler minimiert heißt Least-Squares (LS-) Schätzer, w ls = arg min w cost(w) Bei einer binären Klassifikation kann man als Zielwerte y i { 1, 1} wählen und als Prognose das Vorzeichen von f(.) wählen Das lineare System eignet sich ebenso zur Modellierung stetiger Abhängigkeiten: lineare Regression 3
4 Warnung: Wie beim Perzeptron wird auch das lineare Modell typischerweise angewandt, wenn die Eingangsdimension groß ist, also M >> 1 Zur Visualisierung wählt man jedoch M = 2
5 Kleinste-Quadrate Schätzer für lineare Regression (eindimensional) Eindimensionales Modell: f(x, w) = w 0 + w 1 x w = (w 0, w 1 ) T Empirischer quadratischer Fehler: Finde: cost(w) = N (y i f(x i, w)) 2 i=1 w ls = arg min w cost(w) w 0 = 1, w 1 = 2, var(ɛ) = 1 4
6 Kleinste-Quadrate Schätzer für Regression (mehrdimensional) Mehrdimensionales Modell: f(x i, w) = w 0 + M 1 j=1 w j x i,j = x T i w w = (w 0, w 1,... w M 1 ) T x i = (1, x i,1,..., x i,m 1 ) T 5
7 Mehrdimensionale Lineare Regression 6
8 Gradientenabstieg Wie beim Perzeptron können wir den optimalen Parameter durch Gradientenabstieg finden Man initialisiert die Parameter (typischerweise durch kleine Zufallszahlen) In jedem Lernschritt verändert man die Parameter, so dass die Kostenfunktion verringert wird Gradientenabstieg: Man verändert den Parametervektor in Richtung des negativen Gradienten Mit cost(w) = N yi M 1 2 w j x i,j i=1 j=0 7
9 Die Ableitung der Kostenfunktion nach den Gewichten ist (Beispiel w j ) cost w j N = 2 (y i f(x i ))x i,j i=1 Eine sinnvolle Lernregel ist somit w j w j + η N (y i f(x i ))x i,j i=1
10 Die ADALINE-Lernregel Im tatsächlichen Algorithmus werden in zufälliger Reihenfolge dem Perzeptron falsch klassifizierte Muster angeboten (stochastischer Gradientenabstieg). Einmal ist dies biologisch plausibler, und zweitens ist die Konvergenz schneller. Seien x t und y t die angebotenen Muster im t-ten Iterationsschritt. Dann wird adaptiert t = 1, 2,... w j w j + η(y t ŷ t )x t,j j = 1, 2,..., M η > 0 ist die Lernrate, typischerweise 0 < η < 0.1 Die least-squares Lösung lässt sich auch nicht-iterativ in einem Schritt herleiten 8
11 Geschlossene LS-Lösung Empirischer quadratischer Fehler: cost(w) = N (y i f(x i, w)) 2 i=1 = (y Xw) T (y Xw) y = (y 1,..., y N ) T X = x 1,0... x 1,M x N,0... x N,M 1 9
12 LS-Lösung (2) Matrix Kalkül: Daher cost(w) w = (y Xw) w 2(y Xw) = 2X T (y Xw) 10
13 LS-Lösung (3) Berechnung der LS-Lösung: cost(w) w = 2X T (y Xw) = 0 ŵ ls = (X T X) 1 X T y Komplexität (linear in N): O(M 3 + NM 2 ) ŵ 0 = 0.75, ŵ 1 =
14 Stabilität der Lösung Wenn N >> M, ist die least squares Lösung brauchbar Wenn N < M ist X T X nicht eindeutig invertiertbar: es gibt viele Lösungen for den Gewichtsvektor, die alle einen Trainingsfehler Null produzieren minimiert (regulari- Von all diesen Lösungen bevorzugt man diejenige, die M i=0 wi 2 sierte Lösung) Der j te Eingang trägt mit w j x i,j zur Lösung bei; auch hier erreicht man eine Robustheit gegen Fehler im Eingang, wenn man die regularisierte Lösung wählt Wenn es Rauschen auf den Zielwerten gibt, ist es Vorteilhaft, auch dann eine regularisierte Lösung zu wählen, selbst wenn N > M Regularisierungstheorie: Theorie der schlecht-konditionierten Probleme (kleine Änderungen in den Daten bewirken große Änderungen in der Lösung) 12
15 Lineare Regression und Regularisierung Regularisierte Kostenfunktion (penalized least squares (PLS), Ridge Regression, Weight Decay): der Einfluss einer Eingangsgröße sollte klein sein cost pen (w) = N (y i f(x i, w)) 2 + λ i=1 M 1 i=0 w 2 i ŵ pen = ( X T X + λi) 1 X T y Herleitung: J pen N (w) w = 2X T (y Xw) + 2λw = 2[ X T y + (X T X + λi)w] 13
16 Beispiel Drei Datenpunkte werden generiert nach (wahres Modell) Hier ist ɛ i unabhängiges Rauschen (korrektes) Modell 1 Trainingsdaten für Modell 1: x 1 y y i = x i,1 + ɛ i y i = w 0 + w 1 x i,1 Die LS- Lösung liefert w ls = (0.58, 0.77) Im Vergleich: die wahren Gewichte sind: w = (0.50, 1.00) 14
17 Modell 2 Hier generieren wir einen korrelierten weiteren Eingang x i,2 = x i,1 + δ i Wieder ist δ i unkorreliertes Rauschen. Modell 2 y i = w 0 + w 1 x i,1 + w 2 x i,2 Daten, die Modell 2 sieht: x 1 x 2 y Die least squares Lösung liefert w ls = (0.67, 136, 137)!!! 15
18 Modell 2 mit Regularisierung Alles wie zuvor, nur dass wir große Gewichte bestrafen Die penalized least squares Lösung liefert w pen = (0.58, 0.38, 0.39)!!! Vergleiche die LS- Lösung zu Modell-1 lieferte w ls = (0.58, 0.77) Die Kollinearität (hohe Korreliertheit der beiden Eingänge) ) schadet bei der LS-Lösung sehr, bei der PLS-Lösung hingegen nicht. Es entsteht sogar eine höhere Robustheit in Bezug auf Fehler in x! 16
19 Trainingsdaten Training: y M1 : ŷ ML M2 : ŷ ML M2 : ŷ pen Für Modell 1 und Model 2 mit Regularisierung bleibt ein Restfehler auf den Trainingsdaten Für Modell 2 ohne Regularisierung ist der Trainingsfehler Null Nur aufgrund des Trainingsfehlers würde man das unregularisierte Modell 2 auswählen 17
20 Testdaten Testdaten: y M1 : ŷ ML M2 : ŷ ML M2 : ŷ pen Bei den Testdaten sieht man, dass Modell 1 und Model 2 mit Regularisierung bessere Ergebnisse liefern Noch dramatischer wäre der Unterschied in der Extrapolation! 18
21 Experiment mir realen Daten: Prostata-Krebs Daten 8 Eingänge, 97 Datenpunkte; y: Prostata-spezifisches Antigen; M eff = facher Kreuzvalidierungsfehler LS Best Subset (3) Ridge (Weight Decay)
Neuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrLernen von Entscheidungsbäumen. Volker Tresp Summer 2014
Lernen von Entscheidungsbäumen Volker Tresp Summer 2014 1 Anforderungen an Methoden zum Datamining Schnelle Verarbeitung großer Datenmengen Leichter Umgang mit hochdimensionalen Daten Das Lernergebnis
MehrStatistische Versuchsplanung - zuverlässiger und schneller zu Ergebnissen" Dr. Uwe Waschatz
Statistische Versuchsplanung - zuverlässiger und schneller zu Ergebnissen" Dr. Uwe Waschatz Inhalt Problembeschreibung Multiple lineare Regressionsanalyse Statistische Versuchsplanung / Design of Experiments
MehrEinführung in neuronale Netze
Einführung in neuronale Netze Florian Wenzel Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 1. Mai 2012 1 / 20 Überblick 1 Motivation 2 Das Neuron 3 Aufbau des Netzes 4 Neuronale Netze
MehrDatenbankanwendung. Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern. Wintersemester 2014/15. smichel@cs.uni-kl.de
Datenbankanwendung Wintersemester 2014/15 Prof. Dr.-Ing. Sebastian Michel TU Kaiserslautern smichel@cs.uni-kl.de Wiederholung: Anfragegraph Anfragen dieses Typs können als Graph dargestellt werden: Der
MehrLernende Suchmaschinen
Lernende Suchmaschinen Qingchui Zhu PG 520 - Intelligence Service (WiSe 07 / SoSe 08) Verzeichnis 1 Einleitung Problemstellung und Zielsetzung 2 Was ist eine lernende Suchmaschine? Begriffsdefinition 3
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS 11.04.2011 2_CI2_Deckblatt_XORbinaer_JNNS_2
MehrWas bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und
Was bisher geschah Künstliche Neuronen: Mathematisches Modell und Funktionen: Eingabe-, Aktivierungs- Ausgabefunktion Boolesche oder reelle Ein-und Ausgaben Aktivierungsfunktionen: Schwellwertfunktion
MehrComputer Vision: AdaBoost. D. Schlesinger () Computer Vision: AdaBoost 1 / 10
Computer Vision: AdaBoost D. Schlesinger () Computer Vision: AdaBoost 1 / 10 Idee Gegeben sei eine Menge schwacher (einfacher, schlechter) Klassifikatoren Man bilde einen guten durch eine geschickte Kombination
MehrOptimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen
Optimierung für Wirtschaftsinformatiker: Analytische Optimierung ohne Nebenbedingungen Dr. Nico Düvelmeyer Freitag, 1. Juli 2011 1: 1 [1,1] Inhaltsübersicht für heute 1 Einführung und Wiederholung Beispiel
Mehrx 2 x 1 x 3 5.1 Lernen mit Entscheidungsbäumen
5.1 Lernen mit Entscheidungsbäumen Falls zum Beispiel A = {gelb, rot, blau} R 2 und B = {0, 1}, so definiert der folgende Entscheidungsbaum eine Hypothese H : A B (wobei der Attributvektor aus A mit x
MehrIn konstanten Modellen wird davon ausgegangen, dass die zu prognostizierende Größe sich über die Zeit hinweg nicht verändert.
Konstante Modelle: In konstanten Modellen wird davon ausgegangen, dass die zu prognostizierende Größe sich über die Zeit hinweg nicht verändert. Der prognostizierte Wert für die Periode T+i entspricht
MehrApproximation von Warteschlangenkennzahlen mit Künstlichen Neuronalen Netzen
Optimale Echtzeit-Personaleinsatzplanung durch Approximation von Warteschlangenkennzahlen mit Künstlichen Neuronalen Netzen 7.05.2006 Frank Köller koeller@iwi.uni-hannover.de Gliederung Motivation Vorgehensweise
MehrPersonalisierung. Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung. Data Mining.
Personalisierung Personalisierung Thomas Mandl Der Personalisierungsprozess Nutzerdaten erheben aufbereiten auswerten Personalisierung Klassifikation Die Nutzer werden in vorab bestimmte Klassen/Nutzerprofilen
MehrSoftcomputing Biologische Prinzipien in der Informatik. Neuronale Netze. Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003
Softcomputing Biologische Prinzipien in der Informatik Neuronale Netze Dipl. Math. Maria Oelinger Dipl. Inform. Gabriele Vierhuff IF TIF 08 2003 Überblick Motivation Biologische Grundlagen und ihre Umsetzung
MehrEntscheidungsbäume. Definition Entscheidungsbaum. Frage: Gibt es einen Sortieralgorithmus mit o(n log n) Vergleichen?
Entscheidungsbäume Frage: Gibt es einen Sortieralgorithmus mit o(n log n) Vergleichen? Definition Entscheidungsbaum Sei T ein Binärbaum und A = {a 1,..., a n } eine zu sortierenden Menge. T ist ein Entscheidungsbaum
MehrRegressionsanalysen. Zusammenhänge von Variablen. Ziel der Regression. ( Idealfall )
Zusammenhänge von Variablen Regressionsanalysen linearer Zusammenhang ( Idealfall ) kein Zusammenhang nichtlinearer monotoner Zusammenhang (i.d.regel berechenbar über Variablentransformationen mittels
MehrKernel, Perceptron, Regression. Erich Schubert, Arthur Zimek. 2014-07-20 KDD Übung
Kernel, Perceptron, Regression Erich Schubert, Arthur Zimek Ludwig-Maximilians-Universität München 2014-07-20 KDD Übung Kernel-Fukctionen Kernel kann mehrdeutig sein! Unterscheidet zwischen: Kernel function
MehrMotivation. Themenblock: Klassifikation. Binäre Entscheidungsbäume. Ansätze. Praktikum: Data Warehousing und Data Mining.
Motivation Themenblock: Klassifikation Praktikum: Data Warehousing und Data Mining Ziel Item hat mehrere Attribute Anhand von n Attributen wird (n+)-tes vorhergesagt. Zusätzliches Attribut erst später
MehrPlanen mit mathematischen Modellen 00844: Computergestützte Optimierung. Autor: Dr. Heinz Peter Reidmacher
Planen mit mathematischen Modellen 00844: Computergestützte Optimierung Leseprobe Autor: Dr. Heinz Peter Reidmacher 11 - Portefeuilleanalyse 61 11 Portefeuilleanalyse 11.1 Das Markowitz Modell Die Portefeuilleanalyse
MehrBabeș-Bolyai Universität Cluj Napoca Fakultät für Mathematik und Informatik Grundlagen der Programmierung MLG5005. Paradigmen im Algorithmenentwurf
Babeș-Bolyai Universität Cluj Napoca Fakultät für Mathematik und Informatik Grundlagen der Programmierung MLG5005 Paradigmen im Algorithmenentwurf Problemlösen Problem definieren Algorithmus entwerfen
MehrDatenanalyse mit Python. Dr. Wolfram Schroers <Wolfram.Schroers - at - Field-theory.org>
Datenanalyse mit Python Dr. Wolfram Schroers Problem Beobachtungen Modell (Annahmen, Vereinfachungen) Vorhersagen Vergleich Python: Stärken und Schwächen Anwendung:
Mehr3. LINEARE GLEICHUNGSSYSTEME
176 3. LINEARE GLEICHUNGSSYSTEME 90 Vitamin-C-Gehalt verschiedener Säfte 18,0 mg 35,0 mg 12,5 mg 1. a) 100 ml + 50 ml + 50 ml = 41,75 mg 100 ml 100 ml 100 ml b) : Menge an Kirschsaft in ml y: Menge an
MehrEinführung in die Geostatistik (7) Fred Hattermann (Vorlesung), hattermann@pik-potsdam.de Michael Roers (Übung), roers@pik-potsdam.
Einführung in die Geostatistik (7) Fred Hattermann (Vorlesung), hattermann@pik-potsdam.de Michael Roers (Übung), roers@pik-potsdam.de 1 Gliederung 7 Weitere Krigingverfahren 7.1 Simple-Kriging 7.2 Indikator-Kriging
MehrKurs Multivariate Datenanalyse (MVA) Versuchsplanung (design of experiments)
Kurs Multivariate Datenanalyse (MVA) Versuchsplanung (design of experiments) Datenanalyse heißt, aus einer Menge von Daten nicht irgendwelche sondern solche Informationen über ein Objekt zu gewinnen, die
MehrKybernetik Systemidentifikation
Kberneti Sstemidentifiation Mohamed Oubbati Institut für euroinformati Tel.: +49 73 / 50 2453 mohamed.oubbati@uni-ulm.de 2. 06. 202 Was ist Sstemidentifiation? Der Begriff Sstemidentifiation beschreibt
MehrÜbungskomplex Felder (1) Eindimensionale Felder Mehrdimensionale Felder
Übungskomplex Felder (1) Eindimensionale Felder Mehrdimensionale Felder Hinweise zur Übung Benötigter Vorlesungsstoff Ab diesem Übungskomplex wird die Kenntnis und praktische Beherrschung der Konzepte
MehrML-Werkzeuge und ihre Anwendung
Kleine Einführung: und ihre Anwendung martin.loesch@kit.edu (0721) 608 45944 Motivation Einsatz von maschinellem Lernen erfordert durchdachtes Vorgehen Programmieren grundlegender Verfahren aufwändig fehlerträchtig
MehrVorlesung 3 MINIMALE SPANNBÄUME
Vorlesung 3 MINIMALE SPANNBÄUME 72 Aufgabe! Szenario: Sie arbeiten für eine Firma, die ein Neubaugebiet ans Netz (Wasser, Strom oder Kabel oder...) anschließt! Ziel: Alle Haushalte ans Netz bringen, dabei
Mehrklar. Um die zweite Bedingung zu zeigen, betrachte u i U i mit u i = 0. Das mittlere -Zeichen liefert s
Nachtrag zur allgemeinen Vektorraum-Theorie. 1.5.15. Direkte Summen. Sei V ein Vektorraum, seien U 1,..., U t Unterräume, wir schreiben V = U 1 U 2 U t = t i=1 U i falls die folgenden beiden Bedingungen
MehrComputational Intelligence I Künstliche Neuronale Netze
Computational Intelligence I Künstliche Neuronale Nete Universität Dortmund, Informatik I Otto-Hahn-Str. 6, 44227 Dortmund lars.hildebrand@uni-dortmund.de Inhalt der Vorlesung 0. Organisatorisches & Vorbemerkungen.
MehrVisualisierung hochdimensionaler Daten. Hauptseminar SS11 Michael Kircher
Hauptseminar SS11 Inhalt Einführung zu hochdimensionalen Daten Visualisierungsmöglichkeiten dimensionale Teilmengen dimensionale Schachtelung Achsenumgestaltung Algorithmen zur Dimensionsreduktion Zusammenfassung
MehrComputer Vision: Optische Flüsse
Computer Vision: Optische Flüsse D. Schlesinger TUD/INF/KI/IS Bewegungsanalyse Optischer Fluss Lokale Verfahren (Lukas-Kanade) Globale Verfahren (Horn-Schunck) (+ kontinuierliche Ansätze: mathematische
MehrKorrelation - Regression. Berghold, IMI
Korrelation - Regression Zusammenhang zwischen Variablen Bivariate Datenanalyse - Zusammenhang zwischen 2 stetigen Variablen Korrelation Einfaches lineares Regressionsmodell 1. Schritt: Erstellung eines
MehrRekonstruktion 3D-Datensätze
Rekonstruktion 3D-Datensätze Messung von 2D Projektionsdaten von einer 3D Aktivitätsverteilung Bekannt sind: räumliche Anordnung der Detektoren/Projektionsflächen ->Ziel: Bestimmung der 3D-Aktivitätsverteilung
MehrProjekt 7. Machine Learning. (Matthias Bethge) 7.1 Overtüre
Projekt 7 Machine Learning Matthias Bethge) 7. Overtüre Alles messen, was messbar ist - und messbar machen, was noch nicht messbar ist. Galileo Galilei 564-642) Ziel der quantitativen Wissenschaft ist
MehrAlgorithms for Regression and Classification
Fakultät für Informatik Effiziente Algorithmen und Komplexitätstheorie Algorithms for Regression and Classification Robust Regression and Genetic Association Studies Robin Nunkesser Fakultät für Informatik
MehrKapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen
Kapitel ML: I I. Einführung Beispiele für Lernaufgaben Spezifikation von Lernproblemen ML: I-8 Introduction c STEIN/LETTMANN 2005-2010 Beispiele für Lernaufgaben Autoeinkaufsberater Welche Kriterien liegen
Mehr(künstliche) Neuronale Netze. (c) Till Hänisch 2003,2015, DHBW Heidenheim
(künstliche) Neuronale Netze (c) Till Hänisch 2003,2015, DHBW Heidenheim Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002 Aufbau des Gehirns Säugetiergehirn,
MehrIBM SPSS Neural Networks 22
IBM SPSS Neural Networks 22 Hinweis Vor Verwendung dieser Informationen und des darin beschriebenen Produkts sollten die Informationen unter Bemerkungen auf Seite 21 gelesen werden. Produktinformation
MehrStatistik Einführung // Lineare Regression 9 p.2/72
Statistik Einführung Lineare Regression Kapitel 9 Statistik WU Wien Gerhard Derflinger Michael Hauser Jörg Lenneis Josef Ledold Günter Tirler Rosmarie Wakolbinger Statistik Einführung // Lineare Regression
MehrProf. J. Zhang zhang@informatik.uni-hamburg.de. Universität Hamburg. AB Technische Aspekte Multimodaler Systeme. 6. Januar 2004
zhang@informatik.uni-hamburg.de Universität Hamburg AB Technische Aspekte Multimodaler Systeme zhang@informatik.uni-hamburg.de Inhaltsverzeichnis Kalibrierung einer Kamera: Grundkonzept...............344
MehrMachine Learning - Maschinen besser als das menschliche Gehirn?
Machine Learning - Maschinen besser als das menschliche Gehirn? Seminar Big Data Science Tobias Stähle 23. Mai 2014 KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der
MehrMultivariate Statistik
Hermann Singer Multivariate Statistik 1 Auflage 15 Oktober 2012 Seite: 12 KAPITEL 1 FALLSTUDIEN Abbildung 12: Logistische Regression: Geschätzte Wahrscheinlichkeit für schlechte und gute Kredite (rot/blau)
MehrKünstliche neuronale Netze
Lösungen zum Buch: Wissensverarbeitung Kapitel 10 Künstliche neuronale Netze Lösung 10.1 (Maschinelles Lernen) a) Ein Computerprogramm lernt aus einer Erfahrung E bezüglich einer Aufgabenklasse T und einer
Mehrweitere Modelle und Methoden
weitere Modelle und Methoden LVQ-Netze, competetive learning, counterpropagation, motorische karten, adaptive resonance theory LVQ Struktur Lernende Vektor-Quantisierung Input-Raum mit Distanz-Funktion
MehrLineare Gleichungssysteme
Lineare Gleichungssysteme Eines der am häufigsten auftretenden Standardprobleme der angewandten Mathematik ist das Lösen linearer Gleichungssysteme, etwa zur Netzwerkberechnung in der Elektrotechnik oder
MehrSeminar Text- und Datamining Datamining-Grundlagen
Seminar Text- und Datamining Datamining-Grundlagen Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 23.05.2013 Gliederung 1 Klassifikationsprobleme 2 Evaluation
MehrInhaltsverzeichnis. Regressionsanalyse. http://mesosworld.ch - Stand vom: 20.1.2010 1
Inhaltsverzeichnis Regressionsanalyse... 2 Lernhinweise... 2 Einführung... 2 Theorie (1-8)... 2 1. Allgemeine Beziehungen... 3 2. 'Best Fit'... 3 3. 'Ordinary Least Squares'... 4 4. Formel der Regressionskoeffizienten...
Mehr2.5.2 Selbstorganisierte Karten: das Modell von Kohonen. Weil es beim Perzeptron keine Wechselwirkung in der Verarbeitungsschicht
2.5.2 Selbstorganisierte Karten: das Modell von Kohonen Weil es beim Perzeptron keine Wechselwirkung in der Verarbeitungsschicht zwischen den einzelnen Neuronen gibt, spielt deren räumliche Anordnung keine
MehrKommentierter SPSS-Ausdruck zur logistischen Regression
Daten: POK V AG 3 (POKV_AG3_V07.SAV) Kommentierter SPSS-Ausdruck zur logistischen Regression Fragestellung: Welchen Einfluss hat die Fachnähe und das Geschlecht auf die interpersonale Attraktion einer
MehrAufabe 7: Baum-Welch Algorithmus
Effiziente Algorithmen VU Ausarbeitung Aufabe 7: Baum-Welch Algorithmus Florian Fest, Matr. Nr.0125496 baskit@generationfun.at Claudia Hermann, Matr. Nr.0125532 e0125532@stud4.tuwien.ac.at Matteo Savio,
MehrMultiple Regression. Ziel: Vorhersage der Werte einer Variable (Kriterium) bei Kenntnis der Werte von zwei oder mehr anderen Variablen (Prädiktoren)
Multiple Regression 1 Was ist multiple lineare Regression? Ziel: Vorhersage der Werte einer Variable (Kriterium) bei Kenntnis der Werte von zwei oder mehr anderen Variablen (Prädiktoren) Annahme: Der Zusammenhang
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Entscheidungsbäume
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Entscheidungsbäume Christoph Sawade/Niels Landwehr Jules Rasetaharison, Tobias Scheffer Entscheidungsbäume Eine von vielen Anwendungen:
MehrEinleitung In vielen Bereichen der Wirtschaft, Physik, Biologie und den Ingenieurwissenschaften spielen funktionale Zusammenhänge zwischen zwei (reellwertigen) Messgrößen eine wichtige Rolle. Oft sind
MehrLineare Gleichungssysteme I (Matrixgleichungen)
Lineare Gleichungssysteme I (Matrigleichungen) Eine lineare Gleichung mit einer Variable hat bei Zahlen a, b, die Form a b. Falls hierbei der Kehrwert von a gebildet werden darf (a 0), kann eindeutig aufgelöst
MehrSAP Predictive Challenge - Lösung. DI Walter Müllner, Dr. Ingo Peter, Markus Tempel 22. April 2015
SAP Predictive Challenge - Lösung DI Walter Müllner, Dr. Ingo Peter, Markus Tempel 22. April 2015 Teil II - Lösung Teil II-1: Fachbereich (automated mode) Teil II-2: Experte (PAL HANA) Teil II-3: Vergleich
MehrStatische Versuchsplanung (DoE - Design of Experiments)
Statische Versuchsplanung (DoE - Design of Experiments) Übersicht Bei der statistischen Versuchsplanung wird die Wirkung von Steuerparametern unter dem Einfluss von Störparametern untersucht. Mit Hilfe
MehrBestimmung einer ersten
Kapitel 6 Bestimmung einer ersten zulässigen Basislösung Ein Problem, was man für die Durchführung der Simplexmethode lösen muss, ist die Bestimmung einer ersten zulässigen Basislösung. Wie gut das geht,
MehrÜberblick: Entscheidungstheoretische Konzepte Seminar Online-Optimierung Diana Balbus
Überblick: Entscheidungstheoretische Konzepte Seminar Online-Optimierung Diana Balbus Einleitung Ein Online-Algorithmus muss Ausgaben berechnen, ohne zukünftige Eingaben zu kennen. Für die Bewertung von
MehrDiskriminanzanalyse Beispiel
Diskriminanzanalyse Ziel bei der Diskriminanzanalyse ist die Analyse von Gruppenunterschieden, d. h. der Untersuchung von zwei oder mehr Gruppen hinsichtlich einer Vielzahl von Variablen. Diese Methode
Mehr3.3 Eigenwerte und Eigenräume, Diagonalisierung
3.3 Eigenwerte und Eigenräume, Diagonalisierung Definition und Lemma 3.3.1. Sei V ein K-Vektorraum, φ End K (V ), λ K. Wir defnieren den zu λ gehörigen Eigenraum von φ als Dies ist ein Unterraum von V.
MehrMethoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07
Regression Trees Methoden der Datenanalyse AI-basierte Decision Support Systeme WS 2006/07 Ao.Univ.Prof. Dr. Marcus Hudec marcus.hudec@univie.ac.at Institut für Scientific Computing, Universität Wien 2
Mehr6. Bayes-Klassifikation. (Schukat-Talamazzini 2002)
6. Bayes-Klassifikation (Schukat-Talamazzini 2002) (Böhm 2003) (Klawonn 2004) Der Satz von Bayes: Beweis: Klassifikation mittels des Satzes von Bayes (Klawonn 2004) Allgemeine Definition: Davon zu unterscheiden
MehrDas Perzeptron. Künstliche neuronale Netze. Sebastian Otte. 1 Grundlegendes. 2 Perzeptron Modell
Fachbereich Design Informatik Medien Studiengang Master Informatik Künstliche neuronale Netze Das Perzeptron Sebastian Otte Dezember 2009 1 Grundlegendes Als Perzeptron bezeichnet man eine Form von künstlichen
MehrHochschule Regensburg. Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer
Hochschule Regensburg Übung 44_ Multilayer-Perzeptron: Entwurf, Implementierung Bacpropagation Spezielle Algorithmen (SAL) Lehrbeauftragter: Prof. Sauer Name: Vorname: Multilayer-Perzeptrons (MLPs) sind
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
MehrRating. { 0 = kein Ausfall des Kreditnehmers i
Jörg Lemm Vorlesung Finanzmathematik, WS 06/07 Universität Münster 25.1.2007, 1.2.2007, 8.2.2007 Rating Ratingverfahren versuchen, die Wahrscheinlichkeit dafür zu schätzen, dass ein Kreditnehmer seinen
MehrTeil II. Nichtlineare Optimierung
Teil II Nichtlineare Optimierung 60 Kapitel 1 Einleitung In diesem Abschnitt wird die Optimierung von Funktionen min {f(x)} x Ω betrachtet, wobei Ω R n eine abgeschlossene Menge und f : Ω R eine gegebene
MehrSkriptum zum ersten Teil der Einführung in die Wissensverarbeitung
Skriptum zum ersten Teil der Einführung in die Wissensverarbeitung Prof. Dr. Wolfgang Maass Institut für Grundlagen der Informationsverarbeitung Technische Universität Graz 5. März 2008 Achtung: Dies Skriptum
MehrAustausch- bzw. Übergangsprozesse und Gleichgewichtsverteilungen
Austausch- bzw. Übergangsrozesse und Gleichgewichtsverteilungen Wir betrachten ein System mit verschiedenen Zuständen, zwischen denen ein Austausch stattfinden kann. Etwa soziale Schichten in einer Gesellschaft:
MehrRealtime Human Body Tracking
Realtime Human Body Tracking Vortrag im Rahmen des Seminars Ausgewählte Themen zu Bildverstehen und Mustererkennung Lehrstuhl: Professor Dr. X. Jiang Referenten: Dipl.-Math. Kai Rothaus Dipl.-Inform. Steffen
Mehrriskkv Scorenalyse riskkv Scoring Seite 1 von 9
riskkv Scorenalyse riskkv Scoring Seite 1 von 9 Das Modul dient der flexiblen Erstellung, Auswertung und Verwendung von Scores. Durch vordefinierte Templates können in einer Einklicklösung bspw. versichertenbezogene
Mehr4. Dynamische Optimierung
4. Dynamische Optimierung Allgemeine Form dynamischer Optimierungsprobleme 4. Dynamische Optimierung Die dynamische Optimierung (DO) betrachtet Entscheidungsprobleme als eine Folge voneinander abhängiger
MehrOptimierung I. 1 Einführung. Luise Blank. Wintersemester 2012/13. Universität Regensburg
Universität Regensburg Wintersemester 2012/13 1 Einführung Anwendungen Finanzwirtschaft: maximale Gewinnrate unter Beschränkungen an das Risiko; Portfolio von Investments Produktion: maximiere Gewinn bei
MehrFehler in numerischen Rechnungen
Kapitel 1 Fehler in numerischen Rechnungen Analyse numerischer Rechnungen: - Welche möglichen Fehler? - Einfluss auf Endergebnis? - Nicht alles in der Comp.Phys./Numerical Analysis dreht sich um Fehler
MehrKapiteltests zum Leitprogramm Binäre Suchbäume
Kapiteltests zum Leitprogramm Binäre Suchbäume Björn Steffen Timur Erdag überarbeitet von Christina Class Binäre Suchbäume Kapiteltests für das ETH-Leitprogramm Adressaten und Institutionen Das Leitprogramm
MehrKlassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten
Fachhochschule Brandenburg Fachbereich Informatik und Medien Klassifizieren und Visualisieren von Daten mit Selbstorganisierenden Karten Diplomkolloquium Sven Schröder Aufgabenstellung und Motivation Biologisches
MehrMaschinelles Lernen Entscheidungsbäume
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Maschinelles Lernen Entscheidungsbäume Paul Prasse Entscheidungsbäume Eine von vielen Anwendungen: Kreditrisiken Kredit - Sicherheiten
MehrMehrgleichungsmodelle
Mehrgleichungsmodelle Stichwörter: Typen von Mehrgleichungsmodellen multivariates Regressionsmodell seemingly unrelated Modell interdependentes Modell Schätzen der Parameter Bestimmtheitsmass Spezifikationstests
MehrEinführung. Vorlesungen zur Komplexitätstheorie: Reduktion und Vollständigkeit (3) Vorlesungen zur Komplexitätstheorie. K-Vollständigkeit (1/5)
Einführung 3 Vorlesungen zur Komplexitätstheorie: Reduktion und Vollständigkeit (3) Univ.-Prof. Dr. Christoph Meinel Hasso-Plattner-Institut Universität Potsdam, Deutschland Hatten den Reduktionsbegriff
MehrStatistisches Programmieren
Statistisches Programmieren Session 1 1 Was ist R R ist eine interaktive, flexible Software-Umgebung in der statistische Analysen durchgeführt werden können. Zahlreiche statistische Funktionen und Prozeduren
MehrKünstliche Neuronale Netze und Data Mining
Künstliche Neuronale Netze und Data Mining Catherine Janson, icasus GmbH Heidelberg Abstract Der Begriff "künstliche Neuronale Netze" fasst Methoden der Informationstechnik zusammen, deren Entwicklung
MehrMathematik 1 für Wirtschaftsinformatik
Mathematik 1 für Wirtschaftsinformatik Wintersemester 2012/13 Hochschule Augsburg : Gliederung 7 Folgen und Reihen 8 Finanzmathematik 9 Reelle Funktionen 10 Differenzieren 1 11 Differenzieren 2 12 Integration
MehrWeiterbildungskurs Stochastik
Hansruedi Künsch Seminar für Statistik Departement Mathematik, ETH Zürich 24. Juni 2009 Inhalt STATISTIK DER BINOMIALVERTEILUNG 1 STATISTIK DER BINOMIALVERTEILUNG 2 Fragestellungen Typische Fragestellungen
MehrStatistik - Fehlerrechnung - Auswertung von Messungen
2013-11-13 Statistik - Fehlerrechnung - Auswertung von Messungen TEIL I Vorbereitungskurs F-Praktikum B (Physik), RWTH Aachen Thomas Hebbeker Literatur Eindimensionaler Fall: Grundbegriffe Wahrscheinlichkeitsverteilungen:
MehrMotivation. Jede Messung ist mit einem sogenannten Fehler behaftet, d.h. einer Messungenauigkeit
Fehlerrechnung Inhalt: 1. Motivation 2. Was sind Messfehler, statistische und systematische 3. Verteilung statistischer Fehler 4. Fehlerfortpflanzung 5. Graphische Auswertung und lineare Regression 6.
Mehr(λ Ri I A+BR)v Ri = 0. Lässt sich umstellen zu
Herleitung der oppenecker-formel (Wiederholung) Für ein System ẋ Ax + Bu (B habe Höchstrang) wird eine Zustandsregelung u x angesetzt. Der geschlossene egelkreis gehorcht der Zustands-Dgl. ẋ (A B)x. Die
MehrRepetitionsaufgaben Wurzelgleichungen
Repetitionsaufgaben Wurzelgleichungen Inhaltsverzeichnis A) Vorbemerkungen B) Lernziele C) Theorie mit Aufgaben D) Aufgaben mit Musterlösungen 4 A) Vorbemerkungen Bitte beachten Sie: Bei Wurzelgleichungen
MehrFortgeschrittene Computerintensive Methoden
Fortgeschrittene Computerintensive Methoden Einheit 8: Gradient Boosting (basierend auf einer VL-Einheit von B. Bischl in Dortmund) Bernd Bischl Matthias Schmid, Manuel Eugster, Bettina Grün, Friedrich
Mehr(künstliche) Neuronale Netze. (c) Till Hänisch 2003, BA Heidenheim
(künstliche) Neuronale Netze (c) Till Hänisch 2003, BA Heidenheim Literatur zusätzlich zum Lit. Verz. Michael Negnevitsky, Artificial Intelligence, Addison Wesley 2002 Warum? Manche Probleme (z.b. Klassifikation)
MehrÜbersicht. 20. Verstärkungslernen
Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlußfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen 18. Lernen aus Beobachtungen 19. Lernen in neuronalen & Bayes
Mehr9. Schätzen und Testen bei unbekannter Varianz
9. Schätzen und Testen bei unbekannter Varianz Dr. Antje Kiesel Institut für Angewandte Mathematik WS 2011/2012 Schätzen und Testen bei unbekannter Varianz Wenn wir die Standardabweichung σ nicht kennen,
MehrÜbungen zur Vorlesung Grundlagen der Bilderzeugung und Bildanalyse (Mustererkennung) WS 04/05. Musterlösung 9
ALBERT-LUDWIGS-UNIVERSITÄT FREIBURG INSTITUT FÜR INFORMATIK Lehrstuhl für Mustererkennung und Bildverarbeitung Prof. Dr.-Ing. Hans Burkhardt Georges-Köhler-Allee Geb. 52, Zi -29 D-79 Freiburg Tel. 76-23
MehrPortfolio Management
Kapitel 3 Portfolio Management Josef Leydold c 2006 Mathematische Methoden III Portfolio Management 1 / 45 Lernziele Konzept der modernen Portfolio-Theorie Capital Asset Pricing Model Optimieren eines
MehrAnwenderdokumentation Beleg Neuronale Netze
Anwenderdokumentation Beleg Neuronale Netze Analyse von Bilanzen mit Hilfe von Kohonen-Netzwerken Dresden, Dezember 2002 Thorsten Wolfer Michael Wolf Seminargruppe htw8282 htw8222 ai96 Inhaltsverzeichnis
MehrAdaptive Modellierung und Simulation
Adaptive Modellierung und Simulation Rüdiger Brause 0 3 1 Speicher 2 4 2.1 2.2 2.3 FB Informatik und Mathematik Institut für Informatik Rüdiger Brause Adaptive Modellierung und Simulation Grundlagen und
MehrLasso in LMs und GLMs
Lasso in LMs und GLMs Seminar Regularisierungstechniken und strukturierte Regression, Prof. Dr. Gerhard Tutz, Institut für Statistik, Ludwig-Maximilians-Universität München Referent: Patrick Schenk Betreuer:
Mehr