Adaptives maschinelles Lernen
|
|
- Irma Baumhauer
- vor 6 Jahren
- Abrufe
Transkript
1 Vortrag: Adaptives maschinelles Lernen Eric Winter Universität Koblenz-Landau Fachbereich Informatik - Institut für Softwaretechnik Seminar Software-Adaptivität - Sommersemester 2011 ericwinter@uni-koblenz.de
2 Inhalt 1. Motivation 2. Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen 3. Reinforcement Learning im Autonomic Manager Integration von RL in MAPE Anwendungsbeispiel: Verteiltes Client-Server-System Evaluation erlernter Management-Policies 4. Fazit Seite 2
3 Inhalt 1. Motivation 2. Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen 3. Reinforcement Learning im Autonomic Manager Integration von RL in MAPE Anwendungsbeispiel: Verteiltes Client-Server-System Evaluation erlernter Management-Policies 4. Fazit Seite 3
4 Motivation Ausgangslage Verteilte Softwaresysteme Komplexe Strukturen und Systeme Netzwerke Veränderliche Softwareumgebungen Ständige Überprüfung und Anpassung notwendig Hoher Wartungsaufwand Hoher Aufwand zur Anpassung an Kundenwünsche Seite 4
5 Motivation Ziele der Wirtschaft Gewinnmaximierung Kundenzufriedenheit Reduzierung von Kosten Reduzierung von Entwicklungszeit Automatisierung von Vorgängen Seite 5
6 Motivation Lösung durch Autonomic Software 4 Grundanforderungen (nach IBM) Self-configuring Self-healing Self-optimizing Self-protecting Seite 6
7 Motivation MAPE-Loop Self-Managementfunktionen durch Autonome Manager implementiert Autonome Manager basieren auf MAPE Schleife Idee für MAPE entstammt Feedback-Kontrolltheorie Seite 7
8 Motivation MAPE-Loop Seite 8
9 Motivation MAPE-Loop Möglichkeiten der Überwachung - Logs, APIs, Attribute des Autonomic Elements Möglichkeiten der Beeinflussung - Vordefinierte Adaptionsaktionen (API, Attribute) Kriterien der Beeinflussung - Durch Stakeholder definierte Anforderungen - Modell des Autonomic Elements Knowledge-Bottleneck Seite 9
10 Inhalt 1. Motivation 2. Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen 3. Reinforcement Learning im Autonomic Manager Integration von RL in MAPE Anwendungsbeispiel: Verteiltes Client-Server-System Evaluation erlernter Management-Policies 4. Fazit Seite 10
11 Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen Maschinelles Lernen Erlernen von Regeln aus Eingabedaten Anpassen an Veränderungen Leistungsfähigkeit durch Erfahrung steigern 3 Lerntypen An menschliche Lernvorgänge angelehnt 1. Supervised Learning 2. Unsupervised Learning 3. Reinforcement Learning Seite 11
12 Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen Superwised Learning (dt.: überwachtes Lernen) Lernen von einem Lehrer Vorgabe von Zuständen und Aktionen Entwickeln einer Hypothese Erfordert Modell der Umgebung Nur bedingt im Autonomic Manager einsetzbar Seite 12
13 Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen Unsupervised Learning (dt.: unüberwachtes Lernen) Lernen durch Klassifikation der Eingabedaten (Zustände) Segmentierung durch Clustering-Verfahren Dimensionsredurzierung durch Kompressions-Verfahren Keine externe/dynamische Beeinflussung möglich (Verhalten ist fest einprogrammiert) Nur bedingt im Autonomic Manager einsetzbar Seite 13
14 Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen Reinforcement Learning (dt.: optimierendes Lernen; bestärkendes Lernen) Trial-and-Error Prinzip (Erforschen der Umgebung durch ausprobieren von Aktionen) Kein Modell notwendig! Lernen einer optimalen Strategie (Policy) durch Belohnung oder Bestrafung Knowledge-Bottleneck kann vollständig vermieden werden Seite 14
15 Inhalt 1. Motivation 2. Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen 3. Reinforcement Learning im Autonomic Manager Integration von RL in MAPE Anwendungsbeispiel: Verteiltes Client-Server-System Evaluation erlernter Management-Policies 4. Fazit Seite 15
16 Reinforcement Learning im Autonomic Manager Integration von RL in MAPE RL arbeitet auf Zuständen RL wählt Aktionen aus Aktionen sollen nur durchgeführt werden, wenn auch benötigt Knowledge-Komponente soll in RL verwendet werden Implementation in Planning-Prozess Seite 16
17 Reinforcement Learning im Autonomic Manager Voraussetzungen zur Integration von RL Umformulierung der Ziele des Autonomic Managers zu gewichteten Lernzielen Diskretisierung des Zustandsraums Definition durchführbarer Aktionen Auswahl einer geeigneten Bewertungsfunktion Auswahl eines geeigneten Lernverfahrens Seite 17
18 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Gegeben: - Auf 10 Server verteilte Anwendung - Server können dynamisch ins Netz eingebunden oder getrennt werden - Maximal 200 Clients pro Server - Beste Performance bei weniger als 100 Clients pro Server - Meiste Kostenersparnis bei wenig verbundenen Servern Gesucht: - Optimale Strategie für gute Performance und niedrige Kosten Seite 18
19 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Umformulierung der Ziele des Autonomic Managers zu Lernzielen - Lernziele sind, vom Aktuellen Zustand s abhängige Funktionen g(s) Berechnen, ob bestimmtes Ziel durch Zustand erreicht wird - 2 Ziele g g performance ressources = = 1, wenn weniger als100clients 0, sonst. 1, wenn keine Server am Netz. 0, sonst. pro Server verbunden. Seite 19
20 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Diskretisierung des Zustandsraums - Im Autonomic Manager, Wissen über Autonomic Element = im Monitoring-Prozess aufgezeichnete Daten - Pro Server: 1. im Netzt (ja, nein) 2. Anzahl verbundener Clients (0..200) - Zustände für RL aus Werten ableitbar - 1.) Permutation aller Attribut-Wert-Tupel Explosion des Zustandsraums ( Zustände) Seite 20
21 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Diskretisierung des Zustandsraums - 2.) Diskretisierung der Attribute mit Hilfe von Expertenwissen in gut und schlecht - Expertenwissen in Form von Regeln Wenn Server vom Netz getrennt, dann a = 1, sonst 0 Wenn weniger als 100 Clients verbunden, dann a = 1, sonst 0 - Zustand = Tupel <a 1 a n > (a i ist Diskretisierung von Attribut a i ) - 4 Zustände Pro Server, insgesamt ca Zustände Seite 21
22 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Definition durchführbarer Aktionen - RL arbeitet auf gleichen Aktionen wie Autonomic Manager keine Anpassung Notwendig - Aktionen: {a 1 a n } - Verbinde/Trenne Server i (20 Aktionen) Seite 22
23 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Auswahl einer geeigneten Bewertungsfunktion - Hauptproblem bei Entwicklung RL-basierter Systeme Qualität der zu lernenden Strategie hängt maßgeblich von ihr ab - In ML vorrangig skalare Werte (geben an ob Zielzustand erreicht wurde oder nicht) - In Autonomic Managern existiert kein expliziter Zielzustand (meist mehrere, sich gegenseitig ausschließende Ziele) zb. Self-healing und Self-optimizing - Bewertung auf Basis des Umfangs, indem Ziele erreicht wurden - Priorisierung der Ziele durch Stakeholder (Summe aller Zielgewichtungen =100) Seite 23
24 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Auswahl einer geeigneten Bewertungsfunktion r( s, a) = k i= 1 pv i * g i ( s) - Ergebnis r(s,a) beschreibt den Grad, wie wünschenswert Zustand s bezüglich formulierter Lernziele g i (s) in Abhängigkeit deren Gewichtung pv i ist [5]. - In diesem Beispiel pv i = 50 (gewichte beider Ziele gleich) Seite 24
25 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Auswahl eines geeigneten Lernverfahrens - Viele Variationen von RL-Algorithmen Monte Carlo Methoden - Erlernen einer Strategie aus Aktions-Episoden mit fester Länge nur endliche Probleme! Dynamische Programmierung - Erlernen einer Strategie durch Lernen aller Teilprobleme Kompletter weg bis zu einem Ziel muss ausprobiert werden! Seite 25
26 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Auswahl eines geeigneten Lernverfahrens - Temporal Difference Methoden = Erlernen der optimalen Aktions-Wert-Funktion Q* Vereinen Monte Carlo mit Dynamischer Programmierung Off Policy TD-Lernen - In einem Zustand s wird für jede Aktion a der Erwartungswert Q π (s,a) bei Anwendung einer bestimmten Strategie π berechnet. On Policy TD-Lernen - In einem Zustand s t+1, nach ausführen einer Aktion a in Zustand s t zur Zeit t, wird der Erwartungswert Q π (s t,a) bei Weiterverfolgung der aktuellen Strategie π berechnet. Seite 26
27 Reinforcement Learning im Autonomic Manager Anwendungsbeispiel: Verteiltes Client-Server-System Off Policy TD-Lernen = Erlernen (Schätzen) der optimalen Zustands-Wert-Funktion V* - In einem Zustand s wird für jede Aktion a der Erwartungswert Q π (s,a) bei Anwendung einer bestimmten Strategie π berechnet. Bsp.: Q-Learning On Policy TD-Lernen = Erlernen (Schätzen) der optimalen Aktions-Wert-Funktion Q* - In einem Zustand s t+1, der durch Ausführen einer Aktion a in Zustand s t zur Zeit t erreicht wurde, wird der Erwartungswert Q π (s t,a) bei Weiterverfolgung der aktuellen Strategie π berechnet. Bsp.: SARSA Seite 27
28 Q-Learning (Off Policy TD-Lernen) Seite 28
29 SARSA (On Policy TD-Lernen) Seite 29
30 Reinforcement Learning im Autonomic Manager Evaluation erlernter Management-Policies für Verteiltes Client-Server-System Q-Learning Strategie - Aktiviere neuen Server, wenn durchschnittlich 150 Clients pro Server Deaktiviere Server, wenn auf aktiven 50 freie Slots SARSA - Aktiviere neuen Server, wenn durchschnittlich 125 Clients pro Server Deaktiviere Server, wenn auf aktiven 75 freie Slots Seite 30
31 Reinforcement Learning im Autonomic Manager Evaluation erlernter Management-Policies Seite 31
32 Reinforcement Learning im Autonomic Manager Evaluation erlernter Management-Policies Q-Learning - Durchschnittlich geringere Bewertung - Lernt optimale Strategie SARSA - Bessere Bewertung - Lernt sichere Strategie Seite 32
33 Inhalt 1. Motivation 2. Vermeidung des Knowledge-Bottlenecks durch Maschinelles Lernen 3. Reinforcement Learning im Autononomic Manager Integration von RL in MAPE Anwendungsbeispiel: Verteiltes Client-Server-System Evaluation erlernter Management-Policies 4. Fazit Seite 33
34 Fazit Nicht alle Typen maschinellen Lernens zur Verbesserung selbstadaptiver Systeme geeignet Verbesserung von Autonomic Managern nur durch RL Erlernen einer optimalen Management-Policy ohne Domain- Knowledge (Verzicht auf Modell der Umgebung) Off Policy vs. On Policy (Exploration vs. Exploitation) RL macht Autonomic manager Wiederverwendbar Einfache Anpassung der Bewertungsfunktion und des Lernalgorithmus Ausblick: Lernen zu Lernen Seite 34
35 Literatur 1. Simon, H. A: Why should machines learn? In: Michalski, R. S., Carbonell, J. G. and Mitchell, T. M., editors, Machine Learning: An Artificial Intelligence Approach. Tioga Publishing Company, Palo Alto (1983). 2. Mitchell, T.M.: Machine Learning. In: McGraw-Hill, New York (1997) 3. Blum, A: Machine Learning Theory. In: Department of Computer Science, Carnegie Mellon University (2007) 4. Tesauro, G.: Reinforcement Learning in Autonomic Computing: A Manifesto and Case Studies. In: IEEE Computer Society, IBM T.J. Watson Research Center (2007) 5. Amoui, M., Salehie, M., Mirarab, S., Tahvildari, L.: Adaptive Action Selection in Autonomic Software using Reinforcement Learning. In: Fourth International Conference on Autonomic and Autonomous Systems, Crown (2008) 6. Salehie, M., Tahvildari, L.: Self-Adaptive Software: Landscape and Research Challenges. In: ACM Transactions on Autonomous and Adaptive Systems, Vol. 4, No. 2, Article 14, New York (2009) 7. Von Henke, F.W., Einführungen in die Künstliche Intelligenz: 12 Lernen. In: Ulm (2003) 8. Zhang, J., Maschinelles Lernen. In: AB TAMS, Hamburg (2006) 9. Riedmiller, M., Optimierendes Lernen (Reinforcement Learning): Adaptive Verfahren für dynamische Optimierungsprobleme. In: Machine Learning Lab, Freiburg (2010) Seite 35
36 Vielen Dank für Ihre Aufmerksamkeit. Fragen? Seite 36
Adaptives maschinelles Lernen
Adaptives maschinelles Lernen Eric Winter Universität Koblenz-Landau Fachbereich Informatik Institut für Softwaretechnik Seminar Software-Adaptivität Sommersemester 2011 ericwinter@uni-koblenz.de Zusammenfassung.
MehrEinsatz von Reinforcement Learning in der Modellfahrzeugnavigation
Einsatz von Reinforcement Learning in der Modellfahrzeugnavigation von Manuel Trittel Informatik HAW Hamburg Vortrag im Rahmen der Veranstaltung AW1 im Masterstudiengang, 02.12.2008 der Anwendung Themeneinordnung
MehrReinforcement Learning
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning Uwe Dick Inhalt Problemstellungen Beispiele Markov Decision Processes Planen vollständige MDPs Lernen unbekannte
MehrReinforcement Learning
Reinforcement Learning 1. Allgemein Reinforcement Learning 2. Neuronales Netz als Bewertungsfunktion 3. Neuronales Netz als Reinforcement Learning Nils-Olaf Bösch 1 Allgemein Reinforcement Learning Unterschied
MehrReinforcement Learning
Reinforcement Learning Viktor Seifert Seminar: Knowledge Engineering und Lernen in Spielen SS06 Prof. Johannes Fürnkranz Übersicht 1. Definition 2. Allgemeiner Lösungsansatz 3. Temporal Difference Learning
MehrTemporal Difference Learning
Temporal Difference Learning Das Temporal Difference (TD) Lernen ist eine bedeutende Entwicklung im Reinforcement Lernen. Im TD Lernen werden Ideen der Monte Carlo (MC) und dynamische Programmierung (DP)
MehrBackgammon. Tobias Krönke. Technische Universität Darmstadt Fachbereich Informatik Fachgebiet Knowledge Engineering
Technische Universität Darmstadt Fachbereich Informatik Fachgebiet Knowledge Engineering Seminar zu Knowledge Engineering und Lernen in Spielen, 2010 Gliederung Gliederung Startaufstellung Abbildung: GNU
MehrReinforcement-Learning
Reinforcement-Learning Vortrag von: Fabien Lapok Betreuer: Prof. Dr. Meisel 1 Agenda Motivation Überblick und Probleme von RL Aktuelle Forschung Mein Vorgehen Konferenzen und Quellen 2 Reinforcement Learning
MehrKapitel ML: I. I. Einführung. Beispiele für Lernaufgaben Spezifikation von Lernproblemen
Kapitel ML: I I. Einführung Beispiele für Lernaufgaben Spezifikation von Lernproblemen ML: I-8 Introduction c STEIN/LETTMANN 2005-2010 Beispiele für Lernaufgaben Autoeinkaufsberater Welche Kriterien liegen
MehrSeminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens
Seminar Künstliche Intelligenz WS 2013/14 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 19.12.2013 Allgemeine Problemstellung
MehrMonte Carlo Methoden
Monte Carlo Methoden Lernverfahren zur Berechnung von Wertefunktionen und Policies werden vorgestellt. Vollständige Kenntnis der Dynamik wird nicht vorausgesetzt (im Gegensatz zu den Verfahren der DP).
MehrOptimierendes Lernen (Reinforcement Learning) - Adaptive Verfahren für dynamische Optimierungsprobleme. VE 1: Einführung
Optimierendes Lernen (Reinforcement Learning) - Adaptive Verfahren für dynamische Optimierungsprobleme VE 1: Einführung Prof. Dr. Martin Riedmiller Machine Learning Lab Albert-Ludwigs-Universitaet Freiburg
MehrReinforcement Learning
Reinforcement Learning Valentin Hermann 25. Juli 2014 Inhaltsverzeichnis 1 Einführung 3 2 Wie funktioniert Reinforcement Learning? 3 2.1 Das Modell................................... 3 2.2 Exploration
MehrSeminar: Adaptivität T1: Anforderungserhebung für autonome Software mit Goal Models von Michael Kusenbach
Seminar: Adaptivität T1: Anforderungserhebung für autonome Software mit Goal Models von Michael Kusenbach mkusenbach@uni-koblenz.de Blockseminar 25. Juli 2011 1 Inhaltsverzeichnis 1. Motivation 2. Goal
Mehr1. Lernen von Konzepten
1. Lernen von Konzepten Definition des Lernens 1. Lernen von Konzepten Lernziele: Definitionen des maschinellen Lernens kennen, Klassifikationen des maschinellen Lernens kennen, Das Prinzip des induktiven
MehrRL und Funktionsapproximation
RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht
Mehr3. Das Reinforcement Lernproblem
3. Das Reinforcement Lernproblem 1. Agierender Agent in der Umgebung 2. Discounted Rewards 3. Markov Eigenschaft des Zustandssignals 4. Markov sche Entscheidung 5. Werte-Funktionen und Bellman sche Optimalität
MehrKonzepte der AI: Maschinelles Lernen
Konzepte der AI: Maschinelles Lernen Nysret Musliu, Wolfgang Slany Abteilung für Datenbanken und Artificial Intelligence Institut für Informationssysteme, TU-Wien Übersicht Was ist Lernen? Wozu maschinelles
MehrVorlesung. Data und Web Mining. Kurzinformation zur. Univ.-Prof. Dr. Ralph Bergmann. Lehrstuhl für Wirtschaftsinformatik II
Kurzinformation zur Vorlesung Data und Web Mining Univ.-Prof. Dr. Ralph Bergmann www.wi2.uni-trier.de - I - 1 - Die Ausgangssituation (1) Unternehmen und Organisationen haben enorme Datenmengen angesammelt
MehrSeminar A - Spieltheorie und Multiagent Reinforcement Learning in Team Spielen
Seminar A - Spieltheorie und Multiagent Reinforcement Learning in Team Spielen Michael Groß mdgrosse@sbox.tugraz.at 20. Januar 2003 0-0 Matrixspiel Matrix Game, Strategic Game, Spiel in strategischer Form.
MehrSeminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume. von Lars-Peter Meyer. im Seminar Methoden wissensbasierter Systeme
Seminarvortrag zum Thema maschinelles Lernen I - Entscheidungsbäume von Lars-Peter Meyer im Seminar Methoden wissensbasierter Systeme bei Prof. Brewka im WS 2007/08 Übersicht Überblick maschinelles Lernen
MehrComplex Event Processing
[10] Armin Steudte HAW Hamburg Masterstudiengang Informatik - WS 2011/2012 Agenda Motivation Grundlagen Event Processing Networks Ausblick Quellen 2 Agenda Motivation Grundlagen Event Processing Networks
MehrTUD Computer Poker Challenge
TUD Computer Poker Challenge The Challenge of Poker Björn Heidenreich 31. März 2008 The Challenge of Poker Björn Heidenreich 1 Anforderungen an einen guten Poker-Spieler Hand Strength Hand Potential Bluffing
MehrSeminar. Knowledge Engineering und Lernen in Spielen. Reinforcement Learning to Play Tetris. TU - Darmstadt Mustafa Gökhan Sögüt, Harald Matussek 1
Seminar Knowledge Engineering und Lernen in Spielen Reinforcement Learning to Play Tetris 1 Überblick Allgemeines zu Tetris Tetris ist NP-vollständig Reinforcement Learning Anwendung auf Tetris Repräsentationen
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
Mehr8. Reinforcement Learning
8. Reinforcement Learning Einführung 8. Reinforcement Learning Wie können Agenten ohne Trainingsbeispiele lernen? Auch kennt der Agent zu Beginn nicht die Auswirkungen seiner Handlungen. Stattdessen erhält
MehrKapitel LF: I. Beispiele für Lernaufgaben. Beispiele für Lernaufgaben. LF: I Introduction c STEIN
Kapitel LF: I I. Einführung in das Maschinelle Lernen Bemerkungen: Dieses Kapitel orientiert sich an dem Buch Machine Learning von Tom Mitchell. http://www.cs.cmu.edu/ tom/mlbook.html 1 Autoeinkaufsberater?
MehrOperational Intelligence
Operational Intelligence Eric Müller Wenn Sie diesen Text lesen können, müssen Sie die Folie im Post-Menü mit der Funktion «Folie einfügen» erneut einfügen. Sonst kann kein Bild hinter die Fläche gelegt
MehrMonte Carlo Methoden
Monte Carlo Methoden im Verstärkungslernen [Spink] Bryan Spink 2003 Ketill Gunnarsson [ ketill@inf.fu-berlin.de ], Seminar zum Verstärkungslernen, Freie Universität Berlin [ www.inf.fu-berlin.de ] Einleitung
MehrEntwicklung einer KI für Skat. Hauptseminar Erwin Lang
Entwicklung einer KI für Skat Hauptseminar Erwin Lang Inhalt Skat Forschung Eigene Arbeit Risikoanalyse Skat Entwickelte sich Anfang des 19. Jahrhunderts Kartenspiel mit Blatt aus 32 Karten 3 Spieler Trick-taking
MehrAgentenbasiertes Testmanagement beim Systemtest
Universität Stuttgart Institut für Automatisierungs- und Softwaretechnik Prof. Dr.-Ing. Dr. h. c. P. Göhner Agentenbasiertes Testmanagement beim Systemtest Christoph Malz VDI-Expertenforum Agenten in der
MehrProgrammierung einer KI. SoPra 2017 Jenny Hotzkow
Programmierung einer KI SoPra 2017 Jenny Hotzkow Model View Controller Client KI Integration in die Softwarearchitektur (1) KI Integration in die Softwarearchitektur (2) Command-Pattern // Bestimmung möglicher
MehrIntelligente Agenten
KI Wintersemester 2013/2014 Intelligente Agenten Grundlagen der Künstlichen Intelligenz Wintersemester 2014/2015 Marc Toussaint 2006-2014 Heidemann, Bruhn, Toussaint Überblick Überblick Agentenbegriff,
MehrEntwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion
Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion Vortrag Seminararbeit David Pogorzelski Aachen, 22.01.2015 Agenda 1 2 3 4 5 Ziel der
MehrLearning To Play Chess Using Temporal Differences
Learning To Play Chess Using Temporal Differences Der Vortrag wird von Pham Thi Thu Trang gehalten 17.06.2004 1 Einleitung TD- learning ist zuerst von Samuel (1959) entwickelt und später von Sutton (1988)
MehrShopBot, ein Software-Agent für das Internet
Software-Agenten p.1/20 ShopBot, ein Software-Agent für das Internet Eine Einführung in (Software-)Agenten Madeleine Theile Software-Agenten p.2/20 Aufbau des Vortrags grundlegende Theorie Definition Autonomy,
MehrLernen durch Concept Maps
Lernen durch Concept Maps Elisabeth Riebenbauer & Peter Slepcevic-Zach Karl-Franzens-Universität Graz Institut für Wirtschaftspädagogik Linz, 15. April 2016 Hamburg, Mai 2014 Überblick Concept Maps Theoretische
MehrLearning to Optimize Mobile Robot Navigation Based on HTN Plans
Learning to Optimize Mobile Robot Navigation Based on HTN Plans lernen Betreuer: Freek Stulp Hauptseminar Intelligente Autonome Systeme (WiSe 2004/05) Forschungs- und Lehreinheit Informatik IX 8. Dezember
MehrEinführung. Einführung in die Methoden der Künstlichen Intelligenz. Maschinelles Lernen. Lernen und Agenten. Beispiele
Einführung Einführung in die Methoden der Künstlichen Intelligenz Maschinelles Lernen Dr. David Sabel WS 2012/13 Direkte Programmierung eines intelligenten Agenten nicht möglich (bisher) Daher benötigt:
MehrSamuel's Checkers Program
Samuel's Checkers Program Seminar: Knowledge Engineering und Lernen in Spielen 29.06.2004 Ge Hyun Nam Überblick Einleitung Basis Dame-Programm Maschinelles Lernen Auswendiglernen Verallgemeinerndes Lernen
MehrCollaboration on the Outcomes of
The Impact of Ontology and Collaboration on the Outcomes of Computer-Supported Argumentation Institut für Informatik - Research Group Collaboration Systems and CSCW St. Andreasberg, 08.03.2010 Argumentationsfertigkeiten
Mehr6. Bayes-Klassifikation. (Schukat-Talamazzini 2002)
6. Bayes-Klassifikation (Schukat-Talamazzini 2002) (Böhm 2003) (Klawonn 2004) Der Satz von Bayes: Beweis: Klassifikation mittels des Satzes von Bayes (Klawonn 2004) Allgemeine Definition: Davon zu unterscheiden
MehrDynamische Programmierung. Problemlösungsstrategie der Informatik
als Problemlösungsstrategie der Informatik und ihre Anwedung in der Diskreten Mathematik und Graphentheorie Fabian Cordt Enisa Metovic Wissenschaftliche Arbeiten und Präsentationen, WS 2010/2011 Gliederung
MehrBring your own Schufa!
Bring your own Schufa! Jan Schweda Senior Softwareengineer Web & Cloud jan.schweda@conplement.de @jschweda Ziele des Vortrags Die Möglichkeiten von maschinellem Lernen aufzeigen. Azure Machine Learning
MehrKnowledge Engineering und Lernen in Spielen. Thema: Opening Book Learning von: Thomas Widjaja
Knowledge Engineering und Lernen in Spielen Thema: Opening Book Learning von: Thomas Widjaja Gliederung Allgemeines Drei Beispielverfahren zum Anpassen eines Opening Books Deep Blue Logistello (Michael
MehrKonzepte der AI. Maschinelles Lernen
Konzepte der AI Maschinelles Lernen http://www.dbai.tuwien.ac.at/education/aikonzepte/ Wolfgang Slany Institut für Informationssysteme, Technische Universität Wien mailto: wsi@dbai.tuwien.ac.at, http://www.dbai.tuwien.ac.at/staff/slany/
MehrComputer Science meets Philosophy the Future of AI
Computer Science meets Philosophy the Future of AI Seminar im Sommersemester 2017 Vorbesprechung, 27.04.2017 INSTITUT FÜR THEORETISCHE INFORMATIK & INSTITUT FÜR PHILOSOPHIE Superintelligence cover, CC-BY-SA
MehrModerne Methoden der KI: Maschinelles Lernen
Moderne Methoden der KI: Maschinelles Lernen Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung Sommer-Semester 2009 1. Einführung: Definitionen Grundbegriffe Lernsysteme Maschinelles Lernen Lernen: Grundbegriffe
MehrAdvanced Business Intelligence. Advanced Networking. Artificial Intelligence. Campus Offenburg Badstraße 24, 77652
Advanced Business Intelligence Prerequisite english description Hours 4.0 Praktikum Data Mining Nr. E+I2118 Data Mining Nr. E+I2117 Advanced Networking Hours 4.0 Advanced Networking Nr. E+I2103 Praktikum
MehrQuantifizierung nicht-funktionaler Anforderungen JURISTISCHES IT-PROJEKTMANAGEMENT WS1617 DOZENT: DR. FRANK SARRE LMU MÜ NCHEN ZHENHAO LI
Quantifizierung nicht-funktionaler Anforderungen JURISTISCHES IT-PROJEKTMANAGEMENT WS1617 DOZENT: DR. FRANK SARRE LMU MÜ NCHEN ZHENHAO LI Agenda Einordnung des Themas Motivation Quantifizierung Nicht-funktionale
MehrWatson Services on Bluemix Workshop
Watson Services on Bluemix Workshop Beate Melcher Klaus-Peter Schlotter Urs Witzig IBM Business Partner Solution Hub Agenda 09:00-09:45 Welcome and IBM Watson Overview 09:45-10:10 Watson Services 1/2 10:10
MehrVerbesserung von Softwareprozessen mit CMMI
Seminar Software Management 2 Agenda Einordnung und Motivation Aufbau des CMMI Umsetzung von CMMI mit dem IDEAL Modell Bewertung 3 Agenda Einordnung und Motivation Aufbau des CMMI Umsetzung von CMMI mit
MehrReinforcement Learning
Effiziente Darstellung von Daten Reinforcement Learning 02. Juli 2004 Jan Schlößin Einordnung Was ist Reinforcement Learning? Einführung - Prinzip der Agent Eigenschaften das Ziel Q-Learning warum Q-Learning
MehrData Mining auf Datenströmen Andreas M. Weiner
Technische Universität Kaiserslautern Fachbereich Informatik Lehrgebiet Datenverwaltungssysteme Integriertes Seminar Datenbanken und Informationssysteme Sommersemester 2005 Thema: Data Streams Andreas
MehrToken Bucket Algorithmus
Token Bucket Algorithmus Förg Sebastian, Gritsch Marc, Pühl Gerd, Schoof Martin, Zohner Stephanie Programmierung verteilter Systeme Lab Institut für Informatik Universität Augsburg Universitätsstraße 14,
MehrIntelligente Algorithmen Einführung in die Technologie
Intelligente Algorithmen Einführung in die Technologie Dr. KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Natürlich sprachliche
MehrAufsetzten einer Oracle DBaaS Umgebung (private Cloud) mit dem Enterprise Manager. Bodo von Neuhaus Oracle Deutschland B.V.
Aufsetzten einer Oracle DBaaS Umgebung (private Cloud) mit dem Enterprise Manager Bodo von Neuhaus Oracle Deutschland B.V. & Co KG Agenda Motivation Implementierungsvarianten Die eigene Datenbank Cloud
MehrStatistische Methoden der Datenanalyse
Statistische Methoden der Datenanalyse Vorlesung im Sommersemester 2008 H. Kolanoski Humboldt-Universität zu Berlin Inhaltsverzeichnis Literaturverzeichnis iii 1 Grundlagen der Statistik 3 1.1 Wahrscheinlichkeit............................
MehrReinforcement-Learning in der Domäne von PL-1 AW-1 Ausarbeitung
Reinforcement-Learning in der Domäne von PL-1 AW-1 Ausarbeitung David Olszowka HAW Hamburg Email: david.olszowka@haw-hamburg.de I. MOTIVATION Ich habe mich im Master bereits in der Vorlesung TT2 mit Reinforcement-Learning
MehrSTART DER INSTITUTS- PARTNERSCHAFT ZUM THEMA DIGITALISIERUNG
START DER INSTITUTS- PARTNERSCHAFT ZUM THEMA DIGITALISIERUNG HAMBURG 23. MAI 2017 PROF. DR. DIMKA KARASTOYANOVA KOLLABORATIVE, DYNAMISCHE UND KOMPLEXE SYSTEME FÜR DIE LOGISTIK HAMBURG 23. MAI 2017 SCM
MehrBAT 04: Integration von Workflow- Management-Systemen in der Praxis. Referent Tillmann Schall tillmann.schall@anaptecs.de
BAT 04: Integration von Workflow- Management-Systemen in der Praxis Referent Tillmann Schall Kontakt tillmann.schall@anaptecs.de : Agenda Übersicht Software-Architektur Integration des Workflow-Management-Systems
MehrWas können lernende Maschinen wissen?
Was können lernende Maschinen wissen? Prof. Dr. Lars Schwabe Adaptive and Regenerative Software Systems http://ars.informatik.uni-rostock.de 2010 UNIVERSITÄT ROSTOCK FAKULTÄT FÜR INFORMATIK UND ELEKTROTECHNIK
MehrArbeitsgruppe Neuroinformatik
Arbeitsgruppe Neuroinformatik Prof. Dr. Martin Riedmiller Martin.Riedmiller@uos.de Martin Riedmiller, Univ. Osnabrück, Martin.Riedmiller@uos.de Arbeitsgruppe Neuroinformatik 1 Leitmotiv Zukünftige Computerprogramme
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 10: Naive Bayes (V. 1.0)
MehrLehrveranstaltungen im Wintersemester 2012/2013
Lehrveranstaltungen im Wintersemester 2012/2013 Information Systems and Machine Learning Lab (ISMLL) Prof. Dr. Dr. Lars Schmidt-Thieme Hildesheim, Juli 2012 1 / 1 Übersicht Praktika Hildesheim, Juli 2012
MehrEinführung in die Methoden der Künstlichen Intelligenz. Maschinelles Lernen
Einführung in die Methoden der Künstlichen Intelligenz Maschinelles Lernen Dr. David Sabel WS 2012/13 Stand der Folien: 14. Februar 2013 Einführung Direkte Programmierung eines intelligenten Agenten nicht
MehrAlgorithmen zur Berechnung der Transitiven Hülle einer Datenbankrelation
Algorithmen zur Berechnung der Transitiven Hülle einer Datenbankrelation Daniel Reinhold Shenja Leiser 6. Februar 2006 2/28 Gliederung Einführung Transitive Hülle Definition Iterative Algorithmen 1. Naive
MehrSession: 1 SO Selbstoptimierte Zustandsüberwachung für die Prognose von Fehlzuständen für Windkraftanlagen SO-Pro (Resolto)
Session: 1 SO Selbstoptimierte Zustandsüberwachung für die Prognose von Fehlzuständen für Windkraftanlagen SO-Pro (Resolto) 06. Juli 2016 Bielefeld www.its-owl.de Agenda Abschlusspräsentation Einführung
MehrEinführung in das Maschinelle Lernen I
Einführung in das Maschinelle Lernen I Vorlesung Computerlinguistische Techniken Alexander Koller 26. Januar 2015 Maschinelles Lernen Maschinelles Lernen (Machine Learning): äußerst aktiver und für CL
MehrReinforcement Learning
Reinforcement Learning Ziel: Lernen von Bewertungsfunktionen durch Feedback (Reinforcement) der Umwelt (z.b. Spiel gewonnen/verloren). Anwendungen: Spiele: Tic-Tac-Toe: MENACE (Michie 1963) Backgammon:
MehrEVOLUTION STRATEGIES DANIELA SCHACHERER SEMINAR: IST KÜNSTLICHE INTELLIGENZ GEFÄHRLICH? SOMMERSEMESTER 2017
EVOLUTION STRATEGIES DANIELA SCHACHERER SEMINAR: IST KÜNSTLICHE INTELLIGENZ GEFÄHRLICH? SOMMERSEMESTER 2017 Inhalt Einleitung und Überblick Evolutionsstrategien Grundkonzept Evolutionsstrategien als Alternative
MehrKünstliche Neuronale Netze
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung
MehrEinführung in die Artificial Intelligence
Einführung in die Artificial Intelligence Institut für Computertechnik ICT Institute of Computer Technology Roland Lang mailto:langr@ict.tuwien.ac.at Definition: Was ist AI? ISO 4177: Artificial Intelligence
MehrNaive Bayes für Regressionsprobleme
Naive Bayes für Regressionsprobleme Vorhersage numerischer Werte mit dem Naive Bayes Algorithmus Nils Knappmeier Fachgebiet Knowledge Engineering Fachbereich Informatik Technische Universität Darmstadt
MehrUsability Metrics. Related Work. Von Torsten Rauschan (torsten.rauschan@haw-hamburg.de) HAW Hamburg M-Inf2 Anwendungen 2 Betreuer: Prof. Dr.
Usability Metrics Related Work Von Torsten Rauschan (torsten.rauschan@haw-hamburg.de) HAW Hamburg M-Inf2 Anwendungen 2 Betreuer: Prof. Dr. Zukunft Agenda Rückblick AW1 Motivation Related work QUIM SUM
MehrReinforcement Learning 2
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Reinforcement Learning 2 Uwe Dick Inhalt Erinnerung: Bellman-Gleichungen, Bellman-Operatoren Policy Iteration Sehr große oder kontinuierliche
MehrCAIRO if knowledge matters
CAIRO if knowledge matters Monitoring mit Microsoft Operations Manager 2007 Ein Überblick Johann Marin, Inhalt if knowledge matters Warum Monitoring? Was soll überwacht werden? SCOM Key Features Das SCOM
MehrFederated Identity Management
Federated Identity Management Verwendung von SAML, Liberty und XACML in einem Inter Campus Szenario d.marinescu@gmx.de 1 Fachbereich Informatik Inhalt Grundlagen Analyse Design Implementierung Demo Zusammenfassung
MehrStile von API-Dokumentationen anhand von Java und Python
Titel, Vorname, Name Abteilung, Fachbereich oder Institut Stile von API-Dokumentationen anhand von Java und Python Betreuer & Erstgutachter: Zweitgutachterin: Prof. Dr. Lutz Prechelt Prof. Dr. Claudia
MehrMathematische Grundlagen III
Mathematische Grundlagen III Maschinelles Lernen III: Clustering Vera Demberg Universität des Saarlandes 7. Juli 202 Vera Demberg (UdS) Mathe III 7. Juli 202 / 35 Clustering vs. Klassifikation In den letzten
MehrMeine Datenbank läuft auf Vmware Was sagt der Enterprise Manager dazu?
Meine Datenbank läuft auf Vmware Was sagt der Enterprise Manager dazu? Martin Obst Oracle Deutschland B.V. & Co. KG Potsdam Schlüsselworte Enterprise Manager, 12c, Cloud Control, VMware, vsphere, Integration,
MehrÜbersicht. Künstliche Intelligenz: 21. Verstärkungslernen Frank Puppe 1
Übersicht I Künstliche Intelligenz II Problemlösen III Wissen und Schlussfolgern IV Logisch Handeln V Unsicheres Wissen und Schließen VI Lernen 18. Lernen aus Beobachtungen 19. Wissen beim Lernen 20. Statistische
MehrMethoden der agilen Softwareentwicklung für eingebettete Systeme
Seminarvortrag Methoden der agilen Softwareentwicklung für eingebettete Systeme Lisa Krause Aachen, 27.01.2010 Inhaltsübersicht Motivation Einführung in die Softwaretechnik - Ziele - Traditionelle Prozessmodelle
MehrEffiziente und koordinierte Bearbeitung von Medienanfragen im Team
Effiziente und koordinierte Bearbeitung von Medienanfragen im Team Mathias Marti I Fachbereich Kommunikation I Erziehungsdirektion des Kantons Bern Thomas Heiz I Manager CC Microsoft Dynamics CRM I Trivadis
MehrAI in Computer Games. Übersicht. Motivation. Vorteile der Spielumgebung. Techniken. Anforderungen
Übersicht AI in Computer Games Motivation Vorteile der Spielumgebung Techniken Anwendungen Zusammenfassung Motivation Vorteile der Spielumgebung Modellierung glaubwürdiger Agenten Implementierung menschlicher
MehrCopyright 2013 Trend Micro Inc. 2014 VMware Inc. All rights reserved. 1
Copyright 2013 Trend Micro Inc. 2014 VMware Inc. All rights reserved. 1 Partner Camp 2016 Deep Click Dive to edit Master title style VMware NSX mit Trend Micro Hans-Achim Muscate Principal Sales Engineer,
MehrBertrandt Ingenieurbüro GmbH Maschinelles Lernen für Autonomes Fahren
Bertrandt Ingenieurbüro GmbH Maschinelles Lernen für Autonomes Fahren Regensburg, 18.05.2017, Ulrich Haböck Bertrandt Ingenieurbüro GmbH Maschinelles Lernen für Autonomes Fahren 0 Agenda Grundlagen Machine
MehrSE Biologisch motivierte Lernverfahren
SE Biologisch motivierte Lernverfahren Matthias Kubisch kubisch@informatik.hu-berlin.de Labor für Neurorobotik Institut für Informatik Humboldt-Universität zu Berlin 11. April 2012 1 / 18 Übersicht 1 Themen
MehrDer folgende Vortrag basiert auf dem Text A Polynomial Time Algorithm for the N-Queens Problem von Rok Sosic und Jun Gu aus dem Jahre 1990.
Ein polynomieller Algorithmus für das N-Damen Problem 1 Einführung Der folgende Vortrag basiert auf dem Text A Polynomial Time Algorithm for the N-Queens Problem von Rok Sosic und Jun Gu aus dem Jahre
MehrSeminar Textmining SS 2015 Grundlagen des Maschinellen Lernens
Seminar Textmining SS 2015 Grundlagen des Maschinellen Lernens Martin Hacker Richard Schaller Künstliche Intelligenz Department Informatik FAU Erlangen-Nürnberg 17.04.2015 Entscheidungsprobleme beim Textmining
MehrPerformance Monitoring Warum macht es Sinn?
Performance Monitoring Warum macht es Sinn? achermann consulting ag Nicola Lardieri Network Engineer Luzern, 25.5.2011 Inhalt Definition Monitoring Warum Performance Monitoring? Performance Monitoring
MehrTim Krämer. Archimetrix - Improved Software Architecture Recovery in the Presence of Design Deficiencies. 08. Mai 2013
Tim Krämer 7kraemer@informatik.uni-hamburg.de Archimetrix - Improved Software Architecture Recovery in the Presence of Design Deficiencies 08. Mai 2013 Tim Krämer, 7kraemer@informatik.uni-hamburg.de Universität
MehrMATCHING VON PRODUKTDATEN IN DER CLOUD
MATCHING VON PRODUKTDATEN IN DER CLOUD Dr. Andreas Thor Universität Leipzig 15.12.2011 Web Data Integration Workshop 2011 Cloud Computing 2 Cloud computing is using the internet to access someone else's
MehrEntwicklung einer Lernumgebung für strukturierte akademische Diskussionen (SAC)
PROJEKTARBEIT Entwicklung einer Lernumgebung für strukturierte akademische Diskussionen (SAC) Mona Metzner Marc Mühlbauer Betreuer: Sara Streng, Dr. Karsten Stegmann Verantw. Hochschullehrer: Prof. Dr.
MehrBusiness Intelligence & Machine Learning
AUSFÜLLHILFE: BEWEGEN SIE DEN MAUSZEIGER ÜBER DIE ÜBERSCHRIFTEN. AUSFÜHRLICHE HINWEISE: LEITFADEN MODULBESCHREIBUNG Business Intelligence & Machine Learning Kennnummer Workload Credits/LP Studiensemester
MehrPollards Rho-Methode zur Faktorisierung
C A R L V O N O S S I E T Z K Y Pollards Rho-Methode zur Faktorisierung Abschlusspräsentation Bachelorarbeit Janosch Döcker Carl von Ossietzky Universität Oldenburg Department für Informatik Abteilung
MehrPR SAM. Intelligent Fault Prognosis Systems for Anticipative Maintenance Strategies
Intelligent Fault Prognosis Systems for Anticipative Maintenance Strategies Intelligentes Instandhaltungsmanagement (4.0) Kein ungeplanter Stillstand durch rechtzeitige Wartung bei Nennbetrieb Intelligente,
MehrDesign und Entwicklung von Online-Lernangeboten für die Hochschule
Thomas Lerche Lehrstuhl für Schulpädagogik LMU München Hans Gruber Lehrstuhl für Pädagogik III Universität Regensburg Design und Entwicklung von Online-Lernangeboten für die Hochschule Ausgangslage Ca.
Mehr