Eine kleine Einführung in neuronale Netze
|
|
- Maja Grosser
- vor 7 Jahren
- Abrufe
Transkript
1 Eine kleine Einführung in neuronale Netze Tobias Knuth November 2013
2 1.2 Mensch und Maschine 1 Inhaltsverzeichnis 1 Grundlagen neuronaler Netze Kopieren vom biologischen Vorbild Mensch und Maschine Perzeptron Perzeptron-Training Gradientenabstieg Erweiterung der Output- Funktion Backpropagation 4 3 Anwendung im CRM 5 1 Grundlagen neuronaler Netze 1.1 Kopieren vom biologischen Vorbild Die Forschung an der künstlichen Intelligenz wirft tiefgreifende Fragen über das Bewusstsein und die Grenzen der Erkenntnis auf. Mehr Entscheidungen können von Computern getroffen werden, die dem Menschen noch bis vor Kurzem vorbehalten waren. Obgleich der Technologiefortschritt dem Menschen einerseits auch eigene Beschränkungen aufzeigt, eröffnet sie ihm andererseits Myriaden Möglichkeiten. Künstliche neuronale Netze orientieren sich an ihrem biologischem Vorbild; sie übernehmen die Wirkungsweise, aber sie sind keine Sklaven ihrer Originale, insofern als das Erfüllen eines Ziels mittels mathematisch passender Methoden vor der exakten Übernahme ihrer Bauweise steht. Künstliche neuronale Netze sind vor allem in ergebnisorientierten Feldern wie der Betriebswirtschaftslehre Werkzeuge zur Zielerreichung und Optimierung. Dieser kurze Text führt in das umfangreiche Thema künstlicher neuronaler Netze (KNN) ein, engl. Artificial Neural Networks. 1.2 Mensch und Maschine Die künstliche Nachbildung biologischer Prozesse wirft eine Frage auf: Sind Computer in der Lage, mit künstlichen neuronalen Netzen die Leistung des menschlichen Gehirns zu erreichen? Heutzutage kommt die Anzahl der Transistoren im Computer ( 5 Milliarden) der Anzahl der Neuronen im menschlichen Gehirn ( 100 Milliarden) sehr nahe. Neuronen schalten sich mit einer Frequenz von etwa einer Millisekunde an und aus; ein Pentium ist etwa eine Million mal schneller. Transistoren haben pro Stück allerdings nur etwa 10 Verbindungen; sie sind kostspielig. Neuronen weisen hingegen bis Verbindungen pro Neuron auf. Aus diesem Grund werden neuronale Netze auch konnektionistische Modelle genannt: Das Wissen eines Netzes liegt in seinen Verbindungsgewichten. Weil die Anzahl der Verbindungen eine Schlüsselkomponente für das Funktionieren des neuronalen Netzes darstellt, erreichen Computer die Leistung eines menschlichen Gehirns in bestimmten Disziplinen bei Weitem
3 1.4 Perzeptron-Training 2 nicht und verbrauchen ein Vielfaches an Energie, während das Gehirn des Menschen so sparsam ist wie eine Glühlampe. Ein weiterer wichtiger Aspekt ist die parallele Verarbeitung der Informationen im menschlichen Gehirn. Verlöre ein neuronales Netz seine Verbindungsgewichte, wäre sämtliches Wissen ausgelöscht. Lernen bedeutet, dass Verbindungsgewichte angepasst werden, um hinzugewonnene Erkenntnisse in das bestehende Verhaltensmuster zu integrieren x x 1 Abbildung 2: Entscheidungsgrenze einer linear separierbaren Funktion x Perzeptron Eine der Basiseinheiten stellt das Perzeptron dar. Abbildung 1 beschreibt seine Funktionsweise. Es ist in der Lage, einfache Funktionen wie AND und OR abzubilden. Jedoch stellt XOR ein einzelnes Perzeptron vor eine Hürde; mehrere verschaltete Perzeptronen können die Funktion schließlich abbilden. Abbildung 2 zeigt eine linear separierbare Funktion. Im Beispiel der Abbildung genügt eine lineare Funktion mit zwei Variablen, aber das Konzept ist in höherdimensionale Räume übertragbar. Man beachte, dass die + und die durch eine Gerade getrennt werden können. Abbildung 3 zeigt hingegen eine nicht linear separierbare Funktion. Es ist unmöglich, eine einfache Gerade durch den Graphen zu legen und dabei + und voneinander zu trennen. Ein Perzeptron allein kann die gezeigte Funktion nicht abbilden. 1 Vgl. Dietterich et al. (2012), S. 3ff x 1 Abbildung 3: Linear nicht separierbare Funktion 1.4 Perzeptron-Training Wie komplexere neuronale Netze muss auch ein Perzeptron trainiert werden: Es wird mit zufälligen Verbindungsgewichten gestartet, die anschließend optimiert werden. In bestimmten Fällen kann es allerdings sinnvoll sein, mit fest definierten Gewichten zu beginnen. w k w k + w k (1) Formel 1 zeigt, dass die Gewichte um einen Delta-Wert erhöht oder wenn
4 1.5 Gradientenabstieg 3 x 1 x 2 w 1 w 2 p { +1 wenn n o= k=1 w k x k > 0 1 im anderen Fall. w n x n Abbildung 1: Perzeptron er negativ ist verringert werden. Die Berechnung des Korrekturdelta erfolgt über die Multiplikation des bestehenden Wertes x k mit der über die Lerngeschwindigkeit η regulierten Differenz von erwartetem Wert t und dem tatsächlichen Wert o. w k = η(t o)x k (2) Einen Nachteil stellt das Problem dar, dass das Konvergieren zu einer Lösung versagen kann, wenn die Trainingsbeispiele nicht separierbar sind Gradientenabstieg Beim Gradientenabstieg wird eine mehrdimensionale Fehlerfunktion hinabgestiegen, um Fehlerminimum zu finden. Das Verfahren kann mit einer quadratischen Fehlerfunktion verwendet werden. Dann lässt sie sich für ein Per- 2 Vgl. Mitchell (1997), S. 89. zeptron wie folgt schreiben: E( w) = 1 2 S s=1 (t s o s ) 2 (3) Die Funktion sieht schematisch aus wie in Abbildung 4. Sie zeigt, dass das Folgen der Steigung zum niedrigsten Punkt die Fehlerfunktion minimiert. Mithilfe einer derartigen Funktion können auch nicht linear separierbare Probleme mit einem Perzeptron gelöst werden, indem der Fehler näherungsweise minimiert wird. Nichtsdestotrotz wird hier keine Aussage über den tatsächlichen Fehler gemacht. Führte die Fehlerfunktion zu einem unbefriedigenden Minimum, wäre die Vorgehensweise trotzdem nicht zielführend. Die Fehlerfunktion wird verwendet, um w zu bestimmen. Mit dessen Hilfe kann der steilste Weg zum Fehlerminimum abhängig vom Gewicht w k und dem Lernbeispiel s i gefunden werden. w = η E( w) (4)
5 2 Backpropagation E( w) w 2 w Abbildung 4: Beispiel einer quadratischen Fehlerfunktion E( w) ist der Gradient von E. Er ist definiert als: E( w) [ de de,..., ] (5) dw 0 dw n Man kann w abhängig von k schreiben: = η d 1 dw k 2 w k = η de dw k S s=1 (t s o s ) 2 (6) Für die Gewichtsveränderung ergibt sich nach Ableitung: w k = η S s=1 (t s o s )x ks (7) 1.6 Erweiterung der Output- Funktion Man erinnere sich zurück an die Output-Funktion der Neuronen aus Abbildung 1. Selbst die Aneinander- Abbildung 5: Sigmoide Funktion reihung mehrerer Perzeptronen würde nicht bewirken, dass nicht linear separierbare Probleme gelöst werden könnten, weil die Summe linearer Funktionen nach wie vor eine lineare Funktion ist. Deswegen wird der Output o ks nicht einfach ausgegeben, sondern über eine nichtlineare, differenzierbare Funktion modifiziert. Hierfür werden sigmoide Funktionen verwendet. Ein Vorteil dieser Funktionen ist der S-förmige Verlauf, der die Bedeutung kleiner Aktivierungsniveaus hervorhebt. 2 Backpropagation Bisher war es nur möglich, einzelne Perzeptronen mithilfe des Gradientenabstiegs zu trainieren. Der Backpropagation-Algorithmus lässt es zu, mehrschichtige Netzwerke ebenfalls mithilfe des Gradientenabstiegs zu trainieren. Der Backpropagation- Algorithmus unterliegt einigen Einschränkungen, deretwegen seine Ver-
6 3 Anwendung im CRM 5 wendung fallindividuell abgewägt werden sollte. Im Gegensatz zum einfachen Perzeptron kann die Fehlerfunktion eines mehrschichtigen Perzeptrons lokale Minima aufweisen, wodurch das gefundene Minimum nicht zwangsweise das globale sein muss. 3 Durch die Verwendung einer sigmoiden Funktion zur Skalierung des Outputs der Neuronen wird die Herleitung der Ableitung etwas komplizierter, weshalb sie in dieser Einführung nicht behandelt wird. 4 3 Anwendung im CRM Neuronale Netze können vielseitig eingesetzt werden, wenn die Rahmenbedingungen für ihre Verwendung gegeben sind. Die Anwendungsgebiete reichen vom Empfehlen von Produkten auf Basis gelernter Präferenzen bis hin zum Controlling von CRM-Systemen und sind vermutlich längst nicht ausgeschöpft. Die Effektivität der CRM- Systeme verschiedener Firmen wurde in einer chinesischen Studie untersucht. 5 Die Autoren stellten auf Basis von vier Kategorien Kennzahlen auf: Customer Knowledge, Customer Interaction, Customer Value und Customer Satisfaction. Sie ließen Experten die Leistung von 15 Firmen mittels der Kennzahlen bewerten und fügten einen Gesamtwert für die CRM-Leistung hinzu. Die Verbindung aus Kennzahlenwerten und der Gesamtbewertung des CRM- Systems lernte das neuronale Netz anhand von 12 der Firmen, die letzten 3 dienten als Testgruppe. Es zeigte sich, dass der Fehler sehr gering war. Mithilfe des Systems könnten die CRM- Systeme weiterer Firmen nur durch die Untersuchung der einzelnen Kennzahlen bewertet werden. Das neuronale Netz ist trainiert worden, den Zusammenhang zwischen den einzelnen Kennzahlen und der Gesamtbewertung zu lernen und anwenden zu können. Die Studie zeigt, dass neuronale Netze nicht nur bei Big Data eine Rolle spielen, sondern auch bei strategischen Entscheidungen als Werkzeug eingesetzt werden können. 3 Vgl. Mitchell (1997), S Eine genaue Herleitung kann in Tom Mitchell: Machine Learning nachgelesen werden. 5 Vgl. Cheng et al. (2004)
7 Literatur Bishop, C. Neural Networks for Pattern Recognition. Oxford University Press, Großbritannien, Cheng, Kong und Meng. Neural Networks Based Integrated Evaluation Method for the Effetiveness of CRM, URL proceedings/2004/paper/cn002-paper.pdf. Letzter Besuch am Dietterich, T., Domingos, P. und Mitchell, T. CSEP Data Mining, URL Letzter Besuch am Mitchell, T. Machine Learning. McGrawHill, New York City, Oberhofer und Zimmerer. Wie Künstliche Neuronale Netze lernen: Ein Blick in die Black Box der Backpropagation Netzwerke, URL http: // Zimmerer/Literatur/DP_287.pdf. Letzter Besuch am
Künstliche Neuronale Netze
Inhalt (Biologische) Neuronale Netze Schwellenwertelemente Allgemein Neuronale Netze Mehrschichtiges Perzeptron Weitere Arten Neuronaler Netze 2 Neuronale Netze Bestehend aus vielen Neuronen(menschliches
MehrHannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
MehrWir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Übersicht Neuronale Netze Motivation Perzeptron Grundlagen für praktische Übungen
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrDatenorientierte SA. Aufbau und Grundlagen. Aufbau und Grundlagen. Aufbau und Grundlagen. Was sind neuronale Netze?
Datenorientierte SA Was sind neuronale Netze? Neuronale Netze: Grundlagen und Anwendungen Neuronale Netze bilden die Struktur eines Gehirns oder eines Nervensystems ab Andreas Rauscher 0651993 Damir Dudakovic
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?
MehrKünstliche Neuronale Netze
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung
MehrTechnische Universität Berlin Fakultät IV Elektrotechnik und Informatik. 8. Aufgabenblatt
Technische Universität Berlin Fakultät IV Elektrotechnik und Informatik Künstliche Intelligenz: Grundlagen und Anwendungen Albayrak, Fricke (AOT) Oer, Thiel (KI) Wintersemester 2014 / 2015 8. Aufgabenblatt
MehrPraktische Optimierung
Wintersemester 27/8 Praktische Optimierung (Vorlesung) Prof. Dr. Günter Rudolph Fakultät für Informatik Lehrstuhl für Algorithm Engineering Metamodellierung Inhalt Multilayer-Perceptron (MLP) Radiale Basisfunktionsnetze
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 20.07.2017 1 von 11 Überblick Künstliche Neuronale Netze Motivation Formales Modell Aktivierungsfunktionen
MehrGrundlagen zu neuronalen Netzen. Kristina Tesch
Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen
MehrDer Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze Reinhard Eck 1
Der Backpropagation-Algorithmus als Beispiel für Lernalgorithmen künstlicher neuronaler Netze 2.04.2006 Reinhard Eck Was reizt Informatiker an neuronalen Netzen? Wie funktionieren Gehirne höherer Lebewesen?
MehrMULTILAYER-PERZEPTRON
Einleitung MULTILAYER-PERZEPTRON Die Ausarbeitung befasst sich mit den Grundlagen von Multilayer-Perzeptronen, gibt ein Beispiel für deren Anwendung und zeigt eine Möglichkeit auf, sie zu trainieren. Dabei
MehrKünstliche Neuronale Netze
Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze
MehrLinear nichtseparable Probleme
Linear nichtseparable Probleme Mustererkennung und Klassifikation, Vorlesung No. 10 1 M. O. Franz 20.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
Mehrkurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Neuronale Netze Motivation Perzeptron Übersicht Multilayer Neural Networks Grundlagen
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training eines Künstlich Neuronalen Netzes (KNN) zur Approximation einer Kennlinie in JavaNNS 28.01.2008
Mehr(hoffentlich kurze) Einführung: Neuronale Netze. Dipl.-Inform. Martin Lösch. (0721) Dipl.-Inform.
(hoffentlich kurze) Einführung: martin.loesch@kit.edu (0721) 608 45944 Überblick Einführung Perzeptron Multi-layer Feedforward Neural Network MLNN in der Anwendung 2 EINFÜHRUNG 3 Gehirn des Menschen Vorbild
MehrRekurrente Neuronale Netze
Rekurrente Neuronale Netze Gregor Mitscha-Baude May 9, 2016 Motivation Standard neuronales Netz: Fixe Dimensionen von Input und Output! Motivation In viele Anwendungen variable Input/Output-Länge. Spracherkennung
MehrKapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017
10.1 Sommersemester 2017 Problemstellung Welche Gerade? Gegeben sind folgende Messungen: Masse (kg) 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Kraft (N) 1.6 2.2 3.2 3.0 4.9 5.7 7.1 7.3 8.1 Annahme: Es gibt eine Funktion
MehrNeuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
MehrWissensentdeckung in Datenbanken
Wissensentdeckung in Datenbanken Deep Learning (II) Nico Piatkowski und Uwe Ligges Informatik Künstliche Intelligenz 25.07.2017 1 von 14 Überblick Faltungsnetze Dropout Autoencoder Generative Adversarial
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrDer Sprung in die Zukunft! Einführung in neuronale Netzwerke
Der Sprung in die Zukunft! Einführung in neuronale Netzwerke Inhalt 1. Warum auf einmal doch? 2. Welche Einsatzgebiete gibt es? 3. Was sind neuronale Netze und wie funktionieren sie? 4. Wie lernen neuronale
MehrNeuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation
Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für
MehrNeuronale Netze Aufgaben 3
Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus
MehrPerzeptronen. Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004
Perzeptronen Katrin Dust, Felix Oppermann Universität Oldenburg, FK II - Department für Informatik Vortrag im Rahmen des Proseminars 2004 1/25 Gliederung Vorbilder Neuron McCulloch-Pitts-Netze Perzeptron
MehrPraktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider
Praktikum Computational Intelligence 2 Ulrich Lehmann, Johannes Brenig, Michael Schneider Versuch: Training des XOR-Problems mit einem Künstlichen Neuronalen Netz (KNN) in JavaNNS 11.04.2011 2_CI2_Deckblatt_XORbinaer_JNNS_2
MehrNeural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Backpropagation 3. Ausblick 2 Recap
MehrProseminar Machine Learning. Neuronale Netze: mehrschichtige Perzeptrone. Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger
Proseminar Machine Learning Neuronale Netze: mehrschichtige Perzeptrone Christina Schmiedl Betreuer: Christian Spieth, Andreas Dräger 27.Mai 2006 Inhaltsverzeichnis 1 Biologische Motivation 2 2 Neuronale
MehrMaschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014 Übersicht Stand der Kunst im Bilderverstehen: Klassifizieren und Suchen Was ist ein Bild in Rohform? Biologische
MehrLösungen zur letzten Stunde & Vorbereitung
Wiederholung und Vorbereitung: Lösungen zur letzten Stunde & Vorbereitung martin.loesch@kit.edu (0721) 608 45944 Besprechung XOR-Aufgabe Übersicht Besprechung 3-Klassen-Aufgabe Framework für Perzeptron-Lernen
MehrReinforcement Learning
Reinforcement Learning 1. Allgemein Reinforcement Learning 2. Neuronales Netz als Bewertungsfunktion 3. Neuronales Netz als Reinforcement Learning Nils-Olaf Bösch 1 Allgemein Reinforcement Learning Unterschied
MehrAutomatische Spracherkennung
Automatische Spracherkennung 3 Vertiefung: Drei wichtige Algorithmen Teil 3 Soweit vorhanden ist der jeweils englische Fachbegriff, so wie er in der Fachliteratur verwendet wird, in Klammern angegeben.
MehrWissensbasierte Systeme
Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten
MehrSeminar über Neuronale Netze und Maschinelles Lernen WS 06/07
Universität Regensburg Naturwissenschaftliche Informatik Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Cluster-Algorithmen II: Neural Gas Vortragender: Matthias Klein Gliederung Motivation:
MehrTeil III: Wissensrepräsentation und Inferenz. Nachtrag zu Kap.5: Neuronale Netze. w i,neu = w i,alt + x i * (Output soll - Output ist ) Delta-Regel
Einfaches Perzeptrn Delta-Regel Vrlesung Künstliche Intelligenz Wintersemester 2006/07 Teil III: Wissensrepräsentatin und Inferenz Nachtrag zu Kap.5: Neurnale Netze Beim Training werden die Beispiele dem
MehrObjekt Attributwerte Klassifizierung X Y
AUFGABE : Entscheidungsbäume Betrachten Sie das folgende Klassifizierungsproblem: bjekt Attributwerte Klassifizierung X Y A 3 B 2 3 + C 2 D 3 3 + E 2 2 + F 3 G H 4 3 + I 3 2 J 4 K 2 L 4 2 ) Bestimmen Sie
MehrNeuronale Netze (Konnektionismus)
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Daniel Göhring Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrWas sind Neuronale Netze?
Neuronale Netze Universität zu Köln SS 2010 Seminar: Künstliche Intelligenz II Dozent: Stephan Schwiebert Referenten: Aida Moradi, Anne Fleischer Datum: 23. 06. 2010 Was sind Neuronale Netze? ein Netzwerk
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrPerzeptronen. Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
Perzeptronen Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Perzeptronen 1 / 22 Gliederung 1 Schwellwert-Logik (MCCULLOCH-PITTS-Neuron)
MehrAnalyse komplexer Szenen mit Hilfe von Convolutional Neural Networks
Analyse komplexer Szenen mit Hilfe von Convolutional Anwendungen 1 Vitalij Stepanov HAW-Hamburg 24 November 2011 2 Inhalt Motivation Alternativen Problemstellung Anforderungen Lösungsansätze Zielsetzung
MehrAndreas Scherer. Neuronale Netze. Grundlagen und Anwendungen. vieweg
Andreas Scherer Neuronale Netze Grundlagen und Anwendungen vieweg Inhaltsverzeichnis Vorwort 1 1 Einführung 3 1.1 Was ist ein neuronales Netz? 3 1.2 Eigenschaften neuronaler Netze 5 1.2.1 Allgemeine Merkmale
MehrNeuronale Netze. Einführung i.d. Wissensverarbeitung 2 VO UE SS Institut für Signalverarbeitung und Sprachkommunikation
Neuronale Netze Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2013 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at Institut für
MehrKapitel LF: IV. IV. Neuronale Netze
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas LF: IV-39 Machine Learning c
MehrKNN für XOR-Funktion. 6. April 2009
KNN für XOR-Funktion G.Döben-Henisch Fachbereich Informatik und Ingenieurswissenschaften FH Frankfurt am Main University of Applied Sciences D-60318 Frankfurt am Main Germany Email: doeben at fb2.fh-frankfurt.de
Mehr6.4 Neuronale Netze zur Verarbeitung von Zeitreihen
6.4 Neuronale Netze zur Verarbeitung von Zeitreihen Aufgabe: Erlernen einer Zeitreihe x(t + 1) = f(x(t), x(t 1), x(t 2),...) Idee: Verzögerungskette am Eingang eines neuronalen Netzwerks, z.b. eines m-h-1
MehrAuch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt, hier ein kurzer Eindruck:
Diplomprüfung Informatik Kurs 1830 Neuronale Netze Prüfer: Prof. Dr. Helbig Beisitzer: Prodekan Prof. Dr. Hackstein Datum: 01.10.08 Note: 2,7 Auch wenn Prof. Helbig die Prüfung nicht mehr lange abnimmt,
MehrRekurrente / rückgekoppelte neuronale Netzwerke
Rekurrente / rückgekoppelte neuronale Netzwerke Forschungsseminar Deep Learning 2018 Universität Leipzig 12.01.2018 Vortragender: Andreas Haselhuhn Neuronale Netzwerke Neuron besteht aus: Eingängen Summenfunktion
MehrLineare Regression. Volker Tresp
Lineare Regression Volker Tresp 1 Die Lernmaschine: Das lineare Modell / ADALINE Wie beim Perzeptron wird zunächst die Aktivierungsfunktion gewichtete Summe der Eingangsgrößen x i berechnet zu h i = M
MehrEntwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion
Entwicklung einer Entscheidungssystematik für Data- Mining-Verfahren zur Erhöhung der Planungsgüte in der Produktion Vortrag Seminararbeit David Pogorzelski Aachen, 22.01.2015 Agenda 1 2 3 4 5 Ziel der
MehrTeil III: Wissensrepräsentation und Inferenz. Kap.5: Neuronale Netze
Vorlesung Künstliche Intelligenz Wintersemester 2008/09 Teil III: Wissensrepräsentation und Inferenz Kap.5: Neuronale Netze Dieses Kapitel basiert auf Material von Andreas Hotho Mehr Details sind in der
MehrNeuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien
in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???
Mehr12. Übung Künstliche Intelligenz Wintersemester 2006/2007
12. Übung Künstliche Intelligenz Wintersemester 2006/2007 1. Contraints und Heuristiken Prof. Dr. Gerd Stumme, Miranda Grahl Fachgebiet Wissensverarbeitung 09.02.2006, mgr@cs.uni-kassel.de a) Beschreibe
MehrUniversität des Saarlandes
Universität des Saarlandes FR 6.2 Informatik Prof. Dr. Kurt Mehlhorn Dr. Antonios Antoniadis André Nusser WiSe 2017/18 Übungen zu Ideen der Informatik http://www.mpi-inf.mpg.de/departments/algorithms-complexity/teaching/winter17/ideen/
MehrBACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON
BACKPROPAGATION & FEED-FORWARD DAS MULTILAYER PERZEPTRON EINFÜHRUNG IN KÜNSTLICHE NEURONALE NETZE Modul Leitung Technischer Datenschutz und Mediensicherheit Nils Tekampe Vortrag Jasmin Sunitsch Abgabe
MehrArtificial Intelligence. Was ist das? Was kann das?
Artificial Intelligence Was ist das? Was kann das? Olaf Erichsen Tech-Day Hamburg 13. Juni 2017 Sehen wir hier bereits Künstliche Intelligenz (AI)? Quelle: www.irobot.com 2017 Hierarchie der Buzzwords
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Sebastian Morr 4. Juni 2008 Worum geht es? Die Natur hat uns 3,7 Milliarden Jahre Forschungszeit voraus. Toby Simpson Vorbild: Strukturen des Gehirns Ziel: Lernfähige Künstliche
MehrInhalt. 8.1 Motivation. 8.2 Optimierung ohne Nebenbedingungen. 8.3 Optimierung unter Nebenbedingungen. 8.4 Lineare Programmierung
8. Optimierung Inhalt 8.1 Motivation 8.2 Optimierung ohne Nebenbedingungen 8.3 Optimierung unter Nebenbedingungen 8.4 Lineare Programmierung 8.5 Kombinatorische Optimierung 2 8.1 Motivation Viele Anwendungen
MehrSchwellenwertelemente. Rudolf Kruse Neuronale Netze 8
Schwellenwertelemente Rudolf Kruse Neuronale Netze 8 Schwellenwertelemente Ein Schwellenwertelement (Threshold Logic Unit, TLU) ist eine Verarbeitungseinheit für Zahlen mitneingängenx,...,x n und einem
MehrNeuronale Netze (Konnektionismus) Einführung in die KI. Beispiel-Aufgabe: Schrifterkennung. Biologisches Vorbild. Neuronale Netze.
Einführung in die KI Prof. Dr. sc. Hans-Dieter Burkhard Vorlesung (Konnektionismus) sind biologisch motiviert können diskrete, reell-wertige und Vektor-wertige Funktionen berechnen Informationsspeicherung
MehrIntelligente Algorithmen Einführung in die Technologie
Intelligente Algorithmen Einführung in die Technologie Dr. KIT Universität des Landes Baden-Württemberg und nationales Forschungszentrum in der Helmholtz-Gemeinschaft www.kit.edu Natürlich sprachliche
MehrNeuronale Netze mit mehreren Schichten
Neuronale Netze mit mehreren Schichten Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Neuronale Netze mit mehreren
MehrAdaptive Systeme. Neuronale Netze: Neuronen, Perzeptron und Adaline. Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Neuronale Netze: Neuronen, Perzeptron und Adaline Prof. Dr. rer. nat. Nikolaus Wulff Neuronale Netze Das (menschliche) Gehirn ist ein Musterbeispiel für ein adaptives System, dass sich
MehrArtificial Intelligence. Deep Learning Neuronale Netze
Artificial Intelligence Deep Learning Neuronale Netze REVOLUTION Lernende Maschinen Mit lernenden Maschinen/Deep Learning erleben wir aktuell eine Revolution in der Informationsverarbeitung. Neue Methoden
MehrNeuronale Netze (I) Biologisches Neuronales Netz
Neuronale Netze (I) Biologisches Neuronales Netz Im menschlichen Gehirn ist ein Neuron mit bis zu 20.000 anderen Neuronen verbunden. Milliarden von Neuronen beteiligen sich simultan an der Verarbeitung
MehrThema 3: Radiale Basisfunktionen und RBF- Netze
Proseminar: Machine Learning 10 Juli 2006 Thema 3: Radiale Basisfunktionen und RBF- Netze Barbara Rakitsch Zusammenfassung: Aufgabe dieses Vortrags war es, die Grundlagen der RBF-Netze darzustellen 1 Einführung
MehrNeuronale Netze zur Prognose und Disposition im Handel
Sven F. Crone Neuronale Netze zur Prognose und Disposition im Handel Mit einem Geleitwort von Prof. Dr. Dr. h. c. Dieter B. Preßmar GABLER RESEARCH Inhalt XI Inhaltsverzeichnis Abbildungsverzeichnis Tabellenverzeichnis
MehrNeuro-Info Notizen. Markus Klemm.net WS 2016/2017. Inhaltsverzeichnis. 1 Hebbsche Lernregel. 1 Hebbsche Lernregel Fälle Lernrate...
Neuro-Info Notizen Marus Klemm.net WS 6/7 Inhaltsverzeichnis Hebbsche Lernregel. Fälle........................................ Lernrate..................................... Neural Gas. Algorithmus.....................................
MehrNeuronale Neize. Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke ADDISON-WESLEY PUBLISHING COMPANY
Helge Ritter/Thomas Marrineiz/Klaus Schulten Neuronale Neize Eine Einfuhrung in die Neuroinfomnatik selbstorganisierender Netzwerke Technische Hochschule Darmstadt FACHBEREICH INFORMATIK B! B k±ojjtlus
MehrKapitel LF: IV. Multilayer-Perzeptrons und Backpropagation. Multilayer-Perzeptrons und Backpropagation. LF: IV Machine Learning c STEIN 2005-06
Kapitel LF: IV IV. Neuronale Netze Perzeptron-Lernalgorithmus Gradientenabstiegmethode Multilayer-Perzeptrons und ackpropagation Self-Organizing Feature Maps Neuronales Gas 39 Multilayer-Perzeptrons und
Mehr11. Neuronale Netze 1
11. Neuronale Netze 1 Einführung (1) Ein künstliches neuronales Netz ist vom Konzept her eine Realisierung von miteinander verschalteten Grundbausteinen, sogenannter Neuronen, welche in rudimentärer Form
MehrKlassifikation linear separierbarer Probleme
Klassifikation linear separierbarer Probleme Lehrstuhl für Künstliche Intelligenz Institut für Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg (Lehrstuhl Informatik 8) Klassifikation linear
MehrModellierung mit künstlicher Intelligenz
Samuel Kost kosts@mailbox.tu-freiberg.de Institut für Numerische Mathematik und Optimierung Modellierung mit künstlicher Intelligenz Ein Überblick über existierende Methoden des maschinellen Lernens 13.
MehrKNN-Methode zur Einschätzung von Veränderungen des Salzgehaltes in Ästuaren
KNN-Methode zur Einschätzung von Veränderungen des Salzgehaltes in Ästuaren Holger Rahlf; Reiner Schubert www.baw.de Künstlich Neuronales Netz Gliederung Einleitung Grundlagen Möglichkeit und Grenzen Anwendung
MehrMustererkennung und Klassifikation
Mustererkennung und Klassifikation WS 2007/2008 Fakultät Informatik Technische Informatik Prof. Dr. Matthias Franz mfranz@htwg-konstanz.de www-home.htwg-konstanz.de/~mfranz/heim.html Grundlagen Überblick
Mehr5. Lernregeln für neuronale Netze
5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1
MehrSynthese Eingebetteter Systeme. Übung 6
12 Synthese Eingebetteter Systeme Sommersemester 2011 Übung 6 Michael Engel Informatik 12 TU Dortmund 2011/07/15 Übung 6 Evolutionäre Algorithmen Simulated Annealing - 2 - Erklären Sie folgende Begriffe
MehrTraining von RBF-Netzen. Rudolf Kruse Neuronale Netze 134
Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches
MehrSemester-Fahrplan 1 / 26
Semester-Fahrplan 1 / 26 Hydroinformatik I Einführung in die Hydrologische Modellierung Künstliche Neuronale Netzwerke Olaf Kolditz *Helmholtz Centre for Environmental Research UFZ 1 Technische Universität
Mehr6 Differentialgleichungen
93 6 Differentialgleichungen Eine Differentialgleichung ist eine Gleichung, in der eine unbekannte Funktion y = y(x) und Ableitungen (die erste oder auch höhere) von y vorkommen. Lösungen einer Differentialgleichung
MehrMaschinelles Lernen und Neural Computation
und Neural Computation 840042, VO, 1 Std WS 2015/16 Georg Dorffner Inst f Artificial Intelligence Zentrum für Med Statistik, Informatik und Intelligente Systeme Medizinische Universität Wien meduniienacat/user/georgdorffner/lv/mlnchtml
MehrTechnische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Betreuer: Dr. Florian
Mehrin der Versorgungstechnik? Prof. Dr. Michael Krödel
Künstliche Intelligenz (KI) in der Versorgungstechnik? g Was ist KI? Künstliche Intelligenz (KI; engl. artificial i intelligence, AI) ist ein Teilgebiet der Informatik, das sich mit der Automatisierung
Mehr7. Vorlesung Neuronale Netze
Soft Control (AT 3, RMA) 7. Vorlesung Neuronale Netze Grundlagen 7. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter" Systeme 2. Wissensrepräsentation
MehrIntelligente Systeme. Einführung. Christian Moewes
Intelligente Systeme Einführung Prof. Dr. Rudolf Kruse Christian Moewes Georg Ruß {kruse,russ,cmoewes}@iws.cs.uni-magdeburg.de Arbeitsgruppe Computational Intelligence Institut für Wissens- und Sprachverarbeitung
MehrAbb. 5.10: Funktion und Tangentialebene im Punkt ( ) ( ) ( ) 3.) Die Zahlenwerte und in Gleichung (Def. 5.11) berechnen sich durch ( ) ( )
Abb. 5.0: Funktion und Tangentialebene im Punkt Aus der totalen Differenzierbarkeit folgt sowohl die partielle Differenzierbarkeit als auch die Stetigkeit von : Satz 5.2: Folgerungen der totalen Differenzierbarkeit
MehrTensorFlow Open-Source Bibliothek für maschinelles Lernen. Matthias Täschner Seminar Deep Learning WS1718 Abteilung Datenbanken Universität Leipzig
TensorFlow Open-Source Bibliothek für maschinelles Lernen Seminar Deep Learning WS1718 Abteilung Datenbanken Universität Leipzig Motivation Renaissance bei ML und KNN Forschung bei DNN fortgeschrittene
MehrMartin Stetter WS 03/04, 2 SWS. VL: Dienstags 8:30-10 Uhr
Statistische und neuronale Lernverfahren Martin Stetter WS 03/04, 2 SWS VL: Dienstags 8:30-0 Uhr PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren Behandelte Themen 0. Motivation
MehrNeuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)
29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein
MehrLogistische Regression
Logistische Regression Christian Herta August, 2013 1 von 45 Christian Herta Logistische Regression Lernziele Logistische Regression Konzepte des maschinellen Lernens (insb. der Klassikation) Entscheidungsgrenze,
MehrMann-Whitney-U-Test: Tiefenstufen
Mann-Whitney-U-Test: Tiefenstufen Variable Al Ca Cl DOC Fe K Mg Mn Na NO3 ph Si SO4 El. Leitfähigkeit Mann-Whitney U-Test (Piezometer.sta) Nach Var.: Tiefe Markierte Tests signifikant ab p
Mehr