Softwareprojektpraktikum Maschinelle Übersetzung Verbesserungen für Neuronale Übersetzungssysteme
|
|
|
- Lisa Hella Färber
- vor 5 Jahren
- Abrufe
Transkript
1 Softwareprojektpraktikum Maschinelle Übersetzung Verbesserungen für Neuronale Übersetzungssysteme Julian Schamper, Jan Rosendahl 04. Juli 2018 Human Language Technology and Pattern Recognition Computer Science Department, RWTH Aachen University J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 1 / Juli 2018
2 1. Aufgabe 6 2. Verbesserungsvorschläge J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 2 / Juli 2018
3 Wesentliche Unterschiede zwischen euren RNN-Systemen und den state-of-the-art Systemen Datenmenge. Bei uns: 2M - 50M parallele Sätze Größe der Systeme (Tiefe, Layergröße,... ) Attention Layer Zwischen Encoder und Decoder [Bahdanau & Cho + 14]... und zusätzlich im Encoder und Decoder [Vaswani & Shazeer + 17]*... und zusätzlich im Encoder [Chen & Firat + 18]* Extrem viel finetuning der Parameter *Self-Attention Layer J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 3 / Juli 2018
4 Section 1 Aufgabe 6 J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 4 / Juli 2018
5 Nächste Aufgabe Ziel: Ein möglichst gutes Übersetzungssystem für den bisher bearbeiteten Task (Übersetzung von Bildbeschreibungen). Einschränkung Trainingsdaten dürfen nicht erweitert werden. Alle Arbeitsschritte müssen automatisiert durchgeführt werden. J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 5 / Juli 2018
6 Section 2 Verbesserungsvorschläge J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 6 / Juli 2018
7 Architektur Architektur modifizieren Attention Layer einfügen Weitere Layer hinzufügen Bidirektionaler Encoder Fullyconnected zwischen Encoderausgabe und Decoder Tiefe im Decoder erhöhen... J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 7 / Juli 2018
8 Dropout [Hinton & Srivastava + 12] Idee: ρ Prozent aller (hidden) Nodes werden disabled Input Hidden Layer Output J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 8 / Juli 2018
9 Dropout [Hinton & Srivastava + 12] Idee: ρ Prozent aller (hidden) Nodes werden disabled Input Hidden Layer Output J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 8 / Juli 2018
10 Dropout [Hinton & Srivastava + 12] Idee: ρ Prozent aller (hidden) Nodes werden disabled Knoten werden für jeden Updateschritt neu ausgewählt Input Hidden Layer Output J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 8 / Juli 2018
11 Dropout [Hinton & Srivastava + 12] Idee: ρ Prozent aller (hidden) Nodes werden disabled Knoten werden für jeden Updateschritt neu ausgewählt Reskalierung benötigt: ĥ := 1 1 ρ d h { 0 mit Wahrscheinlichkeit ρ d := 1 sonst Input Hidden Layer Output wird nur im Training verwendet Sonderfall: Rekurrente Netzwerke gleicher Dropout in jedem Zeitschritt [Gal & Ghahramani 16] Ziel: Overfitting vermeiden J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 8 / Juli 2018
12 Systemkombinationen Ensemble Idee: Kombiniere den Score verschiedener Übersetzungssysteme (z.b. durch Addition ggf. mit unterschiedlicher Gewichtung) in der Suche. Modelle sind verschiedene Checkpoints eines Trainingsdurchlaufs (checkpoint ensembling). das Ergebnis verschiedener Trainingsdurchläufe. Eigenschaften Vorteil: Hilft in der Praxis fast immer wenn mehrere gleich gute Systeme vorhanden sind Alle Systeme an Hypothesengenerierung beteiligt Nachteil: Aufwendig im Training da mehrere Systeme trainiert werden müssen Funktioniert nur wenn Systeme kompatibel sind (Target-Vokabular,... ) J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 9 / Juli 2018
13 Systemkombinationen Reranking Idee: Erzeuge mit einem Grundmodell eine n-best Liste und score alle Kandidaten mit verschiedenen Systemen. Beispiele: Right-to-left rescoring Language Modell rescoring... Eigenschaften Vorteil: Rescoring Modelle haben Zugriff auf volle Hypothese Nachteil: Rescoring Modelle haben keinen Einfluss auf n-best Listenerstellung J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 10 / Juli 2018
14 Hyperparameteranalyse Hyperparameteranalyse Wähle unterschiedliche Werte für einen Hyperparameter und betrachte die Entwicklung der BLEU Werte wenn nur dieser Wert geändert wird. BPE: Anzahl Merge OP joint vs individual vocab Vocab threshold... Learningrate GRU oder LSTMs Aktivierungsfunktion Größe der Layer, Embedding,... Anzahl der Layer, Residual connections LayerNorm [Ba & Kiros + 16] (Alternative zu BatchNorm)... Beispiele aus der Praxis [Britz & Goldie + 17], [Greff & Srivastava + 17] J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 11 / Juli 2018
15 Hyperparameteranalyse Hyperparameteranalyse Problem: Wenn k Hyperparameter mit n möglichen Werten getestet werden sollen gibt es n k mögliche Belegungen Lösung: Variiere jeweils nur einen Hyperparameter und wähle bestmöglichen Wert. Wähle neue Parameterbelegungen aus den k individuellen Optimierungsvorgängen. J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 12 / Juli 2018
16 Hyperparameteranalyse Anmerkungen zur Aufgabe Hyperparameter einzeln testen. (Es gibt begründete Ausnahmen, z.b. Learningrate und Optimizer) Wenn ein Trend feststellbar ist müssen ggf. weitere Experimente durchgeführt werden J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 13 / Juli 2018
17 Fragen? J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 14 / Juli 2018
18 Literature I J.L. Ba, J.R. Kiros, G.E. Hinton: Layer normalization. arxiv preprint arxiv: , Vol., D. Bahdanau, K. Cho, Y. Bengio: Neural Machine Translation by Jointly Learning to Align and Translate. CoRR, Vol. abs/ , D. Britz, A. Goldie, M.T. Luong, Q. Le: Massive exploration of neural machine translation architectures. arxiv preprint arxiv: , Vol., M.X. Chen, O. Firat, A. Bapna, M. Johnson, W. Macherey, G. Foster, L. Jones, N. Parmar, M. Schuster, Z. Chen et al.: The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation. arxiv preprint arxiv: , Vol., J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 15 / Juli 2018
19 Literature II Y. Gal, Z. Ghahramani: A theoretically grounded application of dropout in recurrent neural networks. In Advances in neural information processing systems, pp , K. Greff, R.K. Srivastava, J. Koutník, B.R. Steunebrink, J. Schmidhuber: LSTM: A search space odyssey. IEEE transactions on neural networks and learning systems, Vol. 28, No. 10, pp , G.E. Hinton, N. Srivastava, A. Krizhevsky, I. Sutskever, R. Salakhutdinov: Improving neural networks by preventing co-adaptation of feature detectors. CoRR, Vol. abs/ , J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 16 / Juli 2018
20 Literature III A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.N. Gomez, Ł. Kaiser, I. Polosukhin: Attention is all you need. In Advances in Neural Information Processing Systems, pp , J. Schamper, J. Rosendahl: Praktikum Maschinelle Übersetzung 17 / Juli 2018
Seminar: Maschinelles Lernen und Deep Learning
Seminar: Maschinelles Lernen und Deep Learning Sommersemester 2018 Prof. Dr. Xiaoyi Jiang, Sören Klemm, Aaron Scherzinger Institut für Informatik, Arbeitsgruppe Pattern Recognition and Image Analysis (PRIA)
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 06 Julia Kreutzer 13. Dezember 2016 Institut für Computerlinguistik, Heidelberg 1 Abbildung 1: Droid-Life Artikel vom 15.11.16 2 Overview
Rekurrente Neuronale Netze
Rekurrente Neuronale Netze Gregor Mitscha-Baude May 9, 2016 Motivation Standard neuronales Netz: Fixe Dimensionen von Input und Output! Motivation In viele Anwendungen variable Input/Output-Länge. Spracherkennung
Softwareprojektpraktikum Maschinelle Übersetzung Automatische Evaluation
Softwareprojektpraktikum Maschinelle Übersetzung Automatische Evaluation Julian Schamper, Jan Rosendahl mtprak18@i6.informatik.rwth-aachen.de 11. April 2018 Human Language Technology and Pattern Recognition
Softwareprojektpraktikum Maschinelle Übersetzung Grundlagen Neuronaler Netze und mxnet
Softwareprojektpraktikum Maschinelle Übersetzung Grundlagen Neuronaler Netze und mxnet Julian Schamper, Jan Rosendahl mtprak18@i6.informatik.rwth-aachen.de 2. Mai 2018 Human Language Technology and Pattern
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl max.bleu@i6.informatik.rwth-aachen.de Vorbesprechung 5. Aufgabe 22. Juni 2017 Human Language Technology
Softwareprojektpraktikum Maschinelle Übersetzung Feedforward Modell und Praktische Anmerkungen (zum Training und mxnet)
Softwareprojektpraktikum Maschinelle Übersetzung Feedforward Modell und Praktische Anmerkungen (zum Training und mxnet) Julian Schamper, Jan Rosendahl mtprak18@i6.informatik.rwth-aachen.de 9. Mai 2018
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 01 Julia Kreutzer 25. Oktober 2016 Institut für Computerlinguistik, Heidelberg 1 Übersicht 1. Deep Learning 2. Neuronale Netze 3. Vom Perceptron
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 05 Julia Kreutzer 29. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Recurrent Neural Networks 3. LSTM
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 00: Organisatorisches Julia Kreutzer & Julian Hitschler 25. Oktober 2016 Institut für Computerlinguistik, Heidelberg 1 Überblick 1. Vorstellung
Learning Phrase Representations using RNN Encoder Decoder for Statistical Machine Translation. Yupeng Guo
Learning Phrase Representations using RNN Encoder Decoder for Statistical Machine Translation Yupeng Guo 1 Agenda Introduction RNN Encoder-Decoder - Recurrent Neural Networks - RNN Encoder Decoder - Hidden
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl {peter,guta,schamper}@i6.informatik.rwth-aachen.de Vorbesprechung 3. Aufgabe 19. Mai 2017 Human Language
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl {peter,guta,rosendahl}@i6.informatik.rwth-aachen.de Vorbesprechung 4. Aufgabe 2. Juni 2017 Human Language
Corpus based Identification of Text Segments. Thomas Ebert Betreuer: MSc. Martin Schmitt
Corpus based Identification of Text Segments Thomas Ebert Betreuer: MSc. Martin Schmitt Übersicht 1. Motivation 2. Ziel der Arbeit 3. Vorgehen 4. Probleme 5. Evaluierung 6. Erkenntnisse und offene Fragen
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta, Jan Rosendahl max.bleu@i6.informatik.rwth-aachen.de 5. Mai 2017 Human Language Technology and Pattern Recognition Lehrstuhl
Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2. Tom Schelthoff
Weitere Untersuchungen hinsichtlich der Anwendung von KNN für Solvency 2 Tom Schelthoff 30.11.2018 Inhaltsverzeichnis Deep Learning Seed-Stabilität Regularisierung Early Stopping Dropout Batch Normalization
Einführung in die Computerlinguistik
Einführung in die Computerlinguistik Neuronale Netze WS 2014/2015 Vera Demberg Neuronale Netze Was ist das? Einer der größten Fortschritte in der Sprachverarbeitung und Bildverarbeitung der letzten Jahre:
Einführung in NLP mit Deep Learning
Einführung in NLP mit Deep Learning Hans-Peter Zorn Minds mastering Machines, Köln, 26.4.2018 NLP ist auf einmal überall Zusammenfassung aggregated reviews Dokumentklassifikation Übersetzung Dialogsysteme
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan Rosendahl, Jan-Thorsten Peter, Andreas Guta max.bleu@i6.informatik.rwth-aachen.de Vorbesprechung 6. Aufgabe 14. Juli 2017 Human Language Technology
Neural Networks. mit. Tools für Computerlinguist/innen
Neural Networks mit Tools für Computerlinguist/innen WS 17 / 18 Anwendungsbeispiele Anwendungsbeispiele Anwendungsbeispiele Anwendungsbeispiele WaveNet ist ein Voice Synthesizer und ein Projekt von Google
Image: (CC-0) Künstliche Intelligenz & Bildung Nicht nur für ExpertInnen
Image: https://pixabay.com/de/netz-netzwerk-programmierung-3706562/ (CC-0) Künstliche Intelligenz & Bildung Nicht nur für ExpertInnen Künstliche Intelligenz Was ist das überhaupt? Was kann sie (nicht)?
Neuronale Netze. Automatische Hinderniserkennung Paul Fritsche
1 Neuronale Netze Automatische Hinderniserkennung 2 Hintergrund Grundlagen Tensorflow Keras Fazit 3 TTBN 4 TTBN 5 TTBN 6 TTBN 7 Biological Neural Network By BruceBlaus - Own work, CC BY 3.0 8 Artificial
Der Sprung in die Zukunft! Einführung in neuronale Netzwerke
Der Sprung in die Zukunft! Einführung in neuronale Netzwerke Inhalt 1. Warum auf einmal doch? 2. Welche Einsatzgebiete gibt es? 3. Was sind neuronale Netze und wie funktionieren sie? 4. Wie lernen neuronale
DEEP LEARNING MACHINE LEARNING WITH DEEP NEURAL NETWORKS 8. NOVEMBER 2016, SEBASTIAN LEMBCKE
DEEP LEARNING MACHINE LEARNING WITH DEEP NEURAL NETWORKS 8. NOVEMBER 2016, SEBASTIAN LEMBCKE INHALT Einführung Künstliche neuronale Netze Die Natur als Vorbild Mathematisches Modell Optimierung Deep Learning
Sharon Goldwater & David McClosky. Sarah Hartmann Advanced Topics in Statistical Machine Translation
Sharon Goldwater & David McClosky Sarah Hartmann 13.01.2015 Advanced Topics in Statistical Machine Translation Einführung Modelle Experimente Diskussion 2 Einführung Das Problem Der Lösungsvorschlag Modelle
6.2 Feed-Forward Netze
6.2 Feed-Forward Netze Wir haben gesehen, dass wir mit neuronalen Netzen bestehend aus einer oder mehreren Schichten von Perzeptren beispielsweise logische Funktionen darstellen können Nun betrachten wir
Sprachtechnologien und maschinelle Übersetzung heute und morgen eine Einführung Martin Kappus (ZHAW)
Martin Kappus (ZHAW) Ablauf: Warum sprechen wir heute über maschinelle Übersetzung? Geschichte und Ansätze Eingabe-/Ausgabemodi und Anwendungen 2 WARUM SPRECHEN WIR HEUTE ÜBER MASCHINELLE ÜBERSETZUNG?
Theoretische Informatik 1
Theoretische Informatik 1 Boltzmann Maschine David Kappel Institut für Grundlagen der Informationsverarbeitung TU Graz SS 2014 Übersicht Boltzmann Maschine Neuronale Netzwerke Die Boltzmann Maschine Gibbs
Wortdekodierung. Vorlesungsunterlagen Speech Communication 2, SS Franz Pernkopf/Erhard Rank
Wortdekodierung Vorlesungsunterlagen Speech Communication 2, SS 2004 Franz Pernkopf/Erhard Rank Institute of Signal Processing and Speech Communication University of Technology Graz Inffeldgasse 16c, 8010
Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung , Dr.-Ing. Steffen Herbort, A.R.T. GmbH
Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung 26.10.2016, TP 2: Arbeiten von A.R.T. TP2: Tracking und Umfelderkennung Markerloses Tracking texturierte Objekte Umfelderkennung
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Übungssitzung 1: Organisation und Orientierung Julian Hitschler ICL, Universität Heidelberg, WiSe 2016/17 27.10.2016 1 / 1 Inhalt Vorstellung Organisatorisches
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 02 Julia Kreutzer 8. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Backpropagation 3. Ausblick 2 Recap
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 03 Julia Kreutzer 15. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Metaparameter 3. In der Praxis 4.
Rekurrente / rückgekoppelte neuronale Netzwerke
Rekurrente / rückgekoppelte neuronale Netzwerke Forschungsseminar Deep Learning 2018 Universität Leipzig 12.01.2018 Vortragender: Andreas Haselhuhn Neuronale Netzwerke Neuron besteht aus: Eingängen Summenfunktion
Neuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
Dreidimensionale Objektklassifizierung mithilfe der Convolutional Neuronal Networks. Master Grundseminar WiSe 2014/2015 Victoria Bibaeva
Dreidimensionale Objektklassifizierung mithilfe der Convolutional Neuronal Networks Master Grundseminar WiSe 2014/2015 Victoria Bibaeva Inhalte Einführung Convolutional Neuronal Networks (Faltungsnetzwerke)
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Thorsten Peter, Andreas Guta {peter,guta}@i6.informatik.rwth-aachen.de Vorbesprechung 4. Aufgabe 19. Mai 2015 Human Language Technology and Pattern
Grundlagen zu neuronalen Netzen. Kristina Tesch
Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen
Handout zum Vortrag: Google s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
Handout zum Vortrag: Google s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation Oliver Schmitz November 26, 2018 Contents 1 Einleitung 2 2 Statistical Machine Translation
Universität Leipzig. Fakultät für Mathematik und Informatik. Forschungsseminar Deep Learning. Prof. Dr. Erhard Rahm. Wintersemester 2017/18
Universität Leipzig Fakultät für Mathematik und Informatik Forschungsseminar Deep Learning Prof. Dr. Erhard Rahm Wintersemester 2017/18 Rekurrente / rückgekoppelte neuronale Netze Hausarbeit Vorgelegt
Natural language processing
Natural language processing Guangyu Ge Betreuer: Tobias 29.01.2018 GLIEDERUNG 1. Einführung 2. Anwendungsbereiche 3. Verfahren bei NLP 4. Zusammenfassung ZIELE VON KÜNSTLICHER INTELLIGENZ Quelle: https://cdn-images-1.medium.com/max/800/0*y707xutx3zmvjkxx.png
Softwareprojektpraktikum Maschinelle Übersetzung
Softwareprojektpraktikum Maschinelle Übersetzung Jan-Throsten Peter, Andreas Guta {peter,guta}@i6.informatik.rwth-aachen.de Vorbesprechung 3. Aufgabe 6. Mai 2014 Human Language Technology and Pattern Recognition
Diskriminatives syntaktisches Reranking für SMT
Diskriminatives syntaktisches Reranking für SMT Fortgeschrittene Themen der statistischen maschinellen Übersetzung Janina Nikolic 2 Agenda Problem: Ranking des SMT Systems Lösung: Reranking-Modell Nutzung
Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten
Automatische Erkennung und Klassifikation von Körperhaltungen und Aktivitäten Dipl.-Ing. Daniel Tantinger Fraunhofer Institut für Integrierte Schaltungen IIS, Erlangen, Deutschland Automatische Erkennung
Neural Networks: Architectures and Applications for NLP
Neural Networks: Architectures and Applications for NLP Session 04 Julia Kreutzer 22. November 2016 Institut für Computerlinguistik, Heidelberg 1 Overview 1. Recap 2. Word Embeddings 3. Convolutional Neural
NLP-MACHINE TRANSLATION. Forschungsseminar Deep Learning LEARNING PHRASE REPRESENTATIONS USING RNN ENCODER DECODER FOR STATISTICAL MACHINE TRANSLATION
Forschungsseminar Deep Learning WS 2017/2018 NLP-MACHINE TRANSLATION LEARNING PHRASE REPRESENTATIONS USING RNN ENCODER DECODER FOR STATISTICAL MACHINE TRANSLATION Yupeng Guo Betreuerin: Ying-Chi Lin INSTITUT
TensorFlow Open-Source Bibliothek für maschinelles Lernen. Matthias Täschner Seminar Deep Learning WS1718 Abteilung Datenbanken Universität Leipzig
TensorFlow Open-Source Bibliothek für maschinelles Lernen Seminar Deep Learning WS1718 Abteilung Datenbanken Universität Leipzig Motivation Renaissance bei ML und KNN Forschung bei DNN fortgeschrittene
Scalable Deep Learning. Big Data, NLP, Machine Perception
Scalable Deep Learning Big Data, NLP, Machine Perception 2 Facebook: Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour (2017) Yang You, Zhao Zhang, Cho-Jui Hsieh, James Demmel, Kurt Keutzer: ImageNet
Visuelle Bildsuche und Bildnavigation. Prof. Dr. Kai Uwe Barthel
Visuelle Bildsuche und Bildnavigation Prof. Dr. Kai Uwe Barthel Übersicht Probleme der Bildsuche Textbasierte Bildsuche Visuelle (Low-Level-)Bildsuche Fusion der Suchprinzipien Automatisches Bildverstehen
Marina Sedinkina Folien von Benjamin Roth Planen (CIS LMU andmünchen) Evaluieren von Machine Learning Experimenten 1 / 38
Planen and Evaluieren von Machine Learning Eperimenten Marina Sedinkina Folien von Benjamin Roth CIS LMU München Evaluieren von Machine Learning Eperimenten 1 / 38 Übersicht 1 Entwickeln von maschinellen
Kreuzworträtsel PROVERB: Crossword solver Fabian Walke
Kreuzworträtsel PROVERB: Crossword solver Fabian Walke 30. Mai 2010 Fachbereich 03 Institut für Sportwissenschaft Fabian Walke 1 Gliederung 1. Problemaufriss/Einleitung 2. Wie lösen die Entwickler die
Klassifikation von Multidimensionalen Zeitreihen mittels Deep Learning
Master Informatik - Hauptseminar Department Informatik Klassifikation von Multidimensionalen Zeitreihen mittels Deep Learning Manuel Meyer Master Hauptseminar SS 2018 Betreuender Professor: Prof. Dr.-Ing.
Validation Model Selection Kreuz-Validierung Handlungsanweisungen. Validation. Oktober, von 20 Validation
Validation Oktober, 2013 1 von 20 Validation Lernziele Konzepte des maschinellen Lernens Validierungsdaten Model Selection Kreuz-Validierung (Cross Validation) 2 von 20 Validation Outline 1 Validation
Kann SAS Ihre Handschrift lesen? Machine Learning am Beispiel von Stacked Denoising Autoencoders
Kann SAS Ihre Handschrift lesen? Machine Learning am Beispiel von Stacked Denoising Autoencoders Gerhard Svolba SAS Austria Mariahilfer Straße 116 A-1070 Wien Sastools.by.gerhard@gmx.net Zusammenfassung
Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
Softwareprojektpraktikum Maschinelle Übersetzung Kurze Einführung in Python
Softwareprojektpraktikum Maschinelle Übersetzung Kurze Einführung in Python Julian Schamper, Jan Rosendahl mtprak18@i6.informatik.rwth-aachen.de 11. April 2018 Human Language Technology and Pattern Recognition
Deep Learning Prof. Dr. E. Rahm und Mitarbeiter
Deep Learning Prof. Dr. E. Rahm und Mitarbeiter Seminar, WS 2017/18 Big Data Analyse-Pipeline Dateninte -gration/ Anreicherung Datenextraktion / Cleaning Datenbeschaffung Datenanalyse Interpretation Volume
Robust Named Entity Recognition (NER) in Idiosyncratic Domains. Eine automatische Identifikation und Klassifikation von Eigennamen
Robust Named Entity Recognition (NER) in Idiosyncratic Domains Eine automatische Identifikation und Klassifikation von Eigennamen Gliederung 1 Einführung 2 Ein neues Neuronales Netzwerk 3 Datexis 4 Evaluation
Predicting the duration of disruptions in the SBB railway network with RNN
Gabriel Krummenacher Data Science Zühlke Engineering AG Beat Wettstein Research & Innovation SBB AG Predicting the duration of disruptions in the SBB railway network with RNN Predicting disruptions in
Reinforcement learning
Reinforcement learning Erfolgsgeschichten... Quelle: twitter.com/ai memes Q-Learning als Art von Reinforcement learning Paul Kahlmeyer February 5, 2019 1 Einführung 2 Q-Learning Begriffe Algorithmus 3
Early detection of students at risk Predicting student dropouts using administrative data and machine learning methods
Early detection of students at risk Predicting student dropouts using administrative data and machine learning methods Johannes Berens, Simon Oster, Kerstin Schneider, Julian Burghoff DeGEval 2018 Dresden
Deep Blue. Hendrik Baier
Deep Blue Hendrik Baier Themen Matches Deep Blue Kasparov 1996/97 Faktoren von Deep Blues Erfolg Systemarchitektur Search Extensions Evaluationsfunktion Extended Book Vergleichstraining der Evaluationsfunktion
Analyse komplexer Szenen mit Hilfe von Convolutional Neural Networks
Analyse komplexer Szenen mit Hilfe von Convolutional Anwendungen 1 Vitalij Stepanov HAW-Hamburg 24 November 2011 2 Inhalt Motivation Alternativen Problemstellung Anforderungen Lösungsansätze Zielsetzung
kurze Wiederholung der letzten Stunde: Neuronale Netze Dipl.-Inform. Martin Lösch (0721) Dipl.-Inform.
kurze Wiederholung der letzten Stunde: Neuronale Netze martin.loesch@kit.edu (0721) 608 45944 Labor Wissensrepräsentation Aufgaben der letzten Stunde Übersicht Neuronale Netze Motivation Perzeptron Multilayer
Object Recognition with Convolutional Neural Networks
Object Recognition with Convolutional Neural Networks Michael Ziegler Seminar KI: gestern, heute, morgen Angewandte Informatik, Universität Bamberg Zusammenfassung. In dieser Arbeit wird auf Objekterkennung
Klassifikation von Multidimensionale Zeitreihen mit Hilfe von Deep Learning
Master Informatik - Grundseminar Klassifikation von Multidimensionale Zeitreihen mit Hilfe von Deep Learning Manuel Meyer Master Grundseminar WS 2014 / 2015 Betreuender Professor: Prof. Dr.-Ing. Andreas
Deep Learning für Automatische Dokumentanalyse
Deep Learning für Automatische Dokumentanalyse apl. Prof. Marcus Liwicki DIVA Group, University of Fribourg MindGarage, University of Kaiserslautern marcus.liwicki@unifr.ch www.mindgarage.de Können Sie
Entwicklung einer KI für Skat. Hauptseminar Erwin Lang
Entwicklung einer KI für Skat Hauptseminar Erwin Lang Inhalt Skat Forschung Eigene Arbeit Risikoanalyse Skat Entwickelte sich Anfang des 19. Jahrhunderts Kartenspiel mit Blatt aus 32 Karten 3 Spieler Trick-taking
Maschinelles Lernen: Neuronale Netze. Ideen der Informatik Kurt Mehlhorn
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn 16. Januar 2014, überarbeitet am 20. Januar 2017 Übersicht Stand der Kunst: Bilderverstehen, Go spielen Was ist ein Bild in Rohform?
Machine Translation. Hermann Ney! RWTH%Aachen%University% Aachen,%Germany%
Machine Translation Hermann Ney! RWTH%Aachen%University% Aachen,%Germany% task definition: input: text (written language) Teams in Machine Translation source language target language input: speech (spoken
Geist im Computer? Vortrag in der Reihe Kortizes Nürnberg, 2. April Christoph von der Malsburg. Frankfurt Institute for Advanced Studies
Geist im Computer? VON KÜNSTLICHER INTELLIGENZ ZU AUTONOMEN ORGANISMEN Vortrag in der Reihe Kortizes Nürnberg, 2. April 2019 Christoph von der Malsburg Frankfurt Institute for Advanced Studies Malsburg@fias.uni-frankfurt.de
Neuronale Netze Aufgaben 3
Neuronale Netze Aufgaben 3 martin.loesch@kit.edu (0721) 608 45944 MLNN IN FLOOD3 2 Multi Layer Neural Network (MLNN) Netzaufbau: mehrere versteckte (innere) Schichten Lernverfahren: Backpropagation-Algorithmus
Künstliche Neuronale Netze
Künstliche Neuronale Netze als Möglichkeit, einer Maschine das Lesen beizubringen Anja Bachmann 18.12.2008 Gliederung 1. Motivation 2. Grundlagen 2.1 Biologischer Hintergrund 2.2 Künstliche neuronale Netze
Faltungsnetzwerke. (Convolutional Neural Networks) Maximilian Schmidt. Faltungsnetzwerke
(Convolutional Neural Networks) Maximilian Schmidt 1 Inhalt Deconvolution ConvNet Architektur History Convolution layer Layers ReLu layer Pooling layer Beispiele Feature Engineering 2 Das Ziel Klassifizierung
Seminararbeit über Visuelles Lernen Arithmetischer Operationen
Seminararbeit über Visuelles Lernen Arithmetischer Operationen Lara Aubele Seminar KI: gestern, heute, morgen Angewandte Informatik, Universität Bamberg Zusammenfassung. Die Arbeit Visual Learning of Arithmetic
Künstliche Intelligenz im Maschinen- und Anlagenbau Heilsbringer oder Hypebringer?
ASQF Automation Day 2018 - Predictive Analytics Künstliche Intelligenz im Maschinen- und Anlagenbau Heilsbringer oder Hypebringer? Vasilij Baumann Co-Founder/Co-CEO vasilij.baumann@instrunext.com +49 931
Blues-Improvisation mit neuronalen Netze
Blues-Improvisation mit neuronalen Netze Hagen Fritsch Seminar: Musik und Informatik Technische Universität München 1. März 2007 Inhaltsverzeichnis 1 Einleitung 1 2 Neuronale
Content-Based Audio Management
Content-Based Audio Management Music Information Retrieval Jake Atwell, Philip Jakob Agenda Einleitung/Motivation Muscle Fish Verfahren Vergleich Fazit 2 Agenda Einleitung/Motivation Muscle Fish Verfahren
Technische Universität. Fakultät für Informatik
Technische Universität München Fakultät für Informatik Forschungs- und Lehreinheit Informatik VI Neuronale Netze - Supervised Learning Probleme des Backpropagation-Algorithmus und Alternativen Seminar
Künstliche Intelligenz in Arbeitswelt und Gesellschaft: Nachteile verhindern, Chancen nutzen
Künstliche Intelligenz in Arbeitswelt und Gesellschaft: Nachteile verhindern, Chancen nutzen Hendrik Heuer hheuer@uni-bremen.de Bildquelle: Wikipedia - Jan Matejkos Stańczyk Digitalisierungskongress 2018
Personenerkennung. Harald Hauptseminarpräsentation. Harald Kirschenmann. Department Informatik. Department Informatik.
Harald Hauptseminarpräsentation Kirschenmann Personenerkennung 1 Inhaltsübersicht Motivation Grundlagen Benchmark Eigene Gesichtserkennung 2 Motivation Baustein einer Microservice Architektur Personenerkennung
Leipziger Institut für Informatik. Wintersemester Seminararbeit. im Studiengang Informatik der Universität Leipzig
Leipziger Institut für Informatik Wintersemester 2017 Seminararbeit im Studiengang Informatik der Universität Leipzig Forschungsseminar Deep Learning Begriffsbildung, Konzepte und Überblick Verfasser:
Beating Humans in complex Boardgames
Beating Humans in complex Boardgames Seminar Neueste Trends in Big Data Analytics Universität Hamburg Eike Nils Knopp 18.12.2017 Eike Nils Knopp 1 / 55 Inhalt Historie IBMs Deep Blue IBMs Watson DeepMinds
Maschinelles Lernen: Neuronale Netze. Ideen der Informatik
Maschinelles Lernen: Neuronale Netze Ideen der Informatik Kurt Mehlhorn Adrian Neumann 16. Januar 2014 Übersicht Biologische Inspiration Stand der Kunst in Objekterkennung auf Bildern Künstliche Neuronale
Neuronale Netze u. Anwendungen, 17. Jan. 2012
Neuronale Netze u. Anwendungen, 17. Jan. 2012 Backpropagation Implementation Speed, Training Generalization Choice of Architecture Algorithms Backpropagation is Computer Intenstive during Training very
VO Sprachtechnologien. Informations- und Wissensmanagement. Bartholomäus Wloka. Zentrum für Translationswissenschaft
, Informations- und Wissensmanagement Zentrum für Translationswissenschaft Outline Begriffe MÜS Maschinelles Übersetzungssystem MÜ Maschinelle Übersetzung MT Machine Translation SMT Statistical Machine
Rekurrente Neuronale Netzwerke
Rekurrente Neuronale Netzwerke Benjamin Roth Centrum für Informations- und Sprachverarbeitung Ludwig-Maximilian-Universität München beroth@cis.uni-muenchen.de Benjamin Roth (CIS) Rekurrente Neuronale Netzwerke
Neuronale. Netze. Henrik Voigt. Neuronale. Netze in der Biologie Aufbau Funktion. Neuronale. Aufbau Netzarten und Topologien
in der Seminar Literaturarbeit und Präsentation 17.01.2019 in der Was können leisten und was nicht? Entschlüsseln von Texten??? Bilderkennung??? in der in der Quelle: justetf.com Quelle: zeit.de Spracherkennung???
Künstliche Neuronale Netze
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Künstliche Neuronale Netze Hauptseminar Martin Knöfel Dresden, 16.11.2017 Gliederung
Business Intelligence & Machine Learning
AUSFÜLLHILFE: BEWEGEN SIE DEN MAUSZEIGER ÜBER DIE ÜBERSCHRIFTEN. AUSFÜHRLICHE HINWEISE: LEITFADEN MODULBESCHREIBUNG Business Intelligence & Machine Learning Kennnummer Workload Credits/LP Studiensemester
Automatisches Übersetzen von Gebärdensprache
5. Aachener Gebärdenworkshop 2004 29.10.2004 Automatisches Übersetzen von Gebärdensprache Jan Bungeroth Human Language Technology and Pattern Recognition Lehrstuhl für Informatik VI D-52056 Aachen, Deutschland
Schwierigkeitsbestimmung von C-Test-Lücken. Lisa Beinborn Assozierte Doktorandin UKP-DIPF UKP Lab, TU Darmstadt 09 July 2013
Schwierigkeitsbestimmung von C-Test-Lücken Lisa Beinborn Assozierte Doktorandin UKP-DIPF UKP Lab, TU Darmstadt 09 July 2013 Virtualisierung vereinfacht individuelle Förderung Anpassung von Lernmaterialien
Generalisierung mittels Deep Learning (CNN) am Beispiel der Straßenextraktion aus GPS-Trajektorien
38. Wissenschaftlich-Technische Jahrestagung der DGPF und PFGK18 Tagung in München Publikationen der DGPF, Band 27, 2018 Generalisierung mittels Deep Learning (CNN) am Beispiel der Straßenextraktion aus
Künstliche Intelligenz angewandt bei koronarer Herzkrankheit - Cardioexplorer
Kardiologie Künstliche Intelligenz angewandt bei koronarer Herzkrankheit - Cardioexplorer Michael J. Zellweger, MD, Professor of Cardiology, Cardiology Department, University Hospital Basel, Switzerland;
GP-Music: An Interactive Genetic Programming System for Music Generation with Automated Fitness
GP-Music: An Interactive Genetic Programming System for Music Generation with Automated Fitness Raters Brad Johanson, Riccardo Poli Seminarvortrag von Thomas Arnold G ˇ ˇ ˇ ˇ WS 2012/13 TU Darmstadt Seminar
Improving Part-Of-Speech Tagging for Social Media via Automatic Spelling Error Correction
Improving Part-Of-Speech Tagging for Social Media via Automatic Spelling Error Correction Vorstellung AI-Studienprojekt für das SoSe 2019 Benedikt Tobias Bönninghoff 17.01.2019 Cognitive Signal Processing
Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs)
6. Neuronale Netze Motivation Wir haben in den vorherigen Kapiteln verschiedene Verfahren zur Regression und Klassifikation kennengelernt (z.b. lineare Regression, SVMs) Abstrakt betrachtet sind alle diese
Learning Linear Ordering Problems for Better Translation
Learning Linear Ordering Problems for Better Translation Roy Tromble, Google Pittsburgh Jason Eisner, Johns Hopkins August 7, 2009 Overview Monotonic translation is easier Construct sentence-specific Linear
Von der Entscheidungsunterstützung zur Entscheidungsautomatisierung mit Big Data und Künstlicher Intelligenz
Von der Entscheidungsunterstützung zur Entscheidungsautomatisierung mit Big Data und Künstlicher Intelligenz Dr. Stefan Wess CEO Empolis Information Management, Kaiserslautern Seite 1 Historie der Empolis