Evolutionäre Algorithmen in der Spracherkennung
|
|
- Franz Eberhardt
- vor 7 Jahren
- Abrufe
Transkript
1 Informatik Alexander Eslava Evolutionäre Algorithmen in der Spracherkennung Studienarbeit
2
3 Evolutionäre Algorithmen in der Spracherkennung Hauptseminar Einsatz Evolutionärer Strategien in Eingebetteten Systemen Alexander Eslava Lehrstuhl Informatik II Programmiersysteme Abstract Dieser Text stellt einige evolutionär optimierte Klassifikatoren vor, mit Fokus auf Erkennung von Phonemen in der Spracherkennung. Das sind zum einen GA-Clustering, ein genetischer Vektor-Quantisierer; außerdem ein GP- Klassifikator, welcher Programme entwickelt, die direkt aus dem rohen Zeitsignal Phoneme extrahieren; und schließlich Evolutionäre Neuronale Netze mit GA-Optimierung von Verbindungsgewichten, Topologie oder Aktivierungsfunktionen. 2. Signalfluss von Spracherkennungssytemen Der typische Vorgang der Spracherkennung [7] lässt sich grob folgendermaßen zusammenfassen: 1. Vorverarbeitung des Audiosignals. Das kann z.b. Rauschunterdrückung oder Filterung sein. 2. Feature-Extraktion. Dabei wird das Zeitsignal in eine Sequenz von Feature-Vektoren transformiert. Features sind Merkmale wie z.b. das Spektrum. 3. Phonem-Klassifikation. Ein Feature-Vektor wird auf eine Phonemklasse abgebildet. 1. Einleitung Evolutionäre Algorithmen werden zunehmend zur Anwendung in Lernverfahren der Mustererkennung interessant, insbesondere zur Erkennung von Sprache. Ziel dieses Textes ist es, die Anwendungsmöglichkeiten von EAs für die Spracherkennung aufzuzeigen. Es werden exemplarisch einige evolutionär optimierte Klassifikatoren vorgestellt. Das sind zum einen GA-Clustering, ein genetischer Vektor-Quantisierer; außerdem ein GP-Klassifikator, welcher Programme entwickelt, die direkt aus dem rohen Zeitsignal Phoneme extrahieren; und schließlich Evolutionäre Neuronale Netze mit GA-Optimierung von Verbindungsgewichten, Topologie oder Aktivierungsfunktionen. Der Rest dieser Arbeit ist folgendermaßen gegliedert: Abschnitt 2 gibt einen knappen Überblick über die Phasen eines typischen Spracherkennungsprozesses. Im Anschluss wird die Extraktion von Features aus dem Zeitsignal erläutert. Abschnitt 4 führt einige Begriffe zum Lernen und Erkennen von Phonemen ein. Die nächsten Abschnitte stellen die genannten Anwendungsgebiete vor, wobei im Abschnitt 8 über evolutionäre Neuronale Netze zuerst die Grundlagen behandelt werden. 4. Worterkennung. In der Folge von Phonemen werden Wörter gesucht, in der Regel durch Vergleichen mit sogenannten Hidden-Markov-Models. Bei Einzelworterkennung wird nur das ähnlichste Wort ausgegeben. Bei kontinuierlicher Sprache wird eine Menge von mehreren möglichen Worten ausgegeben. 5. Eine anschließende kontextabhängige Analyse (grammatisch oder statistisch) wählt in kontinuierlicher Sprache das plausibelste Wort aus der Menge aus. 3. Feature-Extraktion Das rohe Zeitsignal wird in kurze (typischerweise 10-20ms) gleichgroße überlappende Abschnitte (Frames) zerschnitten, und jeder Frame wird mit einer Amplitudenhüllkurve multipliziert [7]. Es folgt pro Frame eine Berechnung von mehreren diskriminierenden Merkmalen, und diese werden zu einem Feature-Vektor zusammengefasst. x = (x 1,..., x n ) R n
4 Gängige Features: Fourier-Leistungsspektrum (quadrierte Fourier- Koeffizienten) [7]: F ω = M 1 M 1 x j exp( 2πωj/M) j=0 ω = 0, 1,..., M/2 2 Dies ist eine Transformation vom Zeitbereich in den Frequenzbereich. Die Welle wird als Summe von Sinuswellen mit verschiedener Phasenlage und Amplitude zerlegt. Die Berechnung nach obiger Formel wäre zu ineffizient. Stattdessen verwendet man die Fast- Fourier-Transform (FFT). Abbildung 1. Mel Cepstrum Filterbank. Frequenzgänge der dreieckigen Bandpassfilter. Mel Cepstrum / Mel Frequency Cepstrum Coefficients (MFCC) [7]: Das Signal wird von einer Filterbank aus dreieckigen Bandpassfiltern zerlegt, und die Energie pro Frequenzband berechnet. c k := M 1 ω=0 log[h kω F ω ] H kω : Frequenzgang des k-ten von M dreieckigen Filters (Abb. 1) in Abhängigkeit von Frequenz ω. F ω : Fourier-Koeffizient M : Anzahl der diskreten Frequenzen γ l := M 1 k=0 γ l : MFCC an der Stelle l c k cos[l(2k + 1)π/(2M )] l = 1,..., M Die Auflösungen von Frequenz und Pegel sind logarithmisch, wie das menschliche Ohr. Daher ist das Mel Cepstrum biologisch plausibler als FFT. Nicht zuletzt deshalb ist es die populärste Feature-Menge. Zeitliche Differenzen von Features wie FFT, Mel Cepstrum. Es ist nicht ungewöhnlich, verschiedene Arten von Features in einen Vektor zu kombinieren. Zur Unterscheidung zwischen Sprache und Stille/Hintergrund/Rauschen (wichtig zur Erkennung von Wortgrenzen) wird ein Level- Detektor verwendet, der die Short-Time-Energy (Energie eines Frames) misst. Beim Auftreten eines Sprach-Frames werden die FFT- oder MFCC-Koeffizienten anhand der Short-Time-Energy normalisiert, was die Erkennung von Phonemen unabhängig von der Lautstärke ermöglicht. Abbildung 2. Klassen sind Regionen im Feature-Raum. Hier: Erkennung von Vokalen aus 2 Features. [6] 4. Phonemklassifikation In der Spracherkennung gibt es viele Wortuntereinheiten, in die man das Audiosignal zerlegen kann, z.b. Silbe, Halbsilbe, Doppelsilbe, Phon, Phonem und andere [7]. In dieser Arbeit definiere ich den in der Literatur nicht ganz einheitlich festgelegten Begriff Phonem als die kleinste Wortuntereinheit, das heisst, ein Audiosegment mit ungefähr konstantem Spektrum. Koartikulatorische Effekte beim Übergang zwischen Phonemen können die Erkennungsrate degradieren. Verbesserung bringt die Berücksichtigung des Kontextes (benachbarte Frames) oder zeitliche Änderungen der FFT oder MFCC als zusätzliche Features. Ziel ist die Zuordnung eines Feature-Vektors auf eine
5 von K Klassen: R n {0,..., K}, x y Anschaulich gesehen sind Klassen Regionen im Feature- Raum (Abb. 2) Unsupervised Learning Beim Unsupervised Learning, auch genannt Clustering und Vector Quantization, werden dem Klassifikator N Trainingsbeispiele x i (Trainingsmenge S) ohne Angabe der gewünschten Ausgabe präsentiert. S = { x 1,..., x N } Der Feature-Raum wird selbstständig in K Sektoren (Clusters), entsprechend K Klassen, partitioniert. Dabei wächst die lokale Granularität (Dichte von Clusters) mit der lokalen Dichte von Beispielvektoren (je mehr Beispiele in einem Gebiet, desto feiner die Auflösung dort). Jeder Cluster C k wird repräsentiert durch einen Vektor z i, dem Cluster- Zentrum oder Code-Book-Vektor. Diese bilden das Code- Book. Ein Eingabevektor wird auf die Klasse mit minimalen euklidischen Abstand des Cluster-Zentrums abgebildet. Der Vektor wird sozusagen auf den nächsten Code-Book- Vektor gerundet. Damit erhält man eine adaptive Datenreduktion des Feature-Raums Supervised Learning Beim Supervised Learning wird zu jedem Trainingsbeispiel die Klasse mitangegeben. Diese dient beim Training als gewünschte Ausgabe des Klassifikators (Target-Wert = Output-Wert). S = {( x 1, y 1 ),..., ( x N, y N )} Ziele sind nicht nur das Lernen der Beispiele (korrekte Separation der Trainingsmenge), sondern auch die Generalisierungsfähigkeit: Neue Eingabevektoren aus einer Testmenge sollen mit möglichst hoher Wahrscheinlichkeit korrekt klassifiziert werden. Die Trainingsmenge wird somit interpoliert, das heisst aus den Beispielen versucht das System, die tatsächliche Klassenzugehörigkeitsfunktion zu approximieren. 5 K-Means-Algorithmus Ein einfacher und populärer Clustering-Algorithmus ist K-Means [7]: 1. Initialisierung von z i : Wähle aus Trainingsmenge S zufällig K Punkte als Clusterzentren aus. 2. WIEDERHOLE 3. Klassifiziere Trainingsbeispiele gemäss nächstem Cluster-Zentrum y( x i ) = argmin x i z k x i C k k {1,...,K} C k := { x y( x) = k} 4. Aktualisiere Clusterzentren als Schwerpunkte: z k = N k 1 x i, N k := S C k x i C k 5. BIS keine Änderung mehr Es ist ein Gradientenabstiegsverfahren (schrittweise Optimierung entgegen der Ableitung der Fehlerfunktion) und stagniert deshalb leicht in einem lokalen Minimum. 6 GA-Clustering GA-Clustering [6] kombiniert K-Means mit einem genetischen Algorithmus. Die Koordinaten eines Cluster- Zentrums, reell kodiert, bilden ein Gen im Chromosom. Zur Initialisierung wählt man zufällig eine Teilmenge der Trainingspunkte als Clusterzentren aus. Die Fitness-Funktion ist die Clustering-Metrik: M = z k x i k x i S C k Selektion erfolgt proportional zur Fitness (Roulette- Wheel-Selection). Als Crossover gibt es Single-Point mit konstanter Wahrscheinlichkeit. Die Mutation geschieht mit fester Wahrscheinlichkeit nach der Regel: v = v + 2δv mit δ [ 1; +1] uniforme Zufallsvariable und v eine Variable im Chromosom. Den Experimenten in [6] zufolge liefert GA-Clustering deutlich bessere Lösungen als K-Means. 7 GP-Klassifikator In [8] wird ein GP-Klassifikator zur Phonemerkennung vorgestellt, welcher auf genetisch optimierten Programmen basiert. Besonders erstaunlich ist, dass die Feature- Extraktion übersprungen wird. Stattdessen wird ein Frame aus dem zeitlichen Audiosignal direkt quasi als Feature- Vektor verwendet. Dieses Vorgehen stellt eine Ausnahme unter den Phonemerkennungsalgorithmen dar, denn meistens wird das Signal in den Frequenzbereich transformiert.
Mustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle
Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators
Mehr1 Einleitung. 2 Clustering
Lernende Vektorquantisierung (LVQ) und K-Means-Clustering David Bouchain Proseminar Neuronale Netze Kurs-Nr.: CS4400 ISI WS 2004/05 david@bouchain.de 1 Einleitung Im Folgenden soll zum einen ein Überblick
MehrInhaltliche Planung für die Vorlesung
Vorlesung: Künstliche Intelligenz - Mustererkennung - P LS ES S ST ME Künstliche Intelligenz Miao Wang 1 Inhaltliche Planung für die Vorlesung 1) Definition und Geschichte der KI, PROLOG 2) Expertensysteme
MehrRelAtive SpecTrAl (RASTA) Processing of Speech
RelAtive SpecTrAl (RASTA) Processing of Speech Paul Glad Mihai 23.11.06 Gliederung Einleitung Wieso RASTA? RASTA erläutert Probleme Modulationsspektrum von Sprache Methode RASTA erweitert Lin-Log Rasta
MehrGenetische Algorithmen. Uwe Reichel IPS, LMU München 8. Juli 2008
Genetische Algorithmen Uwe Reichel IPS, LMU München reichelu@phonetik.uni-muenchen.de 8. Juli 2008 Inhalt Einführung Algorithmus Erweiterungen alternative Evolutions- und Lernmodelle Inhalt 1 Einführung
MehrClustering. Clustering:
Clustering Clustering: Gruppierung und Einteilung einer Datenmenge nach ähnlichen Merkmalen Unüberwachte Klassifizierung (Neuronale Netze- Terminologie) Distanzkriterium: Ein Datenvektor ist zu anderen
MehrHannah Wester Juan Jose Gonzalez
Neuronale Netze Supervised Learning Proseminar Kognitive Robotik (SS12) Hannah Wester Juan Jose Gonzalez Kurze Einführung Warum braucht man Neuronale Netze und insbesondere Supervised Learning? Das Perzeptron
Mehr1 Einleitung Definitionen, Begriffe Grundsätzliche Vorgehensweise... 3
Inhaltsverzeichnis 1 Einleitung 1 1.1 Definitionen, Begriffe........................... 1 1.2 Grundsätzliche Vorgehensweise.................... 3 2 Intuitive Klassifikation 6 2.1 Abstandsmessung zur Klassifikation..................
MehrVorlesung Digitale Bildverarbeitung Sommersemester 2013
Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben (Marc Schlipsing) Institut für Neuroinformatik Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches
MehrNeuronale Netze. Christian Böhm.
Ludwig Maximilians Universität München Institut für Informatik Forschungsgruppe Data Mining in der Medizin Neuronale Netze Christian Böhm http://dmm.dbs.ifi.lmu.de/dbs 1 Lehrbuch zur Vorlesung Lehrbuch
MehrMethoden zur Cluster - Analyse
Kapitel 4 Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig Machine learning in bioinformatics
MehrSprachsynthese und Spracherkennung
90 Sprachsynthese und Spracherkennung von John N. Holmes Mit 51 Bildern und 69 Übungen mit Lösungshinweisen R. Oldenbourg Verlag München Wien 1991 INHALT Vorwort 11 1 Lautsprachliche Kommunikation 15 1.1
MehrAdaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Evolutionäre Algorithmen: Überlebenskampf und Evolutionäre Strategien Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Überblick Einleitung Adaptive Filter Künstliche
MehrLow Level Descriptoren. Anne Scheidler
Low Level Descriptoren Anne Scheidler Aufbau des Vortrags LLD Kategorien Signaldarstellung Zeitbasierte Signaldarstellung und Merkmalsextraktion Transformation zwischen Signaldarstellungen Frequenzbasierte
MehrComputational Intelligence 1 / 20. Computational Intelligence Künstliche Neuronale Netze Perzeptron 3 / 20
Gliederung / Künstliche Neuronale Netze Perzeptron Einschränkungen Netze von Perzeptonen Perzeptron-Lernen Perzeptron Künstliche Neuronale Netze Perzeptron 3 / Der Psychologe und Informatiker Frank Rosenblatt
MehrKünstliche neuronale Netze
Künstliche neuronale Netze Eigenschaften neuronaler Netze: hohe Arbeitsgeschwindigkeit durch Parallelität, Funktionsfähigkeit auch nach Ausfall von Teilen des Netzes, Lernfähigkeit, Möglichkeit zur Generalisierung
MehrEvolution und Algorithmen
Kapitel 6 Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig Machine learning in bioinformatics
Mehr5. Lernregeln für neuronale Netze
5. Lernregeln für neuronale Netze 1. Allgemeine Lokale Lernregeln 2. Lernregeln aus Zielfunktionen: Optimierung durch Gradientenverfahren 3. Beispiel: Überwachtes Lernen im Einschicht-Netz Schwenker NI1
MehrDiskrete und Schnelle Fourier Transformation. Patrick Arenz
Diskrete und Schnelle Fourier Transformation Patrick Arenz 7. Januar 005 1 Diskrete Fourier Transformation Dieses Kapitel erläutert einige Merkmale der Diskreten Fourier Transformation DFT), der Schnellen
MehrSYS_A - ANALYSIEREN. Statistik. NTB Druckdatum: SYS A. Histogramm (Praxis) Gaußsche Normalverteilung (Theorie) Gebrauch: bei n > 100
SYS_A - ANALYSIEREN Statistik Gaußsche Normalverteilung (Theorie) Gebrauch: bei n > 100 Histogramm (Praxis) Realisierung Lage Streuung Zufallsvariable Dichte der Normalverteilung Verteilungsfunktion Fläche
MehrStatistical Learning
Statistical Learning M. Gruber KW 42 Rev.1 1 Neuronale Netze Wir folgen [1], Lec 10. Beginnen wir mit einem Beispiel. Beispiel 1 Wir konstruieren einen Klassifikator auf der Menge, dessen Wirkung man in
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
MehrFrequenzbewertung von Luftschallsignalen
04/17 von Luftschallsignalen Das menschliche Ohr empfindet Töne mit gleichem Schalldruck aber unterschiedlichen Tonhöhen unterschiedlich laut. Dieser frequenzabhängige Empfindlichkeitsverlauf des menschlichen
MehrDecision-Tree-Klassifikator
D3kjd3Di38lk323nnm Decision-Tree-Klassifikator Decision Trees haben einige Vorteile gegenüber den beiden schon beschriebenen Klassifikationsmethoden. Man benötigt in der Regel keine so aufwendige Vorverarbeitung
MehrSpektrale Analysen in EMU-R: eine Einführung. Jonathan Harrington
Spektrale Analysen in EMU-R: eine Einführung Jonathan Harrington 1. Ein digitales Sinusoid 2. Fourier-Analyse 3. Ein Spektrum 4. Frequenz- und Zeitauflösung 5. Berechnung von Spektra mit Emu 1. Ein digitales
MehrInformatiCup 2009 EvolutionConsole
InformatiCup 2009 EvolutionConsole Wilhelm Büchner Hochschule 19. März 2010 1 1. Das Team Teammitglieder Ralf Defrancesco KION Information Services GmbH Systemadministrator Daniel Herken Scooter Attack
MehrSupport Vector Machines, Kernels
Support Vector Machines, Kernels Katja Kunze 13.01.04 19.03.2004 1 Inhalt: Grundlagen/Allgemeines Lineare Trennung/Separation - Maximum Margin Hyperplane - Soft Margin SVM Kernels Praktische Anwendungen
MehrKonzepte der AI Neuronale Netze
Konzepte der AI Neuronale Netze Franz Wotawa Institut für Informationssysteme, Database and Artificial Intelligence Group, Technische Universität Wien Email: wotawa@dbai.tuwien.ac.at Was sind Neuronale
MehrProbe-Klausur zur Vorlesung Multilinguale Mensch-Maschine Kommunikation 2013
Probe-Klausur zur Vorlesung Multilinguale Mensch-Maschine Kommunikation 2013 Klausurnummer Name: Vorname: Matr.Nummer: Bachelor: Master: Aufgabe 1 2 3 4 5 6 7 8 max. Punkte 10 5 6 7 5 10 9 8 tats. Punkte
Mehr3. Analyse der Kamerabewegung Video - Inhaltsanalyse
3. Analyse der Kamerabewegung Video - Inhaltsanalyse Stephan Kopf Bewegungen in Videos Objektbewegungen (object motion) Kameraoperationen bzw. Kamerabewegungen (camera motion) Semantische Informationen
MehrAdaptive Systeme. Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff
Adaptive Systeme Evolutionäre Algorithmen Teil II Evolutionsfenster durch Mutation und sexuelle Rekombination Prof. Dr.-Ing. Heinz-Georg Fehn Prof. Dr. rer. nat. Nikolaus Wulff Evolutionäre Algorithmen
MehrTraining von RBF-Netzen. Rudolf Kruse Neuronale Netze 134
Training von RBF-Netzen Rudolf Kruse Neuronale Netze 34 Radiale-Basisfunktionen-Netze: Initialisierung SeiL fixed ={l,...,l m } eine feste Lernaufgabe, bestehend ausmtrainingsbeispielenl=ı l,o l. Einfaches
MehrSeminar über Neuronale Netze und Maschinelles Lernen WS 06/07
Universität Regensburg Naturwissenschaftliche Informatik Seminar über Neuronale Netze und Maschinelles Lernen WS 06/07 Cluster-Algorithmen II: Neural Gas Vortragender: Matthias Klein Gliederung Motivation:
MehrClusteranalyse: Gauß sche Mischmodelle
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse: Gauß sche Mischmodelle iels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer
Mehr9 Fourier-Transformation
9 Fourier-Transformation Zoltán Zomotor Versionsstand: 5. September 2015, 18:26 Die nummerierten Felder bitte mithilfe der Videos ausfüllen: http://www.z5z6.de This work is based on the works of Jörn Loviscach
MehrPrincipal Component Analysis (PCA)
Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen
MehrÜbungen zur Vorlesung Grundlagen der Bilderzeugung und Bildanalyse (Mustererkennung) WS 05/06. Musterlösung 11
ALBERT-LUDWIGS-UNIVERSITÄT FREIBURG INSTITUT FÜR INFORMATIK Lehrstuhl für Mustererkennung und Bildverarbeitung Prof. Dr.-Ing. Hans Burkhardt Georges-Köhler-Allee Geb. 05, Zi 0-09 D-790 Freiburg Tel. 076-03
MehrMathematische Grundlagen III
Mathematische Grundlagen III Maschinelles Lernen III: Clustering Vera Demberg Universität des Saarlandes 7. Juli 202 Vera Demberg (UdS) Mathe III 7. Juli 202 / 35 Clustering vs. Klassifikation In den letzten
Mehr... Text Clustern. Clustern. Einführung Clustern. Einführung Clustern
Clustern Tet Clustern Teile nicht kategorisierte Beispiele in disjunkte Untermengen, so genannte Cluster, ein, so daß: Beispiele innerhalb eines Clusters sich sehr ähnlich Beispiele in verschiedenen Clustern
MehrMustererkennung. Termine: Montag 9:45-11:15, F138 Mittwoch 11:30-13:00, D108 Freitag 11:30-13:00, A210. Skript, Literatur, Anmeldung im Netz
Mustererkennung Termine: Montag 9:45-11:15, F138 Mittwoch 11:30-13:00, D108 Freitag 11:30-13:00, A210 Skript, Literatur, Anmeldung im Netz Mustererkennung Anwendungsbeispiele für Mustererkennung? Mustererkennung
MehrGenetische und Evolutionäre Algorithmen (Vol. 1)
Vortrag über Genetische und Evolutionäre Algorithmen (Vol. ) von Adam El Sayed Auf und Kai Lienemann Gliederung: ) Einführung 2) Grundkonzept 3) Genaue Beschreibung des Genetischen Algorithmus Lösungsrepräsentation
MehrProjektgruppe. Clustering und Fingerprinting zur Erkennung von Ähnlichkeiten
Projektgruppe Jennifer Post Clustering und Fingerprinting zur Erkennung von Ähnlichkeiten 2. Juni 2010 Motivation Immer mehr Internet-Seiten Immer mehr digitale Texte Viele Inhalte ähnlich oder gleich
MehrVergleich von SVM und Regel- und Entscheidungsbaum-Lernern
Vergleich von SVM und Regel- und Entscheidungsbaum-Lernern Chahine Abid Bachelor Arbeit Betreuer: Prof. Johannes Fürnkranz Frederik Janssen 28. November 2013 Fachbereich Informatik Fachgebiet Knowledge
MehrKapitel 2: Spracherkennung Automatisches Verstehen gesprochener Sprache
Automatisches Verstehen gesprochener Sprache. Spracherkennung Martin Hacker Bernd Ludwig Günther Görz Professur für Künstliche Intelligenz Department Informatik Friedrich-Alexander-Universität Erlangen-Nürnberg
MehrUniversität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Niels Landwehr
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Niels Landwehr Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer Ansatz:
MehrRobert Stahlbock. Evolutionäre Entwicklung künstlicher neuronaler Netze zur Lösung betriebswirtschaftlicher Klassiflkationsprobleme
Robert Stahlbock Evolutionäre Entwicklung künstlicher neuronaler Netze zur Lösung betriebswirtschaftlicher Klassiflkationsprobleme Abbildungsverzeichnis Tabellenverzeichnis Abkürzungen, Akronyme Symbole
MehrWissensbasierte Systeme
Analytisch lösbare Optimierungsaufgaben Das Chaos-Spiel gründet auf der folgenden Vorschrift: Man startet von einem beliebigen Punkt aus geht auf einer Verbindung mit einem von drei zufällig gewählten
MehrMustererkennung: Neuronale Netze. D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12
Mustererkennung: Neuronale Netze D. Schlesinger ()Mustererkennung: Neuronale Netze 1 / 12 Feed-Forward Netze y 1 y 2 y m...... x 1 x 2 x n Output Schicht i max... Zwischenschicht i... Zwischenschicht 1
MehrHidden Markov Modelle
Hidden Markov Modelle in der Sprachverarbeitung Paul Gabriel paul@pogo.franken.de Seminar Sprachdialogsysteme: Hidden Markov Modelle p.1/3 Überblick Merkmalsvektoren Stochastischer Prozess Markov-Ketten
MehrTextmining Klassifikation von Texten Teil 2: Im Vektorraummodell
Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil
MehrSpracherkennung TAREQ HASCHEMI HAW-SEMINAR WS16
Spracherkennung TAREQ HASCHEMI HAW-SEMINAR WS16 AGENDA Grundlegendes Sprache Anwendungsbeispiele Schwierigkeit Architektur Spracherkennungssystem Hidden Markov Modell Verbesserung durch Kombination mit
Mehr10. Vorlesung Stochastische Optimierung
Soft Control (AT 3, RMA) 10. Vorlesung Stochastische Optimierung Genetische Algorithmen 10. Vorlesung im Aufbau der Vorlesung 1. Einführung Soft Control: Definition und Abgrenzung, Grundlagen "intelligenter"
MehrSystemtheorie Teil A. - Zeitkontinuierliche Signale und Systeme - Musterlösungen. Manfred Strohrmann Urban Brunner
Systemtheorie Teil A - Zeitkontinuierliche Signale und Systeme - Musterlösungen Manfred Strohrmann Urban Brunner Inhalt 6 Musterlösungen Spektrum von Signalen 6. Approximation eines periodischen Signals
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 10: Naive Bayes (V. 1.0)
MehrFinanzmarktprognose mit neuronalen Netzen
Reihe: Quantitative Ökonomie Band 131 Herausgegeben von Prof. Dr. Eckart Bomsdorf, Köln, Prof. Dr. Wim Kösters, Bochum, und Prof. Dr. Winfried Matthes, Wuppertal Dr. Christoph A. Hövel Finanzmarktprognose
Mehr:. (engl.: first harmonic frequency)
5 Fourier-Reihen 5.1 Schwingungsüberlagerung 5.2 "Oberschwingungen" f 0 :. (engl.: fundamental frequency) :. (engl.: first harmonic frequency) Jede ganzzahlige (n) vielfache Frequenz von f 0 nennt man
MehrKapitel 10. Maschinelles Lernen Lineare Regression. Welche Gerade? Problemstellung. Th. Jahn. Sommersemester 2017
10.1 Sommersemester 2017 Problemstellung Welche Gerade? Gegeben sind folgende Messungen: Masse (kg) 1.5 2.0 2.5 3.0 3.5 4.0 4.5 5.0 Kraft (N) 1.6 2.2 3.2 3.0 4.9 5.7 7.1 7.3 8.1 Annahme: Es gibt eine Funktion
MehrVon schwachen zu starken Lernern
Von schwachen zu starken Lernern Wir nehmen an, dass ein schwacher Lernalgorithmus L mit vielen Beispielen, aber großem Fehler ε = 1 2 θ gegeben ist. - Wie lässt sich der Verallgemeinerungsfehler ε von
MehrSpektrumanalyse. Inhalt. I. Einleitung 2. II. Hauptteil 2-8
Fachhochschule Aachen Campus Aachen Hochfrequenztechnik Hauptstudium Wintersemester 2007/2008 Dozent: Prof. Dr. Heuermann Spektrumanalyse Erstellt von: Name: Mario Schnetger Inhalt I. Einleitung 2 II.
MehrSpracherkennung. 8. Sitzung 3. November 2008
Spracherkennung 8. Sitzung 3. November 2008 Überblick 5. Diskretisierung 6. Merkmalsberechnung 7. DTW 8. HMMs 9. Sprachmodellierung w X Textproduktion Artikulation Merkmalsextraktion Dekodierung 2. Sprachproduktion
MehrGrundlagen der Signalverarbeitung
Grundlagen der Signalverarbeitung Zeitdiskrete Signale Wintersemester 6/7 Kontinuierliche und diskrete Signale wertkontinuierlich wertdiskret Signal Signal Signal Signal zeitdiskret zeitkontinuierlich
MehrHow To Create A Panorama Image From A Photoelectric Image From An Image From The Camera (I)
Chapter 3 Image Registration Distributed Algorithms for Einführung (I) Definition: Image Registration Gegeben: 2 Bilder der gleichen Szene aber aufgenommen aus unterschiedlichen Perspektiven Gesucht: Transformation,
MehrNichtlineare Klassifikatoren
Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht
MehrAutomatische Spracherkennung
Automatische Spracherkennung 3 Vertiefung: Drei wichtige Algorithmen Teil 3 Soweit vorhanden ist der jeweils englische Fachbegriff, so wie er in der Fachliteratur verwendet wird, in Klammern angegeben.
MehrKapitel 4: Data Mining
LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS Skript zur Vorlesung: Einführung in die Informatik: Systeme und Anwendungen Sommersemester 2017 Kapitel 4: Data Mining Vorlesung:
Mehreinige Zusatzfolien für s Seminar
Signale und Systeme einige Zusatzfolien für s Seminar Dr. Mike Wolf, Fachgebiet Nachrichtentechnik Signale und Systeme Fourierreihe reelle Fourierreihe betrachtet wird ein periodisches Zeitsignal u p mit
MehrZ-Transformation, Cepstrum, LPC, Autokorrelation Sebastian Stüker
Institut für Anthropomatik Z-Transformation, Cepstrum, LPC, Autokorrelation Sebastian Stüker 04.11.2009 Interactive Systems Labs Verallgemeinerung der Fourier- Transformation: F(s) = L{ f }(s) = 0 e st
MehrMustererkennung. Support Vector Machines. R. Neubecker, WS 2018 / Support Vector Machines
Mustererkennung R. Neubecker, WS 018 / 019 (SVM) kommen aus der statistischen Lerntheorie gehören zu den optimalen Klassifikatoren = SVMs minimieren nicht nur den Trainingsfehler, sondern auch den (voraussichtlichen)
MehrNeuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.
Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen
MehrStatistische Verfahren zur Datenreduktion (Clusteranalyse, Hauptkomponentenanalyse)
Statistische Verfahren zur Datenreduktion (, ) Datenreduktion Neben den Verfahren zur Datenbereinigung (Transformation, Ausreißertests) spielt die objektivierbare Reduktion der Datenmenge eine wesentliche
MehrFouriertransformation, z-transformation, Differenzenglei- chung
Kommunikationstechnik II 1.Übungstermin 31.10.2007 Fouriertransformation, z-transformation, Differenzenglei- Wiederholung: chung Als Ergänzung dieser sehr knapp gehaltenen Wiederholung wird empfohlen:
MehrBeschleunigung von Bild-Segmentierungs- Algorithmen mit FPGAs
Fakultät Informatik, Institut für Technische Informatik, Professur für VLSI-Entwurfssysteme, Diagnostik und Architektur Algorithmen mit FPGAs Vortrag von Jan Frenzel Dresden, Gliederung Was ist Bildsegmentierung?
MehrEFME Aufsätze ( Wörter) Der Aufbau von Entscheidungsbäumen...1
EFME Aufsätze (150 200 Wörter) Der Aufbau von Entscheidungsbäumen...1 PCA in der Gesichtserkennung... 2 Bias, Varianz und Generalisierungsfähigkeit... 3 Parametrische und nicht-parametrische Lernverfahren:
MehrKapitel V. V. Ensemble Methods. Einführung Bagging Boosting Cascading
Kapitel V V. Ensemble Methods Einführung Bagging Boosting Cascading V-1 Ensemble Methods c Lettmann 2005 Einführung Bewertung der Generalisierungsfähigkeit von Klassifikatoren R (c) wahre Missklassifikationsrate
MehrDocken von Proteinen. Timo von Oertzen St. Johann, September 2002
Docken von Proteinen Timo von Oertzen St. Johann, September 2002 Das Dock - Problem Schlecht...... ganz schlecht... Gut! Das Dock - Problem Das Dock Problem ist die Suche nach der energetischen günstigsten
MehrVerfahren zur Lokalisierung von Schallquellen im Raum
Hauptseminar Technische Informationssysteme Verfahren zur Lokalisierung von Schallquellen im Raum Ali Jaber Dresden, 05.11.2012 Überblick 1. Motivation 2. Ortungsverfahren Time Delay of Arrival (TDOA)
MehrNeuronale Netze. Anna Wallner. 15. Mai 2007
5. Mai 2007 Inhalt : Motivation Grundlagen Beispiel: XOR Netze mit einer verdeckten Schicht Anpassung des Netzes mit Backpropagation Probleme Beispiel: Klassifikation handgeschriebener Ziffern Rekurrente
MehrFourierreihen und Fouriertransformation
Fourierreihen und Fouriertransformation Fourierreihen Autor: Harald Höller letzte Änderung: 11.11.09 Lizenz: Creative Commons Lizenz by-nc-sa 3.0 at Bei Fourierreihen wird nach trigonometrischen (Erzeugenden)Funktionen
MehrMPEG Audio Layer 1. Fachbereich Medieninformatik. Hochschule Harz. Referat. Kolja Schoon. Thema: MPEG Audio Layer 1
Fachbereich Medieninformatik Hochschule Harz MPEG Audio Layer 1 Referat Kolja Schoon 10952 Abgabe: 15.01.2007 Stand: (Januar 2007) Autor: Kolja Schoon Seite 1 Inhaltsverzeichnis 1. Einleitung / Vorwort...3
MehrRL und Funktionsapproximation
RL und Funktionsapproximation Bisher sind haben wir die Funktionen V oder Q als Tabellen gespeichert. Im Allgemeinen sind die Zustandsräume und die Zahl der möglichen Aktionen sehr groß. Deshalb besteht
MehrSignalverarbeitung 2. Volker Stahl - 1 -
- 1 - Spracherkennung gestern und morgen - 2 - Ziel Klassifikation von Signalen, Mustererkennung z.b. Sprache, Gestik, Handschrift, EKG, Verkehrssituationen, Sensor Signal Klasse 1 Klasse 2 Klasse n Vorverarbeitung:
MehrClustering 2010/06/11 Sebastian Koch 1
Clustering 2010/06/11 1 Motivation Quelle: http://www.ha-w.de/media/schulung01.jpg 2010/06/11 2 Was ist Clustering Idee: Gruppierung von Objekten so, dass: Innerhalb einer Gruppe sollen die Objekte möglichst
MehrKontinuierliche Fourier-Transformation. Laplace-Transformation
Kontinuierliche Fourier-Transformation. Laplace-Transformation Jörn Loviscach Versionsstand: 16. Juni 2010, 17:56 Die nummerierten Felder sind absichtlich leer, zum Ausfüllen in der Vorlesung. Videos dazu:
MehrBayes sches Lernen: Übersicht
Bayes sches Lernen: Übersicht Bayes sches Theorem MAP, ML Hypothesen MAP Lernen Minimum Description Length Principle Bayes sche Klassifikation Naive Bayes Lernalgorithmus Teil 5: Naive Bayes + IBL (V.
MehrGrundlagen zu neuronalen Netzen. Kristina Tesch
Grundlagen zu neuronalen Netzen Kristina Tesch 03.05.2018 Gliederung 1. Funktionsprinzip von neuronalen Netzen 2. Das XOR-Beispiel 3. Training des neuronalen Netzes 4. Weitere Aspekte Kristina Tesch Grundlagen
MehrNeuronale Netze. Gehirn: ca Neuronen. stark vernetzt. Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor)
29 Neuronale Netze Gehirn: ca. 10 11 Neuronen stark vernetzt Schaltzeit ca. 1 ms (relativ langsam, vgl. Prozessor) Mustererkennung in 0.1s 100 Schritte Regel 30 Was ist ein künstl. neuronales Netz? Ein
Mehr1. Filterung im Ortsbereich 1.1 Grundbegriffe 1.2 Lineare Filter 1.3 Nicht-Lineare Filter 1.4 Separabele Filter 1.
. Filterung im Ortsbereich. Grundbegriffe. Lineare Filter.3 Nicht-Lineare Filter.4 Separabele Filter.5 Implementierung. Filterung im Frequenzbereich. Fouriertransformation. Hoch-, Tief- und Bandpassfilter.3
Mehr3. Fourieranalyse und Amplitudenspektren
3.1 Fourieranalyse 3.1.1 Einleitung Laut dem französischen Mathematiker Fourier (1768-1830) kann jedes periodische Signal in eine Summe von sinusförmigen Signalen mit unterschiedlichen Amplituden, Frequenzen
MehrDigitale Signalverarbeitung, Vorlesung 11 - Kurzzeitfouriertransformation
Digitale Signalverarbeitung, Vorlesung 11 - Kurzzeitfouriertransformation 30. Januar 2017 Siehe Skript Digitale Signalverarbeitung, Abschnitte 11 und 12, Kammeyer & Kroschel (Absatz 8.4.1) Anwendungen
MehrGrundlagen und Aufbau von neuronalen Netzen
Grundlagen und Aufbau von neuronalen Netzen Künstliche neuronale Netze (KNN) modellieren auf stark vereinfachte Weise Organisationsprinzipien und Abläufe biologischer neuronaler Netze Jedes KNN besteht
MehrSpektralanalyse. Spektralanalyse ist derart wichtig in allen Naturwissenschaften, dass man deren Bedeutung nicht überbewerten kann!
Spektralanalyse Spektralanalyse ist derart wichtig in allen Naturwissenschaften, dass man deren Bedeutung nicht überbewerten kann! Mit der Spektralanalyse können wir Antworten auf folgende Fragen bekommen:
Mehr4. Beschreibung von LTI-Systemen mit der Fourier-Transformation
Die Fourier-Transformation 1. Anwendungsbeispiele der Fourier-Transformation 2. Die kontinuierliche Fourier-Transformation 3. Die Fourier-Reihe 4. Beschreibung von LTI-Systemen mit der Fourier-Transformation
MehrDatenstrukturen und Algorithmen. Christian Sohler FG Algorithmen & Komplexität
Datenstrukturen und Algorithmen Christian Sohler FG Algorithmen & Komplexität 1 Clustering: Partitioniere Objektmenge in Gruppen(Cluster), so dass sich Objekte in einer Gruppe ähnlich sind und Objekte
Mehr