Integration von Support Vector Machines in die objektbasierte Bildklassifizierung am Beispiel der Entwicklung eines Plug-Ins für ecognition

Größe: px
Ab Seite anzeigen:

Download "Integration von Support Vector Machines in die objektbasierte Bildklassifizierung am Beispiel der Entwicklung eines Plug-Ins für ecognition"

Transkript

1 52 Integration von Support Vector Machines in die objektbasierte Bildklassifizierung am Beispiel der Entwicklung eines Plug-Ins für ecognition Roland J. GRAF und Stefan WEGENKITTL Dieser Beitrag wurde nach Begutachtung durch das Programmkomitee als reviewed paper angenommen. Zusammenfassung Support Vector Machines (SVMs) sind auf maschinellem Lernen basierende Klassifikatoren die aufgrund ihres gutmütigen Verhaltens prädestiniert zur Klassifizierung segmentierter Fernerkundungsbilder sind. Sie benötigen eine vergleichsweise geringe Anzahl von Trainingsdatensätzen aus denen dennoch komplexe Entscheidungsgrenzen extrahiert werden. Der Algorithmus betont die Fähigkeit zur Generalisierung und verhindert effizient das gefürchtete Übertraining des Klassifikators. Die Arbeit untersucht anhand eines neu entwickelten ecognition Plug-Ins für SVMs die Anwendbarkeit zur automatisierten Klassifizierung unter der Prämisse einer einfachen Benutzbarkeit. Untersucht werden besonders auch die Parametrisierung von SVMs und die Optimierung des Klassifizierungsprozesses. 1 Einführung Das ständig steigende Datenvolumen und der Anspruch, aktuelle Bilddaten zeitnah, objektiv und im Ergebnis reproduzierbar zu interpretieren, zwingen vermehrt zu einer effizienten und weitgehend automatischen Verarbeitung der Bilddaten. Mit Methoden des maschinellen Lernens werden aus qualitativ hochwertigen Rohbilddaten die für die jeweiligen Fragestellungen wertvollen Informationen extrahiert. (Bild-)objekte werden dabei basierend auf Objektmerkmalen (aus Rohbilddaten abgeleitete Attribute) durch einen Klassifikator (classifier) bestehenden Klassen (Objektklassen) zugeordnet. Als Ergebnis der Klassifizierung entsteht die Klassifikation, welche von der jeweiligen Anwendung und den daraus abgeleiteten Anforderungen abhängt (TÖNNIES 2005). 1.1 Merkmale zur Beschreibung der Objekte Mit den in einem Bild enthaltenen Spektralinformationen (pixelorientierte Primärmerkmale) ist eine zweifelsfreie Klassenzuordnung der Bildpunkte nicht immer möglich. Eine vorgeschaltete Segmentierung des Bildes in Objekte als Zusammenfassung benachbarter Pixel entsprechend bestimmter Homogenitätskriterien erlaubt es aber, eine größere Anzahl zusätzlicher Sekundärmerkmale zu generieren, welche zu einer Verbesserung der Klassifizierung führen (HUANG & NI 2008). Deshalb hat sich in den letzten Jahren gerade bei der Verarbeitung geoinformatischer Bilddaten die objektbasierte Bildanalyse (object-based Strobl, J., Blaschke, T. & Griesebner, G. (Hrsg.) (2012): Angewandte Geoinformatik Herbert Wichmann Verlag, VDE VERLAG GMBH, Berlin/Offenbach. ISBN

2 Integration von Support Vector Machines in die objektbasierte Bildklassifizierung 53 image analysis OBIA) als Spezialisierung innerhalb der Bilderkennung vermehrt durchgesetzt (BLASCHKE 2010). Die in Abb. 1 links dargestellte Karte, in der die Segmente jeweils einer bestimmten Klasse (Landnutzung) zugeordnet sind, stellt eine Klassifikation dar. Sind die Objekte durch einzelne oder durch die Kombination reellwertiger Merkmale beschreibbar, so lässt sich jedes Objekt als Merkmalsvektor in einem von den Merkmalen aufgespannten mehrdimensionalen Merkmalsraum interpretieren. Im Idealfall bilden die Punkte gleicher Klassen im Merkmalsraum kompakte, mathematisch beschreibbare Punktwolken (siehe Abb. 1 rechts), aus denen beispielsweise verallgemeinerte Klassenvektoren oder Grenzflächen (etwa Hyperebenen), welche die Klassen separieren, abgeleitet werden. Abb. 1: Segmentierte Karte mit acht Landnutzungsklassen und die Verteilung der Merkmalsvektoren im 3D-Merkmalsraum (LUCHT et al. 2009) Eine höhere Merkmalsanzahl und die Relationen der Bildsegmente zueinander erleichtern nicht nur die Unterscheidung der Segmente, sondern erhöhen auch deutlich den algorithmischen Aufwand und damit die Komplexität der Klassifikatoren. Da die für Klassifikatoren wesentlichen Zusammenhänge einzelner Merkmale oder Merkmalskombinationen mit der Klassifikation selten linearer Natur sind, wird die Formulierung der Klassengrenzen bei steigender Datenkomplexität zunehmend schwieriger. Die im Folgenden behandelten SVMs sind eine Methode, solche komplexe Klassengrenzen darzustellen und aus Trainingsdaten automatisiert zu lernen. 2 Maschinelles Lernen mit Support Vector Machines Support Vector Machines (VAPNIK & CHERVONENKIS 1974, VAPNIK 1998) bezeichnen ein mathematisches Verfahren der Mustererkennung um aus Trainingsdaten (Objekte und deren Merkmale) selbstständig Gesetzmäßigkeiten zu lernen und diese später zur Klassifizierung weiterer Daten (Objekte) zu nutzen. Dieser als maschinelles Lernen bezeichnete Prozess hat das Ziel, aus den Trainingsdaten möglichst generalisierend Zusammenhänge derart abzuleiten, dass der Klassifizierer zu einem späteren Zeitpunkt unbekannte Daten mit geringstmöglichen Fehlern klassifizieren kann (CRISTIANINI & TAYLOR 2000, DUDA et al. 2000). Ist

3 54 R. J. Graf und S. Wegenkittl die Generalisierungsfähigheit groß, so setzt der Klassifikator die Trennfunktionen so an, dass ein optimaler Kompromiss zwischen der Fehlerrate bei den Trainingsdaten und der zu erwartenden Fehlerrate bei neuen, zu klassifizierenden Daten gefunden wird. Passen sich die Trennfunktionen zu stark oder zu wenig an die Trainingsdaten an, so geht die Klassifizierungsleistung verloren und eine Über- oder Unteranpassung (BISHOP 2006, BOSER et al. 1992) resultiert. SVMs betonen durch den verwendeten Lernalgorithmus im Gegensatz zu anderen Verfahren den Aspekt der Generalisierung und sind daher besonders robust gegen Überanpassung. Dabei wird zunächst ohne jegliche statistische Annahmen bezüglich der Verteilung der Daten versucht, diese mittels Trennebenen (Hyperebenen) möglichst fehlerfrei voneinander zu trennen. Mit nur wenigen relevanten Randpunkten (sog. Stützvektoren, support vectors) der zu trennenden Klassen wird die Lage der Trennebene beschrieben. Die für die Lösung irrelevanten Punkte innerhalb der Punktwolken werden im Training eliminiert. Das Optimalitätskriterium ist dabei die Identifikation von Stützvektoren, die den Abstand (optimal margin) zwischen Trennebene und nächstgelegenen Datenpunkten maximieren. Dieser in seiner Breite maximierte Trennbereich ist dadurch weitgehend frei von Vektoren aus den Trainingsdaten. Etwaige unvermeidbare Klassifizierungsfehler werden mit sogenannten Schlupfvariablen berücksichtigt, die falschklassifizierte Vektoren durch eine einfache Gewichtung (siehe Parameter C in Abschnitt 4.5) mehr oder weniger zulassen. Zur Generalisierung dieses Ansatzes auf die in den meisten Anwendungen nötigen nichtlinearen Trennflächen (BISHOP 2006) bedienen sich SVMs einer sogenannten Kernelfunktion. Diese Funktion Φ transformiert die Daten zunächst in einen höherdimensionalen Raum R n (siehe Abb. 2), in dem dann eine lineare Trennung versucht wird. Eine Kernelfunktion kann dabei als Repräsentant der Hyperebene im höherdimensionalen Merkmalsraum interpretiert werden (HEINERT 2010). Durch die implizite Integration dieser Transformation im Algorithmus auch als Kernel-Trick bezeichnet steigert sich die algorithmische Komplexität nur geringfügig, während die Generalisierungsleistung und Klassifizierungsgeschwindigkeit beträchtlich zunehmen. Zur Anwendung kommen Linear-, Polynom-, Sigmoid- und RBF-Kernel (Radial Basis Function, siehe ABE 2010) sowie Kombinationen davon, die jeweils unterschiedliche Eigenschaften haben und eine individuelle Konfiguration verlangen. Abb. 2: Lineare Trennung der Datensätze durch Transformation in einen höherdimensionalen Raum: nicht linear separierbare Daten in R 2 (links) werden in R 3 transformiert (Bildmitte) und linear separiert. Die Hyperebene in R 3 entspricht einer nicht-linearen Trennfunktion im Eingangsraum R 2 (rechts).

4 Integration von Support Vector Machines in die objektbasierte Bildklassifizierung 55 3 Implementierung einer SVM unter ecognition Für die Evaluierung von SVMs zur Klassifizierung von Fernerkundungsbildern wurde eine Erweiterung für die Software ecognition implementiert. 3.1 ecognition und Definiens Developer XD Die Verbreitung und Akzeptanz der Object Based Image Analysis (OBIA) in der Fernerkundung ist unter anderem durch die parallel fortschreitende Entwicklung der vielfach eingesetzten Software ecognition von Trimble 1 bedingt (BLASCHKE & LANG 2006, NAVULUR 2006), welche im medizinischen Bereich als Definiens Developer XD von Definiens 2 entwickelt und vertrieben wird. Mit diesen Softwarepaketen können Bilder segmentiert und die hierarchisch organisierten Bildobjekte auf Basis der Objekteigenschaften analysiert und weiterverarbeitet werden (DEFINIENS 2011). Für die Entwicklung eigener Programmerweiterungen steht ein Software Development Kit (SDK) zur Verfügung. Mit ihm lassen sich Plug-Ins auch als Components bezeichnet entwickeln, die aus der Sicht des Benutzers völlig transparent in das Programmpaket integriert werden können. Technisch handelt es sich dabei um dynamisch nachladbare Bibliotheken (DLLs), die eine definierte Schnittstelle zur Verfügung stellen müssen. Im Rahmen dieser Arbeit wurde für ecognition ein neues SVM Algorithm Plug-In entwickelt, das eine individuelle Konfiguration der zugrunde liegenden Algorithmen der LibSVM (siehe Kapitel 3.2) auf die Datenbestände ermöglicht. Auf einen Vergleich mit der im Herbst 2011 von Trimble eingeführten Unterstützung von SVMs bzw. der mit Bordmitteln realisierbaren Merkmalsraumoptimierung musste aufgrund der in einigen Versuchen festgestellten Performanceproblemen mit den verwendeten Datensätzen und fehlender Konfigurationsmöglichkeiten verzichtet werden. Daher beziehen sich die Erkenntnisse in dieser Arbeit ausschließlich auf das neu erstellte SVM Plug-In. 3.2 Bibliothek LibSVM LibSVM 3 für diese Arbeit wurde die Version 3.1 von April 2011 verwendet ist eine Bibliothek und Werkzeugsammlung der beiden Autoren CHANG & LIN (2011). Die Bibliothek ist samt Quelltexten in den Programmiersprachen C und Java frei verfügbar und bietet eine Anbindung an eine Reihe weiterer Frameworks, Programmier- bzw. Skriptsprachen, wie beispielsweise Python, C#/.NET. und MATLAB. Die LibSVM Suite bietet gegenüber anderen frei verfügbaren Werkzeugen und Bibliotheken 4 eine Reihe von Vorteilen. Neben der sehr guten Performance sprechen für LibSVM auch die Stabilität der Implementierung, die vielseitigen Parametrisierungsmöglichkeiten, die mitgelieferten Tools, die Verbreitung in unterschiedlichsten Anwendungen sowie die rege Unterstützung seitens der Community ecognition ( ) Trimble Navigation Ltd. Definiens Developer XD ( ) Definiens AG. LIBSVM ( ). Eine ausführliche Liste verfügbarer Support Vector Machine Bibliotheken findet sich unter ( ).

5 56 R. J. Graf und S. Wegenkittl 3.3 Implementierung eines SVM Plug-Ins Zur Implementierung eines Plug-Ins wird mithilfe der Definiens Engine API (DEFINIENS 2008) eine sogenannte Algorithm Component entwickelt. Das Plug-In-DLL liefert optional alle Informationen zur Abhandlung eines etwaigen Benutzerdialogs, interagiert während eines Prozessablaufs mit der Hauptapplikation und hat Zugriff auf wesentliche Teile der hierarchisch organisierten Datenstrukturen innerhalb von ecognition. Der Kern des Plug- Ins besteht aus den Einsprungfunktionen: AlgrInit: wird am Beginn des Prozessablaufs aufgerufen, AlgrExec: wird während des Prozessablaufs für jedes Objekt aufgerufen und AlgrDone: wird am Ende des Prozessablaufs von ecognition aufgerufen. Innerhalb dieser drei Funktionen werden in Abhängigkeit des vom SVM-Plug-In festgelegten Prozessmodus Train_and_Save oder Load_and_Classify unterschiedliche Methoden des Plug-Ins verwendet. Abb. 3 zeigt links den sequentiellen Ablauf der Methodenaufrufe zur Implementierung einer SVM Algorithm Component. Die Methodennamen sind weitgehend selbsterklärend und beschreiben den Trainingsablauf (2. Spalte) und den Klassifizierungsablauf (3. Spalte). Zur Evaluierung und Weiterverarbeitung der Ergebnisse und zur Optimierung der Parametrisierung werden die Datensätze im LibSVM eigenen Datenformat exportiert und mit MATLAB weiterverarbeitet. Abb. 3: Links: Ablauf des Trainings und der Klassifizierung innerhalb des SVM Algorithm Plug-In für ecognition. Rechts: Phasen eines SVM-basierten Mustererkennungssystems.

6 Integration von Support Vector Machines in die objektbasierte Bildklassifizierung 57 4 Praktische Anwendung von SVMs zur Klassifizierung Der Ablauf einer SVM-basierten Klassifizierung verläuft in den Phasen Datenaufbereitung, Parametrisierung und Klassifizierung, die in mehreren Schritten sequentiell und/oder iterativ durchlaufen werden. Die Phasen eines Mustererkennungssystems werden in acht Teilaufgaben zerlegt, wobei einige davon je nach Anforderung und zu klassifizierender Daten optional sind. Abb. 3 stellt rechts den in den folgenden Abschnitten auszugsweise diskutierten Ablauf symbolisch dar. 4.1 Auswahl der Datensätze Es gibt keine allgemeingültigen Regeln, wie viele Datensätze pro Klasse notwendig sind, um zwei oder mehrere Klassen zu separieren, da dies von der Komplexität der Klassengrenzen, den beschreibenden Merkmale und dem eingesetzten Klassifikator abhängt. Als konventionelle Hilfestellung mag die Empfehlung gelten, so viele Trainings- und Testdatensätze wie möglich zu sammeln (CAMP-VALLS & BRUZZONE 2009). Die bei den meisten Klassifikatoren bestehende Gefahr, dass zu viele Trainingsdatensätze zu einem Overfitting führen, ist bei SVMs mit gut auf die Daten abgestimmten Kernelparameter nicht zu befürchten. Gegen eine grundsätzliche Maximierung der Anzahl der Trainingsdatensätze spricht jedoch die Prozessierungsdauer des Trainings, die unmittelbar von dieser Anzahl und der Trennfähigkeit der Merkmale (siehe Kapitel 4.3) abhängt. 4.2 Skalierung der Datensätze Um alle Merkmale einheitlich zu gewichten, müssen sowohl die Merkmale der Trainingsdaten als auch der später zu klassifizierenden Daten auf gleiche Skalenniveaus und Größenordnungen gebracht werden (HSU et al. 2010). Geeignete Merkmalstransformationen sind beispielsweise (i) eine Z-Transformation, die eine standardisierte (normierte) Verteilung aller Merkmalswerte zur Folge hat, (ii) eine lineare Skalierung, nach der alle Merkmalswerte in einem definierten Bereich liegen und (iii) eine Atan-Skalierung, nach der alle Merkmalswerte in einem Bereich von [-π/2,+π/2] liegen und vor allem die negativen Auswirkungen extremer Ausreißer wirkungsvoll gedämpft werden. 4.3 Auswahl der Merkmale Die Darstellung der empirischen Verteilung der Merkmalswerte in jeder Klasse eignet sich gut zur Schätzung der Trennfähigkeit der einzelnen Merkmale. Im Idealfall überlappen sich die Dichten der einzelnen Klassen dabei bereits in einzelnen Merkmalen wenig. In der Kombination solcher Merkmale kann durch eine SVM dann besonders gut getrennt werden. 4.4 Auswahl des Kernels Die Literatur (BISHOP 2006, CRISTIANINI & TAYLOR 2000, SHAWE-TAYLOR & CRISTIANINI 2004) bietet eine große Vielfalt von Kernelfunktionen. Diese werden oft über einfaches trial-and-error selektiert (CHAPELLE & VAPNIK 1999). HSU et al. (2010) als auch andere der genannten Quellen empfehlen insbesondere den RBF-Kernel aufgrund seiner vergleichsweise einfachen Handhabung.

7 58 R. J. Graf und S. Wegenkittl Diese Empfehlung konnte empirisch bestätigt werden: Klassifizierungen mit Kernel-SVMs ergaben, dass der RBF-Kernel sowohl bei einfachen als auch komplexen Merkmalsverteilungen stabil und performant ist. Der Linear-Kernel steigert seine Leistung erst bei zunehmender Dimensionalität des Merkmalsraums. Eine ungünstige Festlegung der Kernelparameter führen bei Sigmoid- und Polynom-Kernel schnell dazu, dass der Lernalgorithmus der SVMs das Abbruchkriterium nur noch sehr langsam erreicht. 4.5 Parametrisierung von SVMs Die Vermeidung von Überanpassung durch SVMs ist darin begründet, dass diese versuchen, die Generalisierung zu maximieren und nicht wie andere Klassifikatoren die Fehler bei den Trainingsdaten zu minimieren. Voraussetzung dafür ist jedoch eine geeignete Parametrisierung der SVM und der Kernelfunktionen. Bei SVMs mit RBF- oder Gauß-Kernel bestimmen beispielsweise der Parameter γ und das Fehlergewicht C als Stellgröße im Wesentlichen die Anpassungsfähigkeit der SVM an die Problemstellung (vgl. Abb. 4). Mit abnehmendem γ werden die Gauß-Glocken in die Breite gezogen. In Kombination mit einem kleinen Wert für C zur Erhöhung der Toleranz bzgl. Fehlklassifikationen wird die Trennebene nahezu linear. Ist γ zu groß gewählt, so legen sich die Gauß-Glocken eng an die Punkte. Es kommt zu keinen Fehlklassifikationen, jedoch zu einer Art Übertraining der SVM, da die Trainingsdaten exakt reproduziert werden. Ist die Kombination der Parameter C und γ aufeinander abgestimmt, so generalisiert die SVM gut und trennt die beiden Klassen erfolgreich. Leider können in der Praxis aus den Daten weder der optimale Kerneltyp noch die optimale Parametrisierung vorhergesagt werden, denn...the parameter C has no intuitive meaning. (SHAWE-TAYLOR & CRISTIANINI 2004, 225). Zielführend wenngleich numerisch aufwendig ist eine heuristische Parametersuche, bei der mit unterschiedlichen Parameterkombinationen jeweils aus einer n-fachen Kreuzvalidierung das Cross Validation Accuracy (CVA, ABE, S. 2010) Maximum aus allen Konfigurationen berechnet wird. Abb. 4: Einfluss der Parameter C und γ auf eine binäre Klassifikation. Links: γ zu klein, C zu klein. Mitte: γ zu groß, C passend. Rechts: γ passend, C passend.

8 Integration von Support Vector Machines in die objektbasierte Bildklassifizierung 59 Abb. 5 zeigt ein Konturdiagramm, das jene γ- und C-Konfigurationen mit gleichem CVA mit Isolinien verbindet. Je nach Wahl der Parameter C und γ wird beim Trainingsvorgang eine CVA im Bereich von 45 % bis 85 % ausgewiesen. Die CVA-Maximum wurde bei C=2 6 und γ=2 3 erreicht (siehe Markierungskreuz). Eine Gegenüberstellung der CVA mit der Anzahl der Support-Vektoren (SV) belegt, dass jene Kombinationen mit der besten CVA auch die wenigsten SV benötigten. Dieser Effekt, der auch mit anderen Daten bestätigt wurde, lässt den Schluss zu, dass auch die Anzahl der SV als Indikator einer effizienten Klassifizierung herangezogen werden kann. Abb. 5: Cross Validation Accuracy und Anzahl der Stützvektoren für Vektoren mit 42 Merkmalen aus 8 Klassen. C entspricht Cost, γ entspricht Gamma. Eine heuristische Parameteroptimierung eignet sich am ehesten für Linear- oder RBFKernel. Wesentlicher Nachteil ist der hohe Rechenaufwand. Für das in Abb. 5 gerechnete Beispiel mit einer Schrittweite von γ = -6, -3 9, 12 und C = -12, 9 9, 12 müssen bei einer 5- fachen Kreuzvalidierung schon 9 7 5=315 Trainings- und Testdurchgänge gerechnet werden. Sigmoid- oder Polynom-Kernel bedürfen durch den ebenfalls zu optimierenden Kernelparameter einer Iteration durch drei Variablen, wodurch der Aufwand und damit die Prozessierungsdauer noch einmal deutlich steigen. Für bestimmte Parameterkombinationen musste der Testlauf abgebrochen werden, da der Lernalgorithmus das Abbruchkriterium in akzeptabler Zeit nicht erreichen konnte. 4.6 Optimierungsmöglichkeiten der Klassifizierung mit SVMs Nach einer Evaluierung der Ergebnisse und dem damit verbundenen Prozessierungsaufwand liegt es nahe, nach Optimierungsmöglichkeiten bezüglich (i) besserer Klassifizierungsergebnisse, (ii) einer Vereinfachung bei der Auswahl der Trainingsdaten und (iii) einer Verkürzung der Prozessierungsdauer ohne wesentliche Qualitätseinbußen zu suchen. Eine Reduktion der Merkmale bzw. Dimensionsreduktion des Merkmalsraumes führt auch zu einer Reduktion des Prozessierungsaufwands, steht jedoch im direkten Widerspruch zum Theorem von Cover (SCHOLKOPF & SMOLA 2001) das besagt, dass bei einer Zunahme der Dimension des Merkmalsraumes die Anzahl der möglichen linearen Trennebenen auch

9 60 R. J. Graf und S. Wegenkittl zunimmt. Eine sinnvolle Reduktion entfernt demnach nur jene Merkmale, die ohnehin keinen Informationsgewinn darstellen. Als durchaus praktikable Lösung könnte sich dabei eine der Klassifizierung vorgeschalteten Hauptkomponentenanalyse erweisen, mit der mehrdimensionale, teils stark korrelierende Datensätze derart vereinfacht werden, dass die transformierten Merkmale unkorreliert und nach Varianz geordnet vorliegen und die statistische Größen der Trainingsdaten durch eine geringere Anzahl von Linearkombinationen, den sogenannten Hauptkomponenten (HK), beschrieben werden. Wie sich bei Versuchen ebenso gezeigt hat, reagieren SVMs empfindlich auf eine Ungleichverteilung der Trainingsdatensätze pro Klasse. Mögliche Gegenmaßnahmen sind eine Duplikation (upsizing), ein Verzicht (downsizing) oder eine Gewichtung (weighting) der Trainingsvektoren in Relation zur Anzahl der Datensätze jeder Klasse. Eine weitere Verkürzung der Prozessierungsdauer ohne wesentliche Einbußen seitens der Klassifikationsqualität kann durch die Anpassung der Abbruchbedingungen des Lernalgorithmus bei langsam konvergierenden Kernel-SVMs erwirkt werden. 5 Fazit SVMs bringen von sich aus alle Eigenschaften mit, um komplexe Klassifikationsaufgaben zu lösen. Die im Rahmen dieser Arbeit durchgeführten Klassifizierungen unterstreichen die Vorteile von SVMs zur objektbasierten Klassifikation von Fernerkundungsbildern, zeigen aber auch die Grenzen der in den derzeit verfügbaren Implementierungen gewählten Vorgangsweisen und somit den Bedarf an weiteren Untersuchungen auf. Der Klassifizierungserfolg steht im direkten Zusammenhang mit der Extraktion und Selektion der Merkmale, mit der Auswahl der Trainingsdaten, vor allem aber mit der Festlegung der Kernelparameter und der Gewichtung C von Fehlklassifikationen. Eine praxistaugliche Umsetzung bedarf eines höheren Grades an Automatisierung des Klassifikationsprozesses. Im Besonderen nehmen derzeit die Parametrisierung der SVMs und Optimierung der Eingangsdaten einen Großteil des Gesamtaufwands ein, sie bestimmen jedoch auch wesentlich den Erfolg der Klassifizierung und die Dauer des Trainingsprozesses. Sowohl in der selektiven Reduktion der Merkmale als auch in der Wahl der Trainingsdatensätze liegt viel Potenzial für eine weitere Beschleunigung dieses Prozesses. Ebenso ist die Parallelisierung aller Algorithmen und Prozessschritte naheliegend. Eine konsequente Automatisierung, Optimierung und Beschleunigung aller Prozessschritte ist daher wichtig für eine weitere Verbreitung von Support Vector Machines in der Fernerkundung. Literatur ABE, S. ( ), Support Vector Machines for Pattern Classification. Springer-Verlag, London. BISHOP, C.M. (2006), Pattern Recognition and Machine Learning (Information Science and Statistics). Springer-Verlag, New York. BLASCHKE, T. (2010), Object based image analysis for remote sensing. In: ISPRS Journal of Photogrammetry and Remote Sensing, 65, 2-16.

10 Integration von Support Vector Machines in die objektbasierte Bildklassifizierung 61 BLASCHKE, T. & LANG, S. (2006), Object based image analysis for automated information extraction A synthesis. Measuring the Earth II ASPRS Fall Conference 6-10 November San Antonio, Texas. BOSER, B. E., GUYON, I. M. & VAPNIK, V. N. (1992), A Training Algorithm for Optimal Margin Classifiers. Proceedings of the 5th Annual ACM Workshop on Computational Learning Theory. ACM Press, New York, USA, CAMP-VALLS, G. & BRUZZONE, L: (Eds:) (2009), Kernel Methods for Remote Sensing Data Analysis. John Wiley & Sons, Ltd, UK. CHANG, C.C. & LIN, C. J. (2011), LIBSVM: A library for support vector machines. In: ACM Transactions on Intelligent Systems and Technology, 2, 27:1-27:27. csie.ntu.edu.tw/~cjlin/libsvm ( ). CRISTIANINI, N. & TAYLOR, S. J. (2000), An introduction to support vector machines. Cambridge University Press, Cambridge. DEFINIENS (2008), Definiens Developer XD 1.0 SDK Engine API User Guide. Definiens AG, München. DEFINIENS (2011), Definiens Developer XD Documentation User Guide. Definiens AG, München. DUDA, R. O., HART, P. E. & STORK, D. ( ), Pattern Classification. John Wiley and Sons, New York. HEINERT, M. (2010), Support Vector Machines Teil 1: Ein theoretischer Überblick. In: Zeitschrift für Geodäsie, Geoinformation und Landmanagement, 3, HSU, C. W., CHANG, C. C. & LIN, C. J. (2010), A Practical Guide to Support Vector Classification. In: Bioinformatics, 1 (1), guide/guide.pdf ( ). HUANG, L. & NI, L. (2008), Object-Oriented Classification of High Resolution Satellite Image for Better Accuracy. In: ZHANG, J. & GOODCHILD, M. F. (Eds.), Proceedings of the 8th International Symposium on Spatial Accuracy Assessment in Natural Resources and Environmental Sciences. ISARA International Spatial Accurcy Research Association, Shanghai, LUCHT, C., NESTLER, R. & FRANKE, K. (2009), Landnutzungsklassifikation auf multisensorischen und multispektralen Bilddaten Anforderungen und Lösungsansätze. Beitrag zum 15.Workshop Farbbildverarbeitung, Oktober Berlin. NAVULUR, K. (2006), Multispectral image analysis using the object-oriented paradigm. CRC Press, London. SCHOLKOPF, B. & SMOLA, A.J. (2001), Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond. MIT Press, Cambridge, MA, USA. TÖNNIES, K. (2005), Grundlagen der Bildverarbeitung. Pearson Education Inc., München. VAPNIK, V. (1998), Statistical Learning Theory. Wiley-Interscience, Chichester. VAPNIK, V. & CHERVONENKIS, A. (1974), Theory of Pattern Recognition (in Russisch). Moscow: Nauka. (Deutsche Übersetzung: W. WAPNIK & A. TSCHERWONENKIS, Theorie der Zeichenerkennung, Akademie-Verlag, Berlin, 1979).

Vorlesung Maschinelles Lernen

Vorlesung Maschinelles Lernen Vorlesung Maschinelles Lernen Stützvektormethode Katharina Morik LS 8 Informatik Technische Universität Dortmund 12.11.2013 1 von 39 Gliederung 1 Hinführungen zur SVM 2 Maximum Margin Methode Lagrange-Optimierung

Mehr

Mustererkennung. Support Vector Machines. R. Neubecker, WS 2018 / Support Vector Machines

Mustererkennung. Support Vector Machines. R. Neubecker, WS 2018 / Support Vector Machines Mustererkennung R. Neubecker, WS 018 / 019 (SVM) kommen aus der statistischen Lerntheorie gehören zu den optimalen Klassifikatoren = SVMs minimieren nicht nur den Trainingsfehler, sondern auch den (voraussichtlichen)

Mehr

Einführung in Support Vector Machines (SVMs)

Einführung in Support Vector Machines (SVMs) Einführung in (SVM) Januar 31, 2011 Einführung in (SVMs) Table of contents Motivation Einführung in (SVMs) Outline Motivation Vektorrepräsentation Klassifikation Motivation Einführung in (SVMs) Vektorrepräsentation

Mehr

Vorlesung Maschinelles Lernen

Vorlesung Maschinelles Lernen Vorlesung Maschinelles Lernen Stützvektormethode Katharina Morik LS 8 Informatik 8.11.2011 1 von 38 Gliederung 1 2 Lagrange-Optimierung 2 von 38 Übersicht über die Stützvektormethode (SVM) Eigenschaften

Mehr

Vorlesung Wissensentdeckung

Vorlesung Wissensentdeckung Vorlesung Wissensentdeckung Stützvektormethode Katharina Morik, Uwe Ligges 10.6.2010 1 von 40 Gliederung 1 Hinführungen zur SVM 2 Maximum Margin Methode Lagrange-Optimierung 3 Weich trennende SVM 2 von

Mehr

Vorlesung Wissensentdeckung

Vorlesung Wissensentdeckung Gliederung Vorlesung Wissensentdeckung Stützvektormethode 1 Hinführungen zur SVM Katharina Morik, Claus Weihs 26.5.2009 2 Maximum Margin Methode Lagrange-Optimierung 3 Weich trennende SVM 1 von 40 2 von

Mehr

Support Vector Machines, Kernels

Support Vector Machines, Kernels Support Vector Machines, Kernels Katja Kunze 13.01.04 19.03.2004 1 Inhalt: Grundlagen/Allgemeines Lineare Trennung/Separation - Maximum Margin Hyperplane - Soft Margin SVM Kernels Praktische Anwendungen

Mehr

Ridge Regression und Kernalized Support Vector Machines : Einführung und Vergleich an einem Anwendungsbeispiel

Ridge Regression und Kernalized Support Vector Machines : Einführung und Vergleich an einem Anwendungsbeispiel Ridge Regression und Kernalized Support Vector Machines : Einführung und Vergleich an einem Anwendungsbeispiel Dr. Dominik Grimm Probelehrveranstaltung Fakultät für Informatik und Mathematik Hochschule

Mehr

Vorlesung Wissensentdeckung

Vorlesung Wissensentdeckung Vorlesung Wissensentdeckung Stützvektormethode Katharina Morik, Uwe Ligges 23.5.2013 1 von 48 Gliederung 1 Geometrie linearer Modelle: Hyperebenen Einführung von Schölkopf/Smola 2 Lagrange-Optimierung

Mehr

Support Vector Machines (SVM)

Support Vector Machines (SVM) Universität Ulm 12. Juni 2007 Inhalt 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor- und Nachteile der SVM 1 2 3 Grundlegende Idee Der Kern-Trick 4 5 Multi-Klassen-Einteilung Vor-

Mehr

One-class Support Vector Machines

One-class Support Vector Machines One-class Support Vector Machines Seminar Wissensbasierte Systeme Dietrich Derksen 3. Januar 204 Motivation One-class Support Vector Machines: Detektion von Ausreißern (Systemfehlererkennung) Klassifikation

Mehr

Neuronale Netze. Prof. Dr. Rudolf Kruse

Neuronale Netze. Prof. Dr. Rudolf Kruse Neuronale Netze Prof. Dr. Rudolf Kruse Computational Intelligence Institut für Intelligente Kooperierende Systeme Fakultät für Informatik rudolf.kruse@ovgu.de Rudolf Kruse Neuronale Netze 1 Überwachtes

Mehr

Vergleich von SVM und Regel- und Entscheidungsbaum-Lernern

Vergleich von SVM und Regel- und Entscheidungsbaum-Lernern Vergleich von SVM und Regel- und Entscheidungsbaum-Lernern Chahine Abid Bachelor Arbeit Betreuer: Prof. Johannes Fürnkranz Frederik Janssen 28. November 2013 Fachbereich Informatik Fachgebiet Knowledge

Mehr

Vorlesung Digitale Bildverarbeitung Sommersemester 2013

Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Vorlesung Digitale Bildverarbeitung Sommersemester 2013 Sebastian Houben (Marc Schlipsing) Institut für Neuroinformatik Inhalt Crash-Course in Machine Learning Klassifikationsverfahren Grundsätzliches

Mehr

Objektmerkmale für die räumlich-spektrale Klassifikation

Objektmerkmale für die räumlich-spektrale Klassifikation Objektmerkmale für die räumlich-spektrale Klassifikation AG Geomatik Geographisches Institut Ruhr-Universität Bochum AK Fernerkundung, Bochum 2012 Übersicht Ansatz zur automatischen Bildinterpretation:

Mehr

MASTERARBEIT. Objektklassifizierung mit Support Vector Machines. vorgelegt von. Roland J. Graf. U1436 / UNIGIS MSc Jahrgang 2009

MASTERARBEIT. Objektklassifizierung mit Support Vector Machines. vorgelegt von. Roland J. Graf. U1436 / UNIGIS MSc Jahrgang 2009 MASTERARBEIT im Rahmen des Universitätslehrganges Geographical Information Science and Systems (UNIGIS MSc) am Zentrum für GeoInformatik der Paris-Lodron-Universität Salzburg zum Thema Objektklassifizierung

Mehr

Learning to Rank Sven Münnich

Learning to Rank Sven Münnich Learning to Rank Sven Münnich 06.12.12 Fachbereich 20 Seminar Recommendersysteme Sven Münnich 1 Übersicht 1. Einführung 2. Methoden 3. Anwendungen 4. Zusammenfassung & Fazit 06.12.12 Fachbereich 20 Seminar

Mehr

Mustererkennung und Klassifikation

Mustererkennung und Klassifikation Mustererkennung und Klassifikation WS 2007/2008 Fakultät Informatik Technische Informatik Prof. Dr. Matthias Franz mfranz@htwg-konstanz.de www-home.htwg-konstanz.de/~mfranz/heim.html Grundlagen Überblick

Mehr

Automatic segmentation for dental operation planning. Diplomarbeit. Nguyen The Duy

Automatic segmentation for dental operation planning. Diplomarbeit. Nguyen The Duy Automatic segmentation for dental operation planning Diplomarbeit Nguyen The Duy 24.02.2012 Motivation Quelle: bestbudapestdentist.com Aufgabenstellung Segmentierung des Oberkiefers (Maxilla) Detektion

Mehr

Optimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp

Optimal-trennende Hyperebenen und die Support Vector Machine. Volker Tresp Optimal-trennende Hyperebenen und die Support Vector Machine Volker Tresp 1 (Vapnik s) Optimal-trennende Hyperebenen (Optimal Separating Hyperplanes) Wir betrachten wieder einen linearen Klassifikator

Mehr

Nichtlineare Klassifikatoren

Nichtlineare Klassifikatoren Nichtlineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 11 1 M. O. Franz 12.01.2008 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht

Mehr

Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung

Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung Grundlagen von Support Vector Maschinen und Anwendungen in der Bildverarbeitung Jan Eichhorn jan.eichhorn@tuebingen.mpg.de Max-Planck-Institut für biologische Kybernetik 72076 Tübingen Danksagung Olivier

Mehr

Lineare Klassifikatoren. Volker Tresp

Lineare Klassifikatoren. Volker Tresp Lineare Klassifikatoren Volker Tresp 1 Einführung Lineare Klassifikatoren trennen Klassen durch eine lineare Hyperebene (genauer: affine Menge) In hochdimensionalen Problemen trennt schon eine lineare

Mehr

Hauptseminar Machine Learning: Support Vector Machines, Kernels. Katja Kunze

Hauptseminar Machine Learning: Support Vector Machines, Kernels. Katja Kunze Hauptseminar Machine Learning: Support Vector Machines, Kernels Katja Kunze 13.01.2004 Inhaltsverzeichnis 1 Einführung 2 1.1 Grundlagen............................ 2 2 Lineare Seperation 5 2.1 Maximum

Mehr

Maschinelles Lernen Vorlesung

Maschinelles Lernen Vorlesung Maschinelles Lernen Vorlesung SVM Kernfunktionen, Regularisierung Katharina Morik 15.11.2011 1 von 39 Gliederung 1 Weich trennende SVM 2 Kernfunktionen 3 Bias und Varianz bei SVM 2 von 39 SVM mit Ausnahmen

Mehr

Merkmalserkennungs- und Klassifikationssystem (MEKS)

Merkmalserkennungs- und Klassifikationssystem (MEKS) Merkmalserkennungs- und Klassifikationssystem (MEKS) S. Hafner Univ.-GHS Paderborn, Abteilung Meschede Tel.: (0291) 9910-330, Fax: (0291) 9910-330 Email: Hafner@meschede.uni-paderborn.de Kurzfassung Die

Mehr

Überwachtes Lernen / Support Vector Machines. Rudolf Kruse Neuronale Netze 246

Überwachtes Lernen / Support Vector Machines. Rudolf Kruse Neuronale Netze 246 Überwachtes Lernen / Support Vector Machines Rudolf Kruse Neuronale Netze 246 Überwachtes Lernen, Diagnosesystem für Krankheiten Trainingsdaten: Expressionsprofile von Patienten mit bekannter Diagnose

Mehr

9.5 Entscheidungsbäume

9.5 Entscheidungsbäume 9.5. ENTSCHEIDUNGSBÄUME 149 9.5 Entscheidungsbäume Wir betrachten wieder einen Datensatz von Ereignissen mit jeweils m Merkmalen, zusammengefasst in x, die zwei verschiedenen Klassen angehören, zum Beispiel

Mehr

Machine Learning. ML Kapitel 7: Support Vector Machines. Prof. Dr. Johannes Maucher. Version November HdM CSM

Machine Learning. ML Kapitel 7: Support Vector Machines. Prof. Dr. Johannes Maucher. Version November HdM CSM Machine Learning Kapitel 7: Support Vector Machines HdM CSM Version 1.5 16. November 2017 Document History Version Date Changes Nr. 1.0 18.06.2009 1.1 14.06.2010 Eigene Beispiele hinzugefügt 1.2 16.05.2011

Mehr

Support Vector Machines (SVM)

Support Vector Machines (SVM) Seminar Statistische Lerntheorie und ihre Anwendungen Support Vector Machines (SVM) Jasmin Fischer 12. Juni 2007 Inhaltsverzeichnis Seite 1 Inhaltsverzeichnis 1 Grundlagen 2 2 Lineare Trennung 3 2.1 Aufstellung

Mehr

Objektorientierte Bildverarbeitung Methodische Grundlagen

Objektorientierte Bildverarbeitung Methodische Grundlagen ARC GmbH Objektorientierte Bildverarbeitung Methodische Grundlagen Klaus Steinnocher, Florian Kressler klaus.steinnocher@arcs.ac.at Geschäftsfeld Umweltplanung ARC http://www.arcs.ac.at/s 1 ARC GmbH Einleitung!

Mehr

Lineare Klassifikatoren

Lineare Klassifikatoren Lineare Klassifikatoren Mustererkennung und Klassifikation, Vorlesung No. 8 1 M. O. Franz 06.12.2007 1 falls nicht anders vermerkt, sind die Abbildungen entnommen aus Duda et al., 2001. Übersicht 1 Nächste-Nachbarn-

Mehr

Feature Selection / Preprocessing

Feature Selection / Preprocessing 1 Feature Selection / Preprocessing 2 Was ist Feature Selection? 3 Warum Feature Selection? Mehr Variablen führen nicht automatisch zu besseren Ergebnissen. Lernen von unwichtigen Daten Mehr Daten notwendig

Mehr

Support Vector Machines und Kernel-Methoden

Support Vector Machines und Kernel-Methoden Support Vector Machines und Kernel-Methoden Seminar Bernd Bischl und Heike Trautmann Lehrstuhl Computergestützte Statistik Fakultät Statistik TU Dortmund 7. Juli 2010 Trautmann, Bischl (Fakultät Statistik)

Mehr

Projekt-INF Folie 1

Projekt-INF Folie 1 Folie 1 Projekt-INF Entwicklung eines Testbed für den empirischen Vergleich verschiedener Methoden des maschinellen Lernens im Bezug auf die Erlernung von Produktentwicklungswissen Folie 2 Inhalt Ziel

Mehr

Einführung R. Neubecker, WS 2018 / 2019

Einführung R. Neubecker, WS 2018 / 2019 Mustererkennung Einführung R. Neubecker, WS 2018 / 2019 1 Übersicht Hyperebenen-Mathematik Anmerkungen Zusammenfassung Mustererkennung (Pattern recognition) Mustererkennung ist die Fähigkeit, in einer

Mehr

SKOPOS Webinar 22. Mai 2018

SKOPOS Webinar 22. Mai 2018 SKOPOS Webinar 22. Mai 2018 Marktforschung 2020: Künstliche Intelligenz und automatische Text Analysen? Christopher Harms, Consultant Research & Development 2 So? Terminator Exhibition: T-800 by Dick Thomas

Mehr

Klassifikation und Ähnlichkeitssuche

Klassifikation und Ähnlichkeitssuche Klassifikation und Ähnlichkeitssuche Vorlesung XIII Allgemeines Ziel Rationale Zusammenfassung von Molekülen in Gruppen auf der Basis bestimmter Eigenschaften Auswahl von repräsentativen Molekülen Strukturell

Mehr

Mustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle

Mustererkennung. Übersicht. Unüberwachtes Lernen. (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren Gaussian-Mixture Modelle Mustererkennung Unüberwachtes Lernen R. Neubecker, WS 01 / 01 Übersicht (Un-) Überwachtes Lernen Clustering im Allgemeinen k-means-verfahren 1 Lernen Überwachtes Lernen Zum Training des Klassifikators

Mehr

Approximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes

Approximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes Approximate Maximum Margin Algorithms with Rules Controlled by the Number of Mistakes Seminar Maschinelles Lernen VORTRAGENDER: SEBASTIAN STEINMETZ BETREUT VON: ENELDO LOZA MENCÍA Inhalt Vorbedingungen

Mehr

Das Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation

Das Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation Das Modell: Nichtlineare Merkmalsextraktion (Preprozessing) + Lineare Klassifikation Hochdimensionaler Eingaberaum {0,1} Z S quadratisch aufgemalt (zwecks besserer Visualisierung) als Retina bestehend

Mehr

Einführung in die Bioinformatik: Lernen mit Kernen

Einführung in die Bioinformatik: Lernen mit Kernen Einführung in die Bioinformatik: Lernen mit Kernen Dr. Karsten Borgwardt Forschungsgruppe für Maschinelles Lernen und Bioinformatik Max-Planck-Institut für Intelligente Systeme & Max-Planck-Institut für

Mehr

Methoden zur Cluster - Analyse

Methoden zur Cluster - Analyse Kapitel 4 Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig Machine learning in bioinformatics

Mehr

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen

Funktionslernen. 5. Klassifikation. 5.6 Support Vector Maschines (SVM) Reale Beispiele. Beispiel: Funktionenlernen 5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus

Mehr

Multimedia-Metadaten und ihre Anwendung

Multimedia-Metadaten und ihre Anwendung Multimedia-Metadaten und ihre Anwendung 14.02.2006 Automatische Gesichtserkennung Dominikus Baur Gesichtserkennung in MPEG-7 MPEG-7 bietet Face Descriptor zur Beschreibung von Gesichtern Im Folgenden:

Mehr

Thema: Support Vector Machines Johannes Lächele

Thema: Support Vector Machines Johannes Lächele Proseminar: Machine Learning 26. Juli 2006 Johannes Lächele Zusammenfassung: In dieser Seminararbeit wird das Basiswissen für das Verständnis von Support Vector Machines oder SVM vermittelt. Nach einer

Mehr

Gleiche Daten, unterschiedliche Erkenntnisziele?

Gleiche Daten, unterschiedliche Erkenntnisziele? Gleiche Daten, unterschiedliche Erkenntnisziele? Zum Potential vermeintlich widersprüchlicher Zugänge zur Textanalyse Universität Hamburg Evelyn Gius Jan Christoph Meister Janina Jacke Marco Petris Universität

Mehr

Grundlagen von Support Vector Machines (SVM)

Grundlagen von Support Vector Machines (SVM) Grundlagen von Support Vector Machines (SVM) Jens Pönisch 2019-03-16 1 / 31 Motivation Masterarbeit Sandy Bitterlich 2016 Optimierungsverfahren im Machine Learning ADMM SVM MPI Eigene Implementierung des

Mehr

Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell

Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Textmining Klassifikation von Texten Teil 2: Im Vektorraummodell Dept. Informatik 8 (Künstliche Intelligenz) Friedrich-Alexander-Universität Erlangen-Nürnberg (Informatik 8) Klassifikation von Texten Teil

Mehr

Polynomiale Regression lässt sich mittels einer Transformation der Merkmale auf multiple lineare Regression zurückführen

Polynomiale Regression lässt sich mittels einer Transformation der Merkmale auf multiple lineare Regression zurückführen Rückblick Polynomiale Regression lässt sich mittels einer Transformation der Merkmale auf multiple lineare Regression zurückführen Ridge Regression vermeidet Überanpassung, indem einfachere Modelle mit

Mehr

1. Referenzpunkt Transformation

1. Referenzpunkt Transformation 2.3 Featurereduktion Idee: Anstatt Features einfach wegzulassen, generiere einen neuen niedrigdimensionalen Featureraum aus allen Features: Redundante Features können zusammengefasst werden Irrelevantere

Mehr

Question Answering mit Support Vector Machines

Question Answering mit Support Vector Machines Question Answering mit Support Vector Machines Sabrina Stehwien 30.01.2012 HS Information Retrieval Dozentin: Karin Haenelt Überblick 1. Question Answering Systeme 2. Das SAIQA-II QA-System 3. Support

Mehr

1/19. Kern-Methoden zur Extraktion von Informationen. Sebastian Marius Kirsch Back Close

1/19. Kern-Methoden zur Extraktion von Informationen. Sebastian Marius Kirsch Back Close 1/19 Kern-Methoden zur Extraktion von Informationen Sebastian Marius Kirsch skirsch@moebius.inka.de 2/19 Gliederung 1. Verfahren zur Extraktion von Informationen 2. Extraktion von Beziehungen 3. Maschinelles

Mehr

Klassische Klassifikationsalgorithmen

Klassische Klassifikationsalgorithmen Klassische Klassifikationsalgorithmen Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2013 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB

INTELLIGENTE DATENANALYSE IN MATLAB INTELLIGENTE DATENANALYSE IN MATLAB Einführungsveranstaltung Überblick Organisation Literatur Inhalt und Ziele der Vorlesung Beispiele aus der Praxis 2 Organisation Vorlesung/Übung + Projektarbeit. 4 Semesterwochenstunden.

Mehr

Unüberwachtes Lernen

Unüberwachtes Lernen Unüberwachtes Lernen Mustererkennung und Klassifikation, Vorlesung No. 12 M. O. Franz 17.01.2008 Übersicht 1 Hauptkomponentenanalyse 2 Nichtlineare Hauptkomponentenanalyse 3 K-Means-Clustering Übersicht

Mehr

Martin Stetter WS 03/04, 2 SWS. VL: Dienstags 8:30-10 Uhr

Martin Stetter WS 03/04, 2 SWS. VL: Dienstags 8:30-10 Uhr Statistische und neuronale Lernverfahren Martin Stetter WS 03/04, 2 SWS VL: Dienstags 8:30-0 Uhr PD Dr. Martin Stetter, Siemens AG Statistische und neuronale Lernverfahren Behandelte Themen 0. Motivation

Mehr

1 Einleitung Definitionen, Begriffe Grundsätzliche Vorgehensweise... 3

1 Einleitung Definitionen, Begriffe Grundsätzliche Vorgehensweise... 3 Inhaltsverzeichnis 1 Einleitung 1 1.1 Definitionen, Begriffe........................... 1 1.2 Grundsätzliche Vorgehensweise.................... 3 2 Intuitive Klassifikation 6 2.1 Abstandsmessung zur Klassifikation..................

Mehr

Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection

Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection Eigenfaces vs. Fisherfaces: Recognition Using Class Specific Linear Projection P. Belhumeur, J. Hespanha, D. Kriegman IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 7, July

Mehr

EFME Aufsätze ( Wörter) Der Aufbau von Entscheidungsbäumen...1

EFME Aufsätze ( Wörter) Der Aufbau von Entscheidungsbäumen...1 EFME Aufsätze (150 200 Wörter) Der Aufbau von Entscheidungsbäumen...1 PCA in der Gesichtserkennung... 2 Bias, Varianz und Generalisierungsfähigkeit... 3 Parametrische und nicht-parametrische Lernverfahren:

Mehr

Kapitel 4: Data Mining DATABASE SYSTEMS GROUP. Überblick. 4.1 Einleitung. 4.2 Clustering. 4.3 Klassifikation

Kapitel 4: Data Mining DATABASE SYSTEMS GROUP. Überblick. 4.1 Einleitung. 4.2 Clustering. 4.3 Klassifikation Überblick 4.1 Einleitung 4.2 Clustering 4.3 Klassifikation 1 Klassifikationsproblem Gegeben: eine Menge O D von Objekten o = (o 1,..., o d ) O mit Attributen A i, 1 i d eine Menge von Klassen C = {c 1,...,c

Mehr

Software Design basierend auf dem Plug-In Konzept

Software Design basierend auf dem Plug-In Konzept Software Design basierend auf dem Plug-In Konzept Michael Antes Seminar Simulation und Bildanalyse mit Java, WS2003 Universität Ulm Software-Design basierend auf dem Plug-In-Konzept Inhalt: Einführung:

Mehr

DIPLOMARBEIT. Martin-Luther-Universität Halle-Wittenberg. Detektion von Transkriptionsfaktorbindestellen mit Support-Vektor-Maschinen

DIPLOMARBEIT. Martin-Luther-Universität Halle-Wittenberg. Detektion von Transkriptionsfaktorbindestellen mit Support-Vektor-Maschinen DIPLOMARBEIT UNIVERSITÄTSZENTRUM INFORMATIK Martin-Luther-Universität Halle-Wittenberg Detektion von Transkriptionsfaktorbindestellen mit Support-Vektor-Maschinen Stefan Haufe (2005) Universitätszentrum

Mehr

So lösen Sie das multivariate lineare Regressionsproblem von Christian Herta

So lösen Sie das multivariate lineare Regressionsproblem von Christian Herta Multivariate Lineare Regression Christian Herta Oktober, 2013 1 von 34 Christian Herta Multivariate Lineare Regression Lernziele Multivariate Lineare Regression Konzepte des Maschinellen Lernens: Kostenfunktion

Mehr

Selbstständiges Lernen

Selbstständiges Lernen Kapitel 5 Spezialvorlesung Modul 10-202-2206 (Fortgeschrittene Methoden in der Bioinformatik) Jana Hertel Professur für Bioinformatik Institut für Informatik Universität Leipzig Machine learning in bioinformatics

Mehr

Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen

Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Ein Vergleich von Methoden für Multi-klassen Support Vector Maschinen Einführung Auf binären Klassifikatoren beruhende Methoden One-Against-All One-Against-One DAGSVM Methoden die alle Daten zugleich betrachten

Mehr

Statistische Lerntheorie und Empirische Inferenz Statistical Learning Theorie and Empirical Inference

Statistische Lerntheorie und Empirische Inferenz Statistical Learning Theorie and Empirical Inference Statistische Lerntheorie und Empirische Inferenz Statistical Learning Theorie and Empirical Inference Schölkopf, Bernhard Max-Planck-Institut für biologische Kybernetik, Tübingen Korrespondierender Autor

Mehr

Wahrscheinlichkeitsrechnung und Statistik für Biologen Diskriminanzanalyse

Wahrscheinlichkeitsrechnung und Statistik für Biologen Diskriminanzanalyse Wahrscheinlichkeitsrechnung und Statistik für Biologen Diskriminanzanalyse Noémie Becker & Dirk Metzler http://evol.bio.lmu.de/_statgen 3. Juli 2013 Übersicht 1 Ruf des Kleinspechts 2 Modell Vorgehen der

Mehr

Bild-Erkennung & -Interpretation

Bild-Erkennung & -Interpretation Kapitel I Bild-Erkennung & -Interpretation FH Aachen / Jülich, FB 9 Prof. Dr. rer.nat. Walter Hillen (Dig Img I) 1 Einführung Schritte zur Bilderkennung und Interpretation: Bild-Erfassung Vorverarbeitung

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB. Evaluation & Exploitation von Modellen

INTELLIGENTE DATENANALYSE IN MATLAB. Evaluation & Exploitation von Modellen INTELLIGENTE DATENANALYSE IN MATLAB Evaluation & Exploitation von Modellen Überblick Schritte der Datenanalyse: Datenvorverarbeitung Problemanalyse Problemlösung Anwendung der Lösung Aggregation und Selektion

Mehr

Klassische Klassifikationsalgorithmen

Klassische Klassifikationsalgorithmen Klassische Klassifikationsalgorithmen Einführung in die Wissensverarbeitung 2 VO 708.560+ 1 UE 442.072 SS 2012 Institut für Signalverarbeitung und Sprachkommunikation TU Graz Inffeldgasse 12/1 www.spsc.tugraz.at

Mehr

Lineare Klassifikationsmethoden

Lineare Klassifikationsmethoden Verena Krieg Fakultät für Mathematik und Wirtschaftswissenschaften 08. Mai 2007 Inhaltsverzeichnis 1. Einführung 2. Lineare Regression 3. Lineare Diskriminanzanalyse 4. Logistische Regression 4.1 Berechnung

Mehr

Analyse eines zweistufigen, regionalen Clusteralgorithmus am Beispiel der Verbundenen Wohngebäudeversicherung

Analyse eines zweistufigen, regionalen Clusteralgorithmus am Beispiel der Verbundenen Wohngebäudeversicherung Analyse eines zweistufigen, regionalen Clusteralgorithmus am Beispiel der Verbundenen Wohngebäudeversicherung Zusammenfassung der Diplomarbeit an der Hochschule Zittau/Görlitz Maria Kiseleva Motivation

Mehr

Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung , Dr.-Ing. Steffen Herbort, A.R.T. GmbH

Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung , Dr.-Ing. Steffen Herbort, A.R.T. GmbH Echtzeitfähige Algorithmen für markerloses Tracking und Umfelderkennung 26.10.2016, TP 2: Arbeiten von A.R.T. TP2: Tracking und Umfelderkennung Markerloses Tracking texturierte Objekte Umfelderkennung

Mehr

5. Klassifikation. 5.6 Support Vector Maschines (SVM)

5. Klassifikation. 5.6 Support Vector Maschines (SVM) 5. Klassifikation 5.6 Support Vector Maschines (SVM) übernommen von Stefan Rüping, Katharina Morik, Universität Dortmund Vorlesung Maschinelles Lernen und Data Mining, WS 2002/03 und Katharina Morik, Claus

Mehr

Prognose von Kostenschwankungen mit Predictive Analytics DOAG 2016

Prognose von Kostenschwankungen mit Predictive Analytics DOAG 2016 Prognose von Kostenschwankungen mit Predictive Analytics DOAG 2016 CGI Deutschland Ltd. & Co. KG (Sulzbach) Alfred Stelzl (Lead Consultant Big Data Analytics) November 2016 CGI Group Inc. Agenda 2 Agenda

Mehr

Digitale Bildverarbeitung Einheit 11 Klassifikation

Digitale Bildverarbeitung Einheit 11 Klassifikation Digitale Bildverarbeitung Einheit 11 Klassifikation Lehrauftrag WS 06/07 Fachbereich M+I der FH-Offenburg Dr. Bernard Haasdonk Albert-Ludwigs-Universität Freiburg Ziele der Einheit Verstehen, dass basierend

Mehr

Principal Component Analysis (PCA)

Principal Component Analysis (PCA) Principal Component Analysis (PCA) Motivation: Klassifikation mit der PCA Berechnung der Hauptkomponenten Theoretische Hintergründe Anwendungsbeispiel: Klassifikation von Gesichtern Weiterführende Bemerkungen

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB. Einführungsveranstaltung

INTELLIGENTE DATENANALYSE IN MATLAB. Einführungsveranstaltung INTELLIGENTE DATENANALYSE IN MATLAB Einführungsveranstaltung Überblick Organisation. Literatur. Inhalt und Ziele der Vorlesung. Beispiele aus der Praxis. 2 Organisation Vorlesung/Übung + Projektarbeit.

Mehr

Implizite Modellierung zur Objekterkennung in der Fernerkundung

Implizite Modellierung zur Objekterkennung in der Fernerkundung Implizite Modellierung zur Objekterkennung in der Fernerkundung Mitarbeiterseminar 20.01.2011 (IPF) Fakultät für Bauingenieur-, Geo- und Umweltwissenschaften KIT Universität des Landes Baden-Württemberg

Mehr

Multivariate Pattern Analysis. Jan Mehnert, Christoph Korn

Multivariate Pattern Analysis. Jan Mehnert, Christoph Korn Multivariate Pattern Analysis Jan Mehnert, Christoph Korn Übersicht 1. Motivation 2. Features 3. Klassifizierung 4. Statistik 5. Annahmen & Design 6. Similarity 7. Beispiel Grenzen & Probleme der klassischen

Mehr

Intelligente EKG-Analyse Dipl.-Ing. Gero von Wagner

Intelligente EKG-Analyse Dipl.-Ing. Gero von Wagner FZI Forschungszentrum Informatik an der Universität Karlsruhe MIT- Medizinische Informationstechnik Telemetrisches Diagnosenetz Intelligente EKG-Analyse Dipl.-Ing. Gero von Wagner FZI Forschungszentrum

Mehr

MACHINE VISION KLASSIFIKATOREN VORTEILE UND HERAUSFORDERUNGEN AUSGEWÄHLTER METHODEN

MACHINE VISION KLASSIFIKATOREN VORTEILE UND HERAUSFORDERUNGEN AUSGEWÄHLTER METHODEN MACHINE VISION KLASSIFIKATOREN VORTEILE UND HERAUSFORDERUNGEN AUSGEWÄHLTER METHODEN FRANK ORBEN, TECHNICAL SUPPORT / DEVELOPER IMAGE PROCESSING, STEMMER IMAGING GLIEDERUNG Einführung Aufgabe: Klassifikation

Mehr

Statistische Lerntheorie und Empirische Inferenz

Statistische Lerntheorie und Empirische Inferenz Schölkopf, Bernhard Statistische Lerntheorie und Empirische Inferenz Tätigkeitsbericht 2004 Informatik/Mathematik/Komplexe Systeme Statistische Lerntheorie und Empirische Inferenz Schölkopf, Bernhard Max-Planck-Institut

Mehr

GEO-INFORMATIONSSYSTEME

GEO-INFORMATIONSSYSTEME GEO-INFORMATIONSSYSTEME Dozent: Prof. Dr. Christian Böhm Übungsleiter: Annahita Oswald Bianca Wackersreuther Ablauf des ersten Vorlesungstages: 1. Organisation 2. Gliederung der Vorlesung 3. Einführung

Mehr

Bilder. Bildsuchmaschiene. Bildsuche. Überblick. Beispiele im WWW. Inhaltsbasierte Bildsuche Motivation

Bilder. Bildsuchmaschiene. Bildsuche. Überblick. Beispiele im WWW. Inhaltsbasierte Bildsuche Motivation Bilder Inhaltsbasierte Bildsuche Motivation Informatica Feminale Universität Bremen, Aug. 2005 Maja Temerinac Albert-Ludwigs-Universität Freiburg Ein Bild sagt mehr als tausend Worte. Chinesisches Sprichwort

Mehr

Versuch zur Ziffernerkennung 9. April 2008

Versuch zur Ziffernerkennung 9. April 2008 1 Zielsetzung Versuch zur Ziffernerkennung 9. April 2008 In diesem Praktikumsversuch sollen Sie die grundlegenden Konzepte der Mustererkennung kennenlernen. Als einführendes Problem dient die Unterscheidung

Mehr

INTELLIGENTE DATENANALYSE IN MATLAB. Evaluation & Exploitation von Modellen

INTELLIGENTE DATENANALYSE IN MATLAB. Evaluation & Exploitation von Modellen INTELLIGENTE DATENANALYSE IN MATLAB Evaluation & Exploitation von Modellen Überblick Schritte der Datenanalyse: Datenvorverarbeitung Problemanalyse Problemlösung Anwendung der Lösung Aggregation und Selektion

Mehr

Kernel-Composition als Methode der Datenfusion in der SVM Klassifizierung

Kernel-Composition als Methode der Datenfusion in der SVM Klassifizierung Kernel-Composition als Methode der Datenfusion in der SVM Klassifizierung DGPF Workshop Neue Methoden für die Auswertung und Interpretation von Fernerkundungsdaten Andreas Ch. Braun Institute of Photogrammetry

Mehr

Pareto optimale lineare Klassifikation

Pareto optimale lineare Klassifikation Seminar aus Maschinellem Lernen Pareto optimale lineare Klassifikation Vesselina Poulkova Betreuer: Eneldo Loza Mencía Gliederung 1. Einleitung 2. Pareto optimale lineare Klassifizierer 3. Generelle Voraussetzung

Mehr

GEO-INFORMATIONSSYSTEME

GEO-INFORMATIONSSYSTEME LUDWIG- MAXIMILIANS- UNIVERSITY MUNICH DEPARTMENT INSTITUTE FOR INFORMATICS DATABASE GEO-INFORMATIONSSYSTEME Skript zur Vorlesung Geo-Informationssysteme Wintersemester 2015/16 Ludwig-Maximilians-Universität

Mehr

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck

Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Clusteranalyse. Tobias Scheffer Thomas Vanck Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Clusteranalyse Tobias Scheffer Thomas Vanck Überblick Problemstellung/Motivation Deterministischer Ansatz: K-Means Probabilistischer

Mehr

Maschinelles Lernen: Symbolische Ansätze

Maschinelles Lernen: Symbolische Ansätze Maschinelles Lernen: Symbolische Ansätze Wintersemester 2009/2010 Musterlösung für das 1. Übungsblatt Aufgabe 1: Anwendungsszenario Überlegen Sie sich ein neues Szenario des klassifizierenden Lernens (kein

Mehr

BUILDINGS FROM IMAGES T H I E N P H A M G R U N D S E M I N A R W S 1 5 / 1 6 B E T R E U E R : P R O F. D R. P H I L I P P J E N K E

BUILDINGS FROM IMAGES T H I E N P H A M G R U N D S E M I N A R W S 1 5 / 1 6 B E T R E U E R : P R O F. D R. P H I L I P P J E N K E BUILDINGS FROM IMAGES T H I E N P H A M G R U N D S E M I N A R W S 1 5 / 1 6 B E T R E U E R : P R O F. D R. P H I L I P P J E N K E AGENDA Einführung Beispiele zur Gebäudeerkennung 3D-Objekte in der

Mehr

Dekonvolution von Omnikamerabildern

Dekonvolution von Omnikamerabildern 1 / 23 Dekonvolution von Omnikamerabildern Tobias Börtitz, Hermann Lorenz, Lutz Krätzer, Josef Söntgen Betreuer: Richard Schmidt HTW Dresden, Deutschland Abschluß Präsentation 15. Februar 2012 2 / 23 1

Mehr

Übersicht. Definition Daten Problemklassen Fehlerfunktionen

Übersicht. Definition Daten Problemklassen Fehlerfunktionen Übersicht 1 Maschinelle Lernverfahren Definition Daten Problemklassen Fehlerfunktionen 2 Entwickeln von maschinellen Lernverfahren Aufteilung der Daten Underfitting und Overfitting Erkennen Regularisierung

Mehr

Data Mining - Wiederholung

Data Mining - Wiederholung Data Mining - Wiederholung Norbert Fuhr 18. Januar 2006 Problemstellungen Problemstellungen Daten vs. Information Def. Data Mining Arten von strukturellen Beschreibungen Regeln (Klassifikation, Assoziations-)

Mehr