Benchmark-Experimente

Transkript

1 Benchmark-Experimente Viktoria Sander Seminar: Modellwahlkriterien (WS 2009/2010) Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

2 1 Einleitung 2 Ausgangssituation Annahmen Überwachtes Lernen 3 Testverfahren Experimentelle Designs Lagevergleiche Multiples Testproblem 4 Anwendungen Beispiel: Regression Beispiel: Klassifikation 5 Zusammenfassung und Ausblick 6 Literatur Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

3 Ziel Einleitung Bewertung von Algorithmen in der Regel durch Punktschätzungen ihrer interessierenden Leistungen auf gegebenen Daten Berücksichtigung der Variabilität der Leistungen Ziel: Identifikation des besten Algorithmus Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

4 Problemstellung Einleitung Ziel: Solider und flexibler Rahmen für den Vergleich von Algorithmen bei willkürlichen Lernproblemen Herangehensweise Ziehe auf unabhängige Weise eine Stichprobe aus einer wohldefinierten Verteilung einer bestimmten Leistungsmessung, die abhängig vom Datenerzeugungsprozess ist. Interessierende Hypothesen aus Benchmark-Studien können mittels statistischer Standardtestprozeduren überprüft werden. Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

5 Annahmen Ausgangssituation Annahmen Grundlagen { } L b = z1 b,..., zb n seien B, (b = 1,...,B), u.i.v. Lernstichproben aus einigen Datenerzeugungsprozessen (DGP) mit jeweils n Beobachtungen Verfügbar für das zugrunde liegende Problem: K > 1 mögliche Kandidat-Algorithmen a k, (k = 1,...,K) Funktion a k ( L b ) basiert auf Beobachtungen aus L b a k ( L b ) auf L b basierende ZV mit Verteilung A k (abhängig vom DGP von L b ): a k ( L b ) A k (DGP), k = 1,..., K Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

6 Annahmen Ausgangssituation Annahmen Güte/Leistung der Algorithmen Grundhypothese/Grundproblem p kb = p(a k, L b ) P k = P k (DGP) Interesse an den Leistungsverteilungen der einzelnen Algorithmen Leistungsverteilungen P k (DGP) der Algorithmen a k liefern K verschiedene Zufallsstichproben {p k1,..., p kb } mit jeweils B u.i.v. Beobachtungen Interessierende Nullhypothese: H 0 : P 1 =... = P K Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

7 Annahmen Ausgangssituation Annahmen Optimalitätskriterium Algorithmus a k besser als a k bezüglich p und φ, falls φ(p k ) < φ(p k ) Lageparameter wie Erwartungswert φ(p k ) = E(P k ) meistens Grundlage solcher Kriterien Testproblem: H 0 : P k (z) = P k (z) vs. H 1 : P k (z) = P k (z ) mit 0 Alternativen durch gewähltes Optimalitätskriterium bedingt Ergebnis abhängig vom DGP Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

8 Ausgangssituation Annahmen Wie kann dieses System zum Testen der Gleichheit von Algorithmen auf speziellen Fall überwachter Lernprobleme angewendet werden? Dazu: Konzentration auf häufig vorkommende Anwendungen Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

9 Überwachtes Lernen Ausgangssituation Überwachtes Lernen Grundsätzliches Beobachtungen z der Lernstichprobe haben die Form z = (y, x) Ziel der Lernaufgabe: Konstruktion von Prognosen, die auf eingegebenen Variablen beruhen Algorithmus k konstruiert Funktion ŷ = a k (x L b ) Diskrepanz zwischen y und ŷ: L(y, ŷ) (skalare Verlustfunktion) Leistungsmessung p definiert durch Funktional µ von Verteilung der Verlustfunktion: p kb = p(a k, L b ) = µ(l(y, (a k (x L b ))) P k (DGP) mögliche Verlustfunktion: L(y, ŷ) = (y ŷ) 2 mögliche Wahlen für µ: Erwartungswert bzw. arithmetisches Mittel, Median, Supremum der Verlustfunktion Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

10 Spezielle Probleme Ausgangssituation Überwachtes Lernen Verteilungen der Leistungsmessung P k (DGP) von Algorithmen a k (k = 1,...,K) hängt von Datenerzeugungsprozess ab Ziehen von Zufallsstichproben aus Leistungsverteilung hängt vom Wissen über den verfügbaren Datenerzeugungsprozess ab Unterscheide im überwachten Lernen zwischen zwei Situationen: Situation 1 Datenerzeugungsprozess ist bekannt Simulationsstudien mit künstlich erzeugten Daten ziehen von beliebig vielen Stichproben möglich Situation 2 Information über DGP durch eine endliche Lernstichprobe L repräsentiert empirische Verteilungsfunktion von L stellt komplettes Wissen über bereitgestellten DGP dar Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

11 Spezielle Probleme Ausgangssituation Überwachtes Lernen Wie werden Zufallsstichproben aus Verteilung der Leistungsmessung P k (DGP) für Algorithmus a k gezogen? 3 Grundprobleme: DGP bekannt (Simulation) eine Lernstichprobe und eine Teststichprobe verfügbar (Wettbewerb) eine Lernstichprobe verfügbar (reale Welt) Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

12 Simulation Ausgangssituation Überwachtes Lernen Gegeben: künstliche Daten einer Verteilungsfunktion Z, wobei z i Z (i = 1,...,n) Lernstichprobe L besteht somit aus n unabhängigen Beobachtungen aus Z (L Z n ) DGP = Z n L 1,..., L B Z Leistungsmessung Bewertung von jedem Algorithmus a k auf allen Lernstichproben L b (b = 1,...,B) Berechnung von p kb = p(a k, L b ) = µ(l(y, a k (x L b ))) Gewinnung von Zufallsstichprobe mit B Beobachtungen aus Verteilungsfunktion P k (Z n ) H 0 : P 1 (Z n ) =... = P K (Z n ) Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

13 Simulation Ausgangssituation Überwachtes Lernen Wenn µ nicht analytisch berechnet werden kann: Approximation durch Ziehen von Teststichprobe T Z n bestehend aus m unabh. Beobachtungen aus Z und Berechnung von ˆp kb = ˆp(a k, L b ) = µ T (L(y, a k (x L b ))) µ T empirisches Analog zu µ für Testbeobachtungen z = (y, x) T Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

14 Wettbewerb Ausgangssituation Überwachtes Lernen Gegeben: Lernstichprobe L Z n mit n Beobachtungen aus Verteilungsfunktion Z Ẑ n deckt vorhandenes Wissen über DGP ab Imitiere DGP durch Benutzen der empirischen Verteilungsfunktion Ẑ n der Lernstichprobe: DGP = Ẑn Möglichkeit, aus diesem DGP u.i.v. Zufallsstichproben zu ziehen (Bootstrap) Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

15 Wettbewerb Ausgangssituation Überwachtes Lernen Leistungsmessung Zusätzliche Teststichprobe T Z m mit m Beobachtungen gegeben Leistung muss nur bzgl. T bewertet werden Erhalte Zufallsstichprobe von B Beobachtungen aus ˆP(Ẑ n ) durch Bootstrapping: L 1,..., L B Ẑ n ˆP ist Verteilungsfunktion der Leistungsmessung bzgl. T und wird berechnet durch ˆp kb = ˆp(a k, L b ) = µ T (L(y, a k (x L b ))) Hypothese: H 0 : ˆP 1 (Ẑn) =... = ˆP K (Ẑn) Beachte: Algorithmen möglicherweise nur bzgl. der jeweiligen Teststichprobe T gut Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

16 Reale Welt Ausgangssituation Überwachtes Lernen Gegeben: eine einzige Lernstichprobe L Z n Erhalte B unabhängige Lernstichproben aus empirischer Verteilungsfunktion Leistungsmessung L 1,..., L B Ẑn = DGP ˆp kb = ˆp(a k, L b ) = ˆµ(L(y, a k (x L b ))) ˆµ geeignete Version von µ Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

17 Reale Welt Ausgangssituation Überwachtes Lernen Frage: Wie soll ˆµ gewählt werden? 1 n groß L = {L, T } Wettbewerb µ T 2 n nicht groß genug 3 Möglichkeiten: Problem III-Lernen Problem III-OOB Problem III-CV Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

18 Reale Welt Ausgangssituation Überwachtes Lernen Problem III-Lernen Idee: Simulation: Modelle durch Stichproben aus Z n angepasst und ihre Leistung durch Stichproben aus Z bewertet Hier: Stichproben aus Ẑn bzw. Ẑ Lernstichprobe L entspricht Teststichprobe Verwenden von µ T Insgesamt Für jedes Modell, dass durch eine Bootstrap-Stichprobe angepasst wird, wird die originale Lernstichprobe L als Teststichprobe T genutzt. Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

19 Reale Welt Ausgangssituation Überwachtes Lernen Problem III-OOB Idee: Teststichprobe T aus out-of-bootstrap Beobachtungen Verwenden von µ T Insgesamt Für jede Bootstrap-Stichpronbe L b werden die out-of-bootstrap Beobachtungen L\L b als Teststichprobe genutzt. Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

20 Reale Welt Ausgangssituation Überwachtes Lernen Problem III-CV Idee: Bootstrap-Stichprobe wird in k Felder geteilt Durchführung k-facher Kreuzvalidierung auf Bootstrap-Stichprobe Leistung ˆp kb als Durchschnitt der einzelnen Fehlerquoten Beobachtungen aus originaler Lernstichprobe, die Teil aus Lernund Testfeld sind, werden entfernt Wähle Kreuzvalidierungsschätzer ˆµ Insgesamt Teile L b in k Felder Leistung ˆp kb wird als Durchschnitt der Messungen aus jedem Feld definiert Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

21 Reale Welt Ausgangssituation Überwachtes Lernen Zusammenfassung Information durch eine einzige Lernstichprobe keine Hypothesentests über theoretische Leistungsmessungen möglich Stattdessen: Empirische Leistungsmessung berechnen Hypothese: H 0 : ˆP 1 (Ẑ n ) =... = ˆP K (Ẑ n ) Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

22 Allgemeines Testverfahren Wir wissen: Problem des Vergleichs von K Algorithmen bzgl. einer Leistungmessung kann auf das Problem des Vergleichs von K numerischen Verteilungsfunktionen bzw. ihrer Charakteristiken zurückgeführt werden. Nun: Vorstellung geeigneter Testverfahren für die wichtigsten Testprobleme in Benchmark-Studien Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

23 Testverfahren Experimentelle Designs Grundsätzlich zwei experimentelle Desings möglich: 1 Unabhängiges K-Stichproben-Design: neu entworfene Stichproben unabhängig zwischen den Algorithmen 2 Abhängiges K-Stichproben-Design: Leistung aller K Algorithmen durch Gebrauch der gleichen Zufallsstichproben L 1,...,L B bewertet. Vergleich Unabhängiges K-Stichproben-Design statistisch komfortabler Aber: Algorithmen nie mit gleichen Lernstichproben versorgt Wähle abhängiges K-Stichproben-Design und vergleiche Algorithmen anhand der gleichen Reihe von Lernstichproben Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

24 Testverfahren Lagevergleiche Nutze wohlbekannte Standardtestverfahren: unabhängige Stichproben nichtparametrischer Test parametrischer Test K = 2 Wilcoxon-Rangsummentest t-test für unabh. Stichproben K > 2 Kruskal-Wallis-Test F-Test (ANOVA) abhängige Stichproben nichtparametrischer Test parametrischer Test K = 2 Wilcoxon-Vorzeichen-Rangtest t-test für abh. Stichproben K > 2 FriedmanTest - Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

25 Testverfahren Vergleich von Algorithmen Lagevergleiche Teststatistiken 2-Stichproben-t-Test für gepaarte Stichproben t = d B (B 1) 1 b (d b d) 2 abhängiges K-Stichproben-Design k T = (B 1 b ˆp kb (BK) 1 k,b ˆp kb) 2 k,b (ˆp kb K 1 k ˆp kb B 1 b ˆp kb + (BK) 1 k,b ˆp kb) 2 Verteilungsbestimmung über Permutationstest Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

26 Testverfahren Lagevergleiche Achtung! Zweifel, ob parametrische Annahmen bzgl. der Leistungsverteilungen (wie Normalverteilung oder Symmetrie) jemals geeignet sind. Eventuell Verwendung asymptotischer Verteilungen der Teststatistiken, wo exakte Bestimmung der Verteilung schwierig ist Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

27 Testverfahren Multiples Testproblem Situation: Globale Hypothese der Gleichheit von K > 2 Algorithmen kann in einem abhängige K-Stichproben-Design abgelehnt werden Interesse an Identifizierung der Algorithmen, welche für Ablehnung verantwortlich sind Paarvergleiche, die Gesamtniveau α einhalten Nutzen eines abgeschlossenen Testprinzips Bonferroni-Holm-Methode Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

28 Testverfahren Multiples Testproblem Exkurs: Abgeschlossenes Testprinzip Gegeben seien n Elementarhypothesen H0 i, sowie alle möglichen Durchschnitte dieser Hypothesen Für alle diese Hypothesen existiert ein Niveau-α-Test Alle Hypothesen H j 0 Hi 0 werden abgelehnt Hi 0 wird abgelehnt H j 0 wird nicht verworfen Hi 0 für Hj 0 Hi 0 wird nicht verworfen Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

29 Testverfahren Multiples Testproblem Exkurs: Abgeschlossenes Testprinzip Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

30 Beispiele Anwendungen Ziel: Illustration der grundsätzlichen Konzepte anhand von Beispielen beaufsichtigter Klassifikation und Regression Dazu: 1 Poweruntersuchung von Tests bzgl. empirischer Leistungsmessungen in den Problemen I, II und III am Beispiel eines einzigen künstlichen DGP einer univariaten Regressionsbeziehung 2 Vergleich der Leistungen von LDA, QDA und k-nächste-nachbarn-methode bzgl. eines in R implementierten Datensatzes Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

31 Ausgangssituation Anwendungen Beispiel: Regression DGP folgt univariater Regressionsbeziehung y = 2x + βx 2 + ε mit x aus uniformer Verteilung auf Intervall [0;5] und Fehlerterme unabhängig N(0, 1)-verteilt. Beobachtungsanzahl: n = 50 Ziel: Vergleich von zwei Vorhersagemodellen: 1 a 1 : einfache lineare Regression mit Input x 2 a 2 : einfache quadratische Regression mit Inputs x und x 2 Regressionskoeffizient β wird geschätzt Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

32 Ausgangssituation Anwendungen Beispiel: Regression Messung der Diskrepanz zwischen y und ŷ = a k (x L) (k = 1,2) durch quadratische Verlustfunktion L(y, ŷ) = (y ŷ) 2 Grundsätzliches Interesse an Kontrolle, ob Algorithmus a 1 für β [0, 0.15] besser performt als Algorithmus a 2 Leistungsmessung sowie Stichprobennahme aus Leistungsverteilung hängen von Wissensgrad ab Simulation, Wettbewerb, reale Welt Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

33 Simulation Anwendungen Beispiel: Regression DGP bekannt durch o.g. Gleichung Möglichkeit, viele Lernstichproben mit n = 50 Beobachtungen zu ziehen Beobachtung von L b ermöglicht Berechnung des mittleren quadratischen Fehlers der Vorhersagefunktionen a 1 ( L b ) bzw. a 2 ( L b ) Testproblem: H 0 : E(P 1 (Z n )) E(P 2 (Z n )) vs. H 1 : E(P 1 (Z n )) > E(P 2 (Z n )) Approximation von P k (Z n ) durch ˆP k (Z n ) durch Gebrauch einer Teststichprobe mit m = 2000 Beobachtungen Beurteilung der Güte der Approximation durch kleinere Teststichprobe mit m = 50 Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

34 Wettbewerb Anwendungen Beispiel: Regression Gegeben: Lernstichprobe mit n = 50 und Teststichprobe mit m = 50 Beobachtungen DGP = Ẑ n und wiederholtes Ziehen von Stichproben aus empirischer Verteilungsfunktion durch Gebrauch von Bootstrap Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

35 Reale Welt Anwendungen Beispiel: Regression Wissen über DGP durch eine einzige Lernstichprobe gegeben Wiederholtes Stichprobenziehen durch Bootstrap Betrachte nun Problem III-Learn, Problem III-OOB und Problem III-CV: Problem III-CV: Leistungsmessung durch 5-fache Kreuzvalidierung auf Bootstrap-Stichprobe, wobei Fehlerquoten gemittelt werden, um Gesamt-Fehlerquote zu erhalten. Problem III-OOB: Vergleiche Out-of-Bootstrap empirische Leistungsmessung des reale-welt-problems mit derjenigen des Wettbewerbsproblems: Hypothetische Lern- und Teststichprobe zu einer Lernstichprobe zusammenführen und mit Problem III-OOB fortfahren. Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

36 Durchführung Anwendungen Beispiel: Regression B = 250 Lernstichproben entweder vom wahren DGP Z n (Simulation) oder von empirischer Leistungsfunktion Ẑn mit Bootstrap (Wettbewerb oder reale Welt) Bewertung beider Algorithmen anhand dieser Lernstichproben Teste Nullhypothese der Überlegenheit von a 1 durch verbundenen t-test für verschiedene β Geschätzte Power durch 5000 Simulationen Frage: Theoretischer mittlerer quadratischer Fehler von a 1 kleiner als von a 2? Gilt also H 0? Sind unterschiedliche Ergebnisse bzgl. der drei Situation vorhanden? Dazu: Untersuchung von Power-Kurven der Tests für verschiedene β in den Problemen I, II und III Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

37 Anwendungen Beispiel: Regression Ergebnisse der Power-Untersuchungen β I I II III-Learn III-OOB III-OOB III-CV m = 2000 m = 50 n = Table: Power der Tests in den Situationen I, II und III für variierende β-werte Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

38 Interpretation Anwendungen Beispiel: Regression β = 0 Problem I (m = 2000) bietet genaueste Approximation des Vergleichs der theoretischen Leistungsmessungen: β = 0: Hypothese kleinerer mittlerer quadratischer Fehler von a 1 wird nie abgelehnt β 0.1: Hypothese kleinerer mittlerer quadratischer Fehler von a 1 wird immer abgelehnt In übrigen Problemen würde man für β = 0 erwarten, dass nur wenige Verwerfungen auftreten (Wahrscheinlichkeit sollte α = 0.05 nicht überschreiten) gegeben für Probleme I, III-OOB und III-CV; nicht für Probleme II und III-Learn (Overfitting) In Situation III-OOB und III-CV geschätzte Power für β = 0 zwischen und liegt Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

39 Interpretation Anwendungen Beispiel: Regression β > 0 Power-Kurven in allen Situationen flacher als in Situation I; Verfahren, die auf III-OOB und III-CV basieren jedoch ziemlich nah an Power-Kurve aus Problem I mit m = 50 Power-Kurve in Problem III für große β höher im Vergleich zu Problem II und Wert für β = 0 nah an 0.05 Definition eigener Teststichprobe scheint ungeeignet, wenn nur eine einzige Lernstichprobe verfügbar Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

40 Zusammenfassung Anwendungen Beispiel: Regression wichtigste Resultate schärfste Unterscheidung der überlegenen Bereiche in Problem I möglich In Problem II und III-Learn Probleme wegen Overfitting Problem III-OOB und III-CV liefern gute empirische Tests mit hoher Power Statt sich auf Ergebnisse aus Problem II zu verlassen, ist manchmal Umwandlung in ein Problem III geeignet Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

41 Anwendungen Beispiel: Klassifikation Ziel Vergleich der Leistungen von LDA, QDA, 5-nächste-Nachbarn- und 10-nächste-Nachbarn-Methode Identifikation möglicher signifikanter Unterschiede mittels vorgestellter Testmethoden Betrachtung des Datensatzes " Glass" Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

42 Datensatz Anwendungen Beispiel: Klassifikation Daten Problem: Prognose der Glasart anhand der chemischen Zusammensetzung eines Glases Dazu: Betrachtung von 9 Merkmalen des Glases Gegeben: 214 Glase, ihre zugehörigen Kennzahlen, sowie ihre Klasseneinteilung in eine von 7 Klassen Variablen: Brechungsindex, Natrium, Magnesium, Aluminium, Silicon, Kalium, Calcium, Barium, Eisen Klassifikationsproblem motiviert durch kriminologische Untersuchung Häufigkeitsverteilung Klasse Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

43 Anwendungen Beispiel: Klassifikation Vergleich der Klassifizierungsverfahren Leistungsmessungen B = 100 Lernstichproben 4 Algorithmen auf gleichen Datensatz abhängige Stichproben Ermittlung der Fehlklassifikationsraten mit 5-facher-Kreuzvalidierung Für QDA in einer Klasse zu wenig Beobachtungen vorhanden Leistungsverteilungen: Verfahren LDA 5-n-N 10-n-N Minimum x Median x x Maximum Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

44 Anwendungen Beispiel: Klassifikation Vergleich der Klassifizierungsverfahren Figure: Leistungsverteilungen von LDA, 5-nächste-Nachbarn und 10-nächste Nachbarn auf " Glass" -Datensatz Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

45 Anwendungen Beispiel: Klassifikation Vergleich der Klassifizierungsverfahren Testergebnisse: K > 2 Nullhypothese: Es liegen keine signifikanten Unterschiede zwischen den Leistungsverteilungen vor Permutationstest liefert: T = und als simuliertes Quantil q : T > q H 0 kann abgelehnt werden Friedman-Test liefert: p-wert = < 0.05 H 0 kann abgelehnt werden Tests kommen zum gleichen Ergebnis Signifikante Unterschiede zwischen LDA, 5-nächste-Nachbarn und 10-nächste-Nachbarn liegen vor Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

46 Anwendungen Beispiel: Klassifikation Vergleich der Klassifizierungsverfahren Paarvergleiche Nullhypothese: µ i µ j 3 Tests Nutzen der Bonferroni-Holm-Methode Nach p-werten geordnete Testergebnisse: 1 t-test für verbundene Stichproben: Tests p-wert adjustiertes α Testentscheidung 10nN 5nN 6.30 * Lehne H 0 ab LDA 5nN 7.94 * Lehne H 0 ab LDA 10nN Lehne H 0 nicht ab 2 Wilcoxon-Vorzeichen-Rangtest Tests p-wert adjustiertes α Testentscheidung 10nN 5nN 1.94 * Lehne H 0 ab LDA 5nN 1.94 * Lehne H 0 ab LDA 10nN Lehne H 0 nicht ab Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

47 Anwendungen Beispiel: Klassifikation Vergleich der Klassifizierungsverfahren Ergebnisse Kein Unterschied zwischen den Ergebnissen der parametrischen bzw. nichtparametrischen Tests QDA auf diesem Datensatz schlechtester Algorithmus Annahmen kleinerer mittlerer Fehlklassifikationsraten von LDA und 10nN gegenüber 5nN werden zum 5%-Niveau abgelehnt Annahme kleinerer mittlerer Fehlklassifikationsraten von LDA gegenüber 10nN wird nicht abgelehnt 5nN auf diesem Datensatz der beste Klassifikationsalgorithmus Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

48 Zusammenfassung und Ausblick Zusammenfassung wichtigste Resultate Vergleich von K Algorithmen lässt sich auf Problem des Vergleichs von K Verteilungen zurückführen Statistische Standardtestprozeduren zum Vergleich von K Leistungsverteilungen nutzen Stichprobennahme und darauf basierende Leistungsmessung abhängig vom Wissen über Datenerzeugungsprozess Leistung eines Algorithmus abhängig von gegebenen Daten Kein Algorithmus ist allgemein der Beste! Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

49 Ausblick Zusammenfassung und Ausblick interessante Ansätze Vergleich anderer Klassifizierungsverfahren (evtl. auf anderen Datensätzen) Einbeziehen der drei Situationen in Tests bzgl. Klassifizierungsverfahren und Vergleich der Power Evtl. Nutzen größerer Datensätze Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50

50 Literatur Hothorn, T., Leisch, F., Zeileis, A., Hornik, K. (2005): The Design and Analysis of Benchmark Experiments, Journal of Computational and Graphical Statistics 14(3), Rüger, B. (2002): Test- und Schätztheorie, Band II: Statistische Tests, Oldenbourg, München. R Development Core Team (2009): R - A language and environment for statistical computing, Version , R Foundation for Statistical Computing, Wien. Viktoria Sander (WS 2009/2010) Benchmark-Experimente / 50