Mann-Whitney-U-Test: Tiefenstufen

Größe: px

Ab Seite anzeigen:

Download "Mann-Whitney-U-Test: Tiefenstufen"

Herbert Dieter
vor 6 Jahren
Abrufe

1 Mann-Whitney-U-Test: Tiefenstufen Variable Al Ca Cl DOC Fe K Mg Mn Na NO3 ph Si SO4 El. Leitfähigkeit Mann-Whitney U-Test (Piezometer.sta) Nach Var.: Tiefe Markierte Tests signifikant ab p < Rgsumme Rgsumme U Z p-niveau Z p-niveau Gült. N Gült. N 2*eins. Gruppe 1 Gruppe 2 korr. Gruppe 1 Gruppe 2 exakt p Für Stichprobengröße > 20 schnelle Annäherung der U-Statistik an Normalverteilung, deshalb Ausgabe des Z korr. und p für Normalverteilung Effekt der Tiefenstufen Kruskall-Wallis Mann-Whitney ANOVA H p p p Cl DOC NO ph

Effekt der Flächen Kruskall-Wallis ANOVA H p p Cl 15.17355 0.0005 0.0001 DOC 3.92982 0.1402 0.0984 NO 3 12.53475 0.0019 0.0001 ph 7.35143 0.0253 0.0061 ANOVA: Gewichtung der Mittelwerte z.b.

2 Effekt der Flächen Kruskall-Wallis ANOVA H p p Cl DOC NO ph ANOVA: Gewichtung der Mittelwerte z.b. Berechnung des Mittelwerts der einzelnen Faktoren: Ungewichtet: Mittelung der Mittelwerte aller Zellen ohne Berücksichtigung der u.u. unterschiedlichen Zahl der Wiederholungen = unverzerrte Schätzung der Randmittel der Grundgesamtheit Gewichtet: direkte Berechnung aus den Einzeldaten => Gewichtung mit der Zahl der Wiederholungen = unverzerrte Schätzung des gewichteten Randmittelwertes der Grundgesamtheit 2

3 Nicht-lineare Methoden Nicht-lineare Zusammenhänge: Sättigungskurven Wechselseitiger Ausschluss (Bsp.: Redoxstufen) lokale Zusammenhänge... Probleme nicht-linearer Methoden: Hoher Datenbedarf Schlechtere Interpretierbarkeit Höherer Rechenbedarf (oft iterative Methoden) Wechselseitiger Ausschluss: NO 3 und Azetat NO 3 [μmol l -1 ] Acetate [μmol l -1 ] 3

4 Eigenschaften (Künstlicher) Neuronaler Netze Aufbau aus einer Vielzahl einfacher, ± identischer Einheiten (= Neuronen) Informationsverarbeitung durch Verbindungen unterschiedlicher Gewichtung zwischen Neuronen Verknüpfung iterativ optimiert durch "Training (Lernen) sinnvoll (nur) für große Datensätze verteilungsfrei nicht-linear Künstliche Neuronale Netze lineares Verfahren Künstliches Neuronales Netz Vorhersage lineare Regression Mehrschicht-Perzeptron Visualisierung Korrespondenzanalyse Selbstorganisierende Karte Hauptkomponentenanalyse überwachte Diskriminanzanalyse Lernende Vektor-Quantisierung Klassifizierung 4

5 input Mehrschicht-Perzeptron (3:4:2-Netz) input layer hidden layer output layer output w k w k w k Knoten w k net a o w k i,, k Schicht-Indizes w i, w k Gewichte net Input-Funktion a o Aktivierungs-Funktion Output-Funktion Knoten-Funktionen Input-Funktion: Summenfunktion Maority-Funktion Minimum-Funktion net = n i= 1 w o i i n = si = 1 für wi oi > 0 net = si i 1 si = 1 für wi oi 0 net = min( w o ) i i Aktivierungsfunktion = Transferfunktion: Signum-Funktion Identitäts-Funktion Identitäts-Funktion mit Schwellenwert Sigmoid-Funktion 1 a = 1 a = net für für net für a = 0 für 1 a = net 1 + e net > 0 net 0 net > 0 net 0 Output-Funktion: Identitäts-Funktion o = a 5

6 Training (Lernen) = Anpassung der Gewichte zur Optimierung der Vorhersage - Überwachtes Lernen = iterative Optimierung der Relation zwischen Regressoren und Regressanden (= Soll-Output) - während des Trainings passt sich das Netz zunehmend besser der Struktur des Datensatzes an Nach Trainingszyklen (Maier und Dandy 1995) 6

7 Nach Trainingszyklen (Maier und Dandy 1995) Nach Trainingszyklen (Maier und Dandy 1995) 7

8 Nach Trainingszyklen (Maier und Dandy 1995) Trainingszyklen (Maier und Dandy 1995) 8

9 Overfitting (Overlearning) während des Trainings passt sich das Netz zunehmend besser der Struktur des Datensatzes an mit zunehmender Dauer des Trainings werden überwiegend Strukturen des Trainingsdatensatzes gelernt, die aber in der Grundgesamtheit nicht enthalten sind Gegenmaßnahme: Kreuzvalidierung Kreuzvalidierung Aufteilung des Datensatzes in - Trainingsdatensatz: verwendet für Training - Validierungsdatensatz: wiederholte Überprüfung des Netzfehlers während des Trainings (ohne Anpassung der Gewichte) zur Bestimmung des optimalen Netzes - Testdatensatz: Überprüfung des Netzfehlers nach dem Training zur Überprüfung der Generalisierbarkeit des Netzes 9

10 Training (Plötscher 1997) Lernverfahren: Gradientenabstiegsverfahren (Zell 1994) 10

11 Lernverfahren: Backpropagation (Werbos 1974, Rumelhart et al. 1986) Anpassung der Gewichte: Δw i = η o i δ 0 < η <1 η = Lernrate Fehler an vorgelagerte Schichten zurückgereicht: f ( net ) δ = ( t o ) für Ausgabeknoten net w i = Gewicht der Verbindung zwischen den Knoten i und net = Inputwert des Knotens a = f ( net ) = Aktivierungswert des Knotens o = Outputwert des Knotens t = Sollwert des Knotens f ( net ) δ i = ( wi δ ) für Knoten der Zwischenschicht net für: net = ( o w ) i i i a = f 1 ( net ) = net 1 + e o = a => δ = o 1 o ) ( t o ) für Ausgabeknoten ( δ = o ( 1 o ) w δ für Knoten der Zwischenschicht i i i i Lernverfahren: Resilient Propagation (Riedmiller und Braun 1992, 1993) Prinzip: Vergleich der Steigung der Fehlerfunktion zum aktuellen und zum vorigen Zeitpunkt Gewichtsänderung (s): Δw i Betrag der Gewichtsänderung: w ( s + 1) = w ( s) + Δw ( s) Δ ( s) = Δw ( s) i i Δi ( s 1) η Δi ( s) = Δi ( s 1) η Δi ( s 1) i i + i falls falls falls E'( s 1) E'( s) > 0 E'( s 1) E'( s) < 0 E'( s 1) E'( s) = 0 1. Ableitung des Fehlers: Lernrate: E( s) E'( s) = wi ( s) + 0 < η < 1 < η 11

12 Optimierung des Netzes Die Güte des Netzes (Regression, Vorhersageleistung, Generalisierungsleistung) hängt v.a. ab von: Lernverfahren: Art Parametern Lerndauer Topologie: Wahl der Regressoren Anzahl der versteckten Schichten Anzahl der Knoten in der/n versteckten Schicht(en) Lernrate (Plötscher 1997) 12

13 Modell-Topologie (Plötscher 1997) Ranking der Steuergrößen 100x: Training des Netzes Pruning (Löschen) der irrelevanten Regressoren discharge (d) accumulated runoff throughfall snowmelt discharge (d - 30) temperature (d - 5) temperature (d - 30) discharge (d -1) temperature (d) discharge (m 30d) temperature (d - 2) discharge (d - 2) temperature (m 30d) temperature (d -10) temperature (d - 1) temperature (d - 3) temperature (m 5d) discharge (d - 5) discharge (d - 3) discharge (d - 10) discharge (m 5d) 13

14 Optimierung des Netzes Reff Training Validation Test 2:1:1 2:2:1 2:5:1 3:1:1 3:2:1 3:3:1 3:4:1 3:5:1 3:9:1 3:15:1 4:1:1 4:2:1 4:5:1 4:11:1 6:2:1 6:5:1 6:11:1 21:2:1 21:4:1 21:9:1 23:9:1 KNN: Sulfat im Lehstenbach gemessen simuliert [mmol c l -1 ] SO [mm d -1 ] Abfluss

15 Steuergrößen 1. Schüttung: Tagesmittelwert des Probenahme-Tages 2. Abflusssumme: aufaddiert seit letztmaligem Überschreiten einer Schüttung von 0,5 mm/tag (Basisabfluss) 3. Deposition: gleitender Mittelwert der Konzentrationen im Bestandesniederschlag Regressionsflächen SO 4 [mmol c /l] Abflusssumme [mm] Schüttung [mm/d] 15

16 Regressionsflächen SO 4 [mmol c /l] Abflusssumme [mm] Schüttung [mm/d] Regressionsflächen SO 4 [mmol c /l] Abflusssumme [mm] Schüttung [mm/d] 16

17 Silizium im Abfluss (Brugga) 6 5 Si [mg l -1 ] observed simulated Regressionsflächen geringe Vorfeuchte hohe Vorfeuchte 17

18 Literatur Monographien: Bishop, C.M. (1995): Neural networks for pattern recognition. Oxford Press Hecht-Nielsen, R. (1990): Neurocomputing. Addison Wesley Ritter, H., T. Martinetz and K. Schulten (1990): Neuronale Netze. Eine Einführung in die Neuroinformatik selbstorganisierender Netzwerke. - Addison Wesley (2. Auflage) Roas, R. (1996): Theorie der neuronalen Netze. Eine systematische Einführung. Springer, Berlin, 4. Nachdruck Zell, A. (1994): Simulation neuronaler Netze. Addison Wesley WWW: Sarle, W.S., ed. (1997), Neural Network FAQ, part 1 of 7: Introduction, periodic posting to the Usenet newsgroup comp.ai.neural-nets, URL: ftp://ftp.sas.com/pub/neural/faq.html Aufgabe 1. Erstellen Sie in Statistica eine multivariate Regression mit drei ausgewählten Regressoren und einem Regressanden (z-normiert). 2. Bilden Sie diese Regression mit einem 3:2:1-Mehrschicht-Perzeptron in Excel zu Fuß nach. Verwenden Sie dabei den kompletten Datensatz als Trainingsdatensatz. - Verwenden Sie die Excel-Funktion Zufallszahl() zur wiederholten Variation der Gewichte, und lassen Sie Sich den Korrelationskoeffizienten r 2 ausgeben. Speichern Sie die Werte der Gewichte, wenn sich gegenüber dem vorherigen Durchgang eine Verbesserung ergibt. - Verwenden Sie in der zweiten Phase das Backpropagation-Lernverfahren zur weiteren Optimierung des Netzes. Variieren Sie gegebenenfalls die Lernrate. - Variieren Sie die Anzahl der Knoten in der versteckten Schicht. 18

Ähnliche Dokumente

Neuronale Netze in der Phonetik: Feed-Forward Netze. Pfitzinger, Reichel IPSK, LMU München {hpt 14.

Neuronale Netze in der Phonetik: Feed-Forward Netze Pfitzinger, Reichel IPSK, LMU München {hpt reichelu}@phonetik.uni-muenchen.de 14. Juli 2006 Inhalt Typisierung nach Aktivierungsfunktion Lernen in einschichtigen