Online Lernen: Die Themen

Transkript

1 Online Lernen: Die Themen (a) Das Online-Spiel: In jeder Runde präsentiert ein Lehrer ein Beispiel, das ein Schüler klassifiziert. Nach wie vielen Runden hat der Schüler das unbekannte Zielkonzept gelernt? Charakterisierung der minimalen Rundenzahl. Zusammenhang zur VC-Dimension. Der Zusammenhang zwischen Online- und PAC-Algorithmen. (b) Wichtige algorithmische Ideen: Der Halbierungs-Algorithmus, Weighted-Majority: Auswahl von Experten, Winnow: Relevante Eigenschaften schnell bestimmen! der Perzeptron-Algorithmus: das Online-Lernen von Halbräumen. Online Lernen 1 / 77

2 Das Online-Spiel Das Online-Spiel 2 / 77

3 Das Online-Spiel 1. Das Spiel beginnt in Runde t = Solange das Spiel noch nicht beendet ist: (a) Der Lehrer präsentiert ein Beispiel x t. (b) Der Schüler gibt eine Klassifizierung an. /* Der Schüler ist an keine Hypothesenklasse gebunden. */ Ist die Klassizierung richtig, ist das Spiel beendet: Der Schüler hat gewonnen. Bei einer falschen Antwort (x t ist ein Gegenbeispiel), erhält der Schüler die richtige Klassifikation. (d) Setze t := t + 1. Das Online-Spiel 3 / 77

4 Das Online-Spiel 1. Das Spiel beginnt in Runde t = Solange das Spiel noch nicht beendet ist: (a) Der Lehrer präsentiert ein Beispiel x t. (b) Der Schüler gibt eine Klassifizierung an. /* Der Schüler ist an keine Hypothesenklasse gebunden. */ Ist die Klassizierung richtig, ist das Spiel beendet: Der Schüler hat gewonnen. Bei einer falschen Antwort (x t ist ein Gegenbeispiel), erhält der Schüler die richtige Klassifikation. (d) Setze t := t + 1. Der Schüler möchte möchte so schnell wie möglich gewinnen. Der Lehrer ist bösartig. Das Online-Spiel 3 / 77

5 Gegenbeispiel-Komplexität (a) Sei A ein Algorithmus, mit dem der Schüler Beispiele klassifizieren kann. Dann ist Gegenbeispiel A (C) := m, falls bei Klassifikation der Beispiele durch A ( ) jedes Konzept in C nach höchstens m Gegenbeispielen für jeden Lehrer gelernt wird ( ) und mindestens m Gegenbeispiele für irgendeinen Lehrer und irgendein Konzept benötigt werden. Das Online-Spiel 4 / 77

6 Gegenbeispiel-Komplexität (a) Sei A ein Algorithmus, mit dem der Schüler Beispiele klassifizieren kann. Dann ist Gegenbeispiel A (C) := m, falls bei Klassifikation der Beispiele durch A ( ) jedes Konzept in C nach höchstens m Gegenbeispielen für jeden Lehrer gelernt wird ( ) und mindestens m Gegenbeispiele für irgendeinen Lehrer und irgendein Konzept benötigt werden. (b) Es ist Gegenbeispiel(C) := m, falls es einen Algorithmus A mit Gegenbeispiel A (C) = m gibt und falls Gegenbeispiel B (C) m für jeden Algorithmus B gilt. Das Online-Spiel 4 / 77

7 Gegenbeispiel-Komplexität: Konzeptklassen (a) Sei X = {1,..., n}. Die Konzeptklasse 1 n bestehe aus allen Es ist Gegenbeispiel(1 n ) = Einermengen {i} für 1 i n. Das Online-Spiel 5 / 77

8 Gegenbeispiel-Komplexität: Konzeptklassen (a) Sei X = {1,..., n}. Die Konzeptklasse 1 n bestehe aus allen Einermengen {i} für 1 i n. Es ist Gegenbeispiel(1 n ) = 1: Der Schüler behauptet, dass x 1 ein negatives Beispiel ist :-)) Das Online-Spiel 5 / 77

9 Gegenbeispiel-Komplexität: Konzeptklassen (a) Sei X = {1,..., n}. Die Konzeptklasse 1 n bestehe aus allen Einermengen {i} für 1 i n. Es ist Gegenbeispiel(1 n ) = 1: Der Schüler behauptet, dass x 1 ein negatives Beispiel ist :-)) (b) Ein Online-Algorithmus für MONOM n : Der Schüler klassifiziert anfänglich mit der Hypothese Das Online-Spiel 5 / 77

10 Gegenbeispiel-Komplexität: Konzeptklassen (a) Sei X = {1,..., n}. Die Konzeptklasse 1 n bestehe aus allen Einermengen {i} für 1 i n. Es ist Gegenbeispiel(1 n ) = 1: Der Schüler behauptet, dass x 1 ein negatives Beispiel ist :-)) (b) Ein Online-Algorithmus für MONOM n : Der Schüler klassifiziert anfänglich mit der Hypothese x 1 x 1 x 2 x 2 x n x n. Der Schüler erhält ein Gegenbeispiel und arbeitet mit der maximal-konsistenten Hypothese weiter. Der Lehrer kann nur positive Gegenbeispiele geben. Es ist Gegenbeispiel(MONOM n ) Das Online-Spiel 5 / 77

11 Gegenbeispiel-Komplexität: Konzeptklassen (a) Sei X = {1,..., n}. Die Konzeptklasse 1 n bestehe aus allen Einermengen {i} für 1 i n. Es ist Gegenbeispiel(1 n ) = 1: Der Schüler behauptet, dass x 1 ein negatives Beispiel ist :-)) (b) Ein Online-Algorithmus für MONOM n : Der Schüler klassifiziert anfänglich mit der Hypothese x 1 x 1 x 2 x 2 x n x n. Der Schüler erhält ein Gegenbeispiel und arbeitet mit der maximal-konsistenten Hypothese weiter. Der Lehrer kann nur positive Gegenbeispiele geben. Es ist Gegenbeispiel(MONOM n ) n + 1. Das Online-Spiel 5 / 77

12 Gegenbeispiele und VC-Dimension Für jede Konzeptklasse C gilt VC(C) Gegenbeispiel(C). 1. Sei s = VC(C) und C zertrümmere die Menge S = {x 1,..., x s }. Das Online-Spiel 6 / 77

13 Gegenbeispiele und VC-Dimension Für jede Konzeptklasse C gilt VC(C) Gegenbeispiel(C). 1. Sei s = VC(C) und C zertrümmere die Menge S = {x 1,..., x s }. 2. = jede Teilmenge von S ist ein Konzept. 3. = Gegenbeispiel(C) s. Das Online-Spiel 6 / 77

14 Gegenbeispiele und VC-Dimension Für jede Konzeptklasse C gilt VC(C) Gegenbeispiel(C). 1. Sei s = VC(C) und C zertrümmere die Menge S = {x 1,..., x s }. 2. = jede Teilmenge von S ist ein Konzept. 3. = Gegenbeispiel(C) s. Eine erste Konsequenz: n Gegenbeispiel(MONOM n ) n + 1. Das Online-Spiel 6 / 77

15 Endliche Konzeptklassen Die Konzeptklasse C bestehe aus endlich vielen Konzepten. Dann folgt Gegenbeispiel(C) log 2 C. 1. Der Schüler führt den Halbierungs-Algorithmus aus und klassifiziert mit der Mehrheitshypothese x M : { c C : x c } { c C : x c }. Jedes falsch klassifizierende Konzept c C wird aus C entfernt. Das Online-Spiel 7 / 77

16 Endliche Konzeptklassen Die Konzeptklasse C bestehe aus endlich vielen Konzepten. Dann folgt Gegenbeispiel(C) log 2 C. 1. Der Schüler führt den Halbierungs-Algorithmus aus und klassifiziert mit der Mehrheitshypothese x M : { c C : x c } { c C : x c }. Jedes falsch klassifizierende Konzept c C wird aus C entfernt. 2. Ein Gegenbeispiel eliminiert mindestens die Hälfte aller Konzepte. Insbesondere: Gegenbeispiel Halbierung (C) log 2 C. Das Online-Spiel 7 / 77

17 Wie viele Gegenbeispiele? Eine exakte Charakterisierung Das Online-Spiel Die Tiefe einer Konzeptklasse 8 / 77

18 Wie arbeitet ein Lehrer? (a) Der Lehrer beginnt mit einem ersten Beispiel b ɛ := x 1. (b) Wenn der Lehrer gerade Beispiel b w präsentiert, dann zeigt er Beispiel bw0 bei einer negativen Klassifizierung von b w durch den Schüler bzw bw1 bei einer positiven Klassifizierung. Das Online-Spiel Die Tiefe einer Konzeptklasse 9 / 77

19 Wie arbeitet ein Lehrer? (a) Der Lehrer beginnt mit einem ersten Beispiel b ɛ := x 1. (b) Wenn der Lehrer gerade Beispiel b w präsentiert, dann zeigt er Beispiel bw0 bei einer negativen Klassifizierung von b w durch den Schüler bzw bw1 bei einer positiven Klassifizierung. (c) Die Strategie des Lehrers wird durch einen vollständigen binären, geordneten Baum B modelliert: Innere Knoten w sind mit den Beispielen bw markiert und Kanten mit der Antwort des Schülers.! Es muss zu jedem Weg W ein Konzept c C geben, so dass c konsistent mit den Klassifizierungen von W ist. Das Online-Spiel Die Tiefe einer Konzeptklasse 9 / 77

20 Wie arbeitet ein Lehrer? (a) Der Lehrer beginnt mit einem ersten Beispiel b ɛ := x 1. (b) Wenn der Lehrer gerade Beispiel b w präsentiert, dann zeigt er Beispiel bw0 bei einer negativen Klassifizierung von b w durch den Schüler bzw bw1 bei einer positiven Klassifizierung. (c) Die Strategie des Lehrers wird durch einen vollständigen binären, geordneten Baum B modelliert: Innere Knoten w sind mit den Beispielen bw markiert und Kanten mit der Antwort des Schülers.! Es muss zu jedem Weg W ein Konzept c C geben, so dass c konsistent mit den Klassifizierungen von W ist. 1 Ein solcher Baum B heißt konsistent mit C. 2 Tiefe(C) ist die maximale Tiefe eines mit C konsistenten Baums. Das Online-Spiel Die Tiefe einer Konzeptklasse 9 / 77

21 Wie arbeitet ein Lehrer? (a) Der Lehrer beginnt mit einem ersten Beispiel b ɛ := x 1. (b) Wenn der Lehrer gerade Beispiel b w präsentiert, dann zeigt er Beispiel bw0 bei einer negativen Klassifizierung von b w durch den Schüler bzw bw1 bei einer positiven Klassifizierung. (c) Die Strategie des Lehrers wird durch einen vollständigen binären, geordneten Baum B modelliert: Innere Knoten w sind mit den Beispielen bw markiert und Kanten mit der Antwort des Schülers.! Es muss zu jedem Weg W ein Konzept c C geben, so dass c konsistent mit den Klassifizierungen von W ist. 1 Ein solcher Baum B heißt konsistent mit C. 2 Tiefe(C) ist die maximale Tiefe eines mit C konsistenten Baums. 3 Tiefe(C) Gegenbeispiel(C) Das Online-Spiel Die Tiefe einer Konzeptklasse 9 / 77

22 Wie arbeitet ein Lehrer? (a) Der Lehrer beginnt mit einem ersten Beispiel b ɛ := x 1. (b) Wenn der Lehrer gerade Beispiel b w präsentiert, dann zeigt er Beispiel bw0 bei einer negativen Klassifizierung von b w durch den Schüler bzw bw1 bei einer positiven Klassifizierung. (c) Die Strategie des Lehrers wird durch einen vollständigen binären, geordneten Baum B modelliert: Innere Knoten w sind mit den Beispielen bw markiert und Kanten mit der Antwort des Schülers.! Es muss zu jedem Weg W ein Konzept c C geben, so dass c konsistent mit den Klassifizierungen von W ist. 1 Ein solcher Baum B heißt konsistent mit C. 2 Tiefe(C) ist die maximale Tiefe eines mit C konsistenten Baums. 3 Tiefe(C) Gegenbeispiel(C) Das Online-Spiel Die Tiefe einer Konzeptklasse 9 / 77

23 Tiefe(C) Gegenbeispiel(C) Ein pfiffiger Schüler: 1. Setze i = 1 und C i := C. 2. Wiederhole, solange der Schüler noch nicht gewonnen hat: (a) Wenn der Lehrer das Beispiel x vorlegt, dann (b) bestimme C (0) i := {c C i : x c } und C (1) i := {c C i : x c }. Das Online-Spiel Die Tiefe einer Konzeptklasse 10 / 77

24 Tiefe(C) Gegenbeispiel(C) Ein pfiffiger Schüler: 1. Setze i = 1 und C i := C. 2. Wiederhole, solange der Schüler noch nicht gewonnen hat: (a) Wenn der Lehrer das Beispiel x vorlegt, dann (b) bestimme C (0) i := {c C i : x c } und C (1) i := {c C i : x c }. (c) Wenn Tiefe(C (0) i ) Tiefe(C (1) i ), dann Das Online-Spiel Die Tiefe einer Konzeptklasse 10 / 77

25 Tiefe(C) Gegenbeispiel(C) Ein pfiffiger Schüler: 1. Setze i = 1 und C i := C. 2. Wiederhole, solange der Schüler noch nicht gewonnen hat: (a) Wenn der Lehrer das Beispiel x vorlegt, dann (b) bestimme C (0) i := {c C i : x c } und C (1) i := {c C i : x c }. (c) Wenn Tiefe(C (0) i ) Tiefe(C (1) i ), dann antworte mit Klassifizierung a = 0 und sonst mit Klassifizierung a = 1. (d) Ist die Antwort falsch, dann setze C i+1 := C (1 a) i und i = i + 1. Das Online-Spiel Die Tiefe einer Konzeptklasse 10 / 77

26 Tiefe(C) Gegenbeispiel(C) Ein pfiffiger Schüler: 1. Setze i = 1 und C i := C. 2. Wiederhole, solange der Schüler noch nicht gewonnen hat: (a) Wenn der Lehrer das Beispiel x vorlegt, dann (b) bestimme C (0) i := {c C i : x c } und C (1) i := {c C i : x c }. (c) Wenn Tiefe(C (0) i ) Tiefe(C (1) i ), dann antworte mit Klassifizierung a = 0 und sonst mit Klassifizierung a = 1. (d) Ist die Antwort falsch, dann setze C i+1 := C (1 a) i und i = i + 1. Sei Tiefe(C) = t. Wenn Tiefe(C (0) i ) < Tiefe(C i ) oder Tiefe(C (1) i ) < Tiefe(C i ), dann sind wir fertig: Ein Gegenbeispiel senkt die Tiefe um mindestens 1. Das Online-Spiel Die Tiefe einer Konzeptklasse 10 / 77

27 Tiefe(C) Gegenbeispiel(C) Ein pfiffiger Schüler: 1. Setze i = 1 und C i := C. 2. Wiederhole, solange der Schüler noch nicht gewonnen hat: (a) Wenn der Lehrer das Beispiel x vorlegt, dann (b) bestimme C (0) i := {c C i : x c } und C (1) i := {c C i : x c }. (c) Wenn Tiefe(C (0) i ) Tiefe(C (1) i ), dann antworte mit Klassifizierung a = 0 und sonst mit Klassifizierung a = 1. (d) Ist die Antwort falsch, dann setze C i+1 := C (1 a) i und i = i + 1. Sei Tiefe(C) = t. Wenn Tiefe(C (0) i ) < Tiefe(C i ) oder Tiefe(C (1) i ) < Tiefe(C i ), dann sind wir fertig: Ein Gegenbeispiel senkt die Tiefe um mindestens 1. Also ist Tiefe(C 0 i ) = Tiefe(C 1 i ) = Tiefe(C i ). Das Online-Spiel Die Tiefe einer Konzeptklasse 10 / 77

28 Tiefe(C) Gegenbeispiel(C) Ein pfiffiger Schüler: 1. Setze i = 1 und C i := C. 2. Wiederhole, solange der Schüler noch nicht gewonnen hat: (a) Wenn der Lehrer das Beispiel x vorlegt, dann (b) bestimme C (0) i := {c C i : x c } und C (1) i := {c C i : x c }. (c) Wenn Tiefe(C (0) i ) Tiefe(C (1) i ), dann antworte mit Klassifizierung a = 0 und sonst mit Klassifizierung a = 1. (d) Ist die Antwort falsch, dann setze C i+1 := C (1 a) i und i = i + 1. Sei Tiefe(C) = t. Wenn Tiefe(C (0) i ) < Tiefe(C i ) oder Tiefe(C (1) i ) < Tiefe(C i ), dann sind wir fertig: Ein Gegenbeispiel senkt die Tiefe um mindestens 1. Also ist Tiefe(Ci 0 ) = Tiefe(Ci 1 ) = Tiefe(C i ). Seien B (0), B (1) tiefste mit C (0) i bzw C (1) i konsistente Bäume = Tiefe(C) = t + 1 Das Online-Spiel Die Tiefe einer Konzeptklasse 10 / 77

29 Zusammenfassung (a) Für alle Konzeptklassen gilt VC(C) Tiefe(C) = Gegenbeispiel(C). (b) Für Konzeptklassen mit endlich vielen Konzepten folgt zusätzlich VC(C) Tiefe(C) = Gegenbeispiel(C) Gegenbeispiel Halbierung (C) log 2 C Die Unterschiede zwischen VC-Dimension und Gegenbeispielzahl sowie zwischen Gegenbeispielzahl und der logarithmierten Konzeptzahl können unbeschränkt groß werden. Das Online-Spiel Die Tiefe einer Konzeptklasse 11 / 77

30 Auswahl von Experten Die Auswahl von Experten 12 / 77

31 Die Auswahl von Experten! n Experten geben in mehreren Runden Ja/Nein Empfehlungen ab wie etwa zum Kauf oder Verkauf einer Aktie.! Nach jeder Runde wird mitgeteilt, welche Empfehlung richtig ist. Die Auswahl von Experten 13 / 77

32 Die Auswahl von Experten! n Experten geben in mehreren Runden Ja/Nein Empfehlungen ab wie etwa zum Kauf oder Verkauf einer Aktie.! Nach jeder Runde wird mitgeteilt, welche Empfehlung richtig ist.? Gibt es eine Strategie, die fast mit dem besten Experten mithält?? Warum nicht in jeder Runde den bisher besten Experten wählen? Die Auswahl von Experten 13 / 77

33 Die Auswahl von Experten! n Experten geben in mehreren Runden Ja/Nein Empfehlungen ab wie etwa zum Kauf oder Verkauf einer Aktie.! Nach jeder Runde wird mitgeteilt, welche Empfehlung richtig ist.? Gibt es eine Strategie, die fast mit dem besten Experten mithält?? Warum nicht in jeder Runde den bisher besten Experten wählen? Eine erste Anwendung: Lerne eine unbekannte Threshold-Funktion n sign( w i x i ) i=1 Interpretiere die Variablen x i als Experten. Die Auswahl von Experten 13 / 77

34 Weighted-Majority, die deterministische Variante Die Auswahl von Experten Weighted-Majority 14 / 77

35 Weighted-Majority: Die deterministische Variante Es gelte 0 < β < 1 für den Bestrafungsparameter β. 1. Setze w i = 1 für alle Experten i. 2. Wenn Experte i die Empfehlung x i {Ja, Nein} abgibt, dann treffe die Entscheidung Ja, falls Die Auswahl von Experten Weighted-Majority 15 / 77

36 Weighted-Majority: Die deterministische Variante Es gelte 0 < β < 1 für den Bestrafungsparameter β. 1. Setze w i = 1 für alle Experten i. 2. Wenn Experte i die Empfehlung x i {Ja, Nein} abgibt, dann treffe die Entscheidung Ja, falls w i i,x i =Ja i,x i =Nein und ansonsten treffe die Entscheidung Nein. 3. Nach Erhalt der richtigen Entscheidung: Hat Experte i eine falsche Empfehlung abgegeben, dann w i Die Auswahl von Experten Weighted-Majority 15 / 77

37 Weighted-Majority: Die deterministische Variante Es gelte 0 < β < 1 für den Bestrafungsparameter β. 1. Setze w i = 1 für alle Experten i. 2. Wenn Experte i die Empfehlung x i {Ja, Nein} abgibt, dann treffe die Entscheidung Ja, falls w i i,x i =Ja i,x i =Nein und ansonsten treffe die Entscheidung Nein. 3. Nach Erhalt der richtigen Entscheidung: Hat Experte i eine falsche Empfehlung abgegeben, dann bestrafe ihn mit der Setzung w i = β w i. Ansonsten lasse das Gewicht w i unverändert. w i Die Auswahl von Experten Weighted-Majority 15 / 77

38 Analyse (1) Sei W t das Gesamtgewicht aller Experten zu Beginn von Runde t. Dann ist anfänglich W 1 = n. Die Auswahl von Experten Weighted-Majority 16 / 77

39 Analyse (1) Sei W t das Gesamtgewicht aller Experten zu Beginn von Runde t. Dann ist anfänglich W 1 = n. (2) Wenn die Entscheidung in Runde t falsch ist, dann haben sich Experten mit einem Gesamtgewicht von mindestens W t /2 geirrt: Die Auswahl von Experten Weighted-Majority 16 / 77

40 Analyse (1) Sei W t das Gesamtgewicht aller Experten zu Beginn von Runde t. Dann ist anfänglich W 1 = n. (2) Wenn die Entscheidung in Runde t falsch ist, dann haben sich Experten mit einem Gesamtgewicht von mindestens W t /2 geirrt: W t+1 W t 2 + β Wt 2 Die Auswahl von Experten Weighted-Majority 16 / 77

41 Analyse (1) Sei W t das Gesamtgewicht aller Experten zu Beginn von Runde t. Dann ist anfänglich W 1 = n. (2) Wenn die Entscheidung in Runde t falsch ist, dann haben sich Experten mit einem Gesamtgewicht von mindestens W t /2 geirrt: W t+1 W t 2 + β Wt 2 = 1 + β 2 W t. Die Auswahl von Experten Weighted-Majority 16 / 77

42 Analyse (1) Sei W t das Gesamtgewicht aller Experten zu Beginn von Runde t. Dann ist anfänglich W 1 = n. (2) Wenn die Entscheidung in Runde t falsch ist, dann haben sich Experten mit einem Gesamtgewicht von mindestens W t /2 geirrt: W t+1 W t 2 + β Wt 2 = 1 + β 2 W t. (3) Bei f falschen Entscheidungen bis zum Zeitpunkt t, ist W t n ( 1 + β 2 )f. Die Auswahl von Experten Weighted-Majority 16 / 77

43 Analyse (1) Sei W t das Gesamtgewicht aller Experten zu Beginn von Runde t. Dann ist anfänglich W 1 = n. (2) Wenn die Entscheidung in Runde t falsch ist, dann haben sich Experten mit einem Gesamtgewicht von mindestens W t /2 geirrt: W t+1 W t 2 + β Wt 2 = 1 + β 2 W t. (3) Bei f falschen Entscheidungen bis zum Zeitpunkt t, ist W t n ( 1 + β 2 )f. (4) Wenn der beste Experte i bis zum Zeitpunkt t genau f opt Fehler gemacht hat, dann ist w i = β fopt Die Auswahl von Experten Weighted-Majority 16 / 77

44 Analyse (1) Sei W t das Gesamtgewicht aller Experten zu Beginn von Runde t. Dann ist anfänglich W 1 = n. (2) Wenn die Entscheidung in Runde t falsch ist, dann haben sich Experten mit einem Gesamtgewicht von mindestens W t /2 geirrt: W t+1 W t 2 + β Wt 2 = 1 + β 2 W t. (3) Bei f falschen Entscheidungen bis zum Zeitpunkt t, ist W t n ( 1 + β 2 )f. (4) Wenn der beste Experte i bis zum Zeitpunkt t genau f opt Fehler gemacht hat, dann ist w i = β fopt und als Konsequenz β fopt W t n ( 1 + β 2 )f. Die Auswahl von Experten Weighted-Majority 16 / 77

45 Das Resultat Es ist β fopt W t n ( 1+β 2 )f und nach Logarithmierung: f opt log 2 β log 2 n + f log β 2. Die Auswahl von Experten Weighted-Majority 17 / 77

46 Das Resultat Es ist β fopt W t n ( 1+β 2 )f und nach Logarithmierung: f opt log 2 β log 2 n + f log β 2. (a) Sei f opt die Anzahl der Fehlentscheidungen des besten Experten und f die Anzahl der Fehlentscheidungen von Weighted-Majority. (b) Für n Experten und 0 < β < 1 gilt f f 1 opt log 2 β + log 2 n. log β Die Auswahl von Experten Weighted-Majority 17 / 77

47 Das Resultat Es ist β fopt W t n ( 1+β 2 )f und nach Logarithmierung: f opt log 2 β log 2 n + f log β 2. (a) Sei f opt die Anzahl der Fehlentscheidungen des besten Experten und f die Anzahl der Fehlentscheidungen von Weighted-Majority. (b) Für n Experten und 0 < β < 1 gilt f f 1 opt log 2 β + log 2 n. log β Nach logarithmischer Aufwärmzeit wird die Prognosekraft des besten Experten erreicht bis auf den Faktor log 2 ( 1 β )/ log 2 ( 2 1+β ) 2. Die Auswahl von Experten Weighted-Majority 17 / 77

48 Die Methode der Analyse Wir haben die Potentialmethode angewandt: Wir haben beobachtet wie schnell sich das Potential W t im Vergleich zum Gewicht des besten Experten verringert. Die Auswahl von Experten Weighted-Majority 18 / 77

49 Weighted-Majority, die randomisierte Variante Die Auswahl von Experten Randomized Weighted-Majority 19 / 77

50 Weighted-Majority: Wir würfeln Bewerte die komplexe Empfehlung eines Experten i zum Zeitpunkt t mit der Note c t i auf einer Skala von 0 (sehr gut) bis 1 (sehr schlecht). Die Auswahl von Experten Randomized Weighted-Majority 20 / 77

51 Weighted-Majority: Wir würfeln Bewerte die komplexe Empfehlung eines Experten i zum Zeitpunkt t mit der Note c t i auf einer Skala von 0 (sehr gut) bis 1 (sehr schlecht). Unser Algorithmus: 1. Setze w i := 1 für alle Experten i. Setze t := 1 und wähle ε ]0, 1/2[. 2. Wähle den Experten i mit Wahrscheinlichkeit p i = Die Auswahl von Experten Randomized Weighted-Majority 20 / 77

52 Weighted-Majority: Wir würfeln Bewerte die komplexe Empfehlung eines Experten i zum Zeitpunkt t mit der Note c t i auf einer Skala von 0 (sehr gut) bis 1 (sehr schlecht). Unser Algorithmus: 1. Setze w i := 1 für alle Experten i. Setze t := 1 und wähle ε ]0, 1/2[. 2. Wähle den Experten i mit Wahrscheinlichkeit p i = w i n k=1 w k und übernimm seine Entscheidung. 3. Berechne neue Gewichte: Setze w i = Die Auswahl von Experten Randomized Weighted-Majority 20 / 77

53 Weighted-Majority: Wir würfeln Bewerte die komplexe Empfehlung eines Experten i zum Zeitpunkt t mit der Note c t i auf einer Skala von 0 (sehr gut) bis 1 (sehr schlecht). Unser Algorithmus: 1. Setze w i := 1 für alle Experten i. Setze t := 1 und wähle ε ]0, 1/2[. 2. Wähle den Experten i mit Wahrscheinlichkeit p i = w i n k=1 w k und übernimm seine Entscheidung. 3. Berechne neue Gewichte: Setze w i = w i (1 ε c t i ). Setze t := t + 1. Kommentar: Beachte ε c t i [0, 1/2[. Die Auswahl von Experten Randomized Weighted-Majority 20 / 77

54 Analyse (1/3) (1) t sei das Gewicht von Experte i zu Beginn von Runde t. Die Gewichtssumme aller Experten vor Runde t ist W t = n i=1 w t i. Die Auswahl von Experten Randomized Weighted-Majority 21 / 77

55 Analyse (1/3) (1) t sei das Gewicht von Experte i zu Beginn von Runde t. Die Gewichtssumme aller Experten vor Runde t ist W t = n i=1 w t w t i (2) K t = n i=1 W t ci t ist die erwartete Benotung unserer Entscheidung zum Zeitpunkt t. i. Die Auswahl von Experten Randomized Weighted-Majority 21 / 77

56 Analyse (1/3) (1) t sei das Gewicht von Experte i zu Beginn von Runde t. Die Gewichtssumme aller Experten vor Runde t ist W t = n i=1 w t w t i (2) K t = n i=1 W t ci t ist die erwartete Benotung unserer Entscheidung zum Zeitpunkt t. (3) Wie berechnet sich W t+1 aus W t? i. W t+1 = n i=1 w t i (1 ε c t i ) Die Auswahl von Experten Randomized Weighted-Majority 21 / 77

57 Analyse (1/3) (1) t sei das Gewicht von Experte i zu Beginn von Runde t. Die Gewichtssumme aller Experten vor Runde t ist W t = n i=1 w t w t i (2) K t = n i=1 W t ci t ist die erwartete Benotung unserer Entscheidung zum Zeitpunkt t. (3) Wie berechnet sich W t+1 aus W t? i. W t+1 = n i=1 w t i (1 ε c t i ) = n i=1 w t i ε n i=1 w t i c t i Die Auswahl von Experten Randomized Weighted-Majority 21 / 77

58 Analyse (1/3) (1) t sei das Gewicht von Experte i zu Beginn von Runde t. Die Gewichtssumme aller Experten vor Runde t ist W t = n i=1 w t w t i (2) K t = n i=1 W t ci t ist die erwartete Benotung unserer Entscheidung zum Zeitpunkt t. (3) Wie berechnet sich W t+1 aus W t? W t+1 = n i=1 w t i (1 ε c t i ) = = W t ε K t W t n i=1 w t i ε n i=1 w t i c t i i. Die Auswahl von Experten Randomized Weighted-Majority 21 / 77

59 Analyse (1/3) (1) t sei das Gewicht von Experte i zu Beginn von Runde t. Die Gewichtssumme aller Experten vor Runde t ist W t = n i=1 w t w t i (2) K t = n i=1 W t ci t ist die erwartete Benotung unserer Entscheidung zum Zeitpunkt t. (3) Wie berechnet sich W t+1 aus W t? W t+1 = n i=1 w t i (1 ε c t i ) = n i=1 w t i ε = W t ε K t W t = W t (1 ε K t ) n i=1 w t i c t i i. Die Auswahl von Experten Randomized Weighted-Majority 21 / 77

60 Analyse (1/3) (1) t sei das Gewicht von Experte i zu Beginn von Runde t. Die Gewichtssumme aller Experten vor Runde t ist W t = n i=1 w t w t i (2) K t = n i=1 W t ci t ist die erwartete Benotung unserer Entscheidung zum Zeitpunkt t. (3) Wie berechnet sich W t+1 aus W t? W t+1 = n i=1 w t i (1 ε c t i ) = n i=1 w t i ε = W t ε K t W t = W t (1 ε K t ) n i=1 w t i c t i i. Wir expandieren und erhalten W T +1 = W 1 Π T t=1 (1 ε K t). Die Auswahl von Experten Randomized Weighted-Majority 21 / 77

61 Analyse (2/3) Es ist W T +1 = W 1 Π t T (1 ε K t ). Die Auswahl von Experten Randomized Weighted-Majority 22 / 77

62 Analyse (2/3) Es ist W T +1 = W 1 Π t T (1 ε K t ). (4) Beachte log(1 x) x und ln W T +1 = ln W 1 + t T ln(1 ε K t ) Die Auswahl von Experten Randomized Weighted-Majority 22 / 77

63 Analyse (2/3) Es ist W T +1 = W 1 Π t T (1 ε K t ). (4) Beachte log(1 x) x und ln W T +1 = ln W 1 + t T ln(1 ε K t ) ln n t T εk t Die Auswahl von Experten Randomized Weighted-Majority 22 / 77

64 Analyse (2/3) Es ist W T +1 = W 1 Π t T (1 ε K t ). (4) Beachte log(1 x) x und ln W T +1 = ln W 1 + t T ln(1 ε K t ) ln n t T εk t Erhalten wir schlechte Noten, sinkt das Gesamtgewicht. Die Auswahl von Experten Randomized Weighted-Majority 22 / 77

65 Analyse (2/3) Es ist W T +1 = W 1 Π t T (1 ε K t ). (4) Beachte log(1 x) x und ln W T +1 = ln W 1 + t T ln(1 ε K t ) ln n t T εk t Erhalten wir schlechte Noten, sinkt das Gesamtgewicht. (5) Ein Experte mit guter Benotung hingegen stärkt das Gesamtgewicht: Für den Experten i gilt W T +1 w T +1 i = Π t T (1 ε c t i ). Die Auswahl von Experten Randomized Weighted-Majority 22 / 77

66 Analyse (3/3) Es ist W T +1 w T +1 i = Π t T (1 ε ci t) und ln(1 x) x x 2 für x [0, 1/2]. Die Auswahl von Experten Randomized Weighted-Majority 23 / 77

67 Analyse (3/3) Es ist W T +1 w T +1 i = Π t T (1 ε ci t) und ln(1 x) x x 2 für x [0, 1/2]. (6) Nach Logarithmierung folgt wegen 0 ci t 1: ln W T +1 ln(1 ε ci t ) t T Die Auswahl von Experten Randomized Weighted-Majority 23 / 77

68 Analyse (3/3) Es ist W T +1 w T +1 i = Π t T (1 ε ci t) und ln(1 x) x x 2 für x [0, 1/2]. (6) Nach Logarithmierung folgt wegen 0 ci t 1: ln W T +1 ln(1 ε ci t ) (ε ci t + (ε ci t )2 ) t T t T Die Auswahl von Experten Randomized Weighted-Majority 23 / 77

69 Analyse (3/3) Es ist W T +1 w T +1 i = Π t T (1 ε ci t) und ln(1 x) x x 2 für x [0, 1/2]. (6) Nach Logarithmierung folgt wegen 0 ci t 1: ln W T +1 ln(1 ε ci t ) (ε ci t + (ε ci t )2 ) t T t T t T (ε c t i + ε 2 c t i ) Die Auswahl von Experten Randomized Weighted-Majority 23 / 77

70 Analyse (3/3) Es ist W T +1 w T +1 i = Π t T (1 ε ci t) und ln(1 x) x x 2 für x [0, 1/2]. (6) Nach Logarithmierung folgt wegen 0 ci t 1: ln W T +1 ln(1 ε ci t ) (ε ci t + (ε ci t )2 ) t T t T (ε ci t + ε 2 ci t ) = (ε + ε2 ) ci t. t T t T Die Auswahl von Experten Randomized Weighted-Majority 23 / 77

71 Analyse (3/3) Es ist W T +1 w T +1 i = Π t T (1 ε ci t) und ln(1 x) x x 2 für x [0, 1/2]. (6) Nach Logarithmierung folgt wegen 0 ci t 1: ln W T +1 ln(1 ε ci t ) (ε ci t + (ε ci t )2 ) t T t T (ε ci t + ε 2 ci t ) = (ε + ε2 ) ci t. t T t T (7) Wir vergleichen die untere mit der oberen Gewichtsschranke: (ε + ε 2 ) ci t ln W T +1 ln n εk t. t T t T Die Auswahl von Experten Randomized Weighted-Majority 23 / 77

72 Das Ergebnis - Es ist (ε + ε 2 ) t T ct i ln n t T εk t. Die Auswahl von Experten Randomized Weighted-Majority 24 / 77

73 Das Ergebnis - Es ist (ε + ε 2 ) t T ct i ln n t T εk t. - Nach Division durch ε folgt: Die Auswahl von Experten Randomized Weighted-Majority 24 / 77

74 Das Ergebnis - Es ist (ε + ε 2 ) t T ct i ln n t T εk t. - Nach Division durch ε folgt: Wenn K opt die Gesamtbenotung des besten Experten ist und K t die erwartete Benotung unserer Entscheidung in Runde t ist, dann folgt t T K t (1 + ε) K opt + ln n ε. Die Auswahl von Experten Randomized Weighted-Majority 24 / 77

75 Das Ergebnis - Es ist (ε + ε 2 ) t T ct i ln n t T εk t. - Nach Division durch ε folgt: Wenn K opt die Gesamtbenotung des besten Experten ist und K t die erwartete Benotung unserer Entscheidung in Runde t ist, dann folgt t T K t (1 + ε) K opt + ln n ε. - Wir erreichen die Benotung des besten Experten bis auf den Faktor 1 + ε, wenn wir die Aufwärmzeit ln n ε erlauben. Die Auswahl von Experten Randomized Weighted-Majority 24 / 77

76 Weighted-Majority: Weitere Anwendungen 1 Im Lernen monotoner Threshold-Funktionen sign( w, x ) entsprechen die Variablen x i den Experten. Siehe später den Winnow-Algorithmus. 2 AdaBoost implementiert Weighted-Majority. Die Ensemble-Methode baut eine bessere Hypothese aus guten Hypothesen. 3 Der Universal Portfolio Algorithmus von Cover ist eine weitere Implementierung von Weighted-Majority: Portfolios, bestehend aus Finanzanlagen, stehen im Wettbewerb miteinander. Der Markt legt die Gewichte der Portfolios fest. Die Auswahl von Experten Randomized Weighted-Majority 25 / 77

77 Constant Rebalanced Portfolios, Der Universal Portfolio Algorithmus Die Auswahl von Experten Der Universal Portfolio Algorithmus 26 / 77

78 Constant Rebalanced Portfolio: Die CRP-Methode Ein Vermögen wird über mehrere Anlagezeitpunkte auf m Anlagemöglichkeiten verteilt: Anlage i erhält stets den Anteil p i. Die Auswahl von Experten Der Universal Portfolio Algorithmus 27 / 77

79 Constant Rebalanced Portfolio: Die CRP-Methode Ein Vermögen wird über mehrere Anlagezeitpunkte auf m Anlagemöglichkeiten verteilt: Anlage i erhält stets den Anteil p i. Zwei Aktien mit p 1 = p 2 = 0.5: Die erste Aktie bewegt sich nicht, während sich die zweite Aktie stets erst halbiert und dann verdoppelt. Das Vermögen nach einem Anlagezeitpunkt Die Auswahl von Experten Der Universal Portfolio Algorithmus 27 / 77

80 Constant Rebalanced Portfolio: Die CRP-Methode Ein Vermögen wird über mehrere Anlagezeitpunkte auf m Anlagemöglichkeiten verteilt: Anlage i erhält stets den Anteil p i. Zwei Aktien mit p 1 = p 2 = 0.5: Die erste Aktie bewegt sich nicht, während sich die zweite Aktie stets erst halbiert und dann verdoppelt. Das Vermögen nach einem Anlagezeitpunkt sinkt auf V (1/2 + (1/2) (1/2)) Die Auswahl von Experten Der Universal Portfolio Algorithmus 27 / 77

81 Constant Rebalanced Portfolio: Die CRP-Methode Ein Vermögen wird über mehrere Anlagezeitpunkte auf m Anlagemöglichkeiten verteilt: Anlage i erhält stets den Anteil p i. Zwei Aktien mit p 1 = p 2 = 0.5: Die erste Aktie bewegt sich nicht, während sich die zweite Aktie stets erst halbiert und dann verdoppelt. Das Vermögen nach einem Anlagezeitpunkt sinkt auf V (1/2 + (1/2) (1/2)) = 3 V /4 und steigt nach dem zweiten Anlagezeitpunkt auf V (3/ /8) Die Auswahl von Experten Der Universal Portfolio Algorithmus 27 / 77

82 Constant Rebalanced Portfolio: Die CRP-Methode Ein Vermögen wird über mehrere Anlagezeitpunkte auf m Anlagemöglichkeiten verteilt: Anlage i erhält stets den Anteil p i. Zwei Aktien mit p 1 = p 2 = 0.5: Die erste Aktie bewegt sich nicht, während sich die zweite Aktie stets erst halbiert und dann verdoppelt. Das Vermögen nach einem Anlagezeitpunkt sinkt auf V (1/2 + (1/2) (1/2)) = 3 V /4 und steigt nach dem zweiten Anlagezeitpunkt auf V (3/ /8) = 9 V /8. Vor dem Anlagetermin 2n + 1 ist das Vermögen damit exponentiell auf ( 9 8 )n V angewachsen! Die Auswahl von Experten Der Universal Portfolio Algorithmus 27 / 77

83 Der Universal Portfolio Algorithmus - Welche Verteilung p (über die verschiedenen Anlagemöglichkeiten) sollte gewählt werden? Die Auswahl von Experten Der Universal Portfolio Algorithmus 28 / 77

84 Der Universal Portfolio Algorithmus - Welche Verteilung p (über die verschiedenen Anlagemöglichkeiten) sollte gewählt werden? - Risiko-Minimierung: Der Universal Portfolio Algorithmus versucht die erwartete Vermögensentwickung des CRP-Ansatzes zu erreichen. Die Auswahl von Experten Der Universal Portfolio Algorithmus 28 / 77

85 Der Universal Portfolio Algorithmus - Welche Verteilung p (über die verschiedenen Anlagemöglichkeiten) sollte gewählt werden? - Risiko-Minimierung: Der Universal Portfolio Algorithmus versucht die erwartete Vermögensentwickung des CRP-Ansatzes zu erreichen. - Arbeiten mit N charakteristischen Verteilungen. - Zu jedem Anlagezeitpunkt: Rebalanciere ein Portfolio nach seiner Verteilung. - Gelder dürfen nicht zwischen Portfolios transferiert werden. Die Auswahl von Experten Der Universal Portfolio Algorithmus 28 / 77

86 Der Universal Portfolio Algorithmus - Welche Verteilung p (über die verschiedenen Anlagemöglichkeiten) sollte gewählt werden? - Risiko-Minimierung: Der Universal Portfolio Algorithmus versucht die erwartete Vermögensentwickung des CRP-Ansatzes zu erreichen. - Arbeiten mit N charakteristischen Verteilungen. - Zu jedem Anlagezeitpunkt: Rebalanciere ein Portfolio nach seiner Verteilung. - Gelder dürfen nicht zwischen Portfolios transferiert werden. Der Universal Portfolio Algorithmus und Weighted-Majority - Anfänglich erhält jedes der N Portfolios das Gewicht V N. - Der Markt akualisiert die Gewichte. - Die Gewichte geben den Erfolg wieder. Die Auswahl von Experten Der Universal Portfolio Algorithmus 28 / 77

87 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

88 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. opt n sei das Vermögen des besten Portfolios und e n das erwartete Vermögen nach n Anlageperioden = e n opt n (n + 1) m 1. Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

89 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. opt n sei das Vermögen des besten Portfolios und e n das erwartete Vermögen nach n Anlageperioden = e n opt n (n + 1) m 1. - Für n >> m ist der durchschnittliche relative Verlustfaktor pro Anlageperiode (gegenüber der optimalen Strategie) höchstens ( (n + 1) m 1 ) 1/n Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

90 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. opt n sei das Vermögen des besten Portfolios und e n das erwartete Vermögen nach n Anlageperioden = e n opt n (n + 1) m 1. - Für n >> m ist der durchschnittliche relative Verlustfaktor pro Anlageperiode (gegenüber der optimalen Strategie) höchstens ( (n + 1) m 1 ) 1/n ( n m 1 ) 1/n Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

91 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. opt n sei das Vermögen des besten Portfolios und e n das erwartete Vermögen nach n Anlageperioden = e n opt n (n + 1) m 1. - Für n >> m ist der durchschnittliche relative Verlustfaktor pro Anlageperiode (gegenüber der optimalen Strategie) höchstens ( (n + 1) m 1 ) 1/n ( n m 1 ) 1/n = n (m 1)/n Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

92 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. opt n sei das Vermögen des besten Portfolios und e n das erwartete Vermögen nach n Anlageperioden = e n opt n (n + 1) m 1. - Für n >> m ist der durchschnittliche relative Verlustfaktor pro Anlageperiode (gegenüber der optimalen Strategie) höchstens ( (n + 1) m 1 ) 1/n ( n m 1 ) 1/n = n (m 1)/n = 2 (m 1) log 2 n n Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

93 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. opt n sei das Vermögen des besten Portfolios und e n das erwartete Vermögen nach n Anlageperioden = e n opt n (n + 1) m 1. - Für n >> m ist der durchschnittliche relative Verlustfaktor pro Anlageperiode (gegenüber der optimalen Strategie) höchstens ( (n + 1) m 1 ) 1/n ( n m 1 ) 1/n = n (m 1)/n = 2 (m 1) log 2 n n 1. Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

94 Wie gut ist der Universal Portfolio Algorithmus? Es möge m Anlagemöglichkeiten und n Anlageperioden geben. opt n sei das Vermögen des besten Portfolios und e n das erwartete Vermögen nach n Anlageperioden = e n opt n (n + 1) m 1. - Für n >> m ist der durchschnittliche relative Verlustfaktor pro Anlageperiode (gegenüber der optimalen Strategie) höchstens ( (n + 1) m 1 ) 1/n ( n m 1 ) 1/n = n (m 1)/n = 2 (m 1) log 2 n n 1. - Wächst die optimale CRP-Strategie um den Faktor a n n für a n > 1, dann wächst das erwartete Vermögen um den Faktor b n n mit b n > 1 und lim n a n = lim n b n. Was passiert nach Steuern und Gebühren? Die Auswahl von Experten Der Universal Portfolio Algorithmus 29 / 77

95 Der Winnow-Algorithmus für Disjunktionen Die Auswahl von Experten Der Winnow Algorithmus 30 / 77

96 Der Winnow Algorithmus für monotone Disjunktionen (1) Setze t = n 2 und w 1 = = w n = 1. Die Mehrheitsfunktion m(x 1,..., x n ) = 1 x i = w i x i t = n 2 wird als Anfangshypothese verwendet. Die Auswahl von Experten Der Winnow Algorithmus 31 / 77

97 Der Winnow Algorithmus für monotone Disjunktionen (1) Setze t = n 2 und w 1 = = w n = 1. Die Mehrheitsfunktion m(x 1,..., x n ) = 1 x i = w i x i t = n 2 wird als Anfangshypothese verwendet. (2) Wiederhole, solange es Gegenbeispiele gibt. Wenn x ein positives Gegenbeispiel ist: Die Auswahl von Experten Der Winnow Algorithmus 31 / 77

98 Der Winnow Algorithmus für monotone Disjunktionen (1) Setze t = n 2 und w 1 = = w n = 1. Die Mehrheitsfunktion m(x 1,..., x n ) = 1 x i = w i x i t = n 2 wird als Anfangshypothese verwendet. (2) Wiederhole, solange es Gegenbeispiele gibt. Wenn x ein positives Gegenbeispiel ist: Verdopple wi, falls x i = 1. /* x i könnte ein relevantes Attribut sein. */ Die Auswahl von Experten Der Winnow Algorithmus 31 / 77

99 Der Winnow Algorithmus für monotone Disjunktionen (1) Setze t = n 2 und w 1 = = w n = 1. Die Mehrheitsfunktion m(x 1,..., x n ) = 1 x i = w i x i t = n 2 wird als Anfangshypothese verwendet. (2) Wiederhole, solange es Gegenbeispiele gibt. Wenn x ein positives Gegenbeispiel ist: Verdopple wi, falls x i = 1. /* x i könnte ein relevantes Attribut sein. */ Wenn x ein negatives Gegenbeispiel ist: Die Auswahl von Experten Der Winnow Algorithmus 31 / 77

100 Der Winnow Algorithmus für monotone Disjunktionen (1) Setze t = n 2 und w 1 = = w n = 1. Die Mehrheitsfunktion m(x 1,..., x n ) = 1 x i = w i x i t = n 2 wird als Anfangshypothese verwendet. (2) Wiederhole, solange es Gegenbeispiele gibt. Wenn x ein positives Gegenbeispiel ist: Verdopple wi, falls x i = 1. /* x i könnte ein relevantes Attribut sein. */ Wenn x ein negatives Gegenbeispiel ist: Setze wi = 0, falls x i = 1. /* Das nicht relevante Attribut x i wird eliminiert. */ Die Auswahl von Experten Der Winnow Algorithmus 31 / 77

101 Die Analyse (1/3) b + und b sind die Anzahlen positiver und negativer Gegenbeispiele. Dann ist n + b + t b t 0. Die Auswahl von Experten Der Winnow Algorithmus 32 / 77

102 Die Analyse (1/3) b + und b sind die Anzahlen positiver und negativer Gegenbeispiele. Dann ist n + b + t b t 0. (1) Bei einem positiven Gegenbeispiel wird das Gesamtgewicht der zu positiven Literalen gehörenden Gewichte verdoppelt. Die Auswahl von Experten Der Winnow Algorithmus 32 / 77

103 Die Analyse (1/3) b + und b sind die Anzahlen positiver und negativer Gegenbeispiele. Dann ist n + b + t b t 0. (1) Bei einem positiven Gegenbeispiel wird das Gesamtgewicht der zu positiven Literalen gehörenden Gewichte verdoppelt. Aber deren Gesamtgewicht hat t nicht erreicht: Ein positives Gegenbeispiel erhöht das Gesamtgewicht um höchstens t. Die Auswahl von Experten Der Winnow Algorithmus 32 / 77

104 Die Analyse (1/3) b + und b sind die Anzahlen positiver und negativer Gegenbeispiele. Dann ist n + b + t b t 0. (1) Bei einem positiven Gegenbeispiel wird das Gesamtgewicht der zu positiven Literalen gehörenden Gewichte verdoppelt. Aber deren Gesamtgewicht hat t nicht erreicht: Ein positives Gegenbeispiel erhöht das Gesamtgewicht um höchstens t. (2) Ein Bestrafungsschritt erniedrigt das Gesamtgewicht um mindestens t. Die Auswahl von Experten Der Winnow Algorithmus 32 / 77

105 Die Analyse (1/3) b + und b sind die Anzahlen positiver und negativer Gegenbeispiele. Dann ist n + b + t b t 0. (1) Bei einem positiven Gegenbeispiel wird das Gesamtgewicht der zu positiven Literalen gehörenden Gewichte verdoppelt. Aber deren Gesamtgewicht hat t nicht erreicht: Ein positives Gegenbeispiel erhöht das Gesamtgewicht um höchstens t. (2) Ein Bestrafungsschritt erniedrigt das Gesamtgewicht um mindestens t. (3) Das anfängliche Gesamtgewicht beträgt n und n + b + t b t ist eine obere Schranke für das aktuelle Gesamtgewicht. Die Auswahl von Experten Der Winnow Algorithmus 32 / 77

106 Die Analyse (1/3) b + und b sind die Anzahlen positiver und negativer Gegenbeispiele. Dann ist n + b + t b t 0. (1) Bei einem positiven Gegenbeispiel wird das Gesamtgewicht der zu positiven Literalen gehörenden Gewichte verdoppelt. Aber deren Gesamtgewicht hat t nicht erreicht: Ein positives Gegenbeispiel erhöht das Gesamtgewicht um höchstens t. (2) Ein Bestrafungsschritt erniedrigt das Gesamtgewicht um mindestens t. (3) Das anfängliche Gesamtgewicht beträgt n und n + b + t b t ist eine obere Schranke für das aktuelle Gesamtgewicht. (4) Die Behauptung folgt: Das Gesamtgewicht ist stets nicht-negativ. Die Auswahl von Experten Der Winnow Algorithmus 32 / 77

107 Die Analyse (2/3) Das Zielkonzept besitze genau k Literale. Warum ist die Anzahl positiver Gegenbeispiele klein? Die Auswahl von Experten Der Winnow Algorithmus 33 / 77

108 Die Analyse (2/3) Das Zielkonzept besitze genau k Literale. Warum ist die Anzahl positiver Gegenbeispiele klein? (1) Für jedes Gewicht w i gilt stets w i 2t: Die Auswahl von Experten Der Winnow Algorithmus 33 / 77

109 Die Analyse (2/3) Das Zielkonzept besitze genau k Literale. Warum ist die Anzahl positiver Gegenbeispiele klein? (1) Für jedes Gewicht w i gilt stets w i 2t: Ein Gewicht w i mit w i t nimmt nie an einem Belohnungsschritt teil. Die Auswahl von Experten Der Winnow Algorithmus 33 / 77

110 Die Analyse (2/3) Das Zielkonzept besitze genau k Literale. Warum ist die Anzahl positiver Gegenbeispiele klein? (1) Für jedes Gewicht w i gilt stets w i 2t: Ein Gewicht w i mit w i t nimmt nie an einem Belohnungsschritt teil. (2) Nach b + positiven Gegenbeispielen gibt es i mit log 2 w i b+ k. Jedes positive Gegenbeispiel verdoppelt das Gewicht von mindestens einem der k Literale des Zielkonzepts. Die Auswahl von Experten Der Winnow Algorithmus 33 / 77

111 Die Analyse (2/3) Das Zielkonzept besitze genau k Literale. Warum ist die Anzahl positiver Gegenbeispiele klein? (1) Für jedes Gewicht w i gilt stets w i 2t: Ein Gewicht w i mit w i t nimmt nie an einem Belohnungsschritt teil. (2) Nach b + positiven Gegenbeispielen gibt es i mit log 2 w i b+ k. Jedes positive Gegenbeispiel verdoppelt das Gewicht von mindestens einem der k Literale des Zielkonzepts. Kein Literal des Zielkonzepts wird je bestraft: Es gilt w i 2 b+/k für mindestens ein Literal x i des Zielkonzepts. Die Auswahl von Experten Der Winnow Algorithmus 33 / 77

112 Die Analyse (2/3) Das Zielkonzept besitze genau k Literale. Warum ist die Anzahl positiver Gegenbeispiele klein? (1) Für jedes Gewicht w i gilt stets w i 2t: Ein Gewicht w i mit w i t nimmt nie an einem Belohnungsschritt teil. (2) Nach b + positiven Gegenbeispielen gibt es i mit log 2 w i b+ k. Jedes positive Gegenbeispiel verdoppelt das Gewicht von mindestens einem der k Literale des Zielkonzepts. Kein Literal des Zielkonzepts wird je bestraft: Es gilt w i 2 b+/k für mindestens ein Literal x i des Zielkonzepts. (3) Es gibt ein Literal x i mit b + k log 2 w i log 2 t + 1. Die Auswahl von Experten Der Winnow Algorithmus 33 / 77

113 Die Analyse (3/3) Was wissen wir? Es ist n + b + t b t 0. Es gibt ein Literal x i mit b+ k log 2 w i log 2 t + 1. Die Auswahl von Experten Der Winnow Algorithmus 34 / 77

114 Die Analyse (3/3) Was wissen wir? Es ist n + b + t b t 0. Es gibt ein Literal x i mit b+ k log 2 w i log 2 t + 1. (1) Also ist b + k (log 2 t + 1). Es gibt höchstens k (log 2 t + 1) positive Gegenbeispiele. Die Auswahl von Experten Der Winnow Algorithmus 34 / 77

115 Die Analyse (3/3) Was wissen wir? Es ist n + b + t b t 0. Es gibt ein Literal x i mit b+ k log 2 w i log 2 t + 1. (1) Also ist b + k (log 2 t + 1). Es gibt höchstens k (log 2 t + 1) positive Gegenbeispiele. (2) Wieviele negative Gegenbeispiele kann es geben? Die Auswahl von Experten Der Winnow Algorithmus 34 / 77

116 Die Analyse (3/3) Was wissen wir? Es ist n + b + t b t 0. Es gibt ein Literal x i mit b+ k log 2 w i log 2 t + 1. (1) Also ist b + k (log 2 t + 1). Es gibt höchstens k (log 2 t + 1) positive Gegenbeispiele. (2) Wieviele negative Gegenbeispiele kann es geben? Es ist b n t + b + Die Auswahl von Experten Der Winnow Algorithmus 34 / 77

117 Die Analyse (3/3) Was wissen wir? Es ist n + b + t b t 0. Es gibt ein Literal x i mit b+ k log 2 w i log 2 t + 1. (1) Also ist b + k (log 2 t + 1). Es gibt höchstens k (log 2 t + 1) positive Gegenbeispiele. (2) Wieviele negative Gegenbeispiele kann es geben? Es ist b n t + b + n t + k (log 2 t + 1) Die Auswahl von Experten Der Winnow Algorithmus 34 / 77

118 Die Analyse (3/3) Was wissen wir? Es ist n + b + t b t 0. Es gibt ein Literal x i mit b+ k log 2 w i log 2 t + 1. (1) Also ist b + k (log 2 t + 1). Es gibt höchstens k (log 2 t + 1) positive Gegenbeispiele. (2) Wieviele negative Gegenbeispiele kann es geben? Es ist b n t + b + n t + k (log 2 t + 1) = 2 + k log 2 n. Die Auswahl von Experten Der Winnow Algorithmus 34 / 77

119 Die Analyse (3/3) Was wissen wir? Es ist n + b + t b t 0. Es gibt ein Literal x i mit b+ k log 2 w i log 2 t + 1. (1) Also ist b + k (log 2 t + 1). Es gibt höchstens k (log 2 t + 1) positive Gegenbeispiele. (2) Wieviele negative Gegenbeispiele kann es geben? Es ist b n t + b + n t + k (log 2 t + 1) = 2 + k log 2 n. Die Anzahl der Gegenbeispiele ist durch 2 + 2k log 2 n beschränkt. Die Auswahl von Experten Der Winnow Algorithmus 34 / 77

120 Weitere Anwendungen Annahme: Alle Beispiele liegen in {0, 1} n. Die Auswahl von Experten Weitere Anwendungen 35 / 77

121 Weitere Anwendungen Annahme: Alle Beispiele liegen in {0, 1} n. (1) Allgemeine Disjunktionen (und Monome) mit k Literalen können nach höchstens O(k log 2 n) Gegenbeispielen gelernt werden. Die Auswahl von Experten Weitere Anwendungen 35 / 77

122 Weitere Anwendungen Annahme: Alle Beispiele liegen in {0, 1} n. (1) Allgemeine Disjunktionen (und Monome) mit k Literalen können nach höchstens O(k log 2 n) Gegenbeispielen gelernt werden. Durch das Hinzufügen der n neuen Literale x 1,..., x n (mit x i = x i ) werden nicht-monotone Disjunktionen zu monotonen Disjunktionen. Die Auswahl von Experten Weitere Anwendungen 35 / 77

123 Weitere Anwendungen Annahme: Alle Beispiele liegen in {0, 1} n. (1) Allgemeine Disjunktionen (und Monome) mit k Literalen können nach höchstens O(k log 2 n) Gegenbeispielen gelernt werden. Durch das Hinzufügen der n neuen Literale x 1,..., x n (mit x i = x i ) werden nicht-monotone Disjunktionen zu monotonen Disjunktionen. Das Lernen von Monomen ist äquivalent zum Lernen ihrer Negationen, nämlich der Disjunktionen. Die Auswahl von Experten Weitere Anwendungen 35 / 77

124 Weitere Anwendungen Annahme: Alle Beispiele liegen in {0, 1} n. (1) Allgemeine Disjunktionen (und Monome) mit k Literalen können nach höchstens O(k log 2 n) Gegenbeispielen gelernt werden. Durch das Hinzufügen der n neuen Literale x 1,..., x n (mit x i = x i ) werden nicht-monotone Disjunktionen zu monotonen Disjunktionen. Das Lernen von Monomen ist äquivalent zum Lernen ihrer Negationen, nämlich der Disjunktionen. (2) DNFs mit höchstens k Literalen pro Monom und höchstens s Monomen werden nach höchstens O(s k log 2 n) Gegenbeispielen gelernt. Die Auswahl von Experten Weitere Anwendungen 35 / 77

125 Weitere Anwendungen Annahme: Alle Beispiele liegen in {0, 1} n. (1) Allgemeine Disjunktionen (und Monome) mit k Literalen können nach höchstens O(k log 2 n) Gegenbeispielen gelernt werden. Durch das Hinzufügen der n neuen Literale x 1,..., x n (mit x i = x i ) werden nicht-monotone Disjunktionen zu monotonen Disjunktionen. Das Lernen von Monomen ist äquivalent zum Lernen ihrer Negationen, nämlich der Disjunktionen. (2) DNFs mit höchstens k Literalen pro Monom und höchstens s Monomen werden nach höchstens O(s k log 2 n) Gegenbeispielen gelernt. Benutze statt Eingabe x = (x1,..., x n ) das Ergebnis von x auf allen N = O((2n) k ) möglichen Monomen mit k Literalen. Die Auswahl von Experten Weitere Anwendungen 35 / 77

126 Weitere Anwendungen Annahme: Alle Beispiele liegen in {0, 1} n. (1) Allgemeine Disjunktionen (und Monome) mit k Literalen können nach höchstens O(k log 2 n) Gegenbeispielen gelernt werden. Durch das Hinzufügen der n neuen Literale x 1,..., x n (mit x i = x i ) werden nicht-monotone Disjunktionen zu monotonen Disjunktionen. Das Lernen von Monomen ist äquivalent zum Lernen ihrer Negationen, nämlich der Disjunktionen. (2) DNFs mit höchstens k Literalen pro Monom und höchstens s Monomen werden nach höchstens O(s k log 2 n) Gegenbeispielen gelernt. Benutze statt Eingabe x = (x1,..., x n ) das Ergebnis von x auf allen N = O((2n) k ) möglichen Monomen mit k Literalen. Ist das Zielkonzept eine Disjunktion von s Monomen, benötigt Winnow nur O(s log 2 ((2n) k )) = O(s k log 2 n) Gegenbeispiele. Die Auswahl von Experten Weitere Anwendungen 35 / 77

127 Diskussion - Für die Konzeptklasse k-dnf n werden höchstens O(s k log 2 n) Gegenbeispielen benötigt, falls das Zielkonzept nur aus s Monomen besteht. - Allerdings muss die Laufzeit n O(k) investiert werdenen, da alle Monome mit höchstens k Literalen als neue Eingaben auftreten. Die Auswahl von Experten Weitere Anwendungen 36 / 77

128 Diskussion - Für die Konzeptklasse k-dnf n werden höchstens O(s k log 2 n) Gegenbeispielen benötigt, falls das Zielkonzept nur aus s Monomen besteht. - Allerdings muss die Laufzeit n O(k) investiert werdenen, da alle Monome mit höchstens k Literalen als neue Eingaben auftreten. Der Versuch einer weitreichenden Verallgemeinerung: Lerne eine unbekannte, monotone Threshold-Funktion sign( mit nicht-negativen Koeffizienten. n w i x i ) i=1 Die Auswahl von Experten Weitere Anwendungen 36 / 77

129 Threshold-Funktionen sign( n i=1 w ix i + t) Threshold-Funktionen 37 / 77

130 Analytische Geometrie (1/2) 1. (Vektornotation) Für w = (w 1,..., w n ), x = (x 1,..., x n ) R n gilt w, x := w T x = n w i x i. i=1 2. H w,t := {x : w, x + t = 0} ist eine Hyperebene. Threshold-Funktionen Analytische Geometrie 38 / 77

131 Analytische Geometrie (1/2) 1. (Vektornotation) Für w = (w 1,..., w n ), x = (x 1,..., x n ) R n gilt w, x := w T x = n w i x i. i=1 2. H w,t := {x : w, x + t = 0} ist eine Hyperebene. 3. Eine Drehung des R n wird durch eine orthogonale Matrix A beschrieben: Es ist A T A = Id. Threshold-Funktionen Analytische Geometrie 38 / 77

132 Analytische Geometrie (1/2) 1. (Vektornotation) Für w = (w 1,..., w n ), x = (x 1,..., x n ) R n gilt w, x := w T x = n w i x i. i=1 2. H w,t := {x : w, x + t = 0} ist eine Hyperebene. 3. Eine Drehung des R n wird durch eine orthogonale Matrix A beschrieben: Es ist A T A = Id. 4. Eine Konsequenz: A x, A y = x T A T A y = x, y. Threshold-Funktionen Analytische Geometrie 38 / 77