Prof. Dr. Lars Schmidt-Thieme. Schüler-Universität, 10. Mai 2012

Transkript

1 Können Computer denken? Prof. Dr. Lars Schmidt-Thieme Information Systems and Machine Learning Lab (ISMLL) Institut für Informatik Universität Hildesheim Schüler-Universität, 10. Mai 2012 Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 1 / 23

2 Outline 1. Was Computer heute können 2. Können Computer denken? der Turing-Test 4. Wie geht es weiter? Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 1 / 23

3 1. Was Computer heute können Outline 1. Was Computer heute können 2. Können Computer denken? der Turing-Test 4. Wie geht es weiter? Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 1 / 23

4 1. Was Computer heute können Computer können Rennen [ Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 1 / 23

5 1. Was Computer heute können Computer können Fußball Spielen [ Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 2 / 23

6 1. Was Computer heute können Computer können Autofahren [ Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 3 / 23

7 1. Was Computer heute können Computer können Schach Spielen [ Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 4 / 23

8 1. Was Computer heute können Computer können Quiz-Fragen beantworten [ Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 5 / 23

9 2. Können Computer denken? der Turing-Test Outline 1. Was Computer heute können 2. Können Computer denken? der Turing-Test 4. Wie geht es weiter? Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 6 / 23

10 2. Können Computer denken? der Turing-Test Menschliches Gehirn vs. CPU Menschliches Gehirn: ca. 100 Milliarden Nervenzellen (10 11 ) ca. 100 Billionen Verbindungen (10 14 ) entspricht ca. 2 Petabyte Speicherkapazität [verschiedene Quellen, u.a.?] Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 6 / 23

11 2. Können Computer denken? der Turing-Test Menschliches Gehirn vs. CPU Menschliches Gehirn: ca. 100 Milliarden Nervenzellen (10 11 ) ca. 100 Billionen Verbindungen (10 14 ) entspricht ca. 2 Petabyte Speicherkapazität Gehirn K Computer Geschwindigkeit [TFLOPS] Leistung [W] ,7 M Kosten [$] 1,25 Mrd [verschiedene Quellen, u.a.?] Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 6 / 23

12 2. Können Computer denken? der Turing-Test Menschliches Gehirn vs. CPU Menschliches Gehirn: ca. 100 Milliarden Nervenzellen (10 11 ) ca. 100 Billionen Verbindungen (10 14 ) entspricht ca. 2 Petabyte Speicherkapazität Gehirn Intel Core I7 Intel Tera K Computer Geschwindigkeit [TFLOPS] Leistung [W] ,7 M Kosten [$] ,25 Mrd [verschiedene Quellen, u.a.?] Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 6 / 23

13 2. Können Computer denken? der Turing-Test Was sind intelligente Systeme? Systeme, die... menschlich denken vernünftig denken menschlich handeln vernünftig handeln Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 7 / 23

14 2. Können Computer denken? der Turing-Test Handeln wie ein Mensch: Der Turing-Test Turing (1950) Computing machinery and intelligence : Können Maschinen denken? Können sich Maschinen intelligent verhalten? Operationaler Test für intelligentes Verhalten: das Nachahmungsspiel. Sagte voraus, daß im Jahr 2000 eine Maschine eine Chance von 30% haben könnte, einen Laien für 5 Minuten zu täuschen. HUMAN HUMAN INTERROGATOR? AI SYSTEM Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 8 / 23

15 2. Können Computer denken? der Turing-Test Handeln wie ein Mensch: Der Turing-Test Turing (1950) Computing machinery and intelligence : Können Maschinen denken? Können sich Maschinen intelligent verhalten? Operationaler Test für intelligentes Verhalten: das Nachahmungsspiel. Sagte voraus, daß im Jahr 2000 eine Maschine eine Chance von 30% haben könnte, einen Laien für 5 Minuten zu täuschen. Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 8 / 23

16 2. Können Computer denken? der Turing-Test Turing-Test / Loebner-Preis Loebner-Preis: Implementierung des Turing-Tests. findet seit 1991 jährlich statt. $ für das erste Programm, dessen Antworten sich nicht von denen eines Menschen unterscheiden lassen Web Chat-Interface Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 9 / 23

17 2. Können Computer denken? der Turing-Test Turing-Test / Jabberwacky Eine Beispiel-Unterhaltung mit Jabberwacky ( dem besten Programm im Loebner-Wettbewerb Jabberwacky: It is impossible to defend perfectly against the attack of those who want to die. Lars: Helllo. Jabberwacky: What is your name? Lars: I am Lars. And who are you? Jabberwacky: My name is Clint, nice to meet you. Lars: Nice to meet you. What are you doing here, Clint? Jabberwacky: I talk to you. Lars: Well, yes. Jabberwacky: How do you talk to people. Lars: I meant what are you looking for in this chat room? Jabberwacky: I am chatting at my computer.... Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 10 / 23

18 Outline 1. Was Computer heute können 2. Können Computer denken? der Turing-Test 4. Wie geht es weiter? Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 11 / 23

19 Auf einer Bahn fahren [ Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 11 / 23

20 Ein ganz einfacher Roboter Räder Sensor links 2 Sensoren: Sensor rechts Untergrundhelligkeit links xl Untergrundhelligkeit rechts xr x ist größer, je heller der Untergrund 2 Aktionen: 15 Grad nach links drehen und 20cm geradeaus fahren (y = 1) 15 Grad nach rechts drehen und 20cm geradeaus fahren (y = +1) Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 12 / 23

21 Aufgabe: Auf der Linie fahren Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 13 / 23

22 Lösung I: den Roboter programmieren Falls links dunkler (x L < x R ), links fahren (y = 1), sonst rechts fahren (y = +1). Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 13 / 23

23 Lösung II: den Roboter dressieren Zeit Sensoren Aktion t x L x R y Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 13 / 23

24 Lösung II: den Roboter dressieren Zeit Sensoren Aktion t x L x R y (unkalibrierte Sensoren). Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 13 / 23

25 Ein Vorhersage-/Entscheidungs-Modell Gegeben Daten / Beobachtungen Bsp. Prädiktoren Zielvariable I X 1 X 2 Y 1 x1 1 x2 1 y 1 2 x1 2 x2 2 y i x1 i x2 i y i.... Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 14 / 23

26 Ein Vorhersage-/Entscheidungs-Modell Gegeben Daten / Beobachtungen Bsp. Prädiktoren Zielvariable Vorhersage I X 1 X 2 Y Ŷ (X 1, X 2 ) 1 x 1 1 x 1 2 y 1 Ŷ (x 1 1, x 1 2 ) 2 x 2 1 x 2 2 y 2 Ŷ (x 2 1, x 2 2 )..... i x1 i x2 i y i Ŷ (x1 i, x 2 i ).. finde ein Vorhersage-/Entscheidungs-Modell. Ŷ (X 1, X 2 ) = b 0 + b 1 X 1 + b 2 X 2 das mit den Daten möglichst genau übereinstimmt: y i = sign(ŷ (x i 1, x i 2)).. für möglichst viele i Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 14 / 23

27 Ein Vorhersage-/Entscheidungs-Modell Gegeben Daten / Beobachtungen Bsp. Prädiktoren Zielvariable Vorhersage I X 1 X 2 Y Ŷ (X 1, X 2 ) 1 x 1 1 x 1 2 y 1 Ŷ (x 1 1, x 1 2 ) 2 x 2 1 x 2 2 y 2 Ŷ (x 2 1, x 2 2 )..... i x1 i x2 i y i Ŷ (x1 i, x 2 i ).. finde ein Vorhersage-/Entscheidungs-Modell. Ŷ (X 1, X 2 ) = b 0 + b 1 X 1 + b 2 X 2 das mit den Daten möglichst genau übereinstimmt: y i Ŷ (x i 1, x i 2) > 0 y i = sign(ŷ (x i 1, x i 2)).. für möglichst viele i für möglichst viele i Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 14 / 23

28 Ein Lern-Algorithmus wähle zufällige Anfangswerte für b 0, b 1, b 2 für jedes Beispiel (x i 1, x i 2, y i ): falls unsere Vorhersage nicht stimmt (y i Ŷ (x i 1, x i 2 ) < 0): verbessere unsere Vorhersage für dieses Beispiel Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

29 Ein Lern-Algorithmus y i Ŷ (x i 1, x i 2 ) = y i (b 0 + b 1 x i 1 + b 2x i 2 ) wähle zufällige Anfangswerte für b 0, b 1, b 2 für jedes Beispiel (x i 1, x i 2, y i ): falls unsere Vorhersage nicht stimmt (y i Ŷ (x i 1, x i 2 ) < 0): verbessere unsere Vorhersage für dieses Beispiel d.h., passe b 0, b 1, b 2 so an, daß unsere Vorhersage ein bisschen besser stimmt. Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

30 Ein Lern-Algorithmus wähle zufällige Anfangswerte für b 0, b 1, b 2 für jedes Beispiel (x i 1, x i 2, y i ): falls unsere Vorhersage nicht stimmt (y i Ŷ (x i 1, x i 2 ) < 0): verbessere unsere Vorhersage für dieses Beispiel d.h., passe b 0, b 1, b 2 so an, daß unsere Vorhersage ein bisschen besser stimmt. d.h., y i Ŷ (x i 1, x i 2 ) = y i (b 0 + b 1 x i 1 + b 2x i 2 ) wächst Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

31 Ein Lern-Algorithmus wähle zufällige Anfangswerte für b 0, b 1, b 2 für jedes Beispiel (x1 i, x 2 i, y i ): falls unsere Vorhersage nicht stimmt (y i Ŷ (x1 i, x 2 i ) < 0): verbessere unsere Vorhersage für dieses Beispiel d.h., passe b 0, b 1, b 2 so an, daß unsere Vorhersage ein bisschen besser stimmt. d.h., y i Ŷ (x1 i, x 2 i ) = y i (b 0 + b 1 x1 i + b 2x2 i ) wächst also b 0 :=b 0 + q y i, q > 0 Lernrate b 1 :=b 1 + q y i x i 1 b 2 :=b 2 + q y i x i 2 Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

32 Ein Lern-Algorithmus wähleallgemein zufällige kann Anfangswerte man eine Funktion für b 0, b 1 f, durch b 2 Laufen längs der Ableitungen maximieren: für jedes Beispiel (x1 i, x 2 i, y i ): falls unsere f 0 (b 0 ) Vorhersage := y i (b 0 + nicht b 1 x1 i + stimmt b 2 x2) i (y i Ŷ (x f 0 1 i (b, x 0 ) 2 i ) = < y i 0): verbessere f 1 (b 1 ) := unsere y i (bvorhersage 0 + b 1 x1 i + b 2 für x2) i dieses Beispiel f 1 (b 1 ) = y i x1 i d.h., f 2 passe (b 2 ) := b 0 y, i b 1 (b, b 02 + so b 1 an, x1 i + b 2 x2) i f 2 (b 2 ) = y i x2 i daß unsere Vorhersage ein bisschen besser stimmt. d.h., y i Ŷ (x1 i, x 2 i ) = y i (b 0 + b 1 x1 i + b 2x2 i ) wächst also b 0 :=b 0 + q y i, q > 0 Lernrate b 1 :=b 1 + q y i x i 1 b 2 :=b 2 + q y i x i 2 Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

33 Ein Lern-Algorithmus wähle zufällige Anfangswerte für b 0, b 1, b 2 für jedes Beispiel (x1 i, x 2 i, y i ): falls unsere Vorhersage nicht stimmt (y i Ŷ (x1 i, x 2 i ) < 0): verbessere unsere Vorhersage für dieses Beispiel d.h., passe b 0, b 1, b 2 so an, daß unsere Vorhersage ein bisschen besser stimmt. d.h., y i Ŷ (x1 i, x 2 i ) = y i (b 0 + b 1 x1 i + b 2x2 i ) wächst also b 0 :=b 0 + q y i, q > 0 Lernrate b 1 :=b 1 + q y i x i 1 b 2 :=b 2 + q y i x i 2 Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

34 Ein Lern-Algorithmus wähle zufällige Anfangswerte für b 0, b 1, b 2 mache mehrmals: für jedes Beispiel (x1 i, x 2 i, y i ): falls unsere Vorhersage nicht stimmt (y i Ŷ (x1 i, x 2 i ) < 0): verbessere unsere Vorhersage für dieses Beispiel d.h., passe b 0, b 1, b 2 so an, daß unsere Vorhersage ein bisschen besser stimmt. d.h., y i Ŷ (x1 i, x 2 i ) = y i (b 0 + b 1 x1 i + b 2x2 i ) wächst also b 0 :=b 0 + q y i, q > 0 Lernrate b 1 :=b 1 + q y i x i 1 b 2 :=b 2 + q y i x i 2 Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

35 Ein Lern-Algorithmus wähle zufällige Anfangswerte für b 0, b 1, b 2 mache mehrmals: für jedes Beispiel (x1 i, x 2 i, y i ): falls unsere Vorhersage nicht stimmt (y i Ŷ (x1 i, x 2 i ) < 0): b 0 :=b 0 + q y i, q > 0 Lernrate b 1 :=b 1 + q y i x i 1 b 2 :=b 2 + q y i x i 2 Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 15 / 23

36 Es gibt noch viel mehr zu tun mehr als 2 Sensoren mehr als 2 Aktionen vergangene Sensorwerte und Aktionen Wechselwirkungen zwischen Sensoren / komplexere Modelle komplexere Gütekriterien komplexere Lernalgorithmen... Heute kurz diskutiert: Perceptron-Modell Stochastischer Gradientenabstieg Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 16 / 23

37 4. Wie geht es weiter? Outline 1. Was Computer heute können 2. Können Computer denken? der Turing-Test 4. Wie geht es weiter? Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 17 / 23

38 4. Wie geht es weiter? Computer-Sommerschule Hildesheim Robotik-Kurs: 5 Tage LEGO Mindstorms Roboter bauen und programmieren Abschluß-Rally immer in den Schul-Sommerferien sowie viele weitere Kurse. Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 17 / 23

39 4. Wie geht es weiter? Literatur Görz/Nebel (2003): Künstliche Intelligenz. ein kurzer informaler Überblick (127 Seiten) Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 18 / 23

40 4. Wie geht es weiter? Literatur Russel/Norvig (2004): Künstliche Intelligenz: Ein Moderner Ansatz. das Standard-KI-Lehrbuch (in deutscher Übersetzung; 1328 Seiten) Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 19 / 23

41 4. Wie geht es weiter? Literatur Hastie/Tibshirani/Friedman (2009): The Elements of Statistical Learning. eines der Standard-ML-Lehrbücher (nur in Englisch; 768 Seiten; mit frei-verfügbarem PDF Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 20 / 23

42 4. Wie geht es weiter? Wettbewerbe Informatik-Biber: Knobelaufgaben mit Informatik-Bezug beginnt jeden November Bundeswettbewerb Informatik: Programmieraufgaben über 3 Runden beginnt jeden September Jugend Forscht: eigene Forschungsarbeit (15 Seiten) jedes Jahr am 30. November Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 21 / 23

43 4. Wie geht es weiter? Wettbewerbe Heritage Health Prize: Ein Prognosemodell für Hospitalisierung Preisgeld: 3 Millionen Dollar! endet am 3. April Viele weitere Wettbewerbe mit Preisen bei Kaggle ( Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 22 / 23

44 4. Wie geht es weiter? Zusammenfassung (Super-)Computer besitzen heute schon eine dem Gehirn entsprechende Rechenleistung. Computer können heute schon viele kognitive Aufgaben, die bisher Menschen vorbehalten waren, mehr oder weniger lösen Schach spielen, Fußball spielen, Auto fahren, Fragen beantworten,... Lernfähige Programme und Roboter beruhen oft auf einfachen Prinzipien (nicht auf komplexen mathematischen Theorien). Zum Experimentieren genügt ein Computer (und ein Lego-Roboter). Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 23 / 23

45 4. Wie geht es weiter? Zusammenfassung (Super-)Computer besitzen heute schon eine dem Gehirn entsprechende Rechenleistung. Computer können heute schon viele kognitive Aufgaben, die bisher Menschen vorbehalten waren, mehr oder weniger lösen Schach spielen, Fußball spielen, Auto fahren, Fragen beantworten,... Lernfähige Programme und Roboter beruhen oft auf einfachen Prinzipien (nicht auf komplexen mathematischen Theorien). Zum Experimentieren genügt ein Computer (und ein Lego-Roboter). Computer können heute noch nicht denken. Aber die Entwicklung ist rasant... Lars Schmidt-Thieme, ISMLL, Universität Hildesheim 23 / 23