Von der Macht der Vernunft und der Ohnmacht der Computer Weizenbaum revisited 1

Transkript

1 Forum der Forschung Nr. 22 Jahr 2009 Seite BTU Cottbus Eigenverlag ISSN-Nr Von der Macht der Vernunft und der Ohnmacht der Computer 1 Kurzfassung Das klassische Buch von Weizenbaums Macht der Computer und Ohnmacht der Vernunft gab den Startschuss zu einer noch heute geführten Auseinandersetzung um das, was Computer können und wie man ihnen umgehen sollte. Der Beitrag wirft nochmal einen Blick auf das Original. Abstract The classical work of Weizenbaum: Computer Power and Human Reason started a still vivid as actual discussion about the questions what computer can do and how to handle them appropriately. The present contribution is taking a look again on the original text. ad personam Joseph Weizenbaum, geb in Berlin, emigrierte 1936 in die USA. Nach dem Kriegsdienst als Meteorologe studierte er Mathematik und baute 1952 seinen ersten Computer. Von 1953 bis 1963 arbeitet er am Computer Development Laboratory bei General Electrics, dann wechselte er als Professor für Computer Science ans Massachusetts Institute of Technology (MIT) und war dort einer der Pioniere der Erforschung der sogenannten Künstlichen Intelligenz. Er gilt als einer der Mitentwickler des ARPA Netzes, eines Vorgängers des Internets. Weizenbaum entwickelte von 1964 bis 1966 am Computer Laboratory des MIT ein Computerprogramm, mit dem man sich über eine Fernschreibkonsole auf englisch unterhalten konnte also die Anfänge eines natürlich-sprachlichen Dialoges das Programm nannte Weizenbaum ELIZA nach der Pigmalion-Saga. Die Reaktionen der Benutzer auf dieses Programm und die nachfolgende Diskussionen ließen ihn zu einem der führender Kritiker des Glaubens an die unendlichen Fähigkeiten des Computers werden. Mit der Publikation seines ersten Buches Computer Power and Human Reason (WEIZENBAUM, 1976) wurde er als einer der ersten grundlegenden Kritiker der unreflektierten Computeranwendung weltweit bekannt. Zahlreiche weitere Bücher folgten, Vortragsreisen in alle Welt, u. a. auch nach Cottbus, gaben zu weithin beachteten Kontoversen Anlass. Er war unter anderem Gründer der Computer Professionals for Social Responsibility in den USA. Weizenbaum siedelte 1996 nach Berlin um, wo er nach unermüdlicher Vortragstätigkeit 2008 starb. ad rem Der Untertitel der englischen Gesamtausgabe bezeichnet die Intention des Buches genauer: Der Übergang vom vernünftigen Urteil zur schieren Berechnung, ja die Ersetzung des menschlichen Urteils durch die Entscheidung, die an einen Computer delegiert wird, ist das Grundthema dieser groß angelegten Kritik. Das Programm bestand aus einem Sprachanalysator und einem sogenannten Skript, das das Kontextwissen und damit die Gesprächsrolle des Programms festlegte. Eines dieser Skripten war eine Parodie über das Verhalten von Psychotherapeuten. Das Programm war vergleichsweise einfach, da die Rolle eines Psychotherapeuten nach dieser Sichtweise im wesentlichen darin bestand, den Patienten zum Sprechen zu bringen, indem man dessen eigene Aussage für Fragen oder als Echo benutzte. Die Form dieses Programms, die Weizenbaum DOCTOR nannte, eignete sich im Umkreis des Massachusetts Institut of Technology (MIT) hervorragend als Demonstrationsobjekt für die Fähigkeit eines Computers. Das DOCTOR-Programm wurde allerdings massiv missverstanden: So glaubten einige Psychiater, dass man es als klinisches Werkzeug und Therapeutenersatz weiterentwickeln könnte. Weizenbaum war geschockt: Was muß ein Psychiater mit solchen Vorstellungen für eine Auffassung haben, was er in der Behandlung eines Patienten eigentlich tut, wenn er in seinen Augen die einfachste mechanische Parodie einer einzelnen Interviewtechnik das ganze Wesen einer menschlichen Beziehung erfaßt hat. (S. 18). 2 Diese Haltung sah Weizenbaum mit Michael Polyani als die naturwissenschaftliche Weltanschauung an, die letztlich ein offenbar mechanisches Bild vom Menschen hervorgebracht habe (S. 19). Weizenbaum stellte fest, dass sich nach kurzem Kontakt mit dem 1 Eine frühere, extrem kurze Fassung findet sich als Buchbesprechung in Kornwachs (2000). 2 Die Seitenangaben beziehen sich auf die Ausgabe Weizenbaum (1977). Zitate sind in alter Orthographie wiedergegeben. 33

2 DOCTOR-Programm normale Leute (einschließlich seiner eigenen Sekretärin) dazu herabließen, dem Computer intimste Dinge anzuvertrauen und eine emotionale Beziehung aufzubauen. 3 Das Programm DOCTOR gab auch zu einem weiteren Miss - verständnis Anlass: Man glaubte, dass dieses Programm das Problem der Mensch-Maschine-Kommunikation in natürlicher Sprache gelöst habe. Diese Reaktion auf ELIZA haben deutlicher als alles andere bis dahin erlebte gezeigt, welch enorm übertriebene Eigenschaften selbst ein gebildetes Publikum einer Technologie zuschreiben kann oder will, von der es nichts versteht. (S. 20) Angeregt durch dieses Erlebnis beschäftigte sich Weizenbaum in seinem Buch mit den Fragen, was das Besondere am Computer sei, so dass man dazu geführt werden könne, den Menschen immer wieder als Maschine aufzufassen. Weizenbaum geht davon aus, dass technische Instrumente Verlängerungen des Körpers seien. Die emotionale Besetzung solcher Instrumente hänge davon ab, ob damit intellektuelle Fähigkeiten oder eine Vervielfachung der Muskelkraft angestrebt würden. Denn dann wäre die Rechenmaschine lediglich eine extreme Extrapolation einer vielumfassenderen Usurpierung der menschlichen Fähigkeit ( ), als autonome Wesen seiner Welt einen Sinn zu verleihen. (S. 23) Sich auf Maschinen zu verlassen, die autonom arbeiten, setze aber voraus, dass man sich ein Bild von deren inneren Funktionen mache. Kenne man sich nicht aus, nehme man eben das zu Hilfe, was man kenne die eigene Denkfähigkeit. Deshalb, so vermutet Weizenbaum, würden soviel überzogene Erwartungen in die Maschine projiziert. Weizenbaum sah sich in einer Auseinandersetzung mit Kollegen am MIT ( den Priestern im Tempel der Technik (S. 24)), die viel tiefer gehe als nur die Frage, was man mit Computern alles machen könne und solle. Da die Naturwissenschaft, die die religiöse Kosmologie und die daraus resultierenden Autonomie und Verantwortung des Menschen abgelöst habe, die Wahrheit in Beweisbarkeit verwandle (S. 27), stelle sie primär die Frage nach der Formalisierbarkeit des Lebens und die Frage, zu welcher technischen Gattung die menschliche Art gehöre. Der wesentliche Unterschied zwischen denkender Maschine und dem denkenden Menschen besteht bei Weizenbaum nicht darin, dass die Maschine etwas mehr oder weniger leisten könne, sondern dass bestimmte Denkakte dem Menschen vorbehalten bleiben sollten (S. 28). Die Erfolge der Naturwissenschaften hätten sich zu einer Droge entwickelt, deren Wirksamkeit durch die Gleichung Vernunft = Logik (S. 29) axiomatisch gesichert sei und die zur Leugnung von Konflikten von menschlichen Interessen und Werten, ja der Existenz von Werten überhaupt geführt habe. 3 Noch heute gilt ELIZA als erster Versuch dessen, was man heute unter Chatbots versteht, d. h. textbasierte Dialogprogramme im Internet, die mit Künstlicher Intelligenz wenig zu tun haben, sondern eher die Funktion einer Volltextsuchmaschine erfüllen. Wir können zwar zählen, aber wir vergessen immer schneller, wie wir aussprechen sollen, bei welchen Dingen es überhaupt wichtig ist, dass sie gezählt werden und warum es überhaupt wichtig ist. (S. 33) Von direkter technikphilosophischer Relevanz ist Weizenbaums Kapitel über Werkzeuge. Die Geschichte des Menschen und die seiner Maschinen sind untrennbar verbunden (S. 35). Es seien dies Maschinen, die das Selbstverständnis des Menschen bestimmten, wegen seiner Sterblichkeit sei der Mensch hinsichtlich der Funktion und Reichweite zum Lehrer geworden. Er wird durch Machbarkeit zum Architekten der Welt: Es ist diese selbst geschaffene Welt, der das Individuum als einer scheinbar außer ihm liegenden Macht begegnet. Aber es enthält sie in sich; was ihm gegenübersteht, ist sein eigenes Modell eines Universums und, der er ein Teil darin ist, auch durch sein eigenes Modell, das er von sich erstellt hat (S. 35). Bei Weizenbaum symbolisieren Instrumente die Tätigkeiten, die mit ihnen durchgeführt werden können. Entscheidend ist hier: Ein Werkzeug ist immer zugleich ein Modell für seine eigene Reproduktion und eine Gebrauchsanweisung für die erneute Anwendung der Fähigkeit, die es symbolisiert. (S. 36) Deshalb transzendiere das Werkzeug als Symbol seine Rolle als praktisches Mittel für bestimmte Zwecke, es sei konstitutiv für die symbolische Neuerschaffung der Welt durch den Menschen. Werkzeuge als Mittel der Veränderung wirken sich demnach auf die Individuen aus, die sich ihrer bedienen Weizenbaum zeigt dies anhand von Beispielen wie des sechsschüssigen Revolvers, der Schifffahrt, der Druckerpresse oder der Baumwollpflückmaschine. Ausgehend von einer Integration der Technik als sich selbst transzendierende Prothetik, verändert Technik nicht nur die Natur die Siege über die Natur beziehen sich heute auf eine andere Natur als früher sondern auch die Wahrnehmung, z. B. die Zeit. Die Uhr ist aber keine Prothese, sondern nach Weizenbaum eine autonome Maschine, die aufgrund eines eingebauten Modells eines Aspektes der Außenwelt von alleine funktioniert (S.44), aber durch ihre regulierende Potenz neue Wirklichkeiten schafft und unmittelbare Erfahrung zurückdrängt. Dieser Grundzug sei auch in den Naturwissenschaften festzustellen, die wiederum versuchen, sich selbst bei ihren Urteilen auszuschalten nach einem Zitat von Carl Pearson (S. 46). Obwohl Bedürfnisse und maschinelle Möglichkeiten eng verkoppelt seien, und vielfach Aufgaben ohne technische Hilfsmittel (z. B. den Computer) als nicht lösbar angesehen würden, seien komplizierte und komplexe Projekte wie der Bau der Atombombe oder das Apollo-Projekt auch ohne die exorbitante Rechenkapazität heutiger Computer zu bewältigen gewesen. Der Computer wird zum unentbehrlichen Bestandteil der Struktur, sobald er total in die Struktur integriert ist,, dass er nicht mehr herausgenommen werden kann, ohne unweigerlich die Ge- 34

3 samtstruktur zu schädigen. Das ist im Grunde eine Tautologie. Ihr Nutzen besteht darin, dass sie uns die Möglichkeit ins Bewusstsein ruft, dass bestimmte menschlichen Handlungen, z. B. die Einführung von Computern in irgendwelche komplexen menschlichen Unternehmungen, eine Abhängigkeit schaffen können, die nicht mehr rückgängig zu machen ist. (S. 50). Entscheidend ist hier, dass sich die interne Kommunikationsgeschwindigkeit der menschlichen Organisation als zu langsam erweist, um moderne Prozesse, wie sie in diesem Tempo wiederum erst durch Computer ermöglicht worden sind, ohne Computer zu steuern und zu beherrschen (nach Jay W. Forrester, S. 50). Also wurden, anstatt nach alternativen organisatorischen Lösungen zu suchen, (z. B. auf Luftkriege zu verzichten, die Wahl unter verschiedenen Autotypen zu begrenzen, aufgeblähte Verwalten zu reduzieren etc.) Computer eingesetzt, um die gesellschaftlichen und politischen Institutionen Amerikas zu konservieren. Ich habe zumindest zeitweise mit dazu beigetragen, sie gegenüber einem gewaltigen Druck in Richtung auf einen Wandel zu stützen und zu immunisieren. (S. 54). Das Selbe gilt nach Weizenbaum für Japan und Westdeutschland. Da ein Werkzeug nur selten gleichzeitig mit einer gänzlich neuartigen Tätigkeit zusammen erfunden worden sei, und neue Probleme neue Werkzeuge hervorbrächten, Werkzeuge aber auch Problemlösungen überformen, sei der Computer eben auch nichts anderes als die phantasievolle Projektion von Symbolen (Werkzeug als Symbol) aus einem bereits bestehenden und im allgemeinen weit entwickelten Bezugssystem in ein anderes (S. 56). Unternehmen setzten Computer zunächst nur dafür ein, Tabellierungs- und Suchprozesse zu automatisieren, erst der neue Bezugsrahmen Systemanalyse habe dem Computer das heute bekannte Einsatzfeld erschlossen. Die Interaktion von Systemanalyse und Computer demonstriert Weizenbaum in ihrer historischen und systematischen Entwicklung: Beide verstärken ihren Einfluss auf das betriebliche Geschehen, weil das eine die Einsatzbedingung für das andere ist. Dass die Verbesserung der Rechenkapazität die Schwäche der Analyse bloßlegen könnte, wird nach Weizenbaum gar nicht gewollt: Obwohl die reine Verstärkung einer bestimmten Technik nichts über deren Geltung (bzw. Problemlösungskapazität) aussagt, kann die nur begrenzt verfügbare Verstärkung (z. B. nur begrenzter Rechenaufwand) zur Immunisierung eben dieser Technik gegen kritische Einwände verwendet werden. Es wird an der Verbesserung der Rechentechnik statt am Problem selbst gearbeitet, die konventionelle Lösung wird durch Verbesserung des Werkzeugs und deren unstreitiger Erfolge gerechtfertigt. Werkzeuge formen nach Weizenbaum Sprache und Handlungsmuster. Bestimmte Weisen der Verwendung des Computers eröffnen daher neue Handlungsmuster oder -möglichkeiten. Sie versperren aber auch etlichen herkömmlichen Handlungszusammenhängen den Weg. Dadurch komme es zustande, dass der Computer eben nicht nur Instrument im herkömmlichen Sinne sei, sondern auch ein Bildner der Phantasie, und damit erhalte er eine Macht, die nur aus seiner Funktionsweise heraus exakt zu analysieren sei. Während das Kapitel über die Macht des Computer im wesentlichen die Funktionsweise einer Turing-Maschine (allgemeines Modell eines Computers, benannt nach dem britischen Mathematiker Alain B. Turing) auf unterhaltsame Art demonstriert und zeigt, welche Probleme bei rein formalen Systemen auftreten können, widmet sich das folgende Kapitel der Funktionsweise von Computern selbst. Sie zu verstehen ist wesentlich, denn: Die erfolgreiche Problemlösung eines Computers wird oft als Beweis dafür angegeben, dass dieser oder der Programmierer ein Verständnis vom Vorgang des Problemlösens hätten. Ein solcher Schluss ist nicht unnötig, sondern in den meisten Fällen auch irrig. Die Beziehung zwischen Verstehen und Niederschreiben bleibt damit genauso problematisch für das Programmieren von Computern wie sie es seit jeher für das Schreiben in irgendeiner Form gewesen ist (S. 153). Ein weiteres Grundproblem tritt hinzu. Zwar ist der Computer eine physikalische Maschine, d. h. die Prozesse im Innern der Maschine gehorchen physikalischen Gesetzen (Ströme, Spannungen etc.), aber man kann mit ihm eine nichtphysikalische Maschine simulieren, die nach anderen Spielregeln funktioniert. Hier ist alles Erdenkliche machbar. Zum Bau eines Computers reicht deduktive Logik nicht aus, man muss etwas über das Materielle wissen. Der Ingenieur findet Schranken, die ihm die Naturgesetze auferlegen, während der Programmierer Schöpfer von Universen (ist), dessen alleiniger Gesetzgeber er selbst ist. (S. 160). Da Macht korrumpiere, könne man gerade im Bereich des Programmierens, in der Omnipotenz so leicht wie nie zuvor zu erringen sei, die Korruption in Form des zwanghaften Programmierers beobachten. Hier nun entwickelt Weizenbaum das Psychogramm des zwang - haften Programmierers, den wir heute als Hacker kennen. Der Zwang hierbei sei von dem des Spielers zu unterscheiden, aber beide hätten gleiche Immunisierungsstrategien entwickelt und ihre Strategien oder formale Strukturen seien in gleicherweise ohne Theorie und äußeren Gegenstand. Weizenbaum nennt die Nähe zu magischen Gedankengebäuden, verbunden mit Allmachts - phantasien und einem pathologischen Sicherheitsbedürfnis. Auch Naturwissenschaftler seien hier anfällig, sofern sie sich nicht bewusst machten, dass sie den verlorenen Schlüssel nicht da suchten, wo sie ihn verloren hätten, sondern da, wo eine Straßenla - terne die Suche erheblich erleichtere (S. 174). Hier wendet sich Weizenbaum gegen die Verkürzung, mit der z. B. Herbert Simon, sein großer Widersacher, durch die geeignete Wahl der makroskopischen Beschreibungsebene die Irrelevanz der Komplexität auf der Mikroebene postuliert (S. 176). Die Reduktion des Nichts als verschließt sich nach Weizenbaum dem Problem menschlicher Werte oder dem Problem der Subjektivität. Er attestiert sowohl der Naturwissenschaft und Technik, so wie sie weitgehend betrieben werden, eine Kurzsichtigkeit, die durch ihre Erfolgserlebnisse genährt und stabilisiert werde. Aber gerade diese Erfolgserlebnisse kämen dadurch zustande, dass Technik und Naturwissenschaft in Macht und Kon - trolle überführt worden seien. Weizenbaum bezeichnet sie vielfach als sich selbst bestätigende magische Systeme, die durch keiner- 35

4 lei äußere Erfahrung, die nicht mit ihrem Begriffsraster erfassbar ist, zu erschüttern seien. Ähnlich der Anpassungsleistung der ptolemäischen Epizyklen, stabilisieren sich diese Denksysteme durch immer weitere Hinzufügung von Hilfsprogrammen oder Hilfshypothesen (S. 172). Deshalb seien solche Wissenschaften, die behaupten, dass sie den ganzen Menschen in das Gerüst ihrer abstrakten Gedankengebäude einfangen können (S. 179), ebenso gefährliches wie magisches Denken. Mit diesem Kapitel ist die Kritik des Anspruchs der künstlichen Intelligenz, menschliches Bewusstsein und kognitive Leistungsfähigkeit durch nichts anderes als algorithmische Prozesse zu simulieren und zu erklären, vorbereitet. In seinem Kapitel Theorien und Modelle spielt Weizenbaum zunächst das Gedankenspiel durch, was Forscher, die nicht wissen, was ein Computer ist und wie er funktioniert, aus der Beobachtung seines Verhaltens, dem Versuch des Nachbaus bzw. Imitation seines Verhaltens und aus der physikalischen Zerlegung und Messung schließen könnten und welche Modelle sie bilden würden. Dies sei die Lage, vor der wir uns angesichts des menschlichen Gehirns und Bewusstseins befänden: (Außerdem) ist eine Mikroanalyse der Gehirnfunktionen für ein Verständnis der Denkprozesse ebenso wenig sinnvoll wie eine entsprechende Analyse der einen Computer durchfließenden Impulse für das Verständnis des Programms, das der Computer gerade abarbeitet (S.184). Während Weizenbaum das Forschungsziel der Linguistik nach Noam Chomsky zu akzeptieren scheint, wonach man aus unserem Stand der Unwissenheit über das lebende Gehirn die angeborenen Eigenschaften des menschlichen Geistes noch am ehesten aus den äußerst restriktiven Prinzipen einer universalen Grammatik erschlossen werden können (S.186), geht er mit dem Anspruch Herbert A. Simons: Es gibt nunmehr in der Welt Maschinen, die denken, lernen und schöpferisch tätig sind (Zitat auf S. 187) hart ins Gericht. Zunächst hat Weizenbaum nichts dagegen, wenn man den Menschen unter der Perspektive untersucht, wie er Information verarbeitet. Dazu sei es aber erforderlich, die Grenzen der Theorie des Menschen als Verarbeiter von Information zu kennen. Ein Modell einer Theorie gehorcht den Verhaltensgesetzen, die in der Theorie explizit formuliert sind, unter konkreten Randbedingungen. Deshalb löst ein Modell, nicht die Theorie, ein Problem. Ein Computerprogramm kann als Theorie aufgefasst werden, und man hat dann ein Modell, wenn das Programm explizit als Berechnung ausgeführt wird. Die Sprache des Modells muss nicht die Sprache der Theorie sein. Theorien werden dadurch getestet, dass man sie in Modellen explizit zu machen versucht. Theorien, die lediglich aus tiefsinnigen Bemerkungen und heuristischen Schlagworten (Zitat Patrick Suppes, S. 206) bestünden, ließen sich nicht in ein exaktes Modell überführen. Weizenbaum untersucht aufgrund dieser Überlegungen einige Ansätze und Programme der künstlichen Intelligenz, die er mit Hilfe der Begriffe Simulationsmodus, Performanzmodus und Theoriemodus unterscheidet. Da der Computer zu einer Quelle mächtiger und gelegentlich auch sinnvoller Metaphern geworden ist, Metaphern aber in populären Vereinfachungen überdehnt zu werden pflegen, besteht die Gefahr des Missbrauchs solcher Metaphern um so mehr, je weniger man die exakten Definitionen der darin verwendeten Begriff im ursprünglichen fachlichen Kontext kennt. Der Öffentlichkeit ist weitgehend unklar, was es heißt, dass prinzipiell jedes effektive Verfahren von einem Computer durchgeführt werden kann. Da der Mensch, die Natur und selbst die Gesellschaft mit Verfahren arbeiten, die zweifellos in der einen oder anderen Hinsicht effektiv sind, folgt daraus, dass ein Computer zumindest den Menschen, die Natur und die Gesellschaft in allen verfahrensmäßigen Aspekten imitieren kann. (S. 210) Die ungerechtfertigte Verallgemeinerung der Begriffe effektiv und Verfahren dehnt sich dann auch auf das Wort Verstehen aus: Etwas zu verstehen hieße dann, in der Lage zu sein, ein Computerprogramm zu schreiben, das dieses Etwas oder sein Verhalten realisiere. Die Kritik Weizenbaums an der Auffassung, dass man für das Verstehen von Musik oder von Literatur nur bessere semantische Modelle bräuchte, die man wegen des traditionellen Widerstandes der Analytiker auf diesem Gebiet gegen formale Methoden eben noch nicht habe, erstreckt sich auch auf ihre Erweiterung in der Psychologie. Die Computermetapher Verstehen heißt, es programmieren zu können habe die Psychologie voll im Griff und in ihrem Versuch, sich in Anlehnung an die Naturwissenschaft möglichst weitgehend zu mathematisieren, habe sie in den Bereich geführt, der sich mit kognitiven Prozessen befasst. Dieser solle nun im Rahmen des Forschungsprogramms der künstlichen Intelligenz zu einem Verständnis kognitiver Prozesse durch das Entwerfen geeigneter Algorithmen führen. So wird die Anstrengung des Menschen beim Erinnern an eine auswendig gelernte Reihenfolge von Nonsense-Silben zum Rechenaufwand umgedeutet, als angesehen, die zum Abarbeiten eines entsprechend langen Unterprogramms bei ihrer Computersimulation erforderlich ist. Weizenbaum verdeutlicht mit dieser Metapher, was unter einem Modell eines kognitiven Prozesses in Form eines Computermodells gemeint ist: Die Art und Weise, wie die Speicherung von Information organisiert ist, soll eine funktionale Beschreibung des menschlichen mittelbaren Gedächtnisses darstellen. Diese Beschreibung ist zwar keine Erklärung im Sinne einer naturwissenschaftlichen Erklärung, aber sie ist plausibel, weil sie verhaltensspezifische Phänomene prognostizieren kann. Das Programm verhält sich in gewisser Weise zuweilen anders, als es bewusst oder unbewusst einprogrammiert wurde. Neben der Nachahmung, dem Simulationsmodus. Die meisten Vertreter der Künstlichen Intelligenz wollen aber nach Weizenbaum Maschinen bauen, die im Performanzmodus arbeiten, also kognitive Prozesse aufgrund sensorischer Eingaben durchführen sollen (Sprechen wie Menschen, Bewegungen durchführen, Aufgaben lösen und dergleichen). Dabei ist die Erklärung im Sinne einer guten Theorie nicht das Ziel. Die Trennlinie zwischen Simulationsmodus und Performanzmodus ist nicht sehr scharf. Daher beginnt man oft- 36

5 mals mit dem Programmieren einer Problemlösung, indem man sich selbst beobachtet, wie man dabei vorgehen würde. Deshalb wirft Weizenbaum den Forschern der Künstlichen Intelligenz vor, zur Verwischung beizutragen und Performanzprogramme, die oft erstaunliche Erfolge haben, auch als Simulationen darzustellen, d. h. aus ihrer guten Performanz eine Erklärung abzuleiten. Ähnliches gilt für seine Kritik an dem General Problem Solver von Alan Newell und Herbert A. Simon. 4 Es ging darum, Denkprozesse beim Problemlösen verallgemeinerungsfähig zu verstehen und zwar unabhängig vom Problemgegenstand. Dazu beobachtete man Versuchspersonen, wie sie Probleme lösten. Man ging davon aus, dass programmierte Computer und der Mensch als Problemlöser lediglich zwei verschiedene Arten der Gattung informationsverarbeitendes System (S. 226) seien und man deshalb gleiche und vor allem einfache Grundprinzipien finden könne, die aus der Anpassung des Systems an die Anforderungen, die sich aus der Wechselwirkung mit der Umwelt ergeben, bestimmbar seien. Weizenbaum findet diese Reduktion inakzeptabel und zeigt, dass der General Problem Solver lediglich eine besondere Programmiersprache darstellt, in der man Programme für die Lösung hochspezialisierte Aufgaben schreiben kann, z. B. Schachspiel oder Navigation. Der GPS ist daher keine verallgemeinerbare Verkörperung oder Theorie menschlichen Problemlösens, denn er enthält keine psychologischen oder kognitiven Prinzipien. Diese müssen vielmehr bei der Spezifizierung des Programms hinsichtlich eines bestimmten Problems oder einer Problemklasse vom Programmierer hineingesteckt werden. Die Verwechslung von guter Performanz und Erklärung, der ungerechtfertigte Anspruch, aus einer Programmiersprache, in der Problemlösungsstrategien programmiert werden können, eine Theorie der menschlichen Problemlösung zu destillieren das alles ist nach Weizenbaum denn auch der Hintergrund, vor dem sich Überlegungen wie die Folgende überhaupt erst entfalten können: Die Automatisierung der Psychiatrie und die Verobjektivierung des Patienten sollen ihn mit einfachen Regeln wieder zum funktionierenden Mitglied der menschlichen Gemeinschaft machen. Im nachfolgenden siebten Kapitel geht es um das Problem des Verstehens natürlicher Sprache durch Computer. Auch hier weist Weizenbaum nach einer ausführlichen Diskussion des aktuellen Forschungsstandes und der bisherigen Erfolge den Anspruch zurück, man hätte aufgrund dieser Erfolge bereits eine Theorie für das gesamte menschliche Sprachverstehen vorliegen. Denn die einzigen Tiefenstrukturen, die sie als legitim akzeptiert, sind solche, die sich in Form von Datenstrukturen darstellen lassen, die von einem Computer erarbeitet werden können. Sodann wird schlicht verkündet, dies sei die Gesamtheit aller begrifflichen Tiefenstrukturen, die dem gesamten Menschlichen Denken zugrunde lägen. (S. 266) 4 Dargestellt in Newell Simon (1972). Auch die Ansprüche der künstlichen Intelligenz weist Weizenbaum im achten Kapitel zurück. Für ihn ist der Mensch keine Maschine, sondern ein Organismus, der weitgehend über die Probleme definiert wird, denen er sich gegenüber sieht. Computer und Mensch verarbeiten Information, aber sie tun es nach Weizenbaum auf grundlegend verschiedene Weise. Der Begriff der Intelligenz ist zu verwaschen, er ist nicht operationalisierbar und nicht quantifizierbar, weil es keine befriedigende Theorie der Intelligenz gibt. Damit ist er ein geeigneter Kandidat, in Form von Metaphern überzogene Ansprüche zu formulieren. Weizenbaum zeigt anhand der Sprache, der Körperlichkeit des Menschlichen Denkens und Fühlens, anhand von Intuition, assoziativem und unklarem Denken, Kreativität und Spontaneität, wie verengt der Intelligenzbegriff ist und dass den Wissenschaftlern im Bereich der Künstlichen Intelligenz eine Bescheidenheit anstünde, wie sie die Physiker nach Werner Heisenberg und die Mathematiker nach Kurt Gödel üben. Gerade unbewusste Prozesse sind nach Auffassung Weizenbaums nicht mit formalen Regeln und den Prinzipien der Informationsverarbeitung erklärbar, aber gerade das sind die Prinzipien, auf denen naturwissenschaftliche Erklärungen basieren. Denkprozesse, sofern sie nicht gerade formal sind, sind auch immer durch kulturelle Kontexte bestimmt, und verantwortliche Entscheidungen, die Klugheit erfordern sind immer solche, deren Klugheit im jeweiligen kulturellen Kontext bestimmt wird. Ein amerikanischer Richter kann nicht in einem japanischen Familiengericht tätig werden, weil er nicht über den erforderlichen kulturellen Kontext verfügt (S. 298). Es ist zwar möglich, dass Computer Entscheidungen fällen können, dass sie Urteile fällen und psychologische Analysen durchführen. Weizenbaum ist der Auffassung, dass dies letztlich ein ethisches Problem ist: Die wichtigste Grundeinsicht,, ist die, dass wir zur Zeit keine Möglichkeit kennen, Computer auch klug zu machen, und wir deshalb im Augenblick Computern keine Aufgaben übertragen sollten, deren Lösung Klugheit erfordert. (S. 300). Unter der Überschrift Unverständliche Programme geht Weizenbaum dann auf das Problem ein, dass wir Computer benutzen, ohne eigentlich zu verstehen, was die Programme tun oder können. Zur Zeit der Niederschrift seines Buches gab es im Wesentlichen nur zwei Programme aus dem Bereich der Künstlichen Intelligenz, die ihren Weg in eine industrielle Anwendung gefunden haben. Bei einem Programm handelt es sich um einen Vorläufer der in den 80er Jahren als Expertensysteme bekannten Programme, das in der Lage ist, aus Daten von Massenspektrometern Hypothesen über zugrunde liegende Molekularstrukturen zu erzeugen. Das zweite Programm war ein Vorläufer der computerunterstützten Symbolmanipulation, die man heute unter Computeralgebra (z. B. Umformen von Gleichungen in eine lösbare Gestalt) kennt. Die Fähigkeiten dieser Programme übersteigen die Fähigkeiten menschlicher Experten auf diesem Gebiet in Schnelligkeit und Verarbeitungsumfang, spielend. Sie sind, im Gegensatz zu den anderen von Weizenbaum in seinem Buch kritisierten Programmen, auf soliden Theorien aufgebaut. Die meisten Programme, auch sein eigenes Programm ELIZA, so Weizenbaum, sind heuristisch (S. 305), sie folgen Faustregeln, die man sich erdacht hat, und sie werden, wenn Probleme auftreten, mit ad-hoc Methoden von Zeit zu Zeit erweitert. 37

6 Weizenbaum verallgemeinert diesen Befund und steht für die Behauptung, dass fast alle Programme im Einsatz Ergebnisse heuristischen Programmierens seien. Er zeigt, dass nach Ablauf eines umfangreichen Programmierprojekts und seines anschließenden Einsatzes die Konstrukteure des Programms nicht mehr verfügbar sind, ad-hoc Verbesserungen angebracht werden und dass das Verstehen eines solchen umfangreichen Programms oder gar eine Kritik daran länger dauern können als es bezüglich eines Problems überhaupt im Einsatz ist. Da aus der industriellen Tradition des 19. Jahrhunderts das Verständnis einer Sache bedeutete, dass es als etwas Mechanisches zu begreifen sei, wird der Computer letztlich, zumindest in Laienmeinung, als etwas Mechanisches begriffen. Dass dies nicht hinreichend ist, sieht man daraus, dass selbst der Programmierer, der ein sehr komplexes Programm geschaffen hat, nicht mehr alle Details überblicken kann und letztlich ein großes Programm, vor allem, wenn es lange im Einsatz ist, von niemanden mehr so richtig überblickt und verstanden werden kann. Damit ergibt sich ein ernstes Problem: Dass unsere Gesellschaft sich zunehmend auf Computersysteme verlässt, die ursprünglich den Menschen beim Erstellen von Analysen und Treffen von Entscheidungen helfen sollten, die jedoch seit langem das Verständnis derjenigen übersteigen, die mit ihnen arbeiten und ihnen dabei immer unentbehrlicher werden, das ist eine sehr ernste Entwicklung. (S. 311) Wenn man die Regeln, auf denen eine Entscheidung basiert, nicht kennt und wenn man diese Regeln auch nicht mehr ändern kann, weil man sie nicht reparieren kann, ist auch keine verantwortliche Entscheidung mehr zu treffen. Weizenbaum bezeichnet den Computer, genauer solche Programme, deren Wissensbasis eher danach zusammengestellt ist, was man automatisch erfassen kann und nicht, was historisch oder systematisch zu einem Wissensumfang gehören müsste, als ein Instrument zur Zerstörung von Geschichte (S. 313). Daraus ergibt sich, dass als Faktum nur noch präsent und anerkannt wird, was sich in Datenbanken ohne allzu großen Aufwand formatieren lässt. Die Versklavung des Computerbenutzers zeigt Weizenbaum eindringlich an Beispielen aus der computerbestimmten Zielauswahl im Vietnamkrieg. Dies führt auf der einen Seite dazu, sich selbst als unschuldiges Opfer von Sachzwängen und einer Technik, die man ohnehin nicht mehr verstehe, darzustellen, wie dies das Management gern tue, auf der anderen Seite geht die Neigung dahin, komplexe Systeme für die Aufrechterhaltung von Frieden und Stabilität als verantwortlich anzusehen. Zusammen mit der Überzeugung, dass Computer in der Lage seien, jede menschliche Funktion in Organisationen zu substituieren, und zwar effektiver und fehlerfreier, konstituiert sich ein Optimismus, der sich nicht nur auf Computeranwendung erstreckt, sondern auch den (Neu)Entwurf sozialer Spielregeln, präziserer Sprachen und genaueren Denkmodellen in Angriff nehmen will. Hier sieht Weizenbaum einen engen Zusammenhang mit der Kritik der instrumentellen Vernunft von Max Horkheimer. Wo Begriffe, wie Marx Horkheimer sich ausdrückt, zu widerstandslosen, rationalisierenden, arbeitssparenden Mitteln geworden sind, wo das Denken auf das Niveau industrieller Prozesse reduziert worden ist (S. 326f.), ist auch verständlich, wie dieses Denken im Bereich der Computer zu einer Transformation jeglicher Bedeutung in Funktion führt (S. 327). Alle konfligierenden Interessen werden durch Interessen der Technik ersetzt, Sprache und Vernunft werden mechanisiert, die Rhetorik der technischen Elite habe die Sprache und die Begriffe so korrumpiert, dass auch Verstehen selbst rein instrumentell gedacht werden könne. Nach Weizenbaum sind aber die Probleme wie soziale Fragen, politische Konflikte nicht mit Technik und Naturwissenschaft zu lösen. Letztere sind in seinen Augen gar Suchtmittel, die einen sich selbst erfüllenden Alptraum erzeugen (S. 334). So lautet denn auch die Überschrift über das letzte Kapitel dieses Buches, das gegen Ende im Ton immer schärfer und wütender wird, Gegen den Imperialismus der instrumentellen Vernunft (S. 337). Dieses Kapitel ist politisch stark eingefärbt, da es letztlich um Machtfragen geht. So wie es richtig sei, dass die Naturwissenschaft zu einem großen Sieg über die Unwissenheit verholfen habe, so sei die Folge ein neuer Konformismus, der uns erlaube, alles, was gesagt werden könne, in den funktionalen Sprachen der instrumentellen Vernunft zu sagen, der uns aber verbiete, uns auf das zu beziehen, was man lebendige Wahrheit nennen könne. Weizenbaum plädiert dafür, dass sich die Naturwissenschaft enthalten sollte, im Bereich des Lebendigen jedes Ding als ein Objekt zu betrachten. Ausgehend von dem ethischen Prinzip, dass der Bereich der eigenen Verantwortung in einem bestimmten Verhältnis zum Bereich der Wirkungen der eigenen Handlung stehen muss (S. 341), folgt eine Verantwortung für den Wissenschaftler und Ingenieur, die über seine unmittelbare Situation hinausgehe und die sich auch auf künftige Generationen erstrecke. Wissenschaftliche Hypothesen sind nach Weizenbaum nicht wertfrei, weil die Wahl, welche Hypothese weiter verfolgt wird, von Werten des wählenden Wissenschaftlers abhängig seien. Die Wahl der Forschungsthemen ist nicht beliebig frei, weil nur endliche Ressourcen an Forschungskapazitäten zu Verfügung stehen. Die Auswahl wird daher von Interessen und Möglichkeiten bestimmt, die zur Verfügung stehen. Der Mensch ist sich selbst Objekt geworden und die Naturwissenschaft weigere sich immer noch, sich von menschlichen Standards leiten zu lassen, obwohl sie immer mehr Macht angesammelt habe. Die Erkenntnis um ihrer selbst willen ist nach Weizenbaum eine Chimäre, weil die Geltung der naturwissenschaftlichen Erkenntnis ohnehin auf das Vorführen technischer Wundermittel reduziert worden ist. Weizenbaum gibt den Rat, zwei Arten von Computeranwendungen zu vermeiden: Die Kopplung von Tier und Computer sieht er als obszön und als Angriff auf das Leben selbst an. Zur selben Kategorie gehören für ihn Computersysteme, die menschliche Handlungen und soziale Rollen ersetzen sollen, die mit gegenseitigem Respekt, Verständnis und Liebe zu tun haben. So gehört hierher auch die Anwendung von Programmen, mit denen Weizenbaum anfänglich selbst gearbeitet hat, die den Psychotherapeuten ersetzen soll. Weizenbaum lehnt als zweite Kategorie die Anwendungen ab, die mit der automatischen Erkennung der menschlichen Rede zusammenhängen. Wegen der enormen Kosten und der riesigen 38

7 Rechenkapazität, die ein solches Unterfangen benötige, vermutet Weizenbaum militärisches Interesse dahinter, Waffen durch Sprache steuern zu können. Es geht ihm nicht darum, dass dies Computer eines Tages nicht könnten, sondern dass sie es nicht sollen. Weizenbaum erwähnt auch die sich abzeichnenden Möglichkeiten der Überwachung gesprochener Sprache für staatliche oder Geheimdienstzwecke, die er naturgemäß nicht wünscht. Die Überzeugung für diese Einstellung nimmt Weizenbaum aus der Betrachtung der Folgen solcher Unternehmungen, die er ablehnt. Weizenbaums Plädoyer für den persönlichen Mut der Computerwissenschaftler, sich für humanitär akzeptable Zielsetzungen und Projekte einzusetzen und die Mitarbeit an bedenklichen Vorhaben zu verweigern, gründet sich auf seine Überzeugung, dass es nicht die Sach- und Systemzwänge sind, die eine Technik in eine nicht gewünschte Richtung drängen, sondern dass es Menschen sind, die in einer konkreten geschichtlichen Situation Entscheidungen getroffen haben. Wenn man sich schon einmal darauf festlegt, dass man sich nur mit technischen Fragen befassen will, darf man sich nicht wundern, wenn die Optionen, die man hat, technischer Natur und eine Frage der Berechnung werden. Es reiche deshalb nicht aus, den Studenten lediglich Fertigkeiten zu vermitteln, sondern sie müßten lernen, später nicht nur funktionierende Elemente in Projekten zu werden, sondern autonome Persönlichkeiten, die in der Lage sind, verantwortlich handeln zu können. Dazu bedarf es nach Weizenbaum des Risikos, der Ausdauer und des Durchhaltevermögens, weil der Mensch immer auch Erforscher seiner äußeren und inneren Realität sei. ad librum Weizenbaums Buch hatte eine enorme Wirkung es hat seit seinem Erscheinen 1976 die wesentlichen Argumente der technologiekritischen Auseinandersetzung um den Computer und seinen vor allem auch militärischen Einsatz zusammengetragen und zum Teil auch vorweggenommen. Die Diskussionen um die Expertensysteme in den 80er Jahren, um die es mittlerweile stiller geworden ist, aber auch die Auseinandersetzungen um ethische Fragen des Computereinsatzes, und die klassische Fragen, ob man alles tun muss, was man auch tun kann, sind durch dieses Buch, gerade in Europa, initiiert und letztlich bis heute wach gehalten worden. Nicht zuletzt sind Buch und Autor auch durch eine ausgedehnte Vortragstätigkeit schnell berühmt geworden. Weizenbaums Schrift hatte einige Nachfolger, die ebenso intensiv über die Grenzen des Computers und seines Einsatzes nachgedacht haben. 6 Keines erreichte jedoch die Breitenwirkung Weizenbaums. Das Buch steht als aktuelles Beispiel einer Technikkritik aus ethischer Motivation, die auf einer fachlich fundierten Innensicht der zu kritisierenden Technologie aufbaut. Das erklärt vielleicht die enorme Rezeption dieses Werkes, mit dem sich auch heute noch derjenige auseinandersetzen muss, der über die Frage nachdenken will, ob wir die Technik haben, die wir brauchen, oder ob wir die Technik brauchen, die wir haben. Literatur DREYFUS, H.; DREYFUS, S.: Mind Over Machine: The Power of Human Intuition and Expertise in the Era of the Computer. Free Press, New York 1986 KORNWACHS, K.: Buchbesprechungen u. a. von Joseph Weizenbaum. In: Hubig, Ch.; Huning, A.; Ropohl, G. (Hrsg.): Nachdenken über Technik die Klassiker der Technikphilosophie. Edition Sigma, Berlin 2000, S NEWELL, A.; SIMON, H. A.: Human Problem Solving. Prentice Hall, Englewood Cliffs, N. J PENROSE, R.: Computerdenken die Debatte um Künstliche Intelligenz, Bewusstsein und die Gesetz der Physik. Spektrum, Heidelberg 1991 WEIZENBAUM, JOSEPH: Die Macht der Computer und die Ohnmacht der Vernunft. Frankfurt a. M., Suhrkamp Verlag (stb 274), 1977, 369 S. Englische Originalausgabe: Computer Power and Human Reason. From Judgement to Calculation. San Francisco, Freeman and Comp. 1976, übersetzt von Udo Rennert WINOGRAD, T.; FLORES, F.: Understanding Computers and Cognition. Addison-Wesley, New York 1982 Weizenbaum s Argumentation ist zuweilen doppelbödig das Buch ist ein fachlicher wie ethischer Text und so war er denn auch Ziel spöttischer Angriffe, z. B. durch den Wirtschaftsnobelpreisträger und Kybernetiker Herbert A. Simon, wie man denn etwas moralisch unterbinden wolle, was technisch sowieso nicht funktionieren könne. 5 Weizenbaum wurde mit Auszeichnungen überhäuft, von der angegriffenen Disziplin der künstlichen Intelligenz aber nach diesem Buch gemieden. 5 So Herbert A. Simon auf einem Vortrag an der Universität Stuttgart im Sommer Vgl. Winograd, Flores (1982), Dreyfus, Dreyfus (1986) Penrose (1991) sowie eigene weitere Schriften von Weizenbaum. 39

8 Prof. Dr. Geboren 1947, Studium der Physik, Mathematik und Philosophie in Tübingen, Freiburg, Kaiserslautern und Amherst (Mass., USA). Diplom in Physik 1973, Promotion 1976, Habilitation in Philosophie an der Universität Stuttgart Von Mitarbeiter beim Fraunhofer-Institut für Produktionstechnik und Automatisierung, Stuttgart; danach bis 1992 beim Fraunhofer-Institut für Arbeitswirtschaft und Organisation, ebenfalls Stuttgart; zuletzt als Leiter der Abteilung für Qualifikationsforschung und Technikfolgenabschätzung. Seit 1990 Honorarprofessor der Universität Ulm, seit 1992 Inhaber des Lehrstuhls für Technikphilosophie an der Brandenburgischen Technischen Universität Cottbus Forschungspreis der Al - catel SEL-Stiftung für Technische Kommunikation, Direktor des Zentrums für Zentrum und Gesellschaft, BTU Cottbus Gastprofessur in Wien und seit 2000 Gastdozent in Budapest. Leiter des Bereichs Gesellschaft und Technik im VDI ( ), Mitglied der Acatech (Deutsche Akademie der Technikwissenschaften), dort seit 2007 Leiter des Themennetzwerkes Grundlagenfragen der Technikwissenschaften. Buchveröffentlichungen Offenheit, Zeitlichkeit, Komplexität (Hrsg. 1984), Reichweite der Technikfolgenabschätzung (Hrsg., 1991), Expertensysteme (zusammen mit H.-J. Bullinger, 1990), Information und Kommunikation (1993), Information New Questions to a Multidisciplinary Concept (1996, herausgegeben mit K. Jacoby), Prinzip der Bedingungserhaltung (2000), Logik der Zeit Zeit der Logik (2001), Softwareentwicklung Erfahrung und Innovation (zusammen mit S. Berndes, U. Lünstroth, 2002), System Technik Verantwortung (Hrsg. 2004), Shaping better Technologies (Hrsg. 2006) (zusammen mit I. Hronszky), Bedingungen und Triebkräfte Technologischer Innovationen (Hrsg. 2007), Der singende Fels (2009, zusammen mit G. Tschinag und M. Kaluza), Zuviel des Guten von Boni und falschen Belohnungssystemen (2009), Strukturen technischen Wissens (2009 in Vorbereitung). kornwachs@tu-cottbus.de klaus@kornwachs.de Webseite Publikationen wachs/publikationen_kornwachs_ pdf 40