Algorithmen: Ethik-by-Design Diskriminierung systematisch verhindern

Transkript

1 Algorithmen: Ethik-by-Design Diskriminierung systematisch verhindern Renate Künast Mitglied des Deutschen Bundestages (Bündnis 90/Die Grünen) 1. Um was geht es? Der Stadtrat von New York ist klug! Er hat ein Gesetz beschlossen, um zu erschweren, dass Bürger durch Algorithmen diskriminiert werden. New York macht sich nämlich Sorgen, städtische Behörden könnte auf der Basis von Alter, Hautfarbe, Religion, Geschlecht oder anderen Merkmalen seine Bürger in automatisierten Prozessen schädigen. Um was geht es konkret? Menschen werden in vielen Lebenssituationen zunehmend von automatisierten Entscheidungssystemen (Algorithmic Decision Making) analysiert, sie beeinflussen uns bei Kaufentscheidungen, von Versicherungstarifen bis zur Meinungsbildung. Algorithmen bestimmen heute, wer wie viel zahlt, welche Werbung angezeigt wird und welche Kreditbedingungen wir bekommen. Algorithmen werden sogar eingesetzt, um über die Behandlungsfähigkeit krebskranker Patienten zu entscheiden eine Software berechnet also unter wirtschaftlichen Aspekten die Lebenserwartung, mithilfe derer eine kostenintensive aber unter Umständen notwendige Behandlung zu- oder abgesagt wird. Ja, viele Anwendungen haben große Potenziale: für schnellere Bearbeitung in der Verwaltung, für Kosteneinsparungen, für die Berechnung großer Datenmengen und vieles mehr. Viele sagen: Das ist ein 553

2 Fortschritt. Denn Technologie ist nie müde, hat nie Hunger und fällt ausschließlich neutrale Entscheidungen. Doch immer wieder zeigen uns konkrete Fälle, dass Algorithmen eben auch Wertentscheidungen treffen. Entscheidungsbäume und Trainingspläne sind menschengemacht. Wenn algorithmische Entscheidungsfindung auf selbstlernenden Systemen basiert, ist die Frage, wie sie lernen. Das zu kontrollieren ist heute nicht möglich. Für mich gilt: Diskriminierungsverbote der analogen Welt müssen auch in der digitalen Welt der Algorithmen gelten. Transparenz und Grenzen muss es dort geben, wo es um unsere Grundrechte geht. Gegen Ausspähung und Diskriminierungseffekte braucht es klare Regeln für Transparenz und Verbraucherschutz im Digitalen. Transparenz braucht es auch bei den Geschäften des Alltags, die der Kunde regelmäßig wieder eingeht und die durch die Menge hohe Gewinnmargen versprechen. Der Verweis auf Geschäftsgeheimnisse ist meines Erachtens unzulässig, wenn Grundrechte betroffen sind. 2. Was muss das Ziel einer Regelung sein? Die Situation ist extrem komplex. Denn: Die reine Offenlegung von seitenlangen Quellcodes bringt den wenigsten Endverbrauchern etwas. Ziel einer Regelung muss die Nachvollziehbarkeit von Entscheidungen sein, eine Nachvollziehbarkeit»by design«, gegebenenfalls kontrolliert durch Behörden oder Nichtregierungsorganisationen. Überprüft werden kann jedoch nur, wenn Datengrundlage, Handlungslogik und Kriterien bekannt sind. Ich will übrigens auch wissen: Nach welchen Kriterien lernen selbstlernende Algorithmen? Entscheidungen müssen anfechtbar und von Menschen überprüfbar bleiben. Nur müssen wir dafür noch einen praktikablen Weg finden. 554

3 3. Wie könnten Regelungen aussehen? Maßnahmen können von Transparenzanforderungen über die Anpassung der Daten oder des Algorithmus bis zu Verboten reichen. Ich finde, die beste rechtliche Darstellung in dem Bereich, in dem wir etwas regulieren müssen, hat Prof. Mario Martini geschrieben. 1 Er hat Algorithmen quasi von mehreren Seiten»umzingelt«und kommt zu dem Schluss, dass die Gefahr einer diskriminierenden Wirkung auf mehreren Ebenen eingehegt werden kann: ex ante, begleitend und ex post Rechtlicher Schutz gegen fehlerhafte und missbräuchliche Entscheidungen: Anfechtung und Haftung Für mich gilt: Die Rechte von Kunden müssen sich mit der Technologie weiterentwickeln. Das Vertrags- und Deliktsrecht wird also auf Haftungslücken überprüft werden müssen. Unternehmen jaulen stets bei Haftungsfragen auf, aber es ist das gute Recht des Verbrauchers, dass das Recht»mitwächst«. Schadensverursachung wird zudem noch komplexer, wenn Algorithmen im Spiel sind. Durch eine Beweislasterleichterung sollten Anbieter den Beweis der Nichtverursachung liefern müssen. In besonders sensiblen Bereichen, wie bei medizinischen Anwendungen, kann eine Gefährdungshaftung und eine Versicherungspflicht eingeführt werden. Mit Blick auf rasanten technischen Fortschritt müssen wir auch prozessuale Änderungen erwägen. Denkbar sind erweiterte Abmahnbefugnisse durch Wettbewerber über das Gesetz gegen den unlauteren Wettbewerb (UWG). 1 Martini

4 Heute haben Betroffene, wenn sie denn überhaupt erfahren, dass eine sie betreffende Entscheidung mithilfe eines Algorithmus getroffen wurde, keinerlei Anfechtungsmöglichkeit. Spezialisierte Schiedsstellen und ein erweitertes Verbandsklagerecht sind nötig als Schutz gegen Diskriminierung und sonstige Persönlichkeitsverletzungen. Verbraucherverbände könnten zudem ein erweitertes Streitbeitrittsrecht erhalten. Zivilgerichte sollten zur Durchsetzung von Unterlassungspflichten mit einer Nebenfolgen-Kompetenz ausgestattet werden. Und: Es braucht eine starke Antidiskriminierungsstelle des Bundes. Denn Diskriminierung von Menschen im Alltag aufgrund bestimmter Merkmale ist ein gesamtgesellschaftliches Problem, welches wir nicht hinnehmen dürfen ob automatisiert und digital oder analog Begleitende Fehlerkontrolle und Risikomanagement Ein begleitendes Risikomanagement ist notwendig, gegebenenfalls auch durch eine neu zu gründende Institution, die unter anderem Risikoprognosen zu Grundrechtsgefährdungen anfertigt und veröffentlicht. Einen überzeugenden Ansatz stellt Sandra Wachter vor: Counterfactual Explanations. 2 Anstelle der reinen Offenlegung seitenlangen Codes geht es Betroffenen darum, auch verstehen zu können, wie Entscheidungen getroffen wurden. Eine Erklärung für einen abgelehnten Kredit muss aufzeigen, welche Kriterien (z. B. Höhe des Einkommens) jemand erfüllt haben müsste, um einen Kredit zu erhalten. In Fällen von fehlerhaften Entscheidungen oder anders begründeten Beschwerden können In-Camera-Verfahren zur Kontrolle von 2 Wachter

5 Lernmechanismen und anderen Parametern Geschäftsgeheimnisse bewahren. Grundlage dafür ist eine Beweissicherung der Modellierung von Algorithmen Feindbild Algorithmus? Nein, Algorithmen sind keine Feindbilder, aber sie könnten erarbeitete Rechte aushebeln. Wir befinden uns im Spannungsfeld von Verbraucherschutz, Datenschutz und Innovationsförderung. Dafür müssen wir Spielregeln und Leitplanken aufzeigen, für Unternehmen, Versicherungen, Haftung und für den Datenschutz. Es geht um eine milliardenschwere Industrie. Vor Jahren ging es um Öl, heute geht es um Amazon, Apple, Alibaba und Alphabet. Darum ist eine Selbstregulierung der Industrie lediglich als Ergänzung zu rechtlichen Rahmenbedingungen und unabhängiger Überprüfung sinnvoll. Sonst besteht die reale Gefahr der Unverbindlichkeit und Unkontrollierbarkeit wie wir sie bei Corporate Social Responsibility schon kennen. Rechtssicherheit bietet zudem die nötige Planungssicherheit für Unternehmen wie Verbraucher. Wir müssen Digitalisierung so gestalten, dass alle profitieren. Ethische Überlegungen müssen deshalb endlich Teil der IT-Ausbildung werden. Technik ist eben nicht neutral und Algorithmen sind menschengemacht. Wir brauchen Normen nach ethischen Prinzipien. Wenn wir hier keine Regeln setzen, weichen wir sie am Ende auch noch in der analogen Welt auf Ex ante Präventiv sichert uns Verbraucherinnen und Verbrauchern die im Mai 2018 in Kraft tretende EU-Datenschutz-Grundverordnung (EUDSGVO) einen Schutz vor vollautomatisierten Entscheidungen 557

6 zu (Artikel 22). Wir behalten also das Recht auf menschliche Entscheidungen. Die EUDSGVO stellt einen wichtigen Regulierungsrahmen dar. Gespickt mit vielen Ausnahmen gilt es jetzt in der Umsetzung darum, Persönlichkeitsrechte effektiv zu schützen. Für mehr Transparenz brauchen wir eine Kennzeichnungspflicht mit Symbolen für den Einsatz von Algorithmen, insbesondere in sensiblen Bereichen wie bei medizinischen Anwendungen (Entscheidungen in Notaufnahmen über die Zuteilung von Krankenhausbetten und Operationen). Erste Ansätze gibt auch hier die EUDSGVO vor. Social Bots erfordern eine gesetzliche Verpflichtung zur Offenlegung einer automatisch ausgelösten Kommunikation und Verbreitung von Information. Es muss stets zu erkennen sein, ob Mensch oder Maschine agiert. Ein erster Vorschlag zur Kennzeichnung von Social Bots, also automatisierter Kommunikation, liegt seit April 2017 von der Bundestagsfraktion Bündnis 90/ Die Grünen vor. Anwendungen sollten einen»digitalen Beipackzettel«erhalten, mit dem Parameter von Entscheidungen erläutert werden. Ein staatliches Kontrollverfahren oder einen»algorithmen- TÜV«durch eine staatliche Fachinstitution braucht es vor dem Einsatz bei besonders persönlichkeits- und teilhabesensiblen Anwendungen, inklusive des Trainingsprozesses lernender Algorithmen. Eine entsprechende Institution muss unabhängig und nicht unternehmensfinanziert sein. Eine Zulassung muss verpflichtend für den behördlichen Einsatz in zentralen Einrichtungen bei Justiz, Gesundheitsversorgung, Bildung und Sozialhilfe sicherstellen, dass keine Black-Box-Algorithmen eingesetzt werden. Das Gesetz aus New York ist da Vorbild für erste Schritte. 558

7 4. Wie weiter? Ich schlage eine unabhängige Expertenkommission vor, die bis Anfang 2019 konkrete Vorschläge für Transparenzregeln, Aufsichtsund Kontrollstrukturen zur Überprüfbarkeit von algorithmischen Entscheidungssystemen entwickelt. Klar ist bereits jetzt, dass Regulierungsbedarf besteht und es in dieser Legislaturperiode darum geht, passende Maßnahmenbündel zu konkretisieren und umzusetzen. Das gilt vom»algorithmen-tüv«bis zu akut nötigen Regelungen, zum Beispiel bezüglich des automatisierten Fahrens Digitalisierung ist global Algorithmen-basierte Angebote sind global. Deutsche Regelungen wären ohnehin nur ein Übergang. Soweit Algorithmen auf personenbezogene Daten zurückgreifen, gelten ab Mai 2018 die EU-rechtlichen Vorgaben der Datenschutzgrundverordnung, insbesondere zu Profiling, Big Data und dem Verbot automatisierter Entscheidungen. Die gesellschaftliche Debatte um ethische Prinzipien digitaler Anwendungen hat nicht nur begonnen, in der Praxis werden längst Fakten gesetzt! Der Ansatz Privacy by design muss jetzt durch eine Ethik by design ergänzt werden, um Diskriminierung systematisch zu verhindern. Quellen Martini, Mario (2017)»Algorithmen als Herausforderung für die Rechtsordnung«, JuristenZeitung, S

8 Wachter, Sandra (2018)»Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR«. Harvard Journal of Law & Technology. Über die Autorin Renate Künast Renate Künast (Sozialarbeiterin, Rechtsanwältin) ist Berliner Abgeordnete des Deutschen Bundestages für Bündnis 90/Die Grünen. Als Bundesministerin für Verbraucherschutz und Landwirtschaft prägte sie den bis heute gültigen Anspruch»Wissen, was drin ist«. Auch als Vorsitzende des Ausschusses für Recht und Verbraucherschutz war es ihr ein Anliegen, dass analoge Verbraucherrechte in das digitale Zeitalter übertragen werden. Ihren Einsatz für Transparenz und Betroffenenrechte im Analogen und im Digitalen führt Renate Künast in der 19. Wahlperiode fort. 560