Algorithmengesetz: Ansätze zur rechtlichen Regelungen fehlerhafter automatisierter Entscheidungen E D V - G e r i c h t s t a g 2 0 1 8 2 0. S e p t e m b e r
Prof. Dr. Georg Borges Lehrstuhl für Bürgerliches Recht, Rechtsinformatik, deutsches und internationales Wirtschaftsrecht, sowie Rechtstheorie, Universität des Saarlandes Geschäftsführender Direktor, Institut für Rechtsinformatik, Universität des Saarlandes Richter am Oberlandesgericht Hamm a.d. Gründungsmitglied und Sprecher des Vorstands, Arbeitsgruppe Identitätsschutz im Internet e.v. (a-i3) Mitglied des Vorstands, Deutscher EDV-Gerichtstag e.v. Mitglied des Verwaltungsrats, Stiftung Datenschutz Mitglied des Center for IT-Security, Privacy and Accountability (CISPA) Mitglied des Hörst-Görtz-Instituts für IT-Sicherheit (HGI) (2005 2015) Mitglied EU-Expert Group liability and new technologies/new technologies formation
Das Institut für Rechtsinformatik Struktur 3 juristische Lehrstühle der Rechts- und Wirtschaftswissenschaftlichen Fakultät Lehrstuhl für Rechtsinformatik Kooperation mit Uni Luxemburg (Prof. Cole) Themenfelder IT-Recht ejustice, egovernment Datenschutz IT-Sicherheit Rechtsinformatik www.rechtsinformatik.saarland
Das Institut für Rechtsinformatik Lehrangebote im IT-Recht Schwerpunktbereich IT-Recht und Rechtsinformatik Summer School IT Law and Legal Informatics summerschool-itlaw.org Zertifikatsstudium IT-Recht und Rechtsinformatik Karriereportal IT-Recht.Karriere it-recht-karriere.de Kostenloses Jobbörse Informationen über Karriere/Fortbildung im IT-Recht
Die deutsche Diskussion zur Algorithmenregulierung
Die Diskussion zur Algorithmenregulierung Juristische Fachliteratur (z.b.) Hoffmann-Riem, AöR 142 (2017) 1 Martini, JZ 2017 1017 Ernst, JZ 2017, 1026 Wischmeyer, AöR 143 (2018) 1 Dwork/Mulligan, It s not privacy, and it s not fair, 66 Stan. L. Rev. Online 35
Die Diskussion zur Algorithmenregulierung Studien, z.b. Bertelsmann-Stiftung, Was bringt die DSGVO für automatisierte Entscheidungssysteme? https://www.bertelsmann-stiftung.de/fileadmin/ files/bst/publikationen/grauepublikationen/ BSt_DSGVOundADM_dt.pdf Europarat, Algorithms and Human Rights https://rm.coe.int/algorithms-andhuman-rights-en-rev/16807956b5
Die Diskussion zur Algorithmenregulierung Gesetzgebung, z.b. finnish ban on discriminatory algorithms http://www.dailyfinland.fi/national/5168/ Discrimination-through-artificial-intelligence-banned
Studie: ADM-Regulierung adm.gi.de
Entscheidungen durch Maschinen Personalauswahlentscheidungen Selbstfahrende Autos Personenidentifizierung predictive analytics Vorhersage von Vergehen Individuelle Preise Social Bots
Beurteilung von Menschen durch Maschinen Beurteilung als Grundlage von Entscheidungen Scoring als Grundlage von Kreditentscheidung Eignung als Grundlage von Einstellungsentscheidung Beurteilung als Einschätzung von Merkmalen Kreditwürdigkeit Zahlungsbereitschaft Eignung für berufliche Position Probleme maschineller Beurteilungen Fehlerhafte Entscheidungen Unbehagen / Ungleichgewichtslagen durch maschineller Entscheidungen
Möglichkeiten der Regulierung Regulierungsvorschläge nach Studie Martini (JZ 2017, 1017) Kennzeichnungspflicht in persönlichkeitssensiblen Feldern Begründungspflicht Zulassungspflicht für behördliche Softwareanwendungen Ausweitung AGG auf Ungleichbehandlungen zwischen Privaten [ ], die auf einer algorithmenbasierten Datenauswertung oder einem automatisierten Entscheidungsverfahren beruhen
Möglichkeiten der Regulierung Regulierungsvorschläge nach Studie Martini (JZ 2017, 1017) Kontrollpflichten und Kontrollalgorithmen Pflicht zum Risikomanagement in in persönlichkeitssensiblen Einsatzbereichen Pflicht zur Protokollierung der Programmabläufe und Rückkopplungsprozesse Regulierte Selbstregulierung nach Vorbild Corporate Governance Kodex
Möglichkeiten der Regulierung Regulierungsvorschläge nach Studie Martini (JZ 2017, 1017) Beweislastregelung für Zivilprozess (Beweislastumkehr bei überwiegender Wahrscheinlichkeit der Diskriminierung ) Erweiterung der Abmahnbefugnisse nach UWG für diskriminierende oder sonst persönlichkeitsverletzende Softwareanwendungen Verbandsklagerecht für Softwareanwendungen in persönlichkeitssensiblen Anwendungsfeldern
Fehlerhafte maschinelle Entscheidung und das Recht Definition des Fehlers Fehler als Abweichung von Zielen des Beurteilenden? Fehler als Abweichung von durch Dritten vorgegebenen Zielen? Fehler aus rechtlicher Sicht Abweichung von rechtlichen Anforderungen an Entscheidungsfindung oder Entscheidungsergebnis
Fehler bei (maschineller) Beurteilung von Menschen Unzulässigkeit der (maschinellen) Beurteilung Intransparenz der Beurteilung Fehlerhaftigkeit der Entscheidungsfindung (Beurteilungsverfahren) Fehler der Entscheidungsgrundlage Fehler der Würdigung der Entscheidungsgrundlagen Sonderfall: Diskriminierung
Fehlerhafte Beurteilung von Menschen durch ADM-Systeme ADM-Systeme Algorithmic Decision Making (ADM) algorithmische Entscheidungsfindung Fehlerhafte Beurteilung Fehlerhafte Personalauswahl Das System schlägt einen Mann vor, obwohl eine Frau besser qualifiziert war Fehlerhafte Vorhersage strafbaren Verhaltens
Bekämpfung der Diskriminierung durch ADM-Systeme Kernelemente Feststellung der Diskriminierung Durchsetzung von Diskriminierungsverboten Zulassungserfordernis (mit Vorab-Prüfung) für ADM-Systeme Aufsicht Haftung
Begriff der Diskriminierung bei Beurteilung von Menschen 7 Abs. 1 AGG Benachteiligungsverbot Beschäftigte dürfen nicht wegen eines in 1 genannten Grundes benachteiligt werden; dies gilt auch, wenn die Person, die die Benachteiligung begeht, das Vorliegen eines in 1 genannten Grundes bei der Benachteiligung nur annimmt. 19 Abs. 1 AGG Zivilrechtliches Benachteiligungsverbot Eine Benachteiligung aus Gründen der Rasse oder wegen der ethnischen Herkunft, wegen des Geschlechts, der Religion, einer Behinderung, des Alters oder der sexuellen Identität bei der Begründung, Durchführung und Beendigung zivilrechtlicher Schuldverhältnisse, die 1. Typischerweise ohne Ansehen der Person zu vergleichbaren Bedingungen in einer Vielzahl von Fällen zustande Kommen (Massengeschäfte) oder bei denen das Ansehen der Person nach der Art des Schuldverhältnisses eine nachrangige Bedeutung hat und die zu vergleichbaren Bedingungen in einer Vielzahl von Fällen zustande kommen oder 2. eine privatrechtliche Versicherung zum Gegenstand haben, ist unzulässig.
Definition Diskriminierung = Ursächlichkeit eines unzulässigen Kriteriums für Entscheidung 20 Abs. 1 AGG Zulässige unterschiedliche Behandlung Eine Verletzung des Benachteiligungsverbots ist nicht gegeben, wenn für eine unterschiedliche Behandlung wegen der Religion, einer Behinderung, des Alters, der sexuellen Identität oder des Geschlechts ein sachlicher Grund vorliegt. [ ]
Elemente der Diskriminierung Unzulässigkeit des Kriteriums Problemschwerpunkt: mittelbare Diskriminierung Herausforderung beim Einsatz von machine learning: Blackbox -Effekt Ansatz: Explainable AI (noch nicht ausgereift)
Feststellung der Diskriminierung durch ADM-Systeme Code-Analyse i.d.r. Beeinträchtigung von Geschäftsgeheimnissen keine Anwendbarkeit bei machine learning Test des ADM-Systems Anwendbarkeit bei machine learning i.d.r. keine Beeinträchtigung von Geschäftsgeheimnissen
Herausforderungen des Testens von ADM-Systemen Qualität des Teststandards Qualität der Testdurchführung Zugang zum System für Testzwecke
Zusammenfassung Algorithmenregulierung stellt zahlreiche offene Rechtsfragen Umfangreiche Herausforderungen der Beurteilung von Menschen durch ADM-Systeme Herausforderungen: Definition von Fehlern einer Beurteilung Feststellung von Fehlern (z.b. Diskriminierung) Lösungsansatz: Tests von ADM-Systemen Voraussetzungen: Rechtsrahmen für ADM-Tests
Vielen Dank für Ihre Aufmerksamkeit! Prof. Dr. Georg Borges georg.borges@uni-saarland.de www.rechtsinformatik.saarland