News

Algorithmic Decision Making

23.06.2020

Die Regulierung algorithmischer Entscheidungssysteme (Algorithmic Decision Making, kurz ADM-Systeme) wird in Politik, Wissenschaft und Gesellschaft kontrovers diskutiert. Hierbei handelt es sich um Systeme, welche mithilfe eines Algorithmus einen Menschen oder eine Situation bewerten bzw. eine Prognose über die Wahrscheinlichkeit des Eintritts eines Ereignisses abgeben und sodann auf Grundlage der Bewertung oder Prognose eine Entscheidung treffen. Algorithmische Entscheidungssysteme zeichnen sich mithin dadurch aus, dass sie nicht nur zur Unterstützung bei der Entscheidungsfindung eingesetzt werden, sondern automatisch eigenständige Entscheidungen treffen. Als Anwendungsbeispiel kann ein algorithmisches Entscheidungssystem aufgeführt werden, welches auf Grundlage von Alter, Geschlecht sowie Jahreseinkommen eine Bonitätsprüfung vornimmt und sodann über die Kreditvergabe entscheidet (Kreditscoring). Häufig stellen ADM-Systeme weiterhin „lernende“ Systeme dar, die dem Bereich der künstlichen Intelligenz zugeordnet werden. Das System ist mithin in der Lage Muster und Gesetzmäßigkeiten in den zur Verfügung gestellten Datenmengen zu finden, welche zur Entscheidungsfindung herangezogen werden.

Chancen für Unternehmen

Die infolge der fortschreitenden Digitalisierung wachsende Verfügbarkeit großer Datenmengen und der im Bereich der Rechenkapazität erreichte technische Fortschritt führen zu einer steigenden Attraktivität des Einsatzes von ADM-Systemen im Unternehmen. Das erhebliche Potential algorithmischer Entscheidungssysteme liegt in der möglichen Steigerung der Kosten- und Zeiteffizienz von Entscheidungsprozessen, welche durch eine Automatisierung der Entscheidungsfindung erreicht werden kann. Dies gilt insbesondere für Entscheidungen, die auf Grundlage großer Datenmengen getroffen werden und auf rationalen Kriterien beruhen.

Wesentliche Fehlerquellen und Risiken

Den aufgeführten Vorteilen des Einsatzes von ADM-Systemen stehen naturgemäß gewisse Risiken gegenüber, die sich insbesondere in einer fehlerhaften Entscheidung des Systems äußern können.

Eine der wesentlichen Fehlerquellen begründet die Auswahl der Trainingsdaten auf deren Grundlage der eingesetzte Algorithmus statistische Zusammenhänge entwickelt. Die Qualität der Entscheidungen hängt maßgeblich von der Qualität der verwendeten Trainingsdaten ab („Du bist was du isst“). Zunächst kann die zur Verfügung stehende Datenmenge zu gering sein, so dass sich aus ihr keine aussagekräftigen Muster ableiten lassen. Einem Datensatz kann weiterhin eine Konnotation in Form einer Diskriminierung innewohnen, welche sich sodann bei deren Anwendung zur Ermittlung von Mustern fortsetzt. Auch die Verwendung veralteter Daten kann zu fehlerhaften Ergebnissen führen, da sie die Entscheidungssituation nicht zutreffend abbilden.

Eine weitere Fehlerquelle besteht in der Beständigkeit der angewandten Entscheidungskriterien. Einerseits ermöglicht diese zwar eine weitestgehend objektive Entscheidungsfindung; anders als bei menschlichen Entscheidungen finden emotionale Umstände wie etwa die Tagesform des Entscheiders keinen Einfluss. Andererseits weist ein derartiges System Schwächen in besonders gelagerten Fällen auf.

Zu den dargestellten Fehlerquellen tritt das Risiko einer fehlenden Nachvollziehbarkeit der Entscheidungsfindung hinzu. Kann die Entscheidungsfindung nicht nachvollzogen werden, ist die Aufdeckung etwaiger Fehlentscheidungen bereits faktisch nicht möglich. Das Problem der Nachvollziehbarkeit stellt sich insbesondere bei lernenden Systemen, die selbst von ihren Programmierern nicht immer vollständig nachvollzogen werden können und daher regelmäßig als „Black Box“ bezeichnet werden. Dieses in der Funktionsweise algorithmischer Entscheidungssysteme begründete Problem der Nachvollziehbarkeit wird häufig durch den Anwender des ADM-Systems verstärkt. Die richtige Interpretation der Entscheidungsergebnisse erfordert Kenntnisse im Bereich der Informatik, Mathematik (insb. Stochastik) und Statistik. Neben den regelmäßig unzureichenden Fachkenntnissen des Anwenders tritt dessen Neigung, die Entscheidungsergebnisse nicht zu hinterfragen, so dass schlichtweg keinerlei nachträgliche Kontrolle stattfindet. Grund hierfür ist u.a. die verbreitete Annahme, dass Maschinen bessere, da objektivere Entscheidungen treffen.

Ansatzpunkte für eine künftige Regulierung und Ausblick

Zunächst liegt auf der Hand, dass nicht alle Formen algorithmischer Entscheidungssysteme den gleichen Regelungen unterfallen sollten. In Anbetracht der Vielfalt unterschiedlicher Systeme empfiehlt sich vielmehr ein gestuftes Regulierungssystems je nach Kritikalität. Während in bestimmten Bereichen ein absolutes Verbot des Einsatzes algorithmischer Entscheidungssysteme ­ auch zu Lasten des Staates - angebracht erscheint (etwa beim Einsatz von Kriegswaffen), können weitere Einsatzbereiche dem Staat vorbehalten, von einer behördlichen Genehmigung (etwa im Gesundheitswesen) oder der vorherigen Anzeige des Einsatzes abhängig sein. Letztlich kommen Anwendungsbereiche in Betracht, bei welchen der Einsatz von ADM-Systemen als generell zulässig anzusehen ist (z.B. personalisierte Werbung).

Um Risiken, welche im Zusammenhang mit den verwendeten Trainingsdaten auftreten zu begegnen, kann auf bereits bekannte Ansätze im Statistikrecht zurückgegriffen werden (z.B. Neutralität und Objektivität der Daten). Im Zusammenhang mit der Gewährleistung der Nachprüfbarkeit der Entscheidungsfindung kommt die Etablierung von Protokollierungspflichten in Betracht. Weiterhin kann an die Etablierung einer unabhängigen Prüfstelle, welche die Einhaltung der gesetzlichen Vorgaben an Algorithmen überprüft („Algorithmen-TÜV“) gedacht werden. Jedenfalls im Zusammenhang mit lernenden Algorithmen ist in diesem Zusammenhang zu beachten, dass eine einmalige Kontrolle nicht ausreichend ist. In Anbetracht der Tatsache, dass sich lernende Systeme stets weiterentwickeln ist auch deren fortlaufende Kontrolle zu gewährleisten. Darüber hinausgehend sollte über eine Klarstellung der Letztverantwortlichkeit für die maschinelle Entscheidung bei dem Anwender des ADM-Systems nachgedachte werden, um Anwender dazu anzuhalten die Entscheidungen kritisch zu hinterfragen.

Der Einsatz von ADM-Systemen ist mit nicht zu vernachlässigenden Risiken verbunden, die sich je nach Einsatzbereich als unterschiedlich kritisch gestalten. Diesen Risiken ist in Anbetracht der in Verbindung mit dem Einsatz algorithmischer Entscheidungssysteme verbundenen Chancen nicht durch Verbote, sondern durch eine ausgewogene Regulierung entgegenzutreten.