Die Black Box knacken

Gespräch über Algorithmen, Kontrolle und Transparenz

Viele Leute realisieren überhaupt nicht, wie weitreichend Algorithmen in ihr alltägliches Leben eingreifen – einer Studie des MIT zufolge wissen sie nicht einmal, dass ihre Facebook-Timeline so gesteuert wird. Was genau sind eigentlich Algorithmen?

Algorithmen können wir als gestaffelte, aufeinander aufbauende Verfahren verstehen, um ein Problem zu lösen beziehungsweise Input in Output zu wandeln. Auch so etwas Einfaches wie ein Rezept kann als Algorithmus interpretiert werden: Man nehme eine bestimmte Menge von definierten Substanzen, verarbeite sie in einer vorgegebenen Weise – und fertig ist das gewünschte Produkt. In dem von mir untersuchten Bereich sind die Schlüsselalgorithmen digital in Software codiert. Sie verdrängen zunehmend Entscheidungen, die direkt von Menschen getroffen werden, und verlagern Verantwortung in Codes. Und sie ermöglichen sogenannte predictive analytics – also Analyseverfahren, die gesammelte Daten über Personen oder Unternehmen hochrechnen, um Aussagen über deren Zukunft zu treffen.

Und welche unterschiedlichen Formen der algorithmische Kontrolle gibt es, wie weit reicht diese?

Hier sind wohl zwei Vorbemerkungen nötig. Erstens: Der beunruhigendste Aspekt algorithmischer Kontrolle ist der, dass sie oft unbemerkt stattfindet. Wenn VerbraucherInnen zum Beispiel in einem Callcenter anrufen, sind sie sich nicht unbedingt im Klaren darüber, dass sich die Person am anderen Ende der Leitung an einen Ablaufplan und an ein Skript halten muss oder dass die Antwort aus einer Reihe von Aufnahmen besteht, die dem Anrufer weismachen sollen, dass er oder sie mit einer echten Person spricht.

Zweitens müssen wir den Begriff »algorithmische Kontrolle« definieren. Kontrolle ist für mich mit Macht verbunden: Die Fähigkeit von A, B zu etwas zu zwingen, was B sonst nicht getan hätte. In Anlehnung an Steven Lukesʼ und John Gaventas Machtverständnis kann man hier von mindestens drei Ebenen sprechen: dem sichtbaren Einsatz von Geld oder Macht, verborgenen oder komplexen Mechanismen des Agenda-Settings und schließlich den kaum sichtbaren Formen etwa in Expertendiskursen, in denen einige Handlungsabsichten als natürlich und andere als verrückt, revolutionär oder unorthodox eingestuft werden.

Auf der ersten Machtebene entsteht algorithmische Kontrolle also immer dann, wenn eine Stelle (mit Entscheidungsgewalt über ein umstrittenes Thema) zum Entscheiden irgendein Programm verwendet. Das kann eine Checkliste auf einem Blatt Papier sein oder etwa ein »System zur Leistungsverwaltung«, das in einer Software codiert ist. Diese Form der Kontrolle hat sich in den vergangenen Jahrzehnten stark ausgeweitet, und dieser Prozess schreitet fort. Manchmal kann diese Art der Kontrolle hilfreich sein, etwa wenn menschliche Entscheidungsträger eindeutig befangen sind: Deren Entscheidungsfreiheit durch gestaffelte Verfahren einzuschränken, kann tendenziöses Verhalten zurückdrängen. Aber wir müssen immer sowohl die Daten als auch den Code überprüfen können, die in eine algorithmische Entscheidungsfindung einfließen – sofern wir wollen, dass sie tatsächlich ein Fortschritt ist und nicht bloß der Austausch eines Verzerrungskomplexes (wie kompliziert er auch codiert sein mag) durch einen anderen.

Alexander Halavais schreibt in seinem Buch Search Engine Society (Die Suchmaschinengesellschaft): »Im Prozess des Ergebnis-Rankings erzeugen Suchmaschinen tatsächlich Gewinner und Verlierer im Internet.« Die Rolle der Suchmaschinen erinnert mich hier an die Macht der WalMart-Zentrale in Bentonville, in den gesamten USA einzelne Kassen abzuschalten; oder an die Macht eines Stromunternehmens, an heißen Tagen dafür sorgen zu können, dass in manchen Gebäuden die Klimaanlagen heruntergeschaltet werden müssen. Durch eine solche Zentralisierung von Entscheidungen können Vorteile entstehen, aber diese müssen immer von Außenstehenden überprüft werden können.

Algorithmen können auch illegale oder falsche Daten verwenden und Einzelne ›unfair‹ behandeln. Wie erkennt man, dass man von einem Algorithmus ungerecht behandelt wurde?

Unglücklicherweise ist eine Überprüfung der Daten oder Algorithmen beinahe unmöglich – das gilt für viele Bereiche, in denen sich die algorithmische Kontrolle ausbreitet: von der Finanzwirtschaft bis zur präventiven Polizeiarbeit. Dadurch entsteht algorithmische Kontrolle auf einer zweiten Ebene: Hier können die betroffenen Personen nicht einmal verstehen, wie ihre Banken und die Polizei (und viele andere Institutionen) ihre Entscheidungen treffen über die Investition in oder die Beendigung von Projekten realer Menschen. Nur die Ergebnisse können analysiert werden – das aber haben wir allein der amtlichen Informationspflicht zu verdanken.

Schließlich lassen sich in manchen Bereichen noch nicht einmal mehr die Ergebnisse nachvollziehen. Oft höre ich Sätze wie »Mein Name steht bei Google ganz oben« oder »Kiwi ist das Top-Suchergebnis für Schuhcreme«.

In Wahrheit aber kann man das unmöglich wissen: Sie kennen nur die Top-Ergebnisse, die Sie sehen. Und Sie können untersuchen, was andere sehen. Aber nur die Suchmaschine weiß, was jeder Einzelne auf eine Anfrage hin sieht. Selbst im Inkognito-Modus von Google Chrome gibt es eine Restpersonalisierung – wie umfangreich die ist, ist mal wieder ein streng gehütetes Geschäftsgeheimnis. Personalisierung bedeutet also, dass wir erkenntnistheoretisch eine äußerste Bescheidenheit an den Tag legen müssen, wenn wir über die Auswirkungen solcher Suchmaschinen oder sozialen Netzwerke auf die öffentliche Sphäre schreiben: Wir sind in der Lage, allgemeine Trends zu erkennen. Aber wir haben kaum eine Ahnung, wer genau die Gewinner und wer die Verlierer auf der Aggregationsebene sind, auf der digitale Großplattformen operieren können. Es gibt in den Geschäftsbedingungen sogar das Verbot, die Ergebnisse zu analysieren.

Aufgrund der Komplexität vieler Algorithmen und deren Möglichkeit, Daten zu manipulieren oder zu umgehen, scheint mir die Frage der Transparenz dieser Prozesse äußerst kompliziert. Was kann man gegen den Black-Box-Charakter der Algorithmen tun?

Gehen wir einmal davon aus, dass viele Rechenprozesse tatsächlich so komplex sind, dass man sie einem Menschen unmöglich erklären kann oder dass die Informationsverarbeitung inzwischen eine Form der Erkenntnis ist, die genauso undurchdringlich ist wie die eines menschlichen Entscheidungsträgers. Anders gesagt: Wir können nicht alle Nervenzellen des Gehirns entschlüsseln, um einem bestimmten Synapsenkomplex die Entscheidung einer Person, ein Stück Kuchen zu essen, zuzuordnen. Und genauso wenig können wir die Ereignissequenz verzeichnen oder aufdröseln, die zu einer bestimmten algorithmischen Angabe oder Sortierung führt. Aber selbst in diesem Fall wollen wir zumindest wissen, welche Daten in den Rechenprozess eingespeist wurden. In ein Kredit-Rating-System etwa gehören keine Gesundheitsdaten. Ebenso wenig sollten intransparente verhaltensbasierte Nutzerdaten für politische Online-Werbung verwendet werden. Nicht selten verlangen die Aufsichtsbehörden, dass Betreiber algorithmisch abgewickelter Geschäfte gewisse Informationen darüber zur Verfügung stellen, was während der Geschäfte vor sich gegangen ist. In der US-Finanzwirtschaft beispielsweise zeichnet ein sogenannter securities information processor den gesamten Handel auf. Das ist ein guter Ausgangspunkt, um eine zukünftige Überprüfung algorithmischer Aktivitäten zu ermöglichen; auch wenn das Ganze, wie die meisten Infrastrukturen in den USA, schrecklich unterfinanziert ist.

Sie haben das Konzept der algorithmischen Verantwortlichkeit entwickelt. Was verbirgt sich dahinter?

Die zunehmende Macht der Automatisierung – und die algorithmische Entscheidungsfindung, die sie in kommerziellen, amtlichen aber auch in gemeinnützigen Zusammenhängen erst ermöglicht – hat unter AkademikerInnen, AktivistInnen, JournalistInnen und RechtsexpertInnen Bedenken hervorgerufen. Drei Eigenschaften des algorithmischen Ordnens machen das Problem besonders schwer lösbar: Zum einen können die verwendeten Daten ungenau oder ungeeignet sein. Außerdem kann die Modellierung des Algorithmus unausgewogen oder fehlerhaft sein. Und schließlich ist der Einsatz von Algorithmen in vielen zentralen Bereichen immer noch intransparent oder unpassend. Diese drei Probleme haben die frühen Bemühungen zur Automatisierung von Dienstleistungen in juristischen, akademischen und medizinischen Zusammenhängen erschwert. Es gibt heute Planungen, die Arbeit in jedem dieser Felder – in der Rechtspflege, bei Arzneimitteln und im Gesundheitswesen – zu automatisieren. Dieses Vorhaben steht unweigerlich vor den gleichen Problemen, wie ich sie in meinen früheren Arbeiten über Algorithmen dokumentiert habe: unvollständige Daten, schlechte Modellierung und deren Ausdehnung auf ungeeignete Kontexte. Die Automatisierung der Gefängnisverwaltung oder der Polizeiarbeit bei Protesten wird höchstwahrscheinlich grundlegende Menschenrechtsprinzipien verletzen, sofern sie nicht strikt überwacht wird von Personen, die für die Ergebnisse verantwortlich und in zentralen ethischen und rechtlichen Zusammenhängen ausgebildet sind. Die automatisierte Unterstützung bei der Entscheidungsfindung im klinischen Bereich muss von den Aufsichtsbehörden sehr genau überwacht werden, da sich hier möglicherweise dieselbe einseitige Faktenlage niederschlagen wird, die heute die Arzneimittelmärkte verzerrt. »Robo-Berater«, die in der Finanzwirtschaft zunehmend üblich sind, sollten auf der Basis eines transparenten Codes arbeiten, der infrage gestellt, überarbeitet und personalisiert werden kann. In all diesen Bereichen sollten diejenigen, die über die Verwendung von bestimmten Algorithmen entscheiden, belangt werden können für (bereits dokumentierte) Fälle von Fahrlässigkeit oder daraus resultierende Diskriminierungen. Es gibt keine wissenschaftliche Disziplin, die all die neuen Probleme, die von der automatisierten Entscheidungsfindung aufgeworfen werden, allein lösen kann. Aber durch die zunehmende Zusammenarbeit von ExpertInnen aus verschiedenen Disziplinen erhalten wir jedoch erste wichtige Antworten auf bestimmte Fragen. Zum Beispiel haben Digital-EthikerInnen auf der Grundlage der empirischen Sozialwissenschaften neue Kriterien für die Bewertung von algorithmischen Manipulationen von Inhalten und Personen erarbeitet, mit denen sie die Anwendung von Algorithmen durch Unternehmen und Regierungen beeinflussen wollen.

Wer als Empiriker frustriert ist vom blackboxartigen Wesen der algorithmischen Entscheidungsfindung, kann sich mit RechtsspezialistInnen und AktivistInnen zusammentun, um einige ihrer Facetten (mittels des Informationsfreiheitsgesetzes und verschiedener Datenschutzgesetze) zu erschließen. Ein gemeinsames Projekt von JournalistInnen, ProgrammiererInnen und SozialwissenschaftlerInnen besteht darin, die neuen, die Privatsphäre verletzenden Technologien der Datensammlung, -analyse und -verwendung aufzudecken und die Aufsichtsbehörden dazu zu drängen, energisch gegen die schlimmsten Verstöße vorzugehen. Es gibt auch ForscherInnen, die über die Analyse bestehender Daten hinausgehen und sich einem Bündnis aus Datenschutzbeauftragten, ArchivarInnen, Open-Data-AktivistInnen und VerfechterInnen des öffentlichen Interesses angeschlossen haben, um ausgewogenere ›Rohmaterialien‹ für die Analyse, Synthese und Kritik zu gewinnen. Die algorithmische Verantwortlichkeit verlangt nach der Herausbildung einer juristisch-akademischen Community und einer ausgeprägten Kooperation von TheoretikerInnen und EmpirikerInnen, PraktikerInnen und WissenschaftlerInnen, JournalistInnen und AktivistInnen über disziplinäre Grenzen und Arbeitsfelder hinweg. Eine akademische Community, die der Verantwortlichkeit als Prinzip in der Forschung, in der Recherche und im Handeln verpflichtet ist, wäre ein erster Schritt in Richtung einer humanen Automatisierung dieser Berufe.

Was wären angemessene gesetzgeberische Schritte, um eine demokratische Kontrolle über den Einsatz von Algorithmen zu verbessern?

Zunächst müssten nicht manipulierbare Audit-Logs¹ aller in algorithmische Systeme eingespeisten Daten vorgeschrieben werden. Solche Datenaufzeichnungen sind – anders als das maschinelle Lernen, die vorausschauende Analytik und die datenverarbeitenden Algorithmen – nicht zu komplex, um von einer Person verstanden zu werden. Die Transparenz könnte hier schon durch eine Reihe verhältnismäßig einfacher Reformen enorm gesteigert werden.

In einigen Bereichen sollte eine für Menschen verständliche Erklärung vorgeschrieben sein. In den USA verlangt der Equal Credit Opportunity Act »Begründungs-Codes« von den BonitätsprüferInnen. Auch wenn sich die Branche dagegen gewehrt hat, lässt sich – insbesondere wenn es das Gesetz verlangt – durchsetzen, dass Kredit-Scoring-Systeme unter der Maßgabe entworfen werden, dass es eine verständliche Erklärung ihrer Funktionsweise gibt. (Das lässt sich als Teil der Values-inDesign-Bewegung² verstehen: Verständlichkeit als Ergebnis der Modellierung.) In den USA schreibt der Dodd Frank Act vor, dass Änderungen in der Rating/Ranking-Methode von den offiziellen Rating-Agenturen und den Bonitätsbewertungsunternehmen auszuweisen sind, was Mark Patterson zufolge in bestimmten Fällen auch für Suchmaschinen gelten sollte.³

Schließlich gibt es auch in den Fällen einen weiteren regulatorischen Ansatz, in denen die Rechenprozesse tatsächlich zu komplex sind, um Menschen in konventioneller Sprache oder in Gleichungen verständlich zu sein: nämlich den Geltungsbereich der aus solchen Prozessen gezogenen Entscheidungen zu begrenzen. Zudem könnte die Politik etwa beschließen, dass wenn eine Bank ihren KundInnen keine vollständige Aufstellung (einschließlich der verwendeten Daten und Algorithmen) darüber liefern kann, wie sie die Entscheidung über deren Kreditantrag getroffen hat, diese ausgeschlossen wird von allen (oder von bestimmten) staatlichen Vergünstigungen, die ja im Finanzsektor durchaus gängig sind. Die Politik kann mit Verweis auf Stabilitätsbedenken auch den Hochfrequenzhandel an Aktien- und Anleihemärkten verbieten. Ähnliche Anliegen stehen auch im Zentrum der Kampagnen gegen letale autonome Waffensysteme. Hier lautet die Forderung, die Entwicklung von Tötungsmaschinen, die von Algorithmen angetrieben werden, zu unterbinden.

Die Kampagnen für algorithmische Transparenz und für algorithmische Verantwortlichkeit (#algacc) werden sich schrittweise und bereichsspezifisch entwickeln. Die Debatte darum werden wir weiterführen, so etwa im Frühjahr 2016 an der Yale University.⁴

Das Gespräch führte Patrick Stary. Aus dem Englischen von Andreas Förster.

 

Anmerkungen

1 Vgl. www.datascienceassn.org/sites/default/files/Network%20Accountability%20for%20the%20Domestic%20 ^[1] Intelligence%20Apparatus.pdf.
2 Vgl. www.nyu.edu/projects/nissenbaum/vid. ^[2]
3 Vgl. www.competitionpolicyinternational.com/ ^[3] manipulation-of-product-ratings-credit-rating-agencies-googleand-antitrust.
4 Vgl. isp.yale.edu/event/call-abstracts-unlockingblack-box ^[4].