Die Angst vor dem Algorithmus

In der ZEIT findet sich gerade der Artikel „Die Wege des Algorithmus sind unergründlich“, in dem sich der Autor Felix Rohrbeck der Problematik widmet, was passiert, wenn Computerprogramme über unser Leben entscheiden statt Menschen. Das heißt, er widmet sich vor allem den vermeintlichen Gefahren, die sich daraus ergeben. Nun ist es ja nicht so, als ob es solche nicht geben würde. Leider lenkt er den Fokus aber auf die falschen Aspekte.

Es beginnt mit der Lufthansa, die ihre Preiserhöhungen kürzlich damit zu rechtfertigen versuchte, dass diese gar keine solchen seien, sondern automatische Anpassungen, die ein Algorithmus vorgenommen habe. Das ist natürlich ein verzweifelter Versuch, sich über semantische Spitzfindigkeiten aus der Affäre zu ziehen, der dann letztlich auch völlig zu Recht gescheitert ist. Das Problem hierbei hat aber wenig mit Computer zu tun.

Kein Lufthansa-Kunde weiß, wie die Flugpreise berechnet werden, die er bezahlen muss. Der entsprechende „Algo“ ist ein Betriebsgeheimnis des Konzerns. Dadurch wird er für jene Menschen, die von seine Auswirkungen betroffen sind, zur Blackbox.

Die sinnlose Verniedlichung außen vor gelassen – diese drei Sätze ergeben auch inhaltlich keinen Sinn. Der erste war und ist ganz unabhängig von Algorithmen richtig – wir wissen als Kunden weder bei Flugreisen noch bei den allermeisten anderen Produkten, wie die Preise zustande kommen. Das ist keine Frage von geheimen Computerprogrammen, sondern von Angebot und Nachfrage und den internen Kalkulationen jeder Firma. Die Rechenformel selber ist dabei kein Geheimnis, wohl aber die Daten, aufgrund derer das Ergebnis zustande kommt. Die verrät die Lufthansa ihren Kunden genau so wenig wie ihre Konkurrenten, bei denen die Berechnung von Mitarbeitern in Controlling und Vertrieb ganz ohne „Algo“ durchgeführt wird (wenn man von denen in ihren Taschenrechnern und Tabellenkalkulationen mal absieht). Wenn wir hier also eine Problem haben, dann liegt das nicht in Algorithmen begründet, sondern in den Mechanismen der Marktwirtschaft. Man könnte Unternehmen dazu zwingen, ihre Betriebszahlen und Angebotskalkulationen öffentlich zu machen. Aber ist das wirklich das, wovon Rohrbeck hier spricht?

Nach dieser irreführenden Einleitung geht es zu schon eher interessanten Fällen. Da ist einmal die Lehrerin in den USA, die aufgrund einer schlechten Bewertung entlassen wurde, die ein Algorithmus berechnet hat, während die Bewertungen des Schulleiters und der Eltern aber durchweg gut waren. Hier könnte es tatsächlich ein Fehlurteil gegeben haben und wie wir später erfahren werden, war das auch so. Ihr Vorgänger hatte die Noten der Schüler manipuliert um damit den Algorithmus zu täuschen. Das ist in der Tat ein Problem. Was Rohrbeck hier aber übersieht, ist dass das Problem auch weniger mit dem Algorithmus zu tun hat, sondern ebenfalls mit den Daten, die zur Berechnung zur Verfügung gestanden haben. Auch hier wäre die Bewertung exakt genauso ausgefallen, wäre sie von Menschen durchgeführt worden. Man kann argumentieren, dass es grundsätzlich fragwürdig ist, eine Bewertung eines Menschen nur auf der Basis von nackten Zahlen durchzuführen. Man könnte aber ebenso gut fragen, ob eine persönliche Bewertung durch den Schulleiter oder gar durch die Eltern wirklich so viel weniger fragwürdig ist. Auf welcher Grundlage ist die entstanden? Haben sie dafür wirklich das in Betracht gezogen, was tatsächlich relevant war?

Aus der Psychologie wissen wir sehr gut, dass die Bewertung anderer Menschen ausgesprochen subjektiv ist. Es hat gute Gründe, dass man z.B. bei Vorstellungsgesprächen immer mehr versucht, auf diese zu verzichten, weil die Ergebnisse nicht so sind, wie sie eigentlich sein sollten. Menschen mit gutem Aussehen und Auftreten und dem „richtigen“ Geschlecht, der „richtigen“ Hautfarbe und dem „richtigen“ Namen werden grundsätzlich gegenüber denjenigen bevorzugt, die ganz nüchtern betrachtet am besten für die Stelle geeignet wären.

Noch dramatischer wird das, wenn wir uns die Bereiche anschauen, zu denen Rohrbeck dann im Anschluss wechselt, nämlich Justiz und Medizin, ganz konkret die Vorhersage der Rückfälligkeitswahrscheinlichkeit von Straftätern und die Sinnhaftigkeit bestimmter medizinischer Behandlungen für bestimmte Patienten (unter medizinischen Gesichtspunkten, nicht unter kommerziellen wohlgemerkt).

Beides sind Entscheidungen mit weitreichenden Folgen und wir sollten ein hohes Interesse daran haben, dass diese so objektiv wie möglich getroffen werden. Genau darin sind Menschen aber furchtbar schlecht. Nicht nur, dass unsere Entscheidungen ganz wesentlich von der Attraktivität, dem Geschlecht oder der Hautfarbe des Betreffenden beeinflusst werden. Es gibt auch von der Person gänzlich unabhängige Faktoren, die uns beeinflussen, ohne dass wir uns dessen überhaupt bewusst wären. Wir wissen, dass Richter vor dem Mittagessen härtere Strafen aussprechen als danach, weil Hunger uns grundsätzlich unfreundlicher und ungnädiger gegenüber unseren Mitmenschen macht. Wir wissen auch, dass das vorige Urteil Einfluss auf das nächste hat, obwohl die beiden Fälle inhaltlich absolut nichts miteinander zu tun haben. Das alles ist gut untersucht und belegt, genau wie viele andere Faktoren. Die Temperatur im Raum, wie wir geschlafen haben, was wir gegessen haben, die Farbe der Wände – die Liste ist lang. All das sollte keine Rolle spielen, tut es aber, wenn Menschen die Entscheidung treffen. Dem Algorithmus ist das egal.

Entscheidungen, die von Programmen getroffen werden, mögen uns im Einzelfall ungerecht erscheinen. Aber wenn wir dieselbe Datenbasis heranziehen und die Berechnung an sich richtig ist, dann liegt das eher an unserer eigenen Subjektivität als an einem Fehler des Algorithmus.

Es ist richtig, dass das Programm, das die Rückfälligkeit von Straftätern in den USA eine höhere Quote für Schwarze berechnet hat als für Weiße. Aber das ist kein Rassismus, sondern in dem Fall erst mal nur eine nüchterne Beschreibung der Realität. Rassismus wäre, wenn der Algorithmus als Begründung ihre Hautfarbe ausgegeben hätte. Aber das war nicht der Fall. Statistisch gesehen werden Schwarze tatsächlich öfter rückfällig. Die Gründe dafür können vielfältig sein und haben sehr wahrscheinlich weit mehr mit gesellschaftlichen Zusammenhängen zu tun als mit Genetik. Aber das ändert die Statistik weder noch macht es eine darauf basierende Einschätzung sie per se rassistisch. Eben weil sie von einem Programm getroffen wurde und nicht von einem Menschen, können wir Rassismus hier ausschließen.

Was unter dem Strich bleibt, ist ein Unwohlsein bei dem Gedanken, Entscheidungen an eine Maschine abzugeben, dass Rohrbeck mit den meisten anderen Menschen teilen dürfte. Gefühle sind jedoch keine Argumente und auch hier sollte Rationalität mehr Gewicht haben als das Bauchgefühl.

In einem hat Rohrbeck vollkommen Recht: Transparenz ist der zentrale Punkt. Wir müssen wissen, verstehen und auch immer wieder überprüfen, wie eine Entscheidung zustande kommt und ob das korrekt geschieht. Ein blindes Vertrauen auf die Richtigkeit einer Entscheidung ist nie angebracht. Dafür ist es aber unerheblich, ob diese von einem Menschen getroffen wurde oder von einer Maschine. Ein menschlicher Fehler ist nicht weniger dramatisch als der in einem Programm. Ungereimtheiten (wie im Falle der Lehrerin) muss immer nachgegangen werden, denn sie sind immer ein Anhaltspunkt dafür, dass so ein Fehler passiert sein kann. Was bedeutet: Algorithmen müssen überprüfbar sein (und wir müssen obendrein auch in der Lage dazu sein, sie zu verstehen).

Aber gerade diese Überprüfung ist überhaupt nur bei Algorithmen vollumfänglich möglich und deswegen kein Argument gegen ihre Anwendung, sondern maximal gegen die Art und Weise, wie diese geschieht.