Das klingt nach einem absurden Spaß (und das ist es auch), aber dahinter steckt durchaus mehr. Das Spiel basiert auf der Idee des paperclip maximizers, die Nick Bostrom formuliert hat. Darin geht es um eine KI, die zwar einerseits weit übermenschliche Fähigkeiten in Bezug auf das effektive Erledigen von Aufgaben hat, der aber andererseits die Fähigkeit fehlt, die Sinnhaftigkeit ihrer Aufgabe zu hinterfragen. Die ihr gestellte theoretische Aufgabe, Büroklammern zu produzieren, erledigt sie ohne wenn und aber immer effektiver und ohne Rücksicht auf die Konsequenzen. Damit vernichtet sie dann nicht nur erst unsere Ökonomie, unsere Lebensgrundlage und dann uns selber, sondern macht so lange weiter, bis alle Materie in allen Universen nur noch aus Büroklammern besteht.
Das mag grotesk klingen, ist aber nicht ganz aus der Luft gegriffen. In Teilen sind uns Computer schon lange überlegen. Jeder Taschenrechner ist in seinem engen Gebiet weitaus leistungsfähiger als wir. Diese Gebiete weiten sich ständig aus, bleiben aber trotzdem Inseln. Das mag einerseits beruhigend wirken, gibt es doch immer noch genug Bereiche, in denen Computer nicht an uns herankommen. Andererseits könnte aber genau darin die eigentliche Gefahr liegen. Gerade weil wir weder unser Gehirn noch die damit verbundenen abstrakten Fähigkeiten wie Bewusstsein oder ein Verständnis für Moral und Ethik verstanden haben, haben wir aktuell keine Idee davon, wie man Computern so etwas beibringen könnte, wenn man es denn wollte. Die Vorstellung einer echten KI mit einem Bewusstsein mag auch beunruhigend sein. Aber ohne ein solches könnte sie durchaus zu einem paperclip maximizer werden, was uns mit Sicherheit nicht weniger beunruhigen sollte. Vor allem deswegen, weil die Entwicklung nicht immer schneller voranschreitet, sondern weit mehr unter wirtschaftlichen Gesichtspunkten vorangetrieben wird als unter dem Sicherheitsaspekt. Das könnte sich hier als fatal erweisen.
Bei vielen Technologien ist learning by doing eine pragmatische Herangehensweise, die völlig ausreicht. Man probiert es aus, schaut sich die Fehler an und korrigiert sie. Es gibt aber Technologien, bei denen diese Strategie nicht angebracht ist, weil die Fehler so dramatisch sein können, dass sie nicht mehr korrigierbar sind. Eine KI verliert keine Fähigkeit mehr, die sie einmal erlernt hat. Hier muss man sich im Vorfeld so viele Gedanken wie möglich machen, so viele Fehler wie nur irgendwie denkbar sind vorausahnen und Strategien für ihre Vermeidung entwickeln, bevor man den Schalter umlegt. Bei der Mondlandung hat man das gemacht, bei der Kernenergie hat man gerade noch rechtzeitig damit angefangen.
Bei der Entwicklung von KI – egal ob eine echte, starke KI, die umfassende Intelligenz besitzt, oder bei schwachen Kis, die jetzt schon zig Aufgaben von uns übernehmen – tun wir das bislang nicht. Wir sollten damit anfangen, bevor wir den ersten Fehler machen, den wir nicht mehr korrigieren können.