Irren ist technisch
Warum wir einen TÜV für Algorithmen brauchen
Sind Algorithmen gefährlich? Auf der Digital-Konferenz re:publica diskutieren IT-Experten, Verbraucher- und Datenschützer darüber, ob automatisierte Entscheidungen reguliert werden müssen. Denn die sind weit weniger neutral und harmlos, als es scheint.
Innerhalb von 700 Millisekunden platziert der Aktienhändler an der Frankfurter Börse 3.500 Order. Oder, umgerechnet auf einen zehnstündigen Arbeitstag: 180 Millionen Käufe und Verkäufe. Mithilfe von Algoritmen, die ihm die Entscheidungen abnehmen, haut er die Order in einem Tempo raus, das selbst den legendären Börsenmakler Jordan Belfort aus dem Film „The Wolf of Wall Street“ wie einen Waisenknaben aussehen lassen.
Der Hochfrequenzhandel an den Finanzmärkten ist eine der riskantesten Anwendungen von Algorithmen. Doch sie bestimmen noch viel mehr: Sie ermitteln die Preise von Flugtickets, entscheiden über unsere Kreditwürdigkeit und die Produkte, die uns bei Amazon angeboten werden. Oder darüber, welche Einträge es auf der Google-Trefferliste nach oben schaffen. In den USA überlässt man ihnen sogar die Entscheidung darüber, ob Straftäter auf Bewährung freikommen und wie hoch das Risiko ist, dass diese wieder rückfällig werden. Die Stadtverwaltung von New York lässt Algorithmen berechnen, wie hoch das Risiko für eine Person ist, obdachlos zu werden und welches Kind für welche weiterführende Schule geeignet ist. Beim „Predictive Policing“ wird berechnet, wie sich die Kriminalität in bestimmten Stadtteilen entwickelt. Die Medizin-Plattform WAVE sagt per Algorithmus lebensbedrohliche Zustände und den Tod von schwer kranken Patienten voraus. Auch die moderne Arbeitswelt tickt längst im Rhythmus der Algorithmen, zum Beispiel bei der Bewerbervorauswahl.
Kurz: Algorithmen haben einen massiven Einfluss auf unser Leben. Wir brauchen daher dringend einen TÜV für Algorithmen.
Algorithmen sind subjektiv
Warum? Weil das so genannte Algorithmic Decision Making (ADM), die automatisierte Entscheidungsfindung, zwar im Mantel mathematischer Objektivität daher kommt, aber alles andere als neutral ist. Denn Algorithmen verarbeiten immer nur die Daten, die wir ihnen zur Verfügung stellen. Schon diese Auswahl ist in der Regel alles andere als objektiv. Im Gegenteil: Sie ist oft politisch, tendenziös verzerrt, chaotisch, häufig unvollständig. Und manchmal sogar gefälscht. Wir Menschen sind eben nicht neutral: Wir pflegen unsere Vorurteile und verfolgen eigene Interessen. Also tun Algorithmen dies auch, denn sie sind von Wissenschaftlern, Programmierern, Data Scientists, staatlichen Institutionen und Unternehmen erschaffen. Wir brauchen daher dringend eine Kontrollinstanz für die Wirkung von Algorithmen und mehr Transparenz, was die Big Data-Basis ihrer Entscheidungen betrifft.
Gefährliche Feedbackschleifen
Und selbst wenn Daten tatsächlich sauber sind: Sie spiegeln immer noch vorhandene gesellschaftliche Ungleichheiten, Normen und Vorurteile wider. Leichtfertig genutzt, können sie Erkenntnisse verzerren, Vorurteile bestätigen, Phänomene aufblähen. So entstehen gefährliche Feedbackschleifen: Auf der Website „Beauty.AI“ können Menschen ihre Porträtbilder hochladen und wie in einem Schönheitswettbewerb bewerten lassen. Doch die Schönheit liegt nicht mehr im Auge des Betrachters: Die Jury ist ein Algorithmus, der angeblich ganz objektiv die Attraktivität der Menschen bewertet. Das war das Versprechen. Das Ergebnis: Sämtliche Sieger waren weiß. Es geht sogar noch rassistischer: Afrikaner wurden von einem Gesichtserkennungstool in die Schublade „Gorilla“ eingeordnet. Tay, der Microsoft Chatbot, der als selbstlernendes System die Ausdrucksweise seiner Kontakte erlernen sollte, leugnete nach nur einem Tag den Holocaust und wurde schnell wieder aus dem Netz genommen.
Unternehmen und Institutionen, die Algorithmen einsetzen, können sich also nicht herausreden, keinen Einfluss auf diskriminierende Entscheidungen von Algorithmen zu haben. Oder nicht zu wissen, wie die selbstlernenden Teile der Systeme ihre abschließenden Entscheidungen treffen. Schließlich haben sie diese selbst programmiert. Die Rechenschaftspflicht gegenüber den von Algorithmen-Entscheidung Betroffenen und die Verantwortung für die Auswirkungen dieser Entscheidungen können die Anwender dadurch nicht verweigern.
Wie knackt man die Black Box?
Wenn Algorithmen also nicht ohne Fehler agieren, wenn sie rassistisch und sexistisch sind, muss man sie kontrollieren und dafür in die Black Box „Algorithmus“ hineinsehen können. Doch genau das verweigern Anwender und Entwickler aus verschiedenen Gründen: zu komplex und deshalb für Laien unverständlich sei die technologische Basis dahinter. Selbst Entwickler können oft schon nicht mehr nachvollziehen, wie ein Algorithmus entscheidet. Außerdem falle die Algorithmus-Rezeptur unter das Betriebsgeheimnis. Coca Cola verrate ja auch nicht seine Zutaten. Zudem seien offene Systeme zwar transparenter, aber damit auch erst recht anfälliger für Manipulation.
Transparenz und Kontrolle
Doch wie können wir verhindern, dass der zunehmende Einsatz von Künstlicher Intelligenz die Grund- und Verbraucherrechte einschränkt? Wie kann man mehr Transparenz schaffen und mehr Kontrolle erlangen? Hilft die neue Datenschutz-Grundverordnung (DSGVO), die ab 25. Mai in Kraft trifft, die Algorithmen besser zu überprüfen oder sogar an die Kette zu legen?
Nur begrenzt, denn die DSGVO verbietet nur vollständig automatisierte Entscheidungen, die unmittelbare rechtliche Relevanz oder andere erhebliche Auswirkungen haben. Weiterhin zulässig sind Systeme, die menschliche Entscheidungen vorbereiten und Empfehlungen geben. „Für die fehlerhafte Bewertung oder systematische Diskriminierung ganzer Gruppen durch automatisierte Entscheidungen ist die neue Regulierung blind", sagt Wolfgang Schulz vom Hans-Bredow-Institut für Medienforschung an der Universität Hamburg, der das Gesetz im Auftrag der Bertelsmann-Stiftung analysiert hat.
Bundesanstalt für Algorithmenaufsicht
Auch Verbraucherschützer beschäftigt das Thema. Die Verbraucherzentralen haben Recht, wenn sie fordern, dass algorithmenbasierte Entscheidungsprozesse so gestaltet werden müssen, dass sie die „Entscheidungssouveränität und informationelle Selbstbestimmung von Verbrauchern gewährleisten“. Hierfür müsse ein staatlich legitimiertes Kontrollsystem geschaffen werden, etwa eine „Bundesanstalt für Algorithmenaufsicht“, vergleichbar mit der Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin). Darüber hinaus gibt es viele weitere Ideen, wie man diese Kontrolle erlangen kann: innerbetrieblichen Algorithmen-Beauftragte, angelehnt an Datenschutzbeauftragte oder Vereine, die wie der TÜV in staatlichem Auftrag Systeme überprüfen. Vielleicht ist es auch notwendig, die Programmierer darauf aufmerksam zu machen, dass sie nicht im luftleeren Raum agieren, dass ihre Arbeit Auswirkungen auf das Leben vieler Menschen hat. Und die sind nicht immer positiv. Wir brauchen daher nicht nur einen TÜV für Algorithmen, sondern auch eine neue Berufsethik für Programmierer.
