Amnesty Journal Deutschland 18. Februar 2022

Die großen Unbekannten

Symbolbild: Geheimdienst / Überwachung

Perspektiven: Selbstlernende Algorithmen beobachten uns und beeinfllussen unseren Blick auf die Welt.

Algorithmen prägen unseren Alltag und bestimmen unseren Blick auf die Welt. Sie können Fortschritt bewirken, aber auch zu Gewalt führen. Nur wenn wir ihre Wirkung verstehen, können wir unsere Rechte im digitalen Raum schützen.

Von Julia Lauter

Sie bekommen einen Brief. Das Finanzamt schreibt Ihnen, sie hätten sich Geld vom Staat erschli­chen und müssten Zehntausende Euro zurückzahlen. Am Anfang glauben Sie noch an ein Missverständnis. Sie sind sich sicher, dass Sie nichts falsch gemacht haben. Aber niemand glaubt Ihnen. Ihr Lohn wird gepfändet. Sie müssen einen Kredit aufnehmen. Sie fallen in ein tiefes Loch, vernachlässigen den Haushalt und die ­Erziehung Ihres Kindes. Ihnen wird das Sorgerecht entzogen. Sie sind am Ende. Und das alles, weil ein Algorithmus Sie fälschlicherweise als Sozialbetrüger_in eingestuft hat.

Was wie der Beginn eines ­Science-Fiction-Dramas klingt, geschah in den Niederlanden: Zwischen 2013 und 2019 wurden dort rund 20.000 Eltern bezichtigt, den Staat um Zuschüsse zur Kinderbetreuung betrogen zu haben. Grund ­dafür war ein algorithmisches Entscheidungssystem, das Risikoprofile von Antragsteller_innen anlegte.

Rassismus durch Algorithmen

Dabei wurde schon eine nicht-niederländische Staatsbürgerschaft als Risikofaktor gewertet. Den Beamt_innen, die die Profile sichteten, reichten schon kleins­te Ungereimtheiten, um den Betroffenen die Zuschüsse zu streichen und Geld zurückzufordern. Eine algorithmische Entscheidung bewirkte institutionellen Rassismus und sorgte für einen politischen Skandal. In der Folge trat im Januar 2021 die gesamte niederländische Regierung zurück.

Der Vorfall in den Niederlanden ist nur eines von vielen Beispielen dafür, wie unser Leben von halb- oder vollautomatisierten Entscheidungen auf Grundlage unserer persönlichen Daten abhängt. Die meiste Zeit über wirken unsere Begegnungen mit algorithmischen Entscheidungen unauffällig: In digitalen Netzwerken bestimmen sie, welche Beiträge wir sehen. Sie entscheiden, welche Ergebnisse Suchmaschinen anzeigen und welche Werbeangebote uns unterbreitet werden.

Auf einem Platz in Amsterdam demonstrieren Menschen, sie tragen Schilder und eine junge schwarze Frau hält eine übergroße Hand aus Pappe mit der Aufschrift "Stop" in den Händen.

Dieses "Profiling", bei dem personenbezogene Daten automatisiert ausgewertet werden, kann dazu beitragen, dass uns genau jene Lampe zum Kauf vorgeschlagen wird, die wir gerade suchen. Aber es kann auch dazu führen, dass wir als kreditunwürdig bewertet werden oder dass wir höhere Versicherungsprämien zahlen müssen oder, wie in den Niederlanden, zu Unrecht beschuldigt werden.

"Astronomische Gewinne"

Beide Seiten – die personalisierte Nutzung digitaler Dienste und die Preisgabe sensibler Daten – sind untrennbar miteinander verbunden. Algorithmische Entscheidungen durchdringen und prägen unseren Alltag, ohne dass wir deren Mechanismen nachvollziehen können. Nur die Firmen und Institutionen, die sie entwickeln und mit ihnen arbeiten, wissen, wie die Entscheidungen getroffen werden, welche Faktoren eine Rolle spielen und welche nicht. Algorithmen sind die großen Unbekannten in unserem Alltag. Und sie können eine Gefahr für unsere Rechte sein.

"Ich bin Facebook beigetreten, weil ich glaubte, dass es das Potenzial hat, das Beste in uns hervorzubringen. Aber ich bin heute hier, weil ich glaube, dass die Produkte von Facebook Kindern schaden, Spaltung schüren und unsere Demokratie schwächen." Mit diesen Worten eröffnete Frances Haugen im Oktober 2021 ihre Aussage vor dem US-Senat.

Die frühere Facebook-Managerin war gekommen, um gegen ihren ehemaligen Arbeitgeber auszusagen. "Das Unternehmen weiß, wie man Facebook und Instagram sicherer machen kann, will aber die notwendigen Änderungen nicht vornehmen, weil es seine astronomischen Gewinne über die Menschen stellt." Und das ist gefährlich, weil Plattformen wie Facebook, Instagram und Twitter eine enorme Informationsmacht haben.

Illustration des Facebook-Logos, bei dem der Querstrich des "f" durch eine Kamera dargestellt wird.

Digitaler Datensammler: Plattformen wie Facebook haben eine enorme Informationsmacht.

Eine aggressive, hasserfüllte, kontroverse politische Kampagne zu fahren, ist fünf- bis zehnmal billiger als eine, die mit Empathie und Mitgefühl zu tun hat.

Frances
Haugen
Ehemalige Facebook-Managerin und Whistleblowerin

Die jüngsten Veröffentlichungen über Facebook zeichnen das Bild eines Unternehmens, das um jeden Preis die Nutzer_innen auf seinen Plattformen halten will – und dafür die Sicherheit ganzer Gesellschaften aufs Spiel setzt. In Myanmar hatten Analysen bereits 2018 gezeigt, dass Hassreden und Falschinformationen auf Facebook mit Angriffen auf Angehörige der Rohingya einhergingen: Die Inhalte der Plattform führten zu Gewalt in der ­realen Welt, Zehntausende Menschen starben bei der gewaltsamen Vertreibung, 750.000 verloren ihre Heimat.

Auch in Sri Lanka und Indien verbreiteten sich in den vergangenen Jahren ­gewaltverherrlichende und hasserfüllte Inhalte wie Lauffeuer. In Äthiopien, wo ein bewaffneter Konflikt zwischen der Zentralregierung und der Tigray People’s Liberation Front ausgebrochen ist, führten Falschmeldungen und Hassreden zu ethnischer Gewalt mit vielen Toten.

Die Whistleblowerin Haugen bestätigte in ihrer Aussage vor dem US-Senat und zuletzt auch vor dem EU-Parlament, dass Facebook weiß, dass seine Darstellung von Inhalten gefährlich ist. Zwar versuche das Netzwerk, problematische Inhalte von der Plattform zu entfernen. Doch ohne durchschlagenden Erfolg, wie Haugen ­erklärte: "Die Algorithmen sind nicht effektiv und filtern maximal zehn Prozent der problematischen Beiträge heraus."

Zudem flössen 87 Prozent des Budgets, das Facebook für die Klassifizierung von Fehlinformationen aufwende, in den Schutz des US-Marktes, während nur 13 Prozent für den Rest der Welt vorgesehen sind. Und das, obwohl die nordamerikanischen Nutzer_innen nur zehn Prozent der täglich aktiven Nutzer_innen des Online-Netzwerks ausmachten.

"Eine aggressive, hasserfüllte, kontroverse politische Kampagne zu fahren, ist fünf- bis zehnmal billiger als eine, die mit Empathie und Mitgefühl zu tun hat", sagte Frances Haugen vor dem EU-Parlament. Das führe dazu, dass die Plattform Verständnis und Entgegenkommen untergrabe und damit die Grundlage der Demokratie angreife. Facebook weist die Vorwürfe zurück. Der Konzern benannte sich kurz darauf in "Meta" um und stellte mit dem "Metaverse" eine Plattform für virtuelle Realität vor, auf der Nutzer_innen als Avatare interagieren können. Man könnte auch sagen: Statt Aufklärung bietet Facebook eine alternative Wirklichkeit an.

Selbstlernende Algorithmen brauchen Auflagen

Natürlich erzeugen digitale Plattformen und ihre Algorithmen nicht nur Diskriminierung, Hass und Gewalt. In der Anwendung von Künstlicher Intelligenz (KI) steckt auch ein großer Nutzen für die Menschheit. Unter diesem nicht trennscharfen Begriff werden allgemein Profiling, automatisierte Entscheidungen und Technologien des Maschinellen Lernens zusammengefasst – Anwendungen also, bei denen Maschinen komplexe Kombinationsleistungen erbringen.

Selbstlernende Algorithmen lassen PKWs automatisiert fahren oder übersetzen Texte in Sekundenschnelle. Man kann mit ihnen Bilder und Videos aus Kriegsgebieten auswerten und Rechtsverstöße dokumentieren; Software hilft Mediziner_innen bei der Verschreibung des passenden Antibiotikums oder berät Landwirt_innen bei der Auswahl des Saatgutes oder des optimalen Erntezeitpunktes.

Während der Covid-Pandemie helfen weltweit Kontaktverfolgungssysteme bei der Eindämmung der Gesundheits­krise, indem sie aus unterschiedlichen Daten digitale Netze erzeugen, die potenzielle Infektionen erkennen und die Gesundheitssysteme vor Überlastung schützten. So hilfreich diese Systeme sind, sie zeigen auch, warum diese Techniken, wenn überhaupt, nur unter strengen Auflagen eingesetzt werden sollten. Denn sie greifen in unser Recht auf Privatsphäre, Gesundheit, Bildung, Freizügigkeit, Versammlungs-, Vereinigungs- und Meinungsfreiheit ein.

Macht durch Daten

"Im besten Fall wird die digitale Revolution die Menschen befähigen, verbinden, informieren und Leben retten. Im schlimmsten Fall wird sie entmachten, trennen, fehlinformieren und Leben kosten", sagte Michelle Bachelet, UN-Hochkommissarin für Menschenrechte, bei der Vorstellung ihres Berichts über Risiken der Künstlichen Intelligenz im September 2021. Angesichts des schnellen und kontinuierlichen Wachstums der KI-Anwendungen sei es eine drängende Menschenrechtsfrage, die immense Lücke in der Rechenschaftspflicht darüber, wie Daten gesammelt, gespeichert, geteilt und verwendet werden, zu schließen, ­erklärte Bachelet. Das Risiko der Diskriminierung im Zusammenhang mit KI-Entscheidungen sei sehr real. Sie forderte ein Moratorium für den Einsatz besonders ­risikoreicher KI-Anwendungen.

Die Frage ist, wie das konkret aussehen könnte. Den meisten Nutzer_innen ist klar, dass der Reichtum und die Macht von Konzernen wie Facebook und Google auf ihren persönlichen Daten basiert. Empörung gab es viel, aber kaum praktikable Gegenvorschläge. Doch nun kommt Bewegung in die festgefahrene Situation.

Illustration des Google-Logos, bei dem die zwei "o" durch ein Fernglas dargestellt werden.

Datensammelwut: Google hat seine Nutzer_innen fest im Blick.

Im besten Fall wird die digitale Revolution die Menschen befähigen, verbinden, informieren und Leben retten. Im schlimmsten Fall wird sie entmachten, trennen, fehlinformieren und Leben kosten.

Michelle
Bachelet
UN-Hochkommissarin für Menschenrechte

Im Dezember 2020 stellte die EU-Kommission ein Maßnahmenpaket vor, das den rechtlichen Rahmen für Online-Plattformen und den Umgang mit Digitalkonzernen regeln sollte, den Digital Services Act und den Digital Markets Act. Bei der Vorstellung verglich die zuständige Kommissionsvizepräsidentin Margrethe Vestager das Vorhaben mit dem Aufstellen der ersten Ampel. Mit zunehmendem "Verkehr" im digitalen Raum müsse die Politik nun Ordnung ins Chaos bringen.

Zum einen sollen Plattformen wie ­Facebook illegale Inhalte schneller löschen, den Nutzer_innen die Möglichkeit für rechtlichen Einspruch geben, Werbung unmissverständlich kennzeichnen sowie die Funktion ihrer Algorithmen verständlich machen. Zum anderen soll die Vormachtstellung der Monopolisten Google, Apple, Facebook, Amazon und ­Microsoft fallen: Vorinstallierte Anwendungen und Programme sollen verboten werden, die eigenen Dienste bei Suchabfragen nicht mehr bevorzugt präsentiert und Daten verschiedener Portale eines Anbieters nicht ohne Zustimmung der Nutze­r_in­nen zusammengeführt werden dürfen.

So ambitioniert das Vorhaben ist, so wenig greifbar ist die Umsetzung bisher: Was genau sollen die Konzerne offenlegen müssen? Welche Behörden kontrollieren die Regeln? Und: Was ändert es, wenn die Nutzer_innen zwar die Algorithmen der Plattformen kennen, es aber keine vergleichbaren Alternativen gibt, die ihre Rechte besser schützen? Hören wir tatsächlich auf zu "googeln", wenn der Konzern sein Geschäftsgebaren offenlegt oder wird das nur ein weiteres Kästchen sein, das wir in Zukunft mit schlechtem Gewissen vor der Nutzung wegklicken?

Viele Leerstellen

Im April 2021 schlug die EU-Kommission darüber hinaus den Artifical Intelligence Act (AIA) vor, der schädliche Folgen automatisierter Entscheidungsalgorithmen verhindern soll. Danach sollen KI-Anwendungen nach den von ihnen ausgehenden Risiken klassifiziert und entsprechend stärker überwacht und reguliert werden. Doch auch dieser Vorstoß habe viele legale Leerstellen, erklärt Merel Koning vom Tech-Team von Amnesty International: "Es ist gut, dass die EU diese ­Rolle einnimmt. Wir brauchen dringend Regulierungen für den Einsatz von Künstlicher Intelligenz", sagt die Anwältin. "Doch leider sind die vorgeschlagenen Regeln nicht annähernd da, wo sie sein sollten – es fehlt ihnen an Menschenrechtsgarantien."

Eine zur Faust geballte linke Hand streckt sich und durchdringt dabei die Masche eines Netzes.

Nur wenn wir die Wirkung von Algorithmen verstehen, können wir unsere Rechte im digitalen Raum schützen.

Wir brauchen dringend Regulierungen für den Einsatz von Künstlicher Intelligenz. Doch leider sind die vorgeschlagenen Regeln nicht annähernd da, wo sie sein sollten – es fehlt ihnen an Menschenrechtsgarantien.

Merel
Koning
Tech-Team Amnesty International

Auch der AIA-Vorschlag krankt daran, dass nicht klar ist, wer die Umsetzung überwacht und beaufsichtigt. KI-Systeme, die als besonders risikoträchtig klassifiziert werden, sollen zwar "hinreichend transparent" entwickelt werden; was als transparent gilt, bleibt aber schwammig. Auch können Designer_innen, Entwickler_innen und Nutzer_innen von KI-Systemen weiterhin nicht für ihre Produkte zur Rechenschaft gezogen werden. Außerdem enthält der Vorschlag kein Verbot des Einsatzes von selbstlernenden Algorithmen im öffentlichen Sektor.

Besonders für die "präventive Verbrechensbekämpfung" – wenn die Polizei auf Grundlage von Daten die Wahrscheinlichkeit errechnet, mit der Menschen die nächsten Straftäter_innen oder ein Ort der nächste Tatort ist – sind in dem Vorschlag großzügige Ausnahmen vermerkt, wie Koning kritisiert.

Ihrer Meinung nach sollten diese staatlichen KI-Anwendungen strenger ­reguliert werden. "Die Programme, die in den Niederlanden und ganz Europa zur präventiven Verbrechensbekämpfung laufen, sind beängstigend. Sie werden sehr schnell eingeführt, es gibt keine Sicherheitsvorkehrungen und keine Regeln, wie mit den erstellten Profilen umgegangen werden soll", sagt Koning. "Dabei ist doch eine der wichtigsten Säulen unserer freien Gesellschaft, dass man nicht unschuldig verurteilt wird."

Was derzeit in Brüssel diskutiert wird, ist eine Chance – darauf, dass un­sere Rechte in Zukunft nicht noch weiter von intransparenten technischen Anwendungen beschnitten werden. Doch um sie nutzen zu können, müssen die Bürger_innen begreifen, was auf dem Spiel steht. Nur wer sich die Einschränkungen bewusst macht, wird dagegen seine Stimme erheben und die politisch Verantwortlichen zum Handeln bewegen können.

Julia Lauter ist freie Journalistin. Namentlich gekennzeichnete Beiträge geben nicht unbedingt die Meinung von Amnesty International wieder.

Weitere Artikel