Hinweis zu Affiliate-Links: Alle Produkte werden von der Redaktion unabhängig ausgewählt. Im Falle eines Kaufs des Produkts nach Klick auf den Link erhalten wir ggf. eine Provision.

re:publica 15 / Wenn der Islamische Staat zur Facebook-Empfehlung wird

von Max Biederbeck
Algorithmen entscheiden längst über mehr als nur die Suchergebnisse auf unseren Bildschirmen. Sie kommen sowohl in der Verbrechensbekämpfung zum Einsatz, als auch bei der Vorhersage von Kriegen. Eine bedenkliche Entwicklung, findet der Ethiker und Informatiker Kave Salamatian. Er hat gute Gründe.

Für Kave Salamatian war es ein Blick in die Abgründe des Terrorismus — dabei hatte er nur die Regeln befolgt. Für ein Experiment programmierte der Informatiker mehrere Fake-Profile auf Facebook und ließ sie den Empfehlungen des Netzwerks folgen. Die Bots akzeptierten jeden neuen Freund, den Facebook ihnen vorschlug, klickten bei jedem Seiten- und Gruppen-Vorschlag auf „Like“. Bands fügten sie ihrem Profil hinzu, Prominente und auch Pages mit sozialen Anliegen wie „Freedom“, „Peace“ oder „Equality“. Das ging drei Tage lang so — dann meldeten sich die ersten IS-Recruiter bei Salamatians Schützlingen.

Es gibt eine blinde Begeisterung für auswählenden und lernenden Code.

Kave Salamatian

„Da passiert etwas sehr Bedenkliches“, sagt der Forscher, der sich mit der Ethik von Algorithmen beschäftigt. In seinen Augen gibt es eine blinde Begeisterung für auswählenden und lernenden Code. Zum Einsatz kommt er mittlerweile in allen Lebensbereichen: Algorithmen erkennen asoziales Verhalten in Online-Foren, steuern und verbessern Suchergebnisse, schreiben eigene Texte, kämpfen gegen Krankheiten und kommen im Straßenverkehr zum Einsatz. Auch bei der Verbrechensbekämpfung nutzen Polizisten „lernende Systeme“, Beratungsunternehmen und Militär wenden sie in Kriegen an. Die re:publica-Session, auf der Salamatian spricht, trägt den passenden Namen „Predicting War“ — den Krieg vorhersagen.

Der Systemfehler, der dem Forscher den zweifelhaften Kontakt zu Terroristen einbrachte, ging im Kleinen los. „Stellen wir uns vor, jemand sucht auf Amazon nach einem ‚White Rope‘, also einer Wäscheleine, um seine Kleider aufzuhängen“, erklärt Salamatian. „Dann gleicht der Algorithmus ab, was sonst noch so gesucht wird und schon im nächsten Schritt könnte er zum Beispiel Bücher über Depressionen anbieten.“ Der Grund: Das System bringt mit dem englischen Wort „rope“ auch den Strick in Verbindung und damit letztendlich den Begriff Suizid.

Für Salamatian ist das ein Zeichen dafür, dass Algorithmen keineswegs die Wundertechnik sind, für die viele sie halten. „Sie werden immer von Menschen programmiert und können nur in dem von ihnen erdachten Rahmen funktionieren“, erklärt er. Sollen sie etwa Kriege oder Verbrechen vorhersagen würden zwei Dinge passieren:

Algorithmen entstehen immer auf Grundlage einer Agenda oder Ideologie.

Kave Salamatian

Erstens lässt der Algorithmus durch seine Vorhersagen ähnlich wie bei einem Horoskop eine selbsterfüllende Prophezeiung entstehen: Wenn man erwartet, das etwas passiert, wird es auch passieren. „Entscheidungen in einem Krieg könnten beeinflusst werden, obwohl noch gar nichts passiert ist“, sagt Salamatian. Viel problematischer sei aber zweitens, dass die Entscheider ihre Aufgabe an einen Mechanismus abgeben, der bei weitem nicht so objektiv ist, wie sie glauben. „Immer gibt es eine Ideologie oder eine Agenda auf deren Grundlage ein Algorithmus entstehen kann.“

Bei Kaufentscheidungen sind die möglichen Kosten recht gering. Vielleicht hat das System etwas vorgeschlagen, das man nicht mag. Ein paar Euro wechseln umsonst das Konto. Im Falle eines Verbrechens oder Kriegs sind die Konsequenzen ungleich gravierender. Salamatian ist sicher: „Gerade in diesen Situationen ist ein Algorithmus nicht im Stande, eine Entscheidung zu treffen. Der Kontext der Situation ändert sich zu schnell.“

Im Falle seines Bot-Versuchs meldeten sich am Schluss zwölf Rekrutierer des IS. Sie alle sprangen auf die vorgeschlagenen Ergebnisse des Facebook-Algorithmus an: „Frieden“, „Freiheit“, „Gleichheit“. Das Programm konnte nicht verstehen, dass die selben Wörter für verschiedene Menschen auch verschiedene Bedeutung haben.

Talks zum Thema

Kave Salamatian spricht am Mittwoch in der Session „Predicting War – Minority Report Meets World Politics“. 

GQ Empfiehlt