Ein aktueller Fall zeigt, dass Algorithmen zur Gesichtserkennung immer noch massive Probleme haben, die Technologie alles andere als ausgereift ist, die Fehlerquote hoch und die Algorithmen oftmals rassistisch sind: Vor kurzem prüfte die amerikanische Bürgerrechtsorganisation American Civil Liberties Union (ACLU) eine KI namens Rekognition. Dabei handelt es sich um Amazons Software zur Gesichtserkennung, die bereits in mehreren Polizeibehörden in den USA eingesetzt wird.
Für den Test glichen die Bürgerrechtler Bilder der insgesamt 535 Abgeordneten in Senat und Repräsentantenhaus mit 25.000 öffentlich zugänglichen Fahndungs- und Polizeifotos von Verdächtigen ab. Laut ACLU war keiner der Politiker auf den Mugshots abgelichtet.
Dennoch hat das System 28 Abgeordnete darauf identifiziert. Bei ihnen handelt es sich um Politiker jeden Geschlechts, Alters und Ethnie. Trotzdem hat sich die Software bei bestimmten Gruppen mehr geirrt: „Fast 40 Prozent der von Rekognition fälschlich getroffenen Übereinstimmungen waren Menschen nichtweißer Hautfarbe, obwohl nur etwa 20 Prozent aller Kongressmitglieder nichtweiß sind“, schreibt die ACLU auf ihrer Homepage.
Amazon selbst scheint die schlechten Ergebnisse für wenig aussagekräftig zu halten. Das Unternehmen führe die Ergebnisse auf einen User-Fehler zurück, eine falsche Kalibrierung, wie ein Sprecher von Amazon gegenüber dem Online-Magazin The Verge kommentiert. Die Bürgerrechtler hätten eine Standard-Einstellung genutzt, die Wahrscheinlichkeitsschwelle zur Erkennung habe daher bei lediglich 80 Prozent gelegen. Diese sei aber viel zu niedrig für Gesichter. Das Unternehmen empfehle für die Nutzung des Systems für Polizeiarbeit mindestens 95 Prozent.
„Eine Identifizierung – egal ob korrekt oder falsch – könnte Menschen ihre Freiheit oder sogar ihr Leben kosten“, schreibt die ACLU. Außerdem fordert sie den Kongress dazu auf, die Bedrohung ernst zu nehmen und der Nutzung von Gesichtserkennungssoftware bei der Strafverfolgung erst einmal einen Riegel vorzuschieben.
Eine Identifizierung – egal ob korrekt oder falsch – könnte Menschen ihre Freiheit oder sogar ihr Leben kosten.
„Diese Technologie“, plädieren die Bürgerrechtler, „sollte nicht benutzt werden, bis wirklich jede Art von Schaden, den sie anrichten könnte, in Betracht gezogen und alle notwendigen Schritte unternommen wurden, um ein daraus resultierendes Unheil von leicht angreifbaren Gemeinschaften fernzuhalten.“
Und gerade bei Minderheiten oder verletzbareren Communities haben KI zur Gesichtserkennung die größten Probleme: Weiße Männer können sie meist mit einer 99 prozentigen Sicherheit identifizieren. Doch je dunkler die Haut, desto schwerer wird es für den Algorithmus – bis zu einer Genauigkeit von gerade mal 35 Prozent bei dunklen Frauen. Denn auch mit der Geschlechtserkennung tun sie sich schwer.
Der Tech-Industrie ist das Problem längst bekannt. Sie weiß, dass viele KIs schlichtweg rassistisch und sexistisch sind. Auch der Grund des Übels ist kein Geheimnis: Die Datensätze mit denen die meisten Algorithmen gefüttert wurden, zeigten wenig Diversität, die meisten Systeme wurden mit weißen, männlichen Probanden trainiert.
Mittlerweile greifen Firmen das Problem an und versuchen ihren eigenen Algorithmen den Sexismus auszutreiben. Wie etwa IBM, die mit zwei gezielt zusammen gestellten und öffentlich verfügbaren Foto-Datenbanken arbeiten. Immer wieder verkünden Unternehmen nun auch Erfolgsmeldungen. Microsoft etwa berichtete erst im vergangenen Monat, dass sich ihre Software zur Gesichtserkennung um das 20-fache verbessert habe, die Fehlerquote sei von 20,8 auf 1,9 Prozent gefallen.
Doch wie aussagekräftig diese Zahlen wirklich sind, ist nur schwer nachvollziehbar. Einheitliche Bezugspunkte, berichtet The Verge, gebe es in der Branche nicht und Unternehmen würden sich extrem bedeckt halten, was detaillierte Daten oder interne Messgrößen angehe. Daher fordern immer mehr Experten die Etablierung eines branchenweiten gültigen Vergleichsmaßstabs, ein Benchmark für Präzision und Bias. „Ich glaube, das wäre unglaublich nützlich“, zitiert The Verge Clare Garvie vom Rechtszentrum der Universität Georgetown in Washington D.C. „Vor allem für jene Unternehmen, die mit staatlichen Stellen zusammenarbeiten.“
So einen Test gibt es sogar schon, den Face Recognition Vendor Test (FRVT), ausgeführt vom National Institute of Standards and Technology (NIST). Dieser prüft wie präzise verschiedene Gesichtserkennungssysteme in verschiedenen Szenarios funktionieren und sogar wie gut Algorithmen in Bezug auf Geschlecht, Alter und Ethnie abschneiden.
Das Problem: Der Test ist vollkommen freiwillig, nur wenige kleiner Firmen und Forschungsinstitute nutzen die Plattform. Garvies Idee ist es, diesen Test einfach auszuweiten, anstatt einen komplett neuen zu entwickeln: „NIST macht einen tollen Job, aber sie haben wenig eigene Ressourcen. Ich vermute, man bräuchte fast staatliche Unterstützung, wenn man diese Tests branchenweit umsetzen wollte.“
