/Big Data

Überwachung: Umfassendes Social Scoring wie in China ist auch bei uns möglich

Ben Hartlmaier 09.11.2018 Lesezeit 9 Min

Intransparenz, mangelnde Kontrolle, Diskriminierung: Die algorithmischen Scoring-Verfahren von Versicherungen und Auskunfteien werden oft kritisiert. Schließlich können sie unser Leben schon jetzt massiv beeinflussen. Doch es geht noch krasser: In China gibt es einen sozialen Super-Score, der das Verhalten der Bürger bewertet. Experten befürchten, dass so etwas auch in Deutschland möglich wäre. Die Gefahr ginge dabei aber nicht vom Staat aus.

Wenn in diesen Tagen über China berichtet wird, geht es neben Überwachung nicht selten um das sogenannte Sozialkreditsystem. Das ist ein automatisiertes Bewertungssystem, mit dem die kommunistische Partei die Vertrauenswürdigkeit jedes einzelnen Bürgers messen will. Wer sich im Sinne der Partei unangemessen verhält – und etwa im Zug raucht – der wird mit Punktabzug bestraft. Erwünschtes Verhalten wird hingegen belohnt. Derzeit wird das Social Scoring in 40 chinesischen Städten erprobt. Ab 2020 soll es landesweit eingeführt werden.

Der Score, den ein Bürger erhält, kann entscheidende Auswirkungen auf Ausbildung, Karriere und den gesamten Alltag haben: Personen mit hoher Bewertung bekommen zum Beispiel eine Vorzugsbehandlung im Krankenhaus oder dürfen ihre Kinder auf eine angesehene Privatschule schicken. Wer nur einen niedrigen Score bekommt, darf vielleicht keine Tickets für Flug- und Zugreisen kaufen oder muss beim Carsharing eine höhere Kaution hinterlegen.

Im liberalen Westen scheint ein solch großangelegtes Disziplinierungsprogramm zur Bevölkerungssteuerung undenkbar. Aber sind wir uns unserer Sache vielleicht zu sicher? Eine Expertengruppe warnt jetzt in einem umfassenden Gutachten davor, dass Super-Scores wie in China auch hierzulande eingeführt werden könnten. Der Sachverständigenrat für Verbraucherfragen (SVRV), so der Titel des Gremiums aus Wissenschaftlern, Verbraucherschützern und Wirtschaftsvertretern, sieht die Gefahr allerdings nicht von staatlicher Seite. Vielmehr ist zu befürchten, dass ein umfassendes Bewertungssystem von der Privatwirtschaft installiert wird. „Das Szenario eines Super-Scores, in dem Verhalten in verschiedenen Lebensbereichen verfolgt, analysiert und für die Score-Berechnung verwendet wird, erscheint durchaus plausibel“, heißt es in dem gerade publizierten Gutachten mit dem Titel „Verbrauchergerechtes Scoring“.

Über 20.000 Einzelinformationen pro Kreditanfrage

Im Fokus des Gutachtens stehen Unternehmen wie das Startup Kreditech aus Hamburg. Sein Geld verdient Kreditech damit, dass es über Tochterfirmen in Russland, Polen, Spanien, und Indien Online-Kreditanträge verarbeitet. Anders als klassische Auskunfteien sucht Kreditech jedoch nicht hauptsächlich nach Versäumnissen in der Vergangenheit, um die Bonität zu ermitteln. Wird ein Antrag gestellt, sucht der selbstlernende Kreditech-Algorithmus im Hintergrund mehr oder weniger alles zusammen, was er über den Antragsteller im Netz finden kann: Zu den ermittelten Daten gehören unter anderem GPS-Positionen, Likes, Posts und Freunde aus sozialen Netzwerken, das Onlineshopping-Verhalten und Daten zum Gerät, mit dem der Antrag gestellt wird. Ist es ein teures iPad? Gut für die Bonität. Ein Billig-Android-Smartphone aus China? Eher schlecht. Über 20.000 verschiedene Einzelinformationen verarbeitet die Kreditech-KI nach eigenen Angaben pro Anfrage, um einen Kunden in Sekundenschnelle zu identifizieren und automatisch einen Score zu errechnen. Selbst das Ausfüllen des Antrages wird in das Scoring miteinbezogen: Wie oft vertippt sich jemand? Wie oft wird die Löschtaste betätigt?

Scoring-Unternehmen wie Kreditech gibt es viele. Das in Deutschland wohl berühmteste von ihnen ist die Auskunftei SCHUFA. Das Problem: Scoring-Unternehmen bedienen sich bei der Datenakquise aus einer Vielzahl von Quellen, ohne dass Nutzer etwas davon mitbekommen. Daten, die sie nicht selbst erheben können, kaufen sie häufig von Datenhändler zu. Diese Data-Broker wie etwa der US-Riese Acxicom sind eine schier unerschöpfliche Quelle an Verbraucherdaten. Im Acxicom-Pool bediente sich unter anderem die Analyse-Firme Cambridge Analytica, die eine zentrale Rolle im Facebook-Skandal rund um die letzte US-Präsidentschaftswahl spielte.

Der hiesige Ableger des Unternehmens, Acxicom Deutschland sagt, er habe bereits Daten von über 44 Millionen Bundesbürgern gesammelt. Ähnlich wie bei den Kredit-Scoring-Unternehmen wie Kreditech ist die Herkunft der Daten für Verbraucher oft unklar, denn die Händler „erhalten Daten in der Regel nicht direkt vom Verbraucher, sondern durch Dritte, und häufig ohne dass Verbraucher sich darüber im Klaren sind“, heißt es im Gutachten der Verbraucherschützer. Quellen können neben klassischen Datensammlern wie Facebook, Twitter oder Amazon auch Kunden- und Cashback-Karten, Preisausschreiben oder öffentlich zugängliche Verzeichnisse sein. Dem deutschen Datenhändler AZ Direct GmbH, einem Unternehmen der Bertelsmann-Gruppe, stehen nach eigenen Angaben sogar detaillierte Profilinformationen zu 70 Millionen Personen zur Verfügung, darunter Daten zur aktuellen Lebensphase und der psychischen Verfasstheit einzelner Menschen.

Scoring-Merkmale müssen offengelegt werden

Damit diese teilweise hochsensiblen Daten künftig nicht mehr über dunkle Kanäle angehäuft werden, fordern die Experten vom SVRV vor allem eins: Transparenz. „Scoring-Anbieter sollen den Verbrauchern die für sie wesentlichen Merkmale, auf deren Basis sie gescort werden, sowie möglichst auch deren Gewichtung auf verständliche und nachvollziehbare Weise offenlegen“, schreiben sie. Wie weit diese Transparenz gehen sollte, darüber ist sich allerdings selbst das Expertengremium uneins. So ist ein Teil der Auffassung, dass die Geschäftsgeheimnisse der Anbieter bei der Offenlegung der Scoring-Merkmale nicht beeinträchtigt werden dürfen, während der andere Teil die Haltung vertritt, dass das Auskunftsinteresse der Verbraucher wichtiger sei als mögliche Geheimhaltungsinteressen der Scoring-Unternehmen. Außerdem sollten Nutzerinnen und Nutzer erfahren können, wie Scores zwischen verschiedenen Gruppen gebildet werden, um eine mögliche Diskriminierung durch den Algorithmus überprüfen und nachweisen zu können.

Einig sind sich die Experten jedoch darin, dass „eine vollständige Offenlegung der Scores und ihrer Eigenschaften gegenüber Aufsichtsbehörden in jedem Fall notwendig“ ist. Dort fehle es derzeit allerdings an Fachkräften und finanziellen Mitteln, um den Scoring-Anbietern ordentlich auf die Finger schauen zu können. Dafür müssten die Datenschutzbehörden erst mit „erheblichen finanziellen Mitteln“ ausgestattet werden, um die Aufsicht zu verbessern.

Die Rekonstruktion des SCHUFA-Algorithmus

Solange möchten Walter Palmetshofer und sein Team von der Open Knowledge Foundation Deutschland nicht warten. Sie haben die Kontrolle von Scoring-Algorithmen deshalb selbst in die Hand genommen. In ihrem Projekt OpenSCHUFA sind sie derzeit dabei, den geheimen Bewertungs-Algorithmus der SCHUFA per Reverse Engineering zu knacken. Das funktioniert so: Per App können Privatpersonen dem Projekt die persönliche Scoring-Auskunft der Schufa zukommen lassen, die die Auskunftei laut Gesetz einmal im Jahr kostenlos zur Verfügung stellen muss. Aus den gewonnenen Daten soll bis Ende des Jahres ein Modell des SCHUFA-Algorithmus rekonstruiert werden. Das Ziel ist es, mögliche Diskriminierungen durch die KI offenzulegen. Palmetshofer sieht das veröffentlichte Gutachten sehr positiv: „Die Forderungen des SVRV gehen in die richtige Richtung, und das Gutachten kommt zur richtigen Zeit“, sagt Palmetshofer zu WIRED.

Zu diesen Forderungen gehört auch, die Kompetenz der Bürgerinnen und Bürger zu fördern. So müssten Verbraucher künftig besser über Scoring und dessen mögliche Auswirkungen aufgeklärt werden, fordern die Experten. Denn anders als in China würden deutsche und europäische Bürger zwar nicht von einer staatlichen Autorität zur Datenweitergabe gezwungen, aber würden dafür meist freiwillig der Weitergabe Ihrer Daten an Dritte zustimmen. Das liege, so die Studie, auch an unverständlichen und viel zu umfassenden AGB-Texten, in die Nutzer oft gezwungenermaßen einwilligen müssten, um digitale Dienste nutzen zu können. Bereits in einer Vorläuferstudie forderte der SVRV deshalb einen leicht verständlichen One-Pager für AGB mit höchstens 500 Wörtern.

Sind die Daten jedoch erst einmal in der Welt, ergeben sich gleich zwei weitere Probleme für Nutzerinnen und Nutzer: Weil Datenhandel und Scoring laut Studie oft in einem „undurchsichtigen Gewirr von Unternehmensgruppen und Tochterunternehmen“ stattfindet und die meisten Datenhändler Informationen auch untereinander verkaufen, ist den Nutzern oft gar nicht klar, wer momentan überhaupt Profile über sie gespeichert hat. Und das führt direkt zum nächsten Problem, nämlich dass es extrem schwierig für Verbraucher ist, falsche oder veraltete Informationen zu löschen oder zu aktualisieren.

Ist die Blockchain die Lösung für bessere Daten?

Der SVRV will die Kontrolle der Daten direkt in die Hände der Verbraucher legen. Eine Möglichkeit dafür wäre ein Daten-Dashboard, das eine Übersicht über gesammelte Scoring-Informationen enthält, die sich auch verändern lassen. Dabei „sollten aktuelle Entwicklungen für ein sicheres Identitätsmanagement über Blockchain-basierte Systeme einbezogen werden, die dem Verbraucher die Möglichkeit geben, sicher und eindeutig die eigenen Identitätsdaten zu verwalten“, schlagen die Experten vor. Das wäre für Palmetshofer vom OpenSCHUFA-Projekt jedoch der zweite Schritt vor dem ersten: „Über eine Blockchain-Datenbank kann man sich später Gedanken machen, wenn die ursprünglichen, fundamentalen Herausforderungen gelöst sind“, sagt er zu WIRED. Dazu gehört für ihn neben einer ernsthaften Aufsichtsbehörde, wie sie auch der SVRV fordert, „eine angemessene und kostenlose Überprüfbarkeit der eigenen Daten und die rasche, kostenlose Korrekturmöglichkeit bei falsch aggregierten oder berechneten Daten“, sagt Palmetshofer.

Positiv überrascht war er von der Reaktion der Bundesregierung. Als Antwort auf das Gutachten hatte Verbraucherschutzministerin Katarina Barley unter anderem auf Twitter mitgeteilt: „Jegliche Form von Scoring muss transparent sein und Diskriminierung sowie Missbrauch ausschließen. Die Vorschläge des Sachverständigenrates werden wir deswegen eingehend und zügig prüfen.“ Diesen klaren Ansagen der Regierung müssten jetzt allerdings auch konkrete Umsetzungen jener Forderungen folgen, meint Palmetshofer.

Nötig wäre es: Denn Scoring findet längst nicht mehr nur bei der Vergabe von Krediten statt. Auch Krankenversicherungen erheben bereits über Fitnessarmbänder und andere Quellen detaillierte Gesundheitsdaten ihrer Kunden, um fitten und gesunden Versicherten vergünstigte Tarife anbieten zu können. Diese sogenannten Telematik-Tarife, die auch bei Kfz-Haftpflichtversicherungen zum Einsatz kommen könnten, sehen die Verbraucherexperten besonders kritisch: Es müsse nicht nur gesetzlich garantiert werden, dass es künftig immer auch telematik-freie Optionen gäbe. Billigere Tarife für überdurchschnittlich gesunde Menschen sollten am besten ganz verboten werden, da durch die das Solidaritätsprinzip der Versicherungen gefährdet werde, so das Gutachten.

Wenn Daten aus vermeintlich unabhängigen Lebensbereichen wie Gesundheits-Apps, Social Media und Online-Shopping gesammelt, aggregiert und konkreten Personen zugeordnet werden und dann für das Scoring zum Einsatz kommen, ist ein Super-Score wie im chinesischen Sozialkreditsystem womöglich nicht mehr weit entfernt: „Ein solcher Super-Score würde bedeuten, dass einzelne Verhaltensweisen von Verbrauchern lebensbereichsübergreifend weitreichende Konsequenzen nach sich ziehen können“, warnen die Verbraucherexperten. Dass Unternehmen nicht davor zurückschrecken, unsere Privatleben komplett zu durchleuchten und zu bewerten, zeigt die Aussage des Gründers der US-Auskunftei Zest Finance, Douglas Merrill, der einmal sagte: „Wir haben das Gefühl, dass alle Daten Bonitätsdaten sind, wir wissen nur noch nicht, wie wir sie verwenden sollen.“ Das war vor sechs Jahren. Heute scheint er eine Antwort drauf gefunden zu haben. Auf der Unternehmenswebseite heißt es: „Wachstum bei Finanzdienstleistungen kommt mit der besseren Kategorisierung der Menschen.“