Letztes Mittel: sperren. Die Moderatoren bei CNN.com wachen über eine Million User und ihre etwa 30 Millionen Posts. Nur ein Bruchteil von ihnen, etwa drei Prozent, hält sich nicht an die Regeln deas Forums. In den Neunzigerjahren hat sich dafür der Begriff „Troll“ etabliert, er bezeichnet destruktive Nutzer, die nur um der Beleidigung oder Provokation willen Kommentare schreiben.
Troll-Kommentare enthalten weniger abwägende Wörter und sind schlechter geschrieben.
Justin Chen, Cristian Danescu-Niculescu-Mizil und Jure Leskovec, drei Forscher von der Universität Stanford haben untersucht, ob solch asoziale Verhaltensweisen aus den Posts herausgelesen und so womöglich Trolle automatisch erkannt werden können. Sie interessieren sich nicht für die Motive einzelner „Trolle, Hetzer und Forennazis“, sondern für allgemeine Muster, die sich aus großen Datensätzen ergeben.
Ihren Datenrohstoff sammeln die Forscher mit der Software Disqus, die viele Webseitenbetreiber einsetzen. Konkret haben sie Zugang zu Kommentaren und Accounts von drei Portalen: der Nachrichtenseiten CNN.com, der Politik-Website Breitbart.com und dem Games-Portal IGN.com.
Die mit Abstand größte der Seiten ist CNN.com. Die Kommentare von über einer Million Accounts haben die Forscher ausgesiebt, bis nur NOCH 10.000 übrig waren: Nutzer die von den Moderatoren genau einmal gesperrt wurden. Mehrmalige Sperren ließen die Forscher außen vor, weil sie bei den Betroffenen zu einer Verhaltensänderung geführt haben könnten und damit die Ergebnisse verzerren würden. Genauso ignorierten sie Spam-Accounts. Insgesamt blieben auf allen drei Webseiten etwa 12.000 Nutzerkonten übrig.
Um Aussagen über die Qualität treffen zu können, kauften sich die Forscher menschliche Einschätzungen über die Amazon-Plattform Mechanical Turk. Dort benoteten Personen gegen Bezahlung die einzelnen Kommentare. In der statistischen Auswertungen ergibt sich ein klares Bild: asoziale Kommentare enthalten weniger abschwächende Wörter wie „vielleicht“ oder „erwägen“, sind weniger lesbar geschrieben und werden über die Zeit hinweg schlechter. Das entscheidende dabei: „Auf allen drei Plattformen ködern sie wirksam andere für unergiebige Diskussionen“, schreiben die Wissenschaftler über die Trolle.
Aus den Unterschieden zwischen den Nutzern haben Chen und seine Kollegen ein statistisches Modell gebaut. Was sie dabei besonders interessiert: Würde dieses Modell zwischen gesperrten und nicht-gesperrten Accounts differenzieren können? Die kurze Antwort: ja. „Wir müssen nur fünf bis zehn Kommentare betrachten, bis ein Klassifikator fähig ist, eine zuverlässige Prognose zu machen.“ Ein Klassifikator ist ein Algorithmus, der Dinge in Kategorien einsortiert. In diesem Fall: der Nutzer wird in Zukunft gesperrt oder nicht.
Unsere Methode identifiziert früh asoziale User und entlastet Moderatoren.
Die Autoren der Studie glauben, dass solche Algorithmen in Zukunft Moderatoren entlasten können. Zwischen März 2012 und August 2013 mussten beispielsweise die Moderatoren bei CNN.com mehr als 37.000 Accounts sperren. Das waren über 70 pro Tag. „Unsere Methoden identifizieren früh anti-soziale Nutzer und verringern diese Belastung“, schreiben die Forscher in ihrem Aufsatz.
Würden sich Webseitenbetreiber von dieser Methode überzeugen lassen, wären sie nicht die ersten, die versuchen unerwünschtes Verhalten automatisch erkennen zu lassen: Die Investmentbank JP Morgan Chase hat angekündigt, Mitarbeiter mit Algorithmen überwachen zu wollen. Ihr Ziel: weniger Skandale durch Trolle in den Banken.