Ein Computerprogramm, das Fotos zuverlässig analysiert, ist derzeit einer der großen Meilensteine der Künstlichen Intelligenz (KI), die es noch zu meistern gilt. Im November 2014 zeigte die Stanford University in Zusammenarbeit mit Google erste Ergebnisse: Ihr neurales Netzwerk konnte den Inhalt von Fotos mit kurzen Texten beschreiben. Aber auch Facebook arbeitet an etwas Ähnlichem — natürlich um seinen Newsfeed zu verbessern.
Auf dem Web Summit 2015 hat Facebook CTO Mike Schroepfer ein neues System vorgestellt das erkennen kann, was auf Fotos in der Timeline eines Users zu sehen ist. Dazu zeigte Schroepfer das Bild eines Skateboard-Fahrers in einer Halfpipe, wie TheNextWeb berichtet. Der Algorithmus wählt mögliche Nomen, Verben und Präpositionen aus, die zum Bild passen, um dann aus ihnen einen Satz zu bilden. Im genannten Beispiel: „A man riding a skateboard on ramp.“ Wie ein Video zeigt, soll der Algorithmus sogar Hunderassen unterscheiden können.
Mit den so gewonnenen Informationen will Facebook optimieren, welche Fotos in der Timeline angezeigt werden: „Wenn die Machine die Eigenschaften des Bildes versteht, ist es einfach zu verstehen, wie nützlich das für Facebook ist“, sagte Schroepfer auf dem Web Summit.
Eine Video-Demonstration zeigt auch, wie das System dafür genutzt werden kann, um Menschen mit Sehbehinderung zu helfen. Die Anwendung wird von Facebook VQA (Visual Q&A) genannt und soll es Nutzern ermöglichen Fragen über ein Bild zu stellen, die dann verbal beantwortet werden.
Neben diesen beiden KI-Anwendungen, die sich auf das Kerngeschäft von Facebook beziehen, wurden noch zwei weitere Projekte vorgestellt: Ein Computerprogramm, dass vorhersagt, ob ein Stapel Bauklötze umfällt oder nicht. Und eine Software, die sich selbst das Go-Spielen beibringt und bereits so gut ist wie starke menschliche Spieler und andere gängige KI-Programme auf diesem Gebiet.