Computergenerierte Charaktere direkt mit dem Hintergrund eines Videos interagieren lassen. Das soll eine neue Technologie namens Interactive Dynamic Video möglich machen, die Wissenschaftler am Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT entwickelt haben.
Normalerweise wird in Augmented-Reality-Apps wie Pokémon Go die Spielfigur einfach über den realen Hintergrund gelegt, Interaktion findet jedoch nicht statt. Für die Interactive Dynamic Videos wird hingegen ein Objekt, beispielsweise ein Busch, mit einer Kamera fünf Sekunden lang aufgenommen, um dessen natürliche, kaum wahrnehmbare, Bewegungen zu erfassen. Diese Videodaten werden anschließend mithilfe verschiedener Algorithmen analysiert, um die möglichen Bewegungsmuster des Gegenstands zu bestimmen. Die MIT-Forscher können nun vorhersagen, wie das Objekt auf beliebige Einwirkungen reagiert.
„Diese Technik lässt uns das physikalische Verhalten von Objekten erfassen, was es uns ermöglicht, mit ihnen im virtuellen Raum zu spielen“, erklärt Abe Davis vom CSAIL. Auf Pokémon Go übertragen würde das zum Beispiel bedeuten, dass Pikachu künftig an einem Ast rütteln oder Taubsi am Vorhang zupfen könnte. Davis bezeichnet das Ganze in einem Demo-Video als „Dynamic Augmented Reality“.
+++ Mehr von WIRED regelmäßig ins Postfach? Hier für den Newsletter anmelden +++
Doch auch Smartphone- oder Computer-Nutzer, die nicht auf Pokémon-Jagd gehen, sollen von der Technologie profitieren und Videos gezielt manipulieren können. So ist es etwa denkbar, dass einzelne Objekte in einem Clip per Touch oder mit der Maus angestoßen oder auch Saiten einer virtuellen Gitarre gezupft werden.
Die MIT-Wissenschaftler wollen ihre Arbeit in Kürze in einer Fachzeitschrift vorstellen. Schon jetzt könnt ihr das Paper mit dem Titel Image-Space Modal Bases for Plausible Manipulation of Objects in Video hier herunterladen.