/KI

Diese App kann gehörlosen Kindern Geschichten in Gebärdensprache vorlesen

Roman Maas 03.12.2018 Lesezeit 8 Min

Für gehörlose Kinder und ihre Eltern sind Dinge, die für hörende Menschen selbstverständlich erscheinen, eine Herausforderung. Dazu gehört das Vorlesen von Gute-Nacht-Geschichten, denn oft beherrschen hörende Eltern die Gebärdensprache nicht. Mit der App StorySign wollen Huawei und die europäische Vereinigung gehörloser Menschen dieses Problem nun lösen.

Jemand, der mit Hörsinn auf die Welt gekommen ist, kann sich kaum vorstellen wie es wäre, plötzlich das Gehör zu verlieren: Morgens ohne die Hilfe eines lauten Weckers aufwachen. Aus dem Smartphone kommt kein Ton mehr. Kein Rascheln der Bettdecke, kein Rauschen der Dusche, durchs Fenster kein Geräusch von der Straße. Aus den Mündern der eigenen Familie, die man sein Leben lang kennt, käme kein Ton mehr. Selbst mit Anstrengungen kann man vielleicht jedes fünfte Wort von den Lippen sprechender Menschen ablesen. Wahrscheinlich würden nach und nach Bekannte und Freunde verschwinden, die keine Gebärdensprache beherrschen oder lernen wollen. Ein persönliches Gespräch oder gar eine tiefgehende Diskussion ist mit den Hörenden nicht mehr möglich.

Dieses Szenario, das für die meisten wie ein Alptraum klingt, ist für schätzungsweise 80.000 Menschen in Deutschland Alltag. Diejenigen, die ihr Gehör erst im Laufe ihres Lebens verloren haben, kennen immerhin die laut gesprochene Sprache. Kinder, die ohne Gehör geboren werden, müssen sich in einer Welt zurechtfinden, in der die Menschen um sie herum eine Sprache sprechen, die sie nicht verstehen können. Oft genug gehören dazu die eigenen Eltern. Diese begreifen manchmal erst sehr spät in der Entwicklung ihres Kindes, dass es Probleme mit dem Hören hat.

Ein Kind, das gehörlos auf die Welt kommt, ist nicht nur damit konfrontiert, dass es mit der Gebärdensprache eine Sprache lernen muss, die es mit kaum jemanden außerhalb seiner Klasse üben kann. Leider gibt es immer noch viele Familien, in denen ein gehörloses Kind sich nicht oder nur sehr schwer mit seinen eigenen Eltern unterhalten kann, da diese nie die Gebärdensprache erlernen. Die Komplexität dieser Kommunikationsform ist für viele noch eine zu große Hürde.

Gebärdensprache ist komplex – und überall anders

Bei der Gebärdensprache machen die blitzschnell ausgeführten und für Ungeübte sehr komplizierten Hand- und Armbewegungen lediglich eine Komponente aus. Ein Großteil der Inhalte wird über Gesichtsmimik und Mundbewegungen vermittelt. Viele Gesten lassen sich nur im Kontext verstehen, so kann eine bestimmte Handbewegung drei oder vier verschiedene Bedeutungen haben, während ein kurzsilbiges Wort in der gesprochenen Sprache mehrere aufeinanderfolgende Fingerverrenkungen erfordert.

Dazu kommt, dass Gebärdensprache alles andere als universell ist. Zwar haben die meisten Länder eine eigene Standardsprache für Gehörlose – wie die Deutsche Gebärdensprache hierzulande, die British Sign Language BSL in England und die ASL in den USA. Doch die verschiedenen Zeichensprachen haben sich unabhängig voneinander entwickelt. Sprecher können also nicht einfach von britisch zu amerikanisch wechseln, ohne ganz von vorne anzufangen. Jede Region hat unterschiedliche Dialekte und jede Gruppe von Sprechern entwickelt individuelle Eigenheiten, in die Neulinge erst eingeweiht werden müssen.

Im digitalen Zeitalter stehen Gehörlosen Tools zur Verfügung, die ihnen das Leben etwas leichter machen. So sind besonders Video-Chat-Anwendungen ein Segen für Menschen mit Hör- und Sprechbehinderungen. Neben Skype ist besonders der Video-Kurznachrichtendienst Glide ein Favorit in der Gehörlosen-Community. Daneben können Apps wie Tap Tap mit Hilfe des Smartphone-Mikros akustische Signale wie Türklopfen, Klingeln oder Warnsirenen sichtbar machen. Was die Übersetzung von Gebärdensprache in gesprochene Worte angeht, sind die Betroffenen aber immer noch auf Simultandolmetscher angewiesen, die mit vor Ort sind oder manchmal per Video zugeschaltet werden können.

StorySign ist eine Vorlese-App für Gehörlose

Wie ist es aber im intimen Kreise der Familie, wenn die Eltern ihren gehörlosen Kindern Geschichten und Märchen vorlesen wollen, aber die Gebärdensprache nicht beherrschen? Mit StorySign startet jetzt ein Projekt, das Familien mit hörenden Eltern und gehörlosen Kindern unterstützen und die Gebärdensprache über die Tradition des Vorlesens zugänglicher machen soll. Dafür hat der chinesische Telekommunikationskonzern Huawei gemeinsam mit der European Union of the Deaf, also der europäischen Vereinigung für Gehörlose, eine KI-unterstütze App entwickelt, die es möglich macht, vorgegebene Texte in Kinderbüchern in Gebärdensprache zu übersetzen. So können Eltern mit ihren Kindern gemeinsam vor einem Buch sitzen und ein gemeinsames Leseerlebnis teilen.

Die Unterstützung für Familien mit gehörlosen Kindern ist minimal. Mark Wheatley

Für den Vorsitzenden der europäischen Gehörlosenunion, Mark Wheatley, ist das StorySign-Projekt ein wichtiger Schritt für die Entwicklung von gehörlosen Kindern: „Die Unterstützung für Familien mit gehörlosen Kindern ist minimal. Es gibt kaum ein öffentliches Bewusstsein für die Problematik. Es ist so wichtig, dass Kinder verschiedene Sprachen registrieren, und im Fall von Gehörlosen die Gebärdensprache so früh wie möglich lernen, am besten noch bevor sie fünf Jahre alt sind. Dann haben sie die besten Voraussetzungen, später weitere schriftliche, gesprochene Sprachen oder visuelle Gebärdensprachen zu lernen. StorySign kann dazu beitragen, die Bindung in Familien mit gehörlosen Kindern zu festigen und das Selbstbewusstsein der Kleinen zu stärken.“

Digitalisierung von Gebärdensprache eine gewaltige Herausforderung

Um eine möglichst genaue Darstellung der Zeichensprache zu erreichen und Kinder und Eltern eine vertrauensvolle Übersetzungshilfe an die Hand zu geben, hat sich Huawei mit dem britischen Animationsstudio Aardman Animations zusammengetan, das für familientaugliche Klassiker wie Wallace und Gromit und Shaun das Schaf verantwortlich ist.

Das Ergebnis der Zusammenarbeit ist Star, ein virtuelles Mädchen im Teenageralter, das in Gebärden spricht. Sie soll bei den Kindern Vertrauen erwecken und eine große-Schwester-Figur für sie darstellen. Schaut man sich die Entwicklung des Avatars an, so wird klar, wie groß die Herausforderungen sind, schriftliche Sprache in Gebärdensprache und umgekehrt zu übersetzen. Aufgrund der Feinheiten der Sprache ist es derzeit nicht möglich, einem digitalen Charakter einfach ein Set an Handbewegungen zu geben und diese hintereinander abzuspielen. Jeder einzelne Satz im Buch muss von einem mit Motion-Capturing-Sensoren versehenem Gebärdendolmetscher „eingesprochen“ werden. Dessen Bewegungen werden dann auf die CGI-Figur übertragen.

Creative Director Neil Pymer beschreibt das aufwendige Verfahren: „Wenn die Veröffentlichungsrechte für ein Buch gesichert sind, müssen wir zunächst einen Übersetzer in der entsprechenden Gebärdensprache finden, am besten jemand, der schon Erfahrungen im Motion Capturing hat. Die einzelnen Gebärden zeichnen wir physisch im Studio auf. Zwei verschiedene Firmen verarbeiten die so entstandenen Daten für Körper-, Gesichts- und Handbewegungen in digitale Bewegungsabläufe. Diese checken wir dann doppelt auf Fehler und können, wenn Unklarheiten auftauchen, noch manuell am Bildschirm re-animieren. Im nächsten Schritt werden die Animationen für Star zusammengefügt, beleuchtet und exportiert. Wenn die Animation in der App ist, müssen wir nochmal physisch durch jedes einzelne Wort im Buch und in der Datenbank gehen und Timecodes erstellen, um eine Verbindung zwischen Worten und Gesten herzustellen. Dann beginnt das Testing.“

Die StorySign-App erkennt den Text im Buch mit KI

Die StorySign-App funktioniert nur, wenn eines der damit übersetzten Kinderbücher physisch vorhanden ist. Es muss aber keine spezielle Edition dafür gekauft werden, ältere Auflagen sollen erkannt werden. Die Smartphone-Kamera wird auf eine Seite mit Text gerichtet und die App erkennt dann, an welcher Stelle im Buch sich der Leser befindet. Dass Kinder das Buch und das Smartphone nicht immer gerade halten und auch gerne mal herumwackeln, wurde bei der Entwicklung berücksichtigt, und soll dem Lesefluss keinen Abbruch tun. Dafür sorgt eine auf Texterkennung spezialisierte Künstliche Intelligenz.

Einmal erkannt, beginnt Star den Inhalt mit Handgesten und detaillierter Mimik in Gebärdensprache vorzutragen. Dabei leuchten die vorgelesenen Textabschnitte entsprechend auf. Schon nach kurzem Herumprobieren mit StarSign merkt jemand, der ungeübt in Gebärdensprache ist, wo die Eigenheiten dieser faszinierenden Kommunikationsform liegen. Der Satzbau ist meist vollkommen anders als in der Schriftsprache und manche Worte, über die man im Geschriebenen leicht hinwegliest, haben teils sehr ausführliche Entsprechungen als Handgesten. Für das Lernen von Gebärdensprache kann StorySign sicherlich eine gute Hilfe werden.

Der technische Aufwand und die Herausforderung, einen Text in eine visuelle Sprache zu übertragen, schränkt das Angebot an Lesematerial allerdings bisher noch ziemlich ein. Zum Launch von StorySign ist für deutschsprachige Leser nur das Kinderbuch Peter Hase: Ein Guckloch-Abenteuer erhältlich. Für andere Länder wurde der Kinderbuch-Klassiker Where’s Spot (Wo ist Spot) übersetzt. Insgesamt erscheint StorySign in zehn europäischen Sprachen und ihren verbreitetsten Gebärden-Entsprechungen: Englisch, Italienisch, Irisches Englisch, Belgisch, Schweizer-Deutsch, Deutsch, Portugiesisch, Spanisch, Französisch und Niederländisch.

StorySign läuft auf allen neueren Android Smartphones. Ab sofort ist Story Sign kostenlos im Google Play Store erhältlich. Eine Veröffentlichung für iOS-Geräte ist nicht geplant.

Spenden sollen mehr Bücher ermöglichen

Damit in Zukunft mehr Kinderbücher ihren Weg zu StorySign finden, setzen die Macher auf Spenden. Wer mehr Inhalte in der App lesen möchte und dabei die Gehörlosen-Community unterstützen will, kann seine Spenden an die Europäische Union der Gehörlosen richten. Diese Institution arbeitet mit Landesverbänden wie dem Deutschen Gehörlosen-Bund e.V. zusammen, Spenden aus einzelnen Ländern werden entsprechend weitergeleitet.

Die ersten internen Tests mit Kindern und ihren Familien in einem winterlich-weihnachtlichen Umfeld haben den Entwicklern viel Hoffnung für eine große Zukunft von StorySign gegeben. Die Kleinen hätten die App schnell begriffen und fühlten sich gleich zur Protagonistin Star hingezogen. Gerade schüchterne Kinder, die sich sonst nicht so recht trauten, Zeichen zu machen, kamen mit Hilfe dieser Anwendung mehr aus sich heraus, berichtet Huaweis Global Senior Product Marketing Manager, Peter Gauden.

StorySign kann der Anfangspunkt sein, der gehörlosen Menschen, besonders Kindern, zu einer besseren Ausdrucksweise und stärkerem Selbstbewusstsein hilft. Möglicherweise werden wir, wenn die technische Entwicklung weiter angetrieben wird, in Zukunft einmal virtuelle AR-Dolmetscher mit künstlicher Intelligenz haben, die Gebärdensprache vorwärts und rückwärts übersetzen können.

Hinweis: Dieser Artikel ist im Rahmen einer Reise zur StorySign-Präsentation entstanden, die auf Einladung von Huawei stattfand.