kunstmatige intelligentie

Gebarentolken zijn schaars. Daarom leert een Amsterdams instituut een avatar gebarentaal

Een Amsterdams instituut probeert avatars te ontwikkelen die tekst kunnen omzetten in gebarentaal, als aanvulling op het beperkte aantal tolken. Nogal een klus: ‘Dit vakgebied zit nog in de babyschoenen.’

Ze draagt een paars T-shirt en een pittig kort kapsel, de gebarentaal-avatar van Floris Roelofsen. De animatiefiguur gebaart dat dit de site is van het SignLab Amsterdam: haar wijsvingers vormen een kruis dat ze drie keer herhaalt; de drie kruisen staan voor het gemeentewapen van Amsterdam. Vervolgens laat Roelofsen de avatar een uitgeschreven voorbeeldzin vertalen: ‘Wat wilt u eten?’ Het figuurtje trekt tijdens het gebaren haar wenkbrauwen op en draait uiteindelijk haar handen met de palmen naar boven: daarmee duidt ze aan dat de zin een vraag is.

Links het woord 'positief', rechts het woord 'negatief'. Beeld Signlab
Links het woord 'positief', rechts het woord 'negatief'.Beeld Signlab

Dankzij de coronapersconferenties is de gebarentolk een alledaagser verschijnsel geworden. Het aantal beschikbare tolken is echter beperkt en ze zijn – mede vanwege corona – niet overal inzetbaar. Aan een getekende tolk die geschreven tekst kan omzetten in gebaren wordt op meerdere plaatsen in de wereld gewerkt: gebarentaal verschilt per land.

Floris Roelofsen is bij het Amsterdamse Institute for Logic, Language and Computation (ILLC) onderzoeksleider voor het project dat een avatar bouwt die geschreven tekst vertaalt naar Nederlandse Gebarentaal (NGT). Hij kreeg er onlangs een Vici-beurs van 1,5 miljoen euro voor.

Hoe werkt zijn gebarentaal-avatar? ‘We maken gebruik van de JASigning Avatar Engine, ontwikkeld aan de University of East Anglia in Engeland’, legt Roelofsen uit. ‘Wij maken daarvoor complexe computercodes voor NGT-gebaren. Enerzijds handgebaren: handvorm, locatie, beweging, enzovoort. Anderzijds het niet-manuele gedeelte: wat doet de mond, wat het gezicht, welke beweging maakt het hoofd. Elke nuance krijgt een eigen code. Als we die codes invoeren, kan het systeem de avatar ermee besturen.’

Mimiek

Klinkt simpel, waarschuwt Roelofsen, maar dat is het niet: ‘We willen het hele gebarentaalwoordenboek coderen. We hebben nu 2.500 woorden ingevoerd, maar NGT kent er zo’n zestienduizend!’

Masterstudent Lyke Esselink is een van de whizzkids in dit project. Zij is gespecialiseerd in kunstmatige intelligentie en heeft NGT aardig onder de knie. ‘Gebarentaal vergt een heel andere mindset dan gesproken taal. Het probleem zit hem in de mimiek, die is essentieel voor de betekenis van het gebaar. Eenzelfde gebaar met een andere gezichtsuitdrukking, levert een ander woord op.’

De woorden 'Eerste Hulp'  Beeld Signlab
De woorden 'Eerste Hulp'Beeld Signlab

Belangrijk obstakel is dat het twintig jaar oude JASigning-systeem slecht is in gelaatsuitdrukkingen. Blij, boos, empathisch zijn: de avatar vindt dat moeilijk. Esselink: ‘In principe zou ik het moeten kunnen oplossen. Ik moet er nog veel mee spelen om uit te vinden hoe dan.’

Roelofsen wil dat het programma al doende in de praktijk wordt verbeterd: ‘De site is pas net in de lucht. Graag zouden we zien dat mensen uit de dovengemeenschap hierbij betrokken raken. Ik wil een uitleg maken over hoe het invoer-systeem werkt; een playground met knoppen waarmee ze wijzigingen kunnen aanbrengen. De avatar kan nu nog maar zo’n achtduizend zinnen vertalen. Door machine learning, geholpen door de dovengemeenschap, kunnen serieuze stappen worden gezet.’

Spraak

Voor het vertalen van spraak, bijvoorbeeld het journaal, is de avatar niet direct bedoeld: ‘Spraak is veel te ingewikkeld. Eerst moet de avatar geschreven tekst vertalen. Hopelijk kun je op termijn op deze technologie een spraakmodule plaatsen.’

Roelofsen heeft behalve een wetenschappelijke ook een persoonlijke drijfveer: zijn dochter – nu bijna 6 jaar – is doof. Jaarlijks worden in Nederland twee- tot driehonderd kinderen doof geboren. Voor hun ouders is er onvoldoende hulp om gebarentaal te leren. Zijn streven is daarom een hulpmiddel ontwikkelen waarmee de ouders van dove kinderen vanaf het eerste moment contact kunnen maken met hun kind. ‘Les krijgen van een menselijke docent en daarnaast de avatar inzetten als hulpmiddel. Dit gaat mensen niet zomaar gebarentaal leren, maar wel een ruggesteun geven.’

Op korte termijn streeft Roelofsen naar twee concrete toepassingen. Bijvoorbeeld omroepberichten van de Nederlandse Spoorwegen. ‘Stel dat je duizend templates maakt met plaatsnamen, minuten, spoornummers – daarmee kun je al iets moois en nuttigs bouwen. Een voordeel aan zichtbaarheid op stations en in treinen is bovendien dat gebarentaal er normaal door wordt.’

Het woord 'Huisgenoot' Beeld Signlab
Het woord 'Huisgenoot'Beeld Signlab

De tweede beoogde toepassing is het ziekenhuis. Aanleiding is de coronacrisis. Dove patiënten kunnen er niet liplezen, want het personeel draagt mondkapjes, en gebarentolken hebben beperkt toegang tot het ziekenhuis. De eerste stappen op weg naar zo’n ziekenhuisavatar zette Roelofsen samen met Anika Smeijers van Amsterdam UMC, een arts die ook gebarentaalkundige is. ‘Wij hebben afgelopen herfst een kleine subsidie gekregen van ZonMW voor het verbeteren van de communicatie met dove coronapatiënten. Die heeft het onderzoek een sterke impuls gegeven.’

Medische situaties

Daarom zijn de zinnetjes die de avatar al kan vertalen toegesneden op medische situaties. Overigens kan de dove patiënt niet antwoorden in gebarentaal, want zorgverleners snappen die niet. ‘In het systeem zitten veel ja/nee-vragen in plaats van open vragen: ‘Ik ga dit doen, vindt u dat goed?’ Klopt: echte communicatie is het niet. Maar wel een hulpmiddel.’

Onderzoeker deaf studies aan de Hogeschool Utrecht Maartje De Meulder is zelf doof. Ze is niet betrokken bij dit onderzoek. Zij ziet er voor- en nadelen aan. ‘Dit onderzoek biedt kansen. Maar levert zo’n technologie iets op dat de taalgebruikers zelf ook willen? Avatars zijn nog niet toepasbaar in situaties waarin informatie in realtime aangeboden wordt, waar interactie nodig is, of die complex zijn. Er kan wel worden gedacht aan contexten waarin sprake is van vooraf opgenomen informatie. We mogen ook het menselijk aspect niet vergeten: niemand wil in de toekomst enkel nog NGT zien die wordt voortgebracht door avatars.’

De avatar in haar paarse T-shirt is niet zaligmakend, dat vindt Roelofsen ook. Hij hamert erop dat onder alle omstandigheden een menselijke gebarentolk te prefereren is boven een avatar, wanneer zo’n tolk beschikbaar is. ‘Dit vakgebied staat echt nog in de babyschoenen’, waarschuwt hij. Maar de avatar in haar paarse T-shirt zal volwassener worden, met alle voordelen van dien.

137 gebarentalen wereldwijd

Gebarentaal is geen universele taal, evenmin als gesproken taal. In de loop der tijd zijn overal ter wereld door doven gebaren bedacht om te kunnen communiceren. Die zijn ieder voor zich uitgegroeid tot zelfstandige talen. Wereldwijd zijn er zo minstens 137 gebarentalen ontstaan, met een woordenschat en een grammatica. En dan zijn er ook nog allerlei dialecten in omloop.

De avatar van het Amsterdamse SignLab is dus niet zomaar toepasbaar voor Engelse of Spaanse of Arabische gebarentalen. Willen die gebruik maken van de gebarenavatar, dan zullen ze hun eigen gebarentaal woord voor woord moeten coderen.