App ontwikkelaar YipYip (Rotterdam)
Gebarentaal leren met de

Zin in NGT

app.

Ontwikkeld voor horende ouders van dove kinderen, ter ondersteuning van de communicatie met hun kind.

Digitaal leren van Nederlandse Gebarentaal

Vanuit de UvA (Universiteit van Amsterdam) is er een onderzoek gestart in samenwerking met de Koninklijke Auris Groep, om ouders meer leermogelijkheden te bieden op het gebied van gebarentaal. Specifiek gaat het hierbij om Nederlands Gebarentaal, kortweg: NGT.

Het doel van het onderzoek is om te bekijken of het aanleren van NGT ook daadwerkelijk op een digitale wijze (naast de traditionele begeleiding van een NGT-docent) kan worden ondersteund. De mobiele applicatie Zin in NGT maakt dan ook onderdeel uit van het onderzoek.

De Zin in NGT app is het middel geworden ter ondersteuning van dit onderzoek en is speciaal ontwikkeld voor (horende) ouders van dove kinderen – aangezien dove kinderen veelal horende ouders hebben.

Deze Gebarentaal app helpt in de ondersteuning van de communicatie met hun kind. Zin in NGT biedt video’s van zinnen in Nederlandse Gebarentaal (NGT) die veelvuldig gebruikt worden tijdens ouder-kind interactie.

Over dit project

Platforms

mobile

Klant
Universiteit van Amsterdam & Koninklijke Auris Groep

Release
2024

Up-to-date met de laatste gebaren

Evolutie van gebarentaal

Niet alleen de reguliere Nederlandse taal evolueert, hetzelfde geldt voor gebarentaal. Een herkenbaar voorbeeld is dat er gebaren zijn voor landen zoals 'Oekraïne' en 'Minster President', maar een naam als Zelensky is nog niet in gebarentaal uitgevonden. Sinds kort is dat gebaar er wel, omdat het veelvuldig in het journaal gebruikt en men hier op een snelle manier over wil communiceren.

Ook blijkt het veelbesproken gebaar voor "'hamsteren" door Irma Sluis niet het officiële gebaar. Maar omdat een grote populatie dit gezien heeft burgert het automatisch in, waardoor veel mensen het op deze unieke wijze zelf zijn gaan gebaren. Gebarentaal blijkt dan ook minstens net zo fluïde als de gesproken variant.

Het is daardoor van belang om goed op de hoogte te blijven van de nieuwste gebaren.

Altijd bij de hand met een mobiele app

Snel en eenvoudig toegang tot de juiste informatie

Nieuwe gebaren

Gebruikers landen automatisch op een pagina waar altijd de nieuwste gebaren worden gepresenteerd. Op deze manier komen zij altijd direct in aanraking met de content die recent is toegevoegd aan het platform.

Zoekfunctionaliteit

Door middel van een uitgebreide zoekfunctie kunnen gebaren worden gevonden. Gebruikers kunnen bijvoorbeeld filteren op thema of type van de zin, maar ze kunnen ook middels vrije tekst zoeken op woorden of specifieke zinnen. De content in de app is gericht op onderwerpen die vooral in de eerste levensfase van een kind belangrijk zijn. Onderwerpen als: eten en drinken, slapen en familie komen hierdoor veelvuldig terug.

Favoriete gebaren

Favoriete gebaren kunnen worden opgeslagen voor later, zodat deze via de zoekfunctie eenvoudig terug te vinden zijn. Dit kunnen gebaren zijn die veelvuldig gebruikt worden of juist nog wat oefening nodig hebben.

Maatwerk videoplayer

Complexe content vraagt om een intelligente oplossing

Optimale UX met een eigen videoplayer

De videoplayer is het centrale punt van de applicatie waar gebruikers het meeste van hun tijd door zullen brengen. Het doel van de app is immers om beter te worden in (nieuwe) gebaren en het niveau van gebarentaal te verhogen.

Binnen de iOS app en Android app hebben we dan ook een volledig eigen videoplayer gebouwd met diverse functionaliteiten.

Camerastandpunten

De gebaren worden van drie camerahoeken opgenomen, van voor, links en van rechts. De gebruiker kan in de video naadloos overschakelen tussen de verschillende camerastandpunten. Dit is vooral praktisch in gebaren wanneer handen elkaar raken of de ene hand de ander blokkeert.

Afspeelsnelheid

Om gebaren beter te kunnen bestuderen is het mogelijk om de afspeelsnelheid te vertragen. De standaard snelheid is 1x, deze valt te vertragen van 0.75 en 0.5 tot 0.25x. Video's zijn dus 4x zo traag af te spelen waardoor je goed kunt bekijken wat er gebeurt.

Ondertiteling

Alle voorbeeldzinnen worden gebaard door dove gebaarders en bij iedere video is zowel een Nederlandse als een letterlijke gebaar-voor-gebaar vertaling beschikbaar. Dit laatste is een zogenoemde glos.

Om te zorgen dat duidelijk is welk gebaar men bedoelt met een woord hebben we tevens word-highlighting ingebouwd. Hiermee wordt er woord-voor-woord aangegeven welk gebaar er op dat moment wordt geseind.

Uiteraard kunnen ondertitels ook volledig uitgezet worden om de video nog beter te kunnen bekijken.

Uitleg over de werking van gebarentaal

De Native app bevat tevens uitleg over de grammatica van NGT

M-Learning middels video

M-Learning staat voor mobile learning en omvat educatieve mobiele apps. Om gebruikers de verschillende gebaren te leren hebben we een database aan video's opgebouwd.

Iederevideo kan op verschillende snelheden én vanuit drie verschillende hoeken worden afgespeeld. Zo kunnen gebruikers van de app de gebaren die een zin vormen goed bestuderen.

Instructievideo's

Naast de video’s met de zinnen in NGT, zijn er ook diverse instructievideo’s beschikbaar. In deze video's wordt achtergrond informatie gegeven over het formuleren van zinnen, hoe je enkelvoud naar meervoud omzet en nog meer specifiele taalkundige aspecten.

Mobiele apps als onderzoekstool

Het inzetten van mobiele devices als middel voor onderzoek

Initiatief

Er is een onderzoek gestart door de Universiteit van Amsterdam in samenwerking met de Koninklijke Auris Groep om ouders meer leermogelijkheden te bieden op het gebied van gebarentaal. Specifiek NGT (Nederlands Gebarentaal).

Momenteel zijn er onvoldoende trainingen, lesmateriaal en docenten beschikbaar om een goed leertraject aan te kunnen bieden aan ouders. Het lesmateriaal wat er wél beschikbaar is wordt veelvuldig toegespitst op de interactie tussen volwassenen en zijn niet gericht op ouder-kind interactie.

Ouder-kind interactie

Doordat de ouders van dove kinderen meestal zelf wel horend zijn is het essentieel om hun kennis over gebarentaal zo hoog mogelijk te krijgen. Het is immers de enige manier waarop zij kunnen communiceren met hun kind. Dit is ook belangrijk voor de ontwikkeling van het kind.

Doel

Het eerste deel van het onderzoek is erop gericht om de catalogus van zinnen in de applicatie te optimaliseren zodat deze goed aansluit bij de gebruikers. Deze worden geëvalueerd met ouders en andere stakeholders.

Het uiteindelijk doel van het onderzoek is om te bekijken of het aanleren van NGT ook daadwerkelijk op een digitale wijze kan worden ondersteund.

Toekomstplannen

Wat ligt er in het verschiet voor de iOS & Android app?

Digitale avatar

Het doel is om in een vervolgstap te gaan kijken of we video's kunnen laten gebaren door een digitale avatar op basis van input van een mens. Op deze manier zou het mogelijk worden om sneller voorbeeldzinnen met gebaren te genereren, onafhankelijk van gebaarder.

Hierbij dient vooral gekeken te worden naar tracking van handen en gezichtsuitdrukkingen, omdat deze essentieel zijn voor het correct overbrengen van een boodschap.

Flutter app

De applicatie is volledig gebouwd met Flutter. Flutter apps worden gebouwd in één enkele codebase en vervolgens gebouwd voor zowel iOS als Android.

Het grote voordeel hierbij is dat we nieuwe ontwikkelingen en features eenvoudig kunnen toevoegen aan beide platformen zonder dubbele kosten.

Wil je ook een Flutter app laten maken of heb je interesse in de voordelen?

Gerelateerde zorg apps

Bekijk al onze digitale zorg projecten

Zorg app laten maken

Van webapplicaties tot mobile apps, alle software ontwikkelen we op maat.

Wil je een app laten maken voor in de zorg? YipYip heeft veel ervaring met mobiele zorgapps en we zijn tevens ISO27001 en NEN7510 gecertificeerd.

Kennis maken?