TIVOLI

Teckeninlärning via datorspel och lekfull interaktion

Finansiering
Projektet finansieras av Post- och Telestyrelsen.

Samverkande partner
Avdelningen för Tal, Musik och Hörsel, Kungliga Tekniska Högskolan (KTH) och spelföretaget Liquid Media i Stockholm

Bakgrund
Många barn har behov av tecken i olika former och sätt för sin kommunikation. Tecken som stöd och tecken som alternativ och kompletterande kommunikation (TAKK) kan användas till barn för att förtydliga det som sägs. Barn som behöver TAKK får inte automatiskt utbildning i detta utan lär sig genom föräldrar, personal och olika resurser som teckenböcker och teckenprogram. På vilket sätt och hur mycket barnen och de runtomkring lär sig beror alltså mycket på motivation och tillgängliga resurser.

Syfte
Projektets övergripande syfte är att utveckla ett datorspel där barn tillsammans med familj och vänner kan lära sig och öva på tecken. Vi vill utvärdera hur spelet upplevs av målgruppen, om det stimulerar till användning och om inlärningen påverkas av ett aktivt och socialt deltagande. Projektet är beräknat att pågå mellan september 2011 och september 2013.

Metod
Projektets målgrupp är barn som använder TAKK i sin kommunikation. I projektets första fas hölls fokusgruppsintervjuer med personal på förskolor och föräldrar till barn som behöver tecken i sin kommunikation för att ta reda på vad för typ av innehåll och utseende som är önskvärt.

Tanken är att spelarna styr vad som händer på skärmen genom att använda tecken. I spelet kommer det att finnas avatarer som använder tecken. Tekniskt sett består spelet av flera delar. En del är själva spelmotorn som styr grafik och ljud. En annan del är en teckendatabas, där tecken och regler för hur de ska animeras ligger. Animeringen av tecken görs via en teknik som kallas för motion capture. Ytterligare en del i spelet är en teckentolkningsmodul. Den använder en teknik för handigenkänning för att tolka användarens tecken, som registreras via en kamera.

Under de olika faserna av utvecklingen av dessa delar har vi låtit familjer prova och utvärdera aktuell version av spelet, och deras synpunkter har beaktats vid fortsatt utveckling. Båda barn och föräldrar har intervjuats. Barnen har fått göra vokabulärtester före och efter testperioden och filmats under tiden de testat.

Resultat
Genom att man själv aktivt deltar i spelet är vår förhoppning att det blir ett roligt sätt att använda och lära sig tecken på. Vi hoppas att få ökad förståelse för vad som upplevs som roligt och stimulerande för barn i en inlärningssituation, och på om tal- och teckenvokabulären utökas vid en sådan här typ av inlärning. Projektet är utvärderat i en magisteruppsats i logopedi som kommer att läggas ut här när den är färdig.

Produkter/material
Projektet har resulterat i att två olika tekniker har tagits fram, en för igenkänning av tecken och en för att spela in och animera tecken i 3D med hjälp av en teknik som kallas motion capture. Ett teckenstyrt spel har också tagits fram i samråd med barn och föräldrar. Spelet fungerar på Windowsdator tillsammans med en Kinect.

Här kan du läsa slutrapporten för TIVOLI.

Här kan du läsa en magisteruppsats som utvärderar TIVOLI.


Projektledare
Jonas Beskow, KTH

Kontaktperson på DART
Britt Claesson, DART, 031-3420809, britt.claesson@vgregion.se