KNAW

Research

Integration of visual and auditory information in speech perception

Pagina-navigatie:


Update Research data


Title Integration of visual and auditory information in speech perception
Period 11 / 2004 - 12 / 2008
Status Completed
Dissertation Yes
Research number OND1317626
Data Supplier Website EMGO

Abstract (NL)

Voordat automatische spraakherkenning succesvol kan worden toegepast in een communicatiehulpmiddel zal de spraakherkenningtechniek moeten verbeteren. Ook zullen er methoden gevonden moeten worden om de taak voor de slechthorende minder complex te maken blijkt uit het promotieonderzoek van Adriana Zekveld. Problemen met het verstaan van spraak hebben een grote invloed op activiteiten die afhankelijk zijn van communicatie zoals telefoneren, vergaderen, werk en informele afspraken. Het presenteren van ondersteunende visuele informatie kan deze problemen deels verhelpen. Automatische spraakherkenning is een techniek waarbij spraak automatisch wordt omgezet in tekst. De toepassing van deze techniek in een hulpmiddel voor slechthorenden kan wellicht bijdragen aan het verstaan van spraak, vooral in situaties waarin de luisteraar de spreker niet kan zien (tijdens telefoongesprekken). De spraakherkenner herkent de spraak van degene waarmee de slechthorende een gesprek voert en de resulterende tekst wordt gepresenteerd zodat de slechthorende mee kan lezen met de spraak. Omdat automatische spraakherkenning nog niet foutloos werkt en bovendien tijd kost heeft Adriana Zekveld een aantal studies uitgevoerd waarin zij onderzocht of het verstaan van spraak ook verbetert wanneer de ondersteunende tekst deels incorrect is en enigszins vertraagd wordt weergegeven. Uit het onderzoek blijkt dat het presenteren van de tekst het verstaan van de spraak verbetert, al gaven de slechthorende proefpersonen echter wel aan dat het moeilijk is om tegelijk op de spraak te letten en de deels incorrecte tekst te lezen. Voor een succesvolle toepassing van de techniek moet er worden uitgezocht in welke omstandigheden de luisteraar wél profijt van het systeem ervaart.

Related organisations

Related people

Supervisor Prof.dr.ir. T. Houtgast
Doctoral/PhD student Dr. A.A. Zekveld

Classification

D23230 Neurology, otorhinolaryngology, opthalmology

Go to page top
Go back to contents
Go back to site navigation