Download - Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)
![Page 1: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/1.jpg)
Spreekvaardigheidstrainingmet behulp van
Automatische Spraak-Herkenning (ASH)
Helmer Strik
Afdeling TaalwetenschapCentre for Language and Speech Technology (CLST)Radboud Universiteit Nijmegen
Radboud University Nijmegen
![Page 2: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/2.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 2
Overview
IntroductieASH: automatische spraakherkenningASH & CALL(computer assisted language learning)ASH & spreekvaardigheid
ProjectenConclusies
![Page 3: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/3.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 3
IntroductieStudenten die 1-op-1 instructie krijgen
presteren even goed als de top 2% van de studenten die traditionele klassikale instructie krijgen [Bloom 1984]
Een privé docent voor iedere leerling is niet haalbaar
è computertutor
CALL: computer assisted language learningToenemende belangstellingVeel tekst-gebaseerde systemen
Hoe zit het met spraak?
![Page 4: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/4.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 4
TNS: tekst-naar-spraakEr zijn wel applicaties met ‘spraak’:
Reading pen
Screen readers [:]
Mobiele telefoon: foto + OCR + TNS
Enkele zijn ook bruikbaar voor CALL TNS: tekst-naar-spraakTTS: text-to-speechKwaliteit goed genoeg?
![Page 5: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/5.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 5
TNS: tekst-naar-spraak (vervolg)Applicaties met ‘spraak’
Screen readers, reading pen, etc.Enkele zijn ook bruikbaar voor CALL
Echter, meestal kan de leerlingalleen luisteren (TNS: tekst-naar-spraak)of, ook spreken, maar …
geen evaluatie, ofde leerling moet zelf de evaluatie doenbijv. door te vergelijken met voorbeelden
Automatische evaluatie en feedbackè gebruik ASH, spraaktechnologieWat zijn de mogelijkheden?
![Page 6: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/6.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 6
ASH: automatische spraakherkenning
Decoder
AcousticModels
Lexicon LanguageModel
Speech SignalInput
W1 W2 W3 W4
WordsOutput
![Page 7: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/7.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 7
ASH: automatische spraakherkenningWat is ASH?
spraak-naar-tekst conversie
Applicaties:Dicteren (spreken i.p.v. typen)Command and control (PC besturen)Gesproken dialoogsystemen (informatie)etc.
ASH is niet perfect, zal dat waarschijnlijk nooit worden, zeker niet voor niet-moedertaal sprekers
Dit is ook het geval voor mensen!
![Page 8: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/8.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 8
Spraakherkenning
������
��
��
mii
![Page 9: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/9.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 9
ASH & CALLWat is al gedaan?
TNS: tekst-naar-spraakde PC ´ spreekt ´De leerling luistert
Reading tutorsde leerling leestde PC luistert
[:]
Interactive BooksVnl. leesvaardigheid
![Page 10: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/10.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 10
ASH & spreekvaardigheidNiet-moedertaal sprekers; projecten:
Computergestuurde SpreekvaardigheidstoetsDutch-CAPTDISCOTST-AAP
Mensen met communicatieve beperkingen
Trainen van spreekvaardigheidFeedback over fouten => ASH
ASH is niet perfect, en zal dat waarschijnlijk nooit zijnmet name voor niet-moedertaal sprekers
Weten wat wel / niet mogelijk is met ASHen daar goed rekening mee houden!
afge-lopen
nog lopend
deze presentatie
![Page 11: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/11.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 11
Dutch-CAPT
Dutch-CAPT project(Computer Assisted Pronunciation Training)
Trainen van spreekvaardigheid:uitspraak
![Page 12: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/12.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 12
Video: een voorbeeld
![Page 13: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/13.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 13
![Page 14: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/14.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 14
Maximaal 3 keer proberen
![Page 15: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/15.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 15
![Page 16: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/16.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 16
![Page 17: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/17.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 17
Een les
�� �������� ���������������������� �������� ��������������������
������������
������������
������������
� ������� ������
������������������� �������� �������� !������������������� �������� �������� !
![Page 18: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/18.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 18
Een les
�� �������� ���������������������� �������� ��������������������
������������������"!������������������"!
� ������� ������
������������
��������������
� ������� ������
![Page 19: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/19.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 19
![Page 20: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/20.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 20
Dutch-CAPT (vervolg)(CAPT: Computer Assisted Pronuciation Training)
EvaluatieExp. group: used the Dutch-CAPT systemControl group: didn’t use Dutch-CAPT
� Studenten positief (leuk, nuttig, etc.)� De verbetering (reductie in het aantal uitspraakfouten)
was significant groter voor de exp. groep die het Dutch-CAPT systeem gebruikte.
Training: slechts 4 weken x 1 sessie van 30-60 minuten
![Page 21: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/21.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 21
Percentage fouten
0.00%
5.00%
10.00%
15.00%
20.00%
25.00%
Exp. NiBu Exp. NiBu
11 doelklanken andere klanken
% errors (relative to type)
pre-test
post-test
![Page 22: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/22.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 22
2 Stevin projecten:DISCO: NT2, spreekvaardigehidTST-AAP: NT2, alfabetisering
Stevinstimuleringsprogramma voor TST voor het Nederlands gefinancierd door de Vlaamse en Nederlandse overheid gecoördineerd door de Nederlandse Taalunie (NTU)
![Page 23: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/23.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 23
Stevin project DISCOTrainen van spreekvaardigheid
uitspraak, morfologie, syntax
� CorrectVoorbeeld Ik loop naar huis
� FoutenUitspraak Ik lop nar guisMorfologie Ik lopen naar huisSyntax Ik naar huis lopen
Fouten automatisch detecterenm.b.v. spraaktechnologie
![Page 24: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/24.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 24
ASR
DisplayLogic
PromptGenerator
Words
Segmentation
ErrorDetectionGrading
FeedbackGeneration
![Page 25: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/25.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 25
Stevin demonstratie-project TST-AAPAlfabetisering met een luisterende computer
Bestaand methode:Auteur: Ad BakkerUitgeverij: Boom
Spraaktechnologie toevoegen:Detecteren of woorden & klanken (correct) uitgesproken zijn
![Page 26: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/26.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 26
ASH & lerenVoordelen van spraak (t.o.v. schrijven)
‘Self-explanation’Extra informatie:
Prosodie (klemtoon, accent, vraag, etc.)Emoties‘Houding’
Andere bruikbare technieken:VTH: virtual talking head [:]
![Page 27: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/27.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 27
ConclusiesASH is niet perfect
Leren m.b.v. ASH is mogelijk (beperkt domein)Algemene onderwerpen: rekenen, fysica, etc.Taal i.h.a.Spreekvaardigheid
Nodig:Mix van expertise: techn., pedagogie, design, …Verbeterde ASH, spraak technologieMeer projecten: R&D
![Page 28: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/28.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 28
Questions?
![Page 29: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/29.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 29
![Page 30: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/30.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 30
Dutch CAPT: overzichtHet programma bevat 4 lessen die ieder bestaan uit:Video: soap-opera met Nederlandse acteurs (uit Nieuwe
Buren, een communicatieve multimediale leermethode)
3 verschillende soorten oefeningen:22 dialogen: rol spelen46 oefeningen: vragen beantwoorden38 oefeningen: woorden uitspreken
![Page 31: Spreekvaardigheidstraining met behulp van ASH (Helmer Strik, Radboud Universiteit Nijmegen)](https://reader034.vdocuments.net/reader034/viewer/2022051514/5482cff65906b594158b45fa/html5/thumbnails/31.jpg)
Radboud University NijmegenIvTI, Rotterdam, 20-11-2008 31
����������������������������������������������������� ���� ���� ���� ���
������������������������ ������������������������
����������������������������
������������������������������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������
���
�������������������������� �� �� ��
����������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������������������
������������������������������������
!�������"�������!�������"�������!�������"�������!�������"�������
�����#�����!�����������#�����!�����������#�����!�����������#�����!������
$���������������%$���������������%$���������������%$���������������%
�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%
��+����+����+����+��
�����!�����������!�����������!�����������!������
����������,�������������,�������������,�������������,���
�������������������������������������������������������������$���������$���������$���������$������������%%%%
����������������������������������������������������� ���� ���� ���� ���
������������������������ ������������������������
����������������������������
������������������������������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������
���
�������������������������� �� �� ��
����������������������������
��� ��� ��� ���������������������������
��������������������������������������������
��������������������
������������������������������������
!�������"�������!�������"�������!�������"�������!�������"�������
�����#�����!�����������#�����!�����������#�����!�����������#�����!������
$���������������%$���������������%$���������������%$���������������%
�&'�$()*%�&'�$()*%�&'�$()*%�&'�$()*%
��+����+����+����+��
�����!�����������!�����������!�����������!������
����������,�������������,�������������,�������������,���
�������������������������������������������������������������$���������$���������$���������$������������%%%%