1 medienintensive lehrmodule in der computerlinguistik-ausbildung teilprojekt a3, gesprochene...
TRANSCRIPT
![Page 1: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/1.jpg)
1
Medienintensive Lehrmodule in der Computerlinguistik-
Ausbildung
Teilprojekt A3, Gesprochene Sprache
Felicitas Haas, Wolfgang Hess, Bernhard Schröder
Universität Bonn
![Page 2: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/2.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 2IKP, Uni Bonn
Übersicht
• Einleitung: Motivation
• Inhalt des Moduls
• Szenario
• Multimediale Elemente
• Arbeitsplan
![Page 3: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/3.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 3IKP, Uni Bonn
Motivation des Moduls
Interdisziplinärer Charakter in der Sprachtechnologie
Informationstechnik / Informatik
Computerlinguistik Phonetik
z.B. Dialogsysteme, Sprachverstehenssysteme, Sprachsynthesesysteme
![Page 4: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/4.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 4IKP, Uni Bonn
Lernziel
• Überblick über die Entwicklung und den heutigen Stand von Sprachsynthese und Spracherkennung
• Verstehen und Beurteilung wichtiger Aspekte und Probleme der akustischen Mensch-Maschine-Kommunikation
![Page 5: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/5.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 5IKP, Uni Bonn
Grundlagen und Umfang des Moduls
• In Bonn: 3 zweistündige Vorlesungen, 1 Seminar – Grundlagen der Sprachsignalverarbeitung– Akustische Mensch-Maschine-Kommunikation 1,2– Material aus Seminar zum Thema Fokus
• Im Projekt:Äquivalent von 4 Semesterwochenstunden ?
![Page 6: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/6.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 6IKP, Uni Bonn
• Sprachausgabe: Sprachsynthese• Linguistische Aspekte der Verarbeitung gesprochener
Sprache
Inhaltliche Strukturierung
• Spracheingabe: Spracherkennung, Sprachverstehenssysteme
• Grundlagen der Sprachsignalverarbeitung[Exkurs: für die Verarbeitung gesprochener Sprache benötigte Mathematik]
• Einführung: Aufgaben und Einsatzmöglichkeiten der akustischen Mensch-Maschine-Kommunikation
![Page 7: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/7.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 7IKP, Uni Bonn
• Spektrogramm
Teilmodul Sprachsignalverarbeitung
• Bau des menschlichen Sprechtrakts
• Sprachsignale und ihre Darstellung im Rechner
• Kurzzeitanalyse
• Kurzzeitspektralanalyse
![Page 8: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/8.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 8IKP, Uni Bonn
Exkurs Mathematik
• Mathematische Grundlagen zur Sprachsignalverarbeitung
• Variable Ansteuerung durch das Teilmodul Sprachsignalverarbeitung
• Rücksicht auf individuellen Wissensstand der Studierenden
• Abbau der Scheu vor mathematischen Inhalten
![Page 9: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/9.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 9IKP, Uni Bonn
• Hidden-Markov-Modelle
• Klassische Mustererkennungsverfahren
• Einzelworterkennung
• Erkennung von Prosodie
• Probleme der Erkennung fließender Sprache und Spontansprache
• Dynamic Time Warping
Teilmodul SpracherkennungGrundprobleme
![Page 10: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/10.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 10IKP, Uni Bonn
• Anwendungen: einfacher, interaktiver, trainierbarer Spracherkenner mit geringem Wortschatz
Teilmodul SpracherkennungAnwendungen
• Spracheingabesysteme: Historische Entwicklung und Beispiele
![Page 11: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/11.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 11IKP, Uni Bonn
• Akustische Synthese– Verschiedene Prinzipien akustischer Synthese
• Direkte Sprachsynthese vom Sprachkorpus– Demonstration verschiedener Synthesesysteme
• Frage der Prosodie– Demonstration der prosodischen Manipulation
synthetischer und natürlicher Sprachsignale
Teilmodul Sprachsynthese
• Synthese auf segmentaler Ebene – Verkettung
![Page 12: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/12.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 12IKP, Uni Bonn
Teilmodul Sprachsynthese (2)
• Evaluierung der Qualität– Bewertung von synthetischen Stimuli
verschiedener Systeme
• Einige ausgewählte Anwendungen
![Page 13: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/13.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 13IKP, Uni Bonn
• Phonem-Graphem-Verhältnis• Beschreibung der Syntax gesprochener
Sprache• Prosodie als Mittel semantischer und
pragmatischer Markierung• Spracherkennung und Äußerungskontext• Dialogverarbeitung• Korpora gesprochener Sprache
• Gesprochene vs. geschriebene Sprache
Teilmodul Linguistische Aspekte
![Page 14: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/14.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 14IKP, Uni Bonn
• Individuelle Lerngeschwindigkeit und Lernziele
• Mehrere Lernpfade
• „Einstiegsmöglichkeiten“ in unterschiedlichen Kontexten
• Vernetzung mit anderen MiLCA-Modulen
Szenario
• Aufbereitung als Web Based Training
![Page 15: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/15.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 15IKP, Uni Bonn
Kenntnisstand
Lernprozess im Teilmodul
A1 A2 A3 Ak.....
Lernfortschritt
![Page 16: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/16.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 16IKP, Uni Bonn
Vernetzung der (Teil-)Module
Grundlagen der Sprachsignalverarbeitung
Mathematik
Spracheingabe Sprachausgabe
Linguistische AspekteAndere MiLCA-Module
![Page 17: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/17.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 17IKP, Uni Bonn
Vernetzung mit anderen ModulenLinguistische Aspekte
• Beschreibung der Syntax gesprochener Sprache
• Prosodie als Mittel semantischer und pragm. Markierung
• Spracherkennung und Äußerungskontext
• Dialogverarbeitung• Korpora gesprochener
Sprache
Parsing und Grammatik
Computational Semantics
Computational Semantics
Dialogsysteme Texttechnologie
![Page 18: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/18.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 18IKP, Uni Bonn
• Vokaltraktsimulator
• Graphisch unterstützte Manipulation von
Sprachsignalen (Grundfrequenz, Dauer, etc.)
• Akustische Synthetisatoren
• Spracherkenner mit begrenztem Wortschatz
Multimediale Elemente
• Virtuelles Sprachsignallabor
![Page 19: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/19.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 19IKP, Uni Bonn
• Selektion von Teilsignalen
• Oszillogramm
• Spektrogramm
• Einzelspektrum
Sprachsignallabor
• Akustische Aufnahme und Wiedergabe
![Page 20: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/20.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 20IKP, Uni Bonn
BeispielBreitbandspektrogramm
![Page 21: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/21.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 21IKP, Uni Bonn
Vokaltraktsimulator
Mittsagittalschnitt (aus Fellbaum, 1984) und simulierter Vokaltrakt (aus Klöcker, 2001) am Beispiel des Vokals [a:]
![Page 22: 1 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung Teilprojekt A3, Gesprochene Sprache Felicitas Haas, Wolfgang Hess, Bernhard Schröder](https://reader035.vdocuments.net/reader035/viewer/2022070310/55204d6349795902118b8510/html5/thumbnails/22.jpg)
17.9.2001 Medienintensive Lehrmodule in der Computerlinguistik-Ausbildung 22IKP, Uni Bonn
ArbeitsplanArbeitsplan