Talking HeadsJan Paller

1.2.2001

Seminar„Multimodale Mensch-Maschine-Kommunikation“

WS 00/01Universität Bielefeld

Zu beantwortende Fragen:

Was ist ein Talking-Head?

Wie funktioniert ein Talking Head?

Welche TH’s gibt es bereits undwelche Erkenntnisse hat mangewonnen?

Wozu braucht man ein solchesSystem?

Was ist ein Talking Head?

bisher:User -> Maschine

jetzt:Maschine -> User

• TH-Systeme modellieren einensynthetischen Agenten, mit dem derBenutzer kommunizieren kann.

• möglichst natürliche Kommunikationgefordert

-> Sprache + Gesichtsmimik

Wie funktioniert ein TalkingHead?

nötig:

• Modellierung des Gesichts

• Modellierung derLippenbewegungen

• Synchronisation von Audiound Video

verschiedene Möglichkeiten zurGenerierung des Gesichtes:

1. Spezifizieren jeder einzelnen

Bewegung

2. Motion Capturing

3. mit „Puppenspieler“

4. Text-to-Speech

5. Conversational Agent

Lippenbewegungen

• cartoonartig

• parameterbasiert

• kontextbasiert

• bildbasiert

• EMG-basiert

Synchronisation von Audiound Video

Menschen sind diesbezüglich sehrempfindlich

das Auge ist empfindlicher gegenüberVerzögerungen als das Ohr, je nachSchärfe des Tons

Audiokanal wird als Zeitgeberverwendet

Welche Talking Heads gibtes bereits?

August Baldi

Olga

August

schwedisches multimodalesDialogsystem

kommuniziert mit:• synthetischer Sprache• Gesichtsausdrücken• geschriebenem Text

war für sechs Monate im Einsatz mitgrösstenteils unerfahrenen Benutzern

Wie lief die Kommunikationmit August ab?

Es wurde viel Wert auf natürlicheKommunikation gelegt

Die Nutzer probierten verschiedeneAnsätze aus:

• Verkleinern des eigenen Vokabulars,Benutzung systemeigenerSprachstukturen

• möglichst kurze und allgemeinübliche Äusserungen (circa 4 Worte)

• Wiederholungen

Äusserungen liessen sich aufteilen in:

soziale Informations-suchende

15.626 Wörter 23.604 Wörter

„Hallo August!“„Wie alt bist du?“

„Wie spät ist es?“„Wo sind dieRestaurants inStockholm

sozialer Teil wahrscheinlich durch denanimierten Agenten beeinflusst

• nur 14% der Wörter nicht unter den200 häufigsten des KTH-Corpus

• 99 Wörter (oft Schimpfworte) kamenjedoch nicht im KTH-Corpus vor

Äusserungen wurden im Verlauf desDialogs nicht kürzer, sondern eherlänger:

• offensichtlich gab es kaum komplexeSyntaxstrukturen

• Strukturen in sozialer Kategoriewaren einheitlicher

• die meisten Äusserungen enthieltennur ein Verb

• komplexe Strukturen fast nur beiReferenzierungen und diese fast nurauf ganze Sätze

Wiederholungen:

circa 80% reine Wiederholungen bzwUmstellen der Satzstruktur

11% Reduzierung der Komplexität9% Erhöhung der Komplexität

Bei mehr als einer Wiederholung :erst Vereinfachung,dann Ersetzen von Wörtern

Schlussfolgerungen:

trotz einer grossen Anzahlverschiedener Kommunikations-Strategien scheinen nur geringelexikalische und syntaktischeKenntnisse seitens des Talking Headsnötig zu sein

Olga

• dreidimensionale animierte Figur

• kann auf eigene Initiative hin Tipsund Ratschläge geben

• hilft bei der Suche und Bearbeitungvon Datenbanken

Wozu dient ein solchesSystem?

Baldi wurde für drei Jahre zumSprachelehren bei tauben Kindernbenutzt

es zeigte sich ein sehr hoherMotivationsgrad

Wie geht es weiter?

August ist derzeit mit anderen TalkingHeads in der Öffentlichkeit zugänglich

Baldi bekam neue Modelle für Zunge ,Gaumen und Zähne-> bessere Möglichkeiten zum Lehrenvon Sprache bei Hörgeschädigten

transparente Haut, ausblendbare Teile-> z.B. besseres Erkennen derZungenbewegungen

Fazit

• Talking Head Systeme erleichtern dieMensch-Maschine-Kommunikation

• erhöhen die Robustheit derKommunikation durch Multimodalität

• eignen sich zum ErlernenzwischenmenschlicherKommunikation (auch neueSprachen)