sprachverarbeitende systeme - techfak.uni-bielefeld.de file12. vorlesung methoden der k nstlichen...

Universit�t Bielefeld

6 Intelligente Systeme12. Vorlesung: Sprachverstehende Systeme

Methoden der K�nstlichen IntelligenzBernhard Jung Ê WS 2001/2002

12. Vorlesung Methoden der K�nstlichen Intelligenz 2


Sprachverarbeitende Systeme

u Dialogsystemel z.B. Zugauskunft per Telefon

u Maschinelle Übersetzungl z.B. Echtzeit-Übersetzung von Telefongesprächen

l z.B. Übersetzung von Webseiten, technischen Dokumenten

u Natürlichsprachliche Steuerung von technischen Systemenl z.B. SFB 360 „Situierte Künstliche Kommunikatoren“

u Wissenserwerb aus natürlichspr. Texten (Text Mining)u Automatische Textzusammenfassungenu ...



Dialogsysteme

Probleme bei der Verarbeitung von sprachlichen Eingaben:

u Strukturelle Analyse der natürlichen Sprachel Syntaxproblem

u Erfassen der Bedeutung unter Bezug auf ein Weltmodelll Semantikproblem

u Ableitung einer Antwort (in symbolischer Repräsentation)l Inferenzproblem

u Generierung einer Antwort in natürlicher Sprachel Generierungsproblem



SHRDLU und die Blockwelt

u ein Programm soll (englisch gestellte) Fragen über einesimulierte Blockwelt verstehen

u auf solche Fragen (auf englisch) eine Antwort geben

u (auf englisch gegebene) Instruktionen verstehen, um dieKlötzchen zu verschieben

u jede Instruktion in eine Reihenfolge von Operationen, diedas Programm ausführen kann, zerlegen

u „verstehen“, was getan wurde und warum

u ausgeführte Handlungen und Gründe dafür beschreiben

nach dem alten Code „ETAOIN SHRDLU“, mit dem Linotype-Setzer Satzfehler in Zeitungsspalten markierten ...



SHRDLU (1972)

Terry Winograd



SFB 360

Sprachlich-gestische Instruktiontechnischer Systeme



Sprachanalyse: Teilprobleme

u Problem: Welche Worte werden kommuniziert?

l Erkennung eines Schalleindrucks als Folge von Worten

l Erkennung der Wortgrenzen (Segmentierung)

u Problem: Erkennung einer Folge von Worten als Satzl funktionale Struktur der Satzkonstituenten?l verschiedene Lesarten (Mehrdeutigkeiten) möglich/aufzulösen?

u Problem: In welcher Sinnrelation stehen die Wortezueinander?

akustisch-phonetisch

morphologisch-syntaktisch

semantisch-pragmatisch



Linguistisches Glossaru Morphologie (Wortbildungslehre):

betrifft die Zusammensetzung vonWörtern aus Stämmen, Vor- undNachsilben sowie anderen Wörtern

u Syntax (Lehre vom Satzbau):befaßt sich mit den Regeln, nachdenen sich Wörter zu Satzteilenund Satzteile zu Sätzen verbinden.

u Semantik (Bedeutungslehre):befaßt sich mit der Bedeutung vonWörtern und Sätzen.

u Pragmatik (umstandsbezogeneBedeutungsinterpretation):Abhängigkeit der Bedeutungen vonKontext und Sprechsituation

u Konstituente /Satzteil: Durch dieGrammatik definierter Teil einesSatzes oder Satzteils.

u Konstituentenstruktur : Struktureines Satzes, die ausdrückt, wieTeile des Satzes sich zu größerenEinheiten verbinden.

u Syntaxbaum /Strukturbaum/ParseTree: Darstellung der Konstituenten-struktur eines Satzes.

u Lexikon (Dictionary): eine Daten-basis, die Wörter einer Sprache mitder zugehörigen morphologischen,syntaktischen und semantischenInformation enthält.



Syntax, Semantik, Pragmatik

u Syntaxstrukturelle Beschreibung des Satzbaus

(Subjekt, Prädikat, Objekt; Schema der Fragebildung)

u Semantikformale Beschreibung des propositionalen Gehalts((grün(x), Suppe(y), in(x,y)) , ?)

u PragmatikVerwendung in der kommunikativen Situation,

intendierte Funktion (Information, Lob, Kritik)

m�gliche Antwort: ãWenn es dir hier nicht schmeckt,

kannst du ja woanders

essen gehen!Ò

Beispiel: ãWas ist denn das Gr�ne

hier in der Suppe?Ò



Sprachanalyse: AufgabenSyntaktische Analyse

Semantische Analyse

a) als Folge zweier getrennter Prozesse (hier)

b) als integrierte Aufgabe

Parsing (meist): syntaktische Analyse

• Was ist die funktionale Struktur der Satzkonstituenten?

Dazu braucht man

• Syntax-Regeln: Grammatik• ein Verfahren, diese Regeln anzuwenden: Parser

Kompetenz: Kenntnis der Regeln

Performanz: Fähigkeit, sie anzuwenden

Fokus jetzt:

Übergang vom geschriebenen Satz zur internen Repräsentation

SyntaktischeAnalyse

SemantischeAnalyse

Parse Tree

Symbolische Repr�sentation



Grammatikenformalisieren das Wissen über die Sprachstruktur mit Hilfe von

Ersetzungsregeln (rewrite rules), mit denen sich Sätze der

Sprache erzeugen lassen.

Nichtterminale Symbole/Konstituenten/Knoten

treten zur Beschreibung der internen Satzstruktur auf

(z.B. np, vp, det, noun, verb,... )

Terminale Symbole/Konstituenten/Knoten

repräsentieren Elemente von Sätzen der betrachteten

natürlichen Sprache

(z.B. the, frog, ate, ...)Einfacher Fall: Kontextfreie Grammatik

Vgl.: GrammatikG = (

��R, S )

aus der VorlesungTheor. Informatik



Eine kontextfreie Grammatik

s-maj –> s final-puncs –> np vpvp –> verb npnp –> det nounnp –> proper-noundet –> thenoun –> boynoun –> frogverb –> ateverb –> lovesproper-noun –> Jackproper-noun –> Bill...final-punc –> .

s-maj

s final-punc

np vp

proper-noun

Bill

verb np

loves

det noun

the frog .

und eine Ableitung



Problem: Gegeben ein Satz als Folge von Wörtern.

Finde den zugehörigen Syntaxbaum.

1. Grundmethode:

Bottom-up Parsing --> Beispiel 1

Idee: Die Syntaxregeln werden "rückwärts" benutzt, bis sich der Satz

auf das Startsymbol der Grammatik zurückführen läßt.

2. Grundmethode:

Top-down Parsing --> Beispiel 2

Idee: Beginne mit dem Startsymbol der Grammatik und expandiere

durch Ausdrücke, die nach den Grammatikregeln möglich sind.

Parsinghier nur am Beispiel kontextfreier Grammatiken



Beispiel 1: Bottom-up-Parsing

s-maj –> s final-puncs –> np vpvp –> verb npnp –> det nounnp –> proper-nounnp –> pronoundet –> thedet –> anoun –> boynoun –> frogverb –> ateverb –> lovesproper-noun –> Jackproper-noun –> Billpronoun –> hefinal-punc –> .

he ate a frog .

he ate a frog .

pronoun

np

he ate a frog .

pronoun

np

he

verb

ate a frog .

pronoun



Beispiel 1: Bottom-up-Parsingnp

he

verb

ate a frog .

pronoun

np

he

verb

ate a frog .

pronoun

np

he

verb

ate a frog .

pronoun

det noun

det

det noun

final-punc




Beispiel 1: Bottom-up-Parsing

final-puncnp vp

he

verb np

ate

det noun

a frog .

pronoun

s-maj

s final-punc

np vp

he

verb np

ate

det noun

a frog .

pronoun

s final-punc

np vp

he

verb np

ate

det noun

a frog .

pronoun

final-puncnp

he

verb np

ate

det noun

a frog .

pronoun



Schwierigkeit bei bottom-up

np

np

• Die Ersetzungsregeln sind zu interpretieren als

"<linke Seite> kann ersetzt werden durch <rechte Seite>".

• Wenn mehrere Regeln anwendbar sind, kann ein begonnener

Syntaxbaum u.U. nicht konsistent weitergebaut werden.

That can made him sick.

That can make him sick.

Einziger Weg:

• Solange durchprobieren, bis eine Kombination von Regelanwen-

dungen gefunden wird, die einen vollständigen Syntaxbaum liefert.

• Bei mehreren voneinander unabhängigen Ambiguitäten:

exponentiell viele Möglichkeiten!

noun –> can

modal –> can



Beispiel 2: Top-down-Parsing

s-maj

s final-punc

np vp

pronoun

he

verb np

ate

det noun

a frog .


Beginne mit dem Startsymbol der Grammatik und expandieredurch Ausdrücke, die nach den Grammatikregeln möglich sind,bis der Satz dasteht.



• Für bestimmte Sätze ist "top-down" besser als "bottom-up", für

andere schlechter – keine Methode ist grundsätzlich überlegen.

Did you hit Bill?

• Striktes top-down parsing beginnt mit s –> np vp und würde (hier

ohne Ergebnis) erst alle Möglichkeiten suchen, np zu expandieren.

• In vielen Fällen werden top-down Parser vorgezogen (einfacher zu

realisieren).

• Sehr bekannte top-down Parser sind die sogenannten ATN-Parser.

(Augmented Transition Networks)

Vergleich bottom-up/top-down

Hilfsverb



Subjekt-Verb-Kongruenzam Beispiel der Numerus-Kongruenz

Den grammatisch falschen zweiten Satz darf ein Parser nicht

akzeptieren/generieren.

Deshalb muß die Übereinstimmung des Numerus von Nomen

und Verb geprüft werden (number agreement).

Umgekehrt kann man bei angenommenen number agreement

auf sonst nicht erkennbare syntaktische Merkmale schließen.

The boys are hungry.

*The boys is hungry.

The fish is hungry.

The fish are hungry.

3s

3p

Singular Plural

Abkürzg. Beispiel Abkürzg. Beispiel

erste Person

zweite Person

dritte Person

I am hungry. We are hungry.1s 1p

You are hungry. You are hungry.2s 2p

She is hungry. They are hungry.3s 3p



Syntaktische Features

Numerus (number) 1s, 2s, 3s, 1p, 2p, 3pa) für Nomina

b) für Verben

Zeit (tense) Infinitiv Präsens, Vergangenheit,Verlaufsform, Partizip Perfekt

etc.

Satzmodus (mode) Frage, Aussage, Befehl(Interrogativ, Deklarativ, Imperativ)



TransformationsregelnUm den Parser zu befähigen, subject-verb agreement zu beherrschen,

werden spezielle Regeln eingeführt.

Informelle Beschreibung einer solchen Regel:

Das Subjekt np und das Hauptverb verb müssen denselben

Feature-Wert bei der Numerus-Dimension aufweisen.

• Solche Regeln sind i.a. nicht kontextfrei formuliert (allerdings gibt es

Ansätze, in denen das versucht wird).

• Sie werden z.B. als Transformationsregeln in sog. Transformations-

grammatiken formuliert. [Bei Bedarf: Charniak/McDermott S.188-193]

s

np{number} vp

verb

s

np{number} vp

verb{number}



Morphologisches LexikonWoher weiß der Parser, welches Feature ein gegebenes Wort hat?

Im Lexikon stehen für jedes Wort der Sprache

• sein Sprachpartikel (syntaktische Kategorie)

• ggfs. nodefault values für die Merkmale (features)

• Information über seine Bedeutung (kommt später)

• ggfs. Verweis auf seine Stammform (root) etc.

Morphologisches Lexikon

vs. Vollformenlexikon

lieben liebt liebte

geliebt ungeliebt

morpho-logischeAnalyse



Lexikon-Eintr�ge f�r den Parser

u Aufbau eines Lexikons z.B. miteiner Funktion „dictionary“

u Jeder Lexikon-Eintrag hat eineder folgenden Formen:

(word part-of-speech –feature-assignments– )

(word root-form part-of-speech–feature-assignments– )

(dictionary(a det)(be auxverb (tense = tenseless))(is be auxverb (tense = present)

(v-number = 3s))(block noun)(block verb)(can modal

(v-number =1s 2s 3s 1p 2p 3p))(do modal)(did do modal (tense = past)

(v-number = 1s 2s 3s 1p 2p 3p))(fish noun (n-number = 3s 3p))(frog noun)(jack proper-noun)... )

optional



Von Syntax zu SemantikBisher: Natürlichsprachlicher Satz –> Syntaxbaum

Jetzt: Syntaxbaum –> interne Repräsentation

semantische Analyse

> vereinfachte Betrachtung> Hauptzweck: Motivation

Zwei Teilaufgaben:

• Disambiguierung von Wortsinn und Referenz

• Überführung in eine symbolische Repräsentation (in der gewählten internen Repräsentationssprache)

SyntaktischeAnalyse

SemantischeAnalyse

Parse Tree

Symbolische Repr�sentation



Bsp.: Definite Beschreibungen

block-1

block-2

table-1

block-3

gegeben durch definite Nominalphrasen (definite noun phrases)

"the red block"

• Erwartung: bezieht sich auf einen definiten Referenten

• muß Bezug auf "Weltmodell" (hier: die faktische Szenenbeschreibung) auslösen wie folgt:

Beschreibung der Szene durch Fakten (in assertional notation)

(inst table-1 table)

(inst block-1 block)

(color block-1 red)

(supported-by block-1 block-2)

(inst block-2 block)

(color block-2 blue)

(supported-by block-2 table-1)

(inst block-3 pyramid)

(color block-3 yellow)

(supported-by block-3 table-1)

(retrieve-val Õ?x Õ(and (inst ?x block) (color ?x red))) (wäre hier: x = block-1)



Semantische InterpretationAufbau der Repräsentation für "the red block" erfordert:

• Zuordnung von Bedeutungen zu den einzelnen Wörtern(zu finden in einem Konzept-Lexikon):

red - -> (color ?x red)

block - -> (inst ?x block)

the - -> retrieve-val

• Kombination der einzelnen Wortbedeutungen, um Bedeutung der Wortgruppen zu erhalten:

red block - -> (and(inst ?x block)(color ?x red))

the red block --> (retrieve-val '?x '(and (inst ?x block) (color ?x red)))

• Anbindung dieser Prozesse an den syntaktischen Parser

Prinzip der

kompositionellen Semantik.

(Theorie über Verstehen der

Bedeutung von Sprache)

1. Syntaktische Analyse

2. Ableitung der Bedeutung

des Ganzen aus der

Bedeutung der Teile.

Es gibt andere Formen der

semantischen Interpretation.



Syntaktisch-semantische Analyse

Einbezug der semantischen Interpretation bereits bei

der Syntaxanalyse, um den Parser zu führen (unsinnige

Analysen der Satzkonstituentenstruktur auszuschalten).

Ich las einen Artikel über den Vietnamkrieg in der Zeitung.

Ich las einen Artikel über den Vietnamkrieg in der Zeitung.

• Die interne Repräsentation wird

zur gleichen Zeit aufgebaut wie

die syntaktischen Beziehungen.

• Dazu werden in die (z.B. ATN-)

Grammatik Regeln einbezogen,

die parallel zur Syntaxanalyse

Fakten in einer Datenbasis

assertieren: interne Repräsentation.

Beispiel: Einführung von Referenten

für Nominalphrasen

[Hier nicht weiter betrachtet.]

(anderer Ansatz)



Ambiguit�tsprobleme- Müllers sahen die Alpen, während sie nach Italien flogen.

(Wer oder was fliegt hier?)

- Ich nahm das Essen mit Messer und Gabel ein.

- Ich nahm das Essen mit Erwin und Gabi ein.

- Can companies litter the environment

(?)

Ich sah den Mann im Park mit dem Fernrohr

...nur undeutlich, da meine Linse schmutzig war.

...und es hatte den Anschein, daß er den Mond betrachtete.

(noch schlimmer:) I saw the man in the park with the telescope.



Wissen �ber die Welt ...

Flug-reisender

Gel�nde-formation

Reisender true

Gebirge

Alpen

HerrM�ller

FrauM�ller

fliegen

inst inst

isa Fortbewegung

beweglich

Mensch

isa

inst

isa

false

Auto-reisender

isa

fahren

Fortbewegung

beweglich

Müllers (r1) sahen die Alpen (r2),während sie (r1) nach Italien flogen.



Semantische Parser-Steuerung

u Der Suchraum eines Syntax-Parsers kann dadurcheingeschränkt werden, daß Semantikbetrachtungenzur Steuerung des Parsers herangezogen werden.

u entspricht der Verwendung einer Zustandsbewertungs-funktion für einen Suchalgorithmus search :

l Schätzung der Distanz zum nächsten Zielzustandbzw. der Kosten für den nächsten Zielzustand

l Kostenmaß wäre anzugeben für die semantische Plausibilität von Teil-„Parses“

l Effekt: semantisch plausiblere Zerlegungen würden zuerst weiter exploriert werden.



Alternativ: Blackboard-Modell

Blackboard

Phonologie

Semantik

Syntax

Welt-wissen

Input

Syntax, Semantik(und alle weiterenProzesse) arbeitenseparat, aber parallel.

Alles, was auf der Blackboard steht,wird von den anderenProzessen genutzt.

(HEARSAY II, 1980)



Nat�rliche Sprache

Nimmer diesen Monitor legen,

wo der Schnur von Personen

darauf spazieren gehen

grausam behandelt wird.

...ist schwer, nicht nur f�r Computer:

Aus der deutschen Betriebsanleitung eines japanischen Fernsehmonitors (Quelle: Spiegel 10/ 92)



Leseempfehlung heute

�ber Parsing etc.:u Charniak & McDermott, Kap.4,

S. 169 ff; S. 194 ff; S.223 ff

�ber SHRDLU z.B.:u D. Hofstadter, “Gödel,

Escher, Bach” S.624 ff

sprachverarbeitende systeme - techfak.uni-bielefeld.de file12. vorlesung methoden der k nstlichen...

Documents