dependenzgrammatik-parsing - lmt-/watson-parser ...€¦ · dependenzgrammatikregelbasiertes...

Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers

Dependenzgrammatik-ParsingLMT-/Watson-Parser, MaltParser, Stanford Parser

Kurt Eberle

[email protected]

03. August 2018

1 / 45


Übersicht

Dependenzgrammatik

Regelbasiertes Dependenz-Parsing

Statistisches Dependenz-Parsing: Malt-Parser

Stanford-Parsers

2 / 45


Übersicht

Dependenzgrammatik



Stanford-Parsers

3 / 45


Dependenzgrammatik

I Dependenzgrammatik vs PhrasenstrukurgrammatikI Eigenschaften der DependenzgrammatikI Dependenz-Parser: Regelbasiert und statistischI (IBM’s) LMT (WebSphere Translation Server), WatsonI Malt und Stanford

4 / 45


DG und PSG

I Small birds sing loud songsI Konstituentenstruktur . . .

5 / 45


DG and PSGI Small birds sing loud songsI Dependenzstruktur . . .

6 / 45


Übersicht

Dependenzgrammatik



Stanford-Parsers

7 / 45


Regelbasiertes Dependenz-Parsing: LMT/(Deepanalysis-)Watson

I Nichtdeterministischer Left-to-right-Parser (mitRegelgewichten)

I Shift-Reduce mit ChartI Für zahlreiche Sprachen Englisch, Französisch, Deutsch,

Italienisch, Spanisch, Hebräisch, ArabischI Slotgrammar Repräsentation:I LMT-Dependenzlabels, sehr detaillierte morphosyntaktische

Features, Referenzen ins semantische LexikonI nutzt ’Second-Level’-Repräsentation, um semantische Bezüge

zu repräsentieren

8 / 45


Regelbasiertes Dependenz-Parsing: LMT/(Deepanalysis-)Watson

I Anzeige:I Um 90 Grad gedrehter BaumI Mittelachsen-gespiegelt . . .I (CoNLL-Struktur)

9 / 45


Slotgrammar-Regeln

I KonstruktionI AdjunktDeklaration (Welche Adjunkte sind erlaubt?)I Obligatorizität von Slots (Kontrollphänomene, Raising)I Slotfiller-RegelnI SlotordnungsregelnI ExtrapositionsregelnI KoordinationI Zeichensetzung

I Evaluation

10 / 45


Repräsentationskern

Phrase

11 / 45


Adjunkt-Deklaration

12 / 45


Slotfiller-Regel

13 / 45


Slotfiller-Regel

14 / 45


Übersicht

Dependenzgrammatik



Stanford-Parsers

15 / 45



I Datengetriebene Parser-GenerierungI Deterministischer, Probabilitäts-basierter Left-to-right-ParserI Vortrainierte Modelle für Englisch, Französisch, Schwedisch,

Spanisch

16 / 45


Einige Papers

I Nivre, J. (2003). An Efficient Algorithm for ProjectiveDependency Parsing. (IWPT03)

I Nivre, J., J. Hall and J. Nilsson (2006) MaltParser: AData-Driven Parser-Generator for Dependency Parsing. (LREC06)

I Nivre et al. (2007) MaltParser: A language-independentsystem for data-driven dependency parsing. Natural LanguageEngineering, 13(2)

I Hall, J. and J. Nivre (2008) A Dependency-Driven Parser forGerman Dependency and Constituency Representations (ACL,PaGe 08)

17 / 45


Einige Basiseigenschaften

MaltParser SystemI generiert Dependenz-Parser von BaumbankenI Parser erreichen 80 - 90 % accuracyI auf der Basis von bescheidenen Daten (in der Ordnung von

100k Tokens oder weniger).I frei nutzbar für Forschung und LehreI http://www.maltparser.org

18 / 45

http://www.maltparser.org


DependenzstrukturenI lexikalische Knoten durch binäre Relationen verbunden:

DependenzenI Dependenzgraph

I Grammatik: besteht aus D-Regeln

19 / 45


Grammatik-Transformation

Eine allgemeine Dependenzgrammatik kann in D-Regelformatüberführt werden:

20 / 45


MaltParser-Parsing

I similar to general shift/reduce algorithmI General data structure:

〈S, I, A〉 whereI S . . . stack of (active) nodes (= tokens = word+position)I I . . . list of (remaining) input tokensI A . . . dependency relation recognized so far

I Start configuration:〈nil , W , ∅〉

I End configuration:〈S, nil , A〉

I accept if 〈NW , A〉 is well-formed

21 / 45


Well-formedness

22 / 45


Parsing-Typen

I arc-standardI arc-eager

23 / 45


Parsing-Typen

I arc-standard

24 / 45


Parsing-Typen

I arc-standard

25 / 45


Arc-Standard-Ableitung

26 / 45


Parsing-Typen

I arc-eager

27 / 45


Arc-Eager-Ableitung

28 / 45


Parsing-Aktionen

I arc-eagerI mit (gelernter) Grammatik

29 / 45


MaltParser: weiteres Arc-Eager Beispiel

30 / 45


Wahl der Aktionen

I per se nicht-deterministischI in der Praxis deterministische Selektion

(Komplexität O(n))

a) baseline parser LA > RA > R > Sb) S/R parser as (a) +

S > R if S(0) can be a transitive head ofI(0)

c) S/RA parser as (b) + lookahead:S > RA if I(0) can be a pre-modifier ofI(1)/I(2),. . .

31 / 45


Wahl der Aktionen

S/RA ambiguity - example

32 / 45


Training und Ergebnisse (2003)

I Stockholm-Unme̊a Corpus (mixed)I 4000 tokensI vocabulary: word-PoS-tag pairsI 257 sentences with manually annotated dependency graphsI hand-crafted grammar with 126 rules (90 left-headed, 36

right-headed)

33 / 45


Training und Ergebnisse (2003)

Attachment Score: percentage of words in the sentence withcorrect head

34 / 45


Feature-basierter Ansatz (2006)Data Structure

I Stack of tokens . . . Stack(0), Stack(1), . . .I Input list of (remaining) input tokens . . . Input(0), Input(1),

. . .I Unattached tokens between Stack(0) and Input(0)

. . . Context(0), Context(1), . . .I Partial function Head where Head(i)=syntactic head of iI Function Dep with Dep(i) giving the label of the relation to

Head(i)I Function LC with LC(i) = leftmost child of iI Function RC with RC(i) = rightmost child of iI Function LS with LS(i) = next left sibling of iI Function RS with RS(i) = next right sibling of i

35 / 45


Feature-basierter Ansatz (2006)Feature model

OffsetsI 3. column: stack/input/context elementI 4. column: negative/positive offset to (3.)I 5. number of applications of head functionI 6. number of applications of LC/RCI 7. number of applications of LS/RS

36 / 45


Beispiele

Abbreviation:

37 / 45


Das Standard-Modell

38 / 45


Lernen und Parsing

MaltParser 3.0:I provides 2 learning algorithms

I Memory-based learning and classification (Daelemans and Vander Bosch 2000)

I Application of support vector machinesI can be run in 2 modes

I learning modeI parsing mode

39 / 45


Malt-TAB Format

40 / 45


Übersicht

Dependenzgrammatik



Stanford-Parsers

41 / 45


Stanford-Parsers

Different versionsI (lexicalized) PCFG (probabilistic context-free grammar)

parsersI (lexicalized)dependency grammar parsersI (English, Chinese, German, Arabic, . . . )I http://nlp.stanford.edu/software/lex-parser.shtml

42 / 45

http://nlp.stanford.edu/software/lex-parser.shtml


Einige Papers

I PCFG parser:Klein, D., Manning, Ch. (2003) Accurate UnlexicalizedParsing.(ACL 03)

I (English) Stanford Dependencies representation:de Marneffe, M.C., MacCartney, B., Manning, Ch. (2006)Generating Typed Dependency Parses from Phrase StructureParses. (LREC 2006).

I Neural-network dependency parser:Chen, D. Manning, Ch. (2014) A Fast and AccurateDependency Parser using Neural Networks (EMNLP 2014)

I Compositional Vector Grammar parser:Socher, R., Bauer, J., Manning, Ch., Ng, A. (2013) ParsingWith Compositional Vector Grammars. (ACL 2013)

43 / 45


Beispiel

44 / 45


Beispiel

45 / 45

DependenzgrammatikRegelbasiertes Dependenz-ParsingStatistisches Dependenz-Parsing: Malt-ParserStanford-Parsers

dependenzgrammatik-parsing - lmt-/watson-parser ...€¦ · dependenzgrammatikregelbasiertes...

Documents