saltnpepper und das formatpluriversum

LAUDATIO workshopFlorian Zipser

SaltNPepper und das Formatpluriversum

1

Florian ZipserHumboldt-Universität zu Berlin


LAUDATIO Workshop

2014-10-07



2

Heterogene Domäne

● Linguistische Daten und Phänomene erfordern viele Annotationsarten

Morphologie



3

Heterogene Domäne


Morphologie

Syntax



4

Heterogene Domäne


Morphologie

Syntax

Koreferenz



5

Heterogene Domäne


Morphologie

Syntax

Koreferenz

Rhetorische Strukturen



6

Heterogene Domäne


Morphologie

Syntax

Koreferenz

Rhetorische StrukturenGesprochene Daten



7

Heterogene Domäne


Morphologie

Syntax

Koreferenz


Dialoge



8

Heterogene Domäne


Morphologie

Syntax

Koreferenz


Dialoge

Unterschiedliche Sprachen



9

Heterogene Domäne


Morphologie

Syntax

Koreferenz


Dialoge

Verschiedene Sprachstufen

Unterschiedliche Sprachen



10

Heterogene Domäne

● Viele Tools, um Daten zu bearbeiten:– Manuelle Annotationstools

– semi-automatische Annotationstools

– Automatische Annotationstools

– Suchtools

– Visualisierungstools



11

Heterogene Domäne

● Viele Tools, um Daten zu bearbeiten:● EXMARaLDA

● Praat

● ELAN

● Tiger search

● ANNIS

● Gate

● @nnotate

● TrED

● Parser (Berkley, MALT, …)

● Arborator

● Toolbox

● Synpathie

● TreeTagger

● Weblicht

● MMAX2

● RST

● UIMA

● WebANNO

● ATOMIC

● UAM

● UIMA (dkpro, ...)

● ...



12

Heterogene Domäne

● Viele verschiedene Formate

TigerXML

PAULA

UAM formatTCF

rs3

PML

CoNLL

PTB format

Negra MAF

TreeTagger formatTEI

GrAF ANNIS format

MMAX2 formatGATE XML

EXMARaLDA format

ELAN format

TextGrid

Toolbox format

XLSX

Generic XML

UIMA CAS



13

Interoperabilität

● Problem 1: Interoperabilität– Viele Tools → gut, Nutzer können wählen

– Aber● Tools können nur selten interagieren● Primärdaten müssen mehrmals aufbereitet werden

(Tokenisierung)



14

Mehrebenenkorpora

● Problem 2: Mehrebenenkorpora– Annotation unterschiedlicher Annotationsarten

(Morphologie, Syntax, Koreferenzen) erfordert defacto unterschiedliche Korpora

– Aber: wir brauchen ein Korpus, das alles enthält



15

Nachhaltigkeit

● Problem 3: Nachhaltigkeit– Einige Tools werden nicht mehr weiterentwickelt

● Formate werden nicht weiter unterstützt● Was ist mit den Daten???



16

Nachhaltigkeit

● Nachhaltigkeit der Daten erfordert Nachhaltigkeit der Speicherung– Im Web: HTML (W3C)

– Allgemeine Datenbeschreibung: XML (W3C), JSON

– Modellierung: UML/ XMI (OASIS)

– Freitext: PDF bzw. pdf-a



17

Nachhaltigkeit

● Es gibt ideen zur Standardisierung:– TEI (TEI consortium)

– GrAF (ISO)

– MAF (ISO)

– SynAF/isoTiger (ISO)

Aber nur wenige Tools arbeiten damit, z.T.– Sehr komplex

– Unausgereift

– Standards oft jünger als Tool



18

Anforderungen

● Was wir brauchen:– Übertragung alter Daten in neue Formate/

Standards (Nachhaltigkeit)

– Austausch der Daten zwischen unterschiedlichen Tools (Interoperabilität)

– Verschmelzen verschiedener Annotationsarten und -ebenen (Mehrebenenkorpora)



19

SaltNPepper

● Nachhaltigkeit:

Format XXX TEI

GrAF

MAF

SynAF



20

SaltNPepper

● Austausch:

ELAN format EXMARaLDA format



21

SaltNPepper

● Austausch:


EXMARaLDA format ELAN format



22

SaltNPepper

● Austausch:



Praat format Praat format



23

SaltNPepper

● Austausch: ELAN format EXMARaLDA format



PAULA

TigerXML

ANNIS format

TigerXML

...

PAULA

TigerXML

ANNIS format

TigerXML

...



24

SaltNPepper




PAULA

TigerXML

ANNIS format

TigerXML

...

PAULA

TigerXML

ANNIS format

TigerXML

...

n²-n Mappings● Jedes einzelne muss

implementiert werden



25

SaltNPepper




PAULA

TigerXML

ANNIS format

TigerXML

...

PAULA

TigerXML

ANNIS format

TigerXML

...

GemeinsammesModell

GemeinsammesModell



26

SaltNPepper




PAULA

TigerXML

ANNIS format

TigerXML

...

PAULA

TigerXML

ANNIS format

TigerXML

...

GemeinsamesModell

GemeinsamesModell

Reduzierung auf 2n Mappings



27

Salt

● Anforderungen an Metamodell:– Tagsetunabhängig

– Beliebige Annotationsebenen

– Unterschiedliche Annotationsarten

– Theorieneutral



28

Salt

● Salt ist ein Graph?– Ein Graph G= (V, E) mit:

● Einer Menge an Knoten V● Einer Menge an Kanten E mit e= (v

1 V, v∊

2 V) E.∊ ∊



29

Salt

● Ein Graph in der Linguistik?



30

Salt




31

Salt




32

Salt

● Ist das noch ein Graph?



33

Salt

● Und das?



34

Salt

● Oder das?



35

Salt

● Für Salt ja!



36

Salt

Die Jugendlichen in Zossen wollen ein Musikcafé.Primärtext:



37

Salt

Die Jugendlichen in Zossen wollen ein Musikcafé.Die Jugendlichen in Zossen wollen ein Musikcafé.Primärtext:



38

Salt


Tokenisierung: t2

t2

5,16

t1

t1

0,40,4

t3

t3

17,19

t4

t4

20,26

t5

t5

27,33

t7

t7

38,47

t6

t6

34,37



39

Salt


Tokenisierung: t2

t2

5,16

t1

t1

0,40,4

t3

t3

17,19

t4

t4

20,26

t5

t5

27,33

t7

t7

38,47

t6

t6

34,37

ARTART NNNN APPRAPPR NENE VMFINVMFIN ARTART NNNNAnnotation:



40

Salt


Tokenisierung: t2

t2

5,16

t1

t1

0,40,4

t3

t3

17,19

t4

t4

20,26

t5

t5

27,33

t7

t7

38,47

t6

t6

34,37

Mengen: s1

s1 s

2s

2s

3s

3

Annotation: Inf-Stat= newInf-Stat= new Inf-Stat= newInf-Stat= new Inf-Stat= newInf-Stat= new



41

Salt

Primärtext:

Tokenisierung:

Kanten:



42

Salt


Tokenisierung: t2

t2

5,16

t1

t1

0,40,4

t3

t3

17,19

t4

t4

20,26

t5

t5

27,33

t7

t7

38,47

t6

t6

34,37

Hierarchien:

s2

s2

s1

s1NKNK NKNK

NKNKACAC

MNRMNRNPNP

s3

s3

s4

s4

s1

s1

PPPP

NKNKNKNK

NPNP

SS

OAOAHDHDSBSB



43

Salt

● Anforderungen an Metamodell:

Tagsetunabhängigfrei wählbare Attribut-Wert-Paare für Labels

Beliebige Annotationsebenen

unbegrenzte Anzahl an Labels

Unterschiedliche Annotationsarten

alles, was als Graph darstellbar ist

Theorieneutral

Semantikarmut, Salt kennt nur Zeichenketten



44

Pepper

● Pepper– Converterframework

– Basiert auf Salt

– Nur eine Infrastruktur, die Arbeit machen die Plugins

Pepper

Salt SGraphSGraph

SRelationSRelationSNodeSNode

TigerXMLTigerXML

Pepper module

PAULAPAULA

Pepper module

ANNISANNIS

Pepper module

......

Pepper module



45

Pepper

● Drei Arten von Modulen:– Importer: Format A → Salt

– Manipulator: Salt → Salt

– Exporter: Salt → Format B

PAULAPAULA ANNISformatANNISformat

PAULAImporter

Salt

ANNISExporter



46

Pepper

● Drei Arten von Modulen:– Importer: Format A → Salt

– Manipulator: Salt → Salt

– Exporter: Salt → Format B

– Kombinierbarkeit


PAULAImporter

Salt

ANNISExporter

TigerXMLTigerXML ANNISformatANNISformat

TigerImporter

Salt

ANNISExporter



47

Pepper

● Manipulation


PAULAImporter ANNISExporter

Salt Salt

Manipulator (Sentencer)



48

Pepper

● Manipulation

● Kombinierbarkeit


PAULAImporter ANNISExporter

Salt Salt


TigerXMLTigerXML ANNISformatANNISformat

TigerImporter ANNISExporter

Salt Salt




49

Anforderungen

● Was wir brauchen:

Übertragung alter Daten in neue Formate/ Standards (Nachhaltigkeit)

Austausch der Daten zwischen unterschiedlichen Tools (Interoperabilität)

Verschmelzen verschiedener Annotationsarten und -ebenen (Mehrebenenkorpora)



50

Mehrebenenkorpora

● Mehrebenenkorpora: verschiedene Annotationsarten gemeinsam durchsuchen und anzeigen



51

Mehrebenenkorpora

● Problem: es gibt nur wenige Mehrebenenannotationstools (bspw. WebAnno, ATOMIC)

● Idee: Verschmelzen der unterschiedlichen Formate (und somit der Ebenen)

TigerXMLRS3

CoNLLPTB



52

Mehrebenenkorpora

● Salt reduziert Merging zu Graphmerging

t2

t2t

1t1 t

3t3 t

4t4 t

5t5 t

7t7t

6t6

s1

s1 s

2s

2 s3

s3

newnew newnew newnew



53

Mehrebenenkorpora

● Salt reduziert Merging zu Graphmerging

t2

t2t

1t1 t

3t3 t

4t4 t

5t5 t

7t7t

6t6

s1

s1 s

2s

2 s3

s3

newnew newnew newnew



54

Mehrebenenkorpora

● Merger ist Plugin für Pepper (Manipulator)

TigerXMLTigerXML

TigerImporter

ANNISformatANNISformat

ANNISExporter

Salt

Merger

rs3rs3

RSTImporter

Salt

Salt



55

Anforderungen

● Was wir brauchen:

Übertragung alter Daten in neue Formate/ Standards (Nachhaltigkeit)

Austausch der Daten zwischen unterschiedlichen Tools (Interoperabilität)

Verschmelzen verschiedener Annotationsarten und -ebenen (Mehrebenenkorpora)



56

Fazit

● SaltNPepper– Konvertierung von Korpora zwischen Formaten

– Erweiterbarkeit um neue Formate (Plugins)

– Open Source (Apache License 2.0)

– Öffentliche Plattform: GitHub● https://github.com/korpling/pepper● https://github.com/korpling/salt

https://github.com/korpling/pepper

https://github.com/korpling/salt



57

Fazit

● Nachhaltigkeit von Korpora, Formaten und Software hängt zusammen

● Problem: Projekte sind befristet!– Oft stirbt Software nach Ende eines Projektes →

Verlust von Geld und Zeit



58

Fazit

● Nachhaltigkeit von Korpora, Formaten und Software hängt zusammen

● Problem: Projekte sind befristet!– Oft stirbt Software nach Ende eines Projektes →

Verlust von Geld und Zeit

● Software braucht zum Überleben:– Aktive Entwicklercommunity

– Open Source

– Öffentliche Plattform

– Gute Dokumentation



59

Danke für Ihre Aufmerksamkeit

PAULA

Tiger

Peppe

r

you

your weapon

the format monster

TE

I

PT

B

AN

NIS

EXMARaLDA

GrAF

MMAX2

RS

T



60

● Diese Folien wurden erstellt unter Verwendung von:– Yuml http://yuml.me

– Openclipart http://openclipart.org

http://yuml.me/

http://openclipart.org/

saltnpepper und das formatpluriversum

Technology