eestikeelsete infodialoogide märgendamise usaldusväärsuse hindamine

Eestikeelsete infodialoogide märgendamise usaldusväärsuse

hindamine

Evely Vutt

63a22infotelefon

V: Éstmar=ínfo, ´Leenu=kuuleb tereH: ee tervist. ega ´teie ei oska kogemata öelda Tallinna ´busside aegu. (0.5)V: ja ´milliseid busse. (.)H: ee (.) noh millal lähevad ´viimased ´kiirbussid täna ´Tallinna. (.)V: kell=´öheksa on viimane ekspress.H: kell=´öheksa. ja énne sedaV: pool öheksa. (.)H: pool öheksa ja öheksa.V: jah.H: aitäh?V: palun

233 (3)telefonikõne reisibüroosse

V: ´Saar=Reisid, tere?H: ee $ vabandust, mul katkes enne kõne ´ära. $ (.)V: jaa?H: ee ma tahtsin ´küsida: ´lõunamaa ´reiside kohta=et=kas=teil ńeid praegu on=näiteks.V: õõ praegu läheb meil kakskend=üks jaanuar läheb E´giptus. (0.5)H: ahah, (.) aga: (.) , mida=see=näiteks ´sisaldab endas.V: ee see ´sisaldab nüüd niimo di et, > kas on järsku võimalik saata teile lähemalt seda < (.) reisiprog´rammi. ütleme: kas íimeiliga või, (0.5) või=sis ´faksiga?H: tändab=ei=óle , ma=mõtsin=ma küsin ´üldiselt et=siis=ma: pärast ´mõtlen kuhu=ma üldse ´lähen [et] erinevate ´reiside kohta.=V: [{mh}]V: =tändab ´kolmteist päeva=et, kakskend=üks=jaanuar ta ´läheb=ja ´teine=jaan- ee ´veebruar ta=tuleb ´tagasi .

------

Krippendorff väidab, et on kolm erinevat usaldusväärsuse testi

koos suureneva usaldusväärsusega:

stabiilsus (stability),

jäljendatavus e. reprodutseeritavus (reproducibility),

täpsus (accuracy).

(Reliability of Coding Schemes –

www.cogsci.ed.ac.uk/~jeanc/maptask-coding-html)

κ – väärtuse arvutamiseks kasutatakse järgnevat valemit:

,)(1

)()(

EP

EPAP

P(A) - tegelike nõustumiste osakaal

(observed agreement)

P(E) - juhuse läbi võimalike nõustumiste osakaal (chance agreement)

κ üldistus arvutatakse järgnevalt:

E

O

D

D1

DO on tegelike mittenõustumiste osakaal

(observed disagreement)

DE on juhuse läbi võimalike mittenõustumiste osakaal (expected disagreement)

Land ja Koch’i biomeetria

κ<0 "kehv nõusolek”

0-0,2 "väike”

0,21-0,4 "õiglane”

0,41-0,6 "mõõdukas”

0,61-0,8 "märkimisväärne"

0,8-1 ideaali lähedane.

Akti piiride usaldusväärsus

infotelefoni dialoogides

91,0 4 ,149 kN

paarikaupa nõusoleku protsent 91 % (N=149)

reisibüroodialoogides

88,0 5 ,771 kN

paarikaupa nõusoleku protsent 88 % (N=771)

Aktide klassifitseerimise usaldusväärsus

kogu skeemi

5 ,1043 63,0 kN



4 ,166 78,0 kN

5 ,866 59,0 kN

Infotelefoni

dialoogid

Reisibüroodialoogid

Määratud akte 166 886

Ühiselt määratud akte 30 61

Keskmine dialoogipikkus aktides

16,15 83,15

Sagedamini esinevad aktid

ESITLUS 16 10TERVITUS 10 6TÄNAN 10 6PALUN 10 6KUTSUNGI VASTUVÕTMINE 9 5DIREKTIIVI TÄITMINE: INFO ANDMINE 9 5VASTUTERVITUS 8 5KUTSUNG 7 4PARANDUSE LÄBIVIIMINE 7 4ÜLEKÜSIMINE 6 4

Infotelefoni aktide sagedused %

JÄTKAJA 80 9VASTUVÕTUTEADE 45 5AVATUD VASTUS: INFO ANDMINE 44 5INFOLISA: TÄPSUSTAMINE 33 4AVATUD KÜSIMUS 30 3NÕUSTUV JAH 24 3

Reisibüroo aktide sagedused %

Sagedamini esinevate aktide usaldusväärsused infotelefoni dialoogides

ESITLUS

TERVITUS

TÄNAN

PALUN

DIREKTIIVI TÄITMINE: INFO ANDMINE

KUTSUNGI VASTUVÕTMINE

VASTUTERVITUS

4 ,16 1 kN

4 ,11 9,0 kN

4 ,10 1 kN

4 ,10 1 kN

4 ,14 7,0 kN

4 ,11 81,0 kN

4 ,9 88,0 kN

Sagedamini esinevate aktide usaldusväärsused reisibüroodialoogides

JÄTKAJA

VASTUVÕTUTEADE

AVATUD VASTUS: INFO ANDMINE

INFOLISA: TÄPSUSTAMINE

AVATUD KÜSIMUS

NÕUSTUV JAH

5 ,102 78,0 kN

5 ,87 49,0 kN

5 ,119 36,0 kN

5 ,78 42,0 kN5 ,42 70,0 kN

5 ,36 66,0 kN

Aktide määramise täpsus


5 ,330 88,0 kN


6 ,1677 72,0 kN

MAPTASK (inglise) = 0,83

VERBMOBIL (saksa) = 0,84

SWBD-DAMSL (USA) 0,8<<0,84

Võrdlus tuntumate skeemide κ - väärtustega

Küsimuste definitsioonid

SULETUD KAS-KÜSIMUS

S soovib teada, kas pS arvab, et H teab, kas p(Tulemusena oodatakse jah/ei vastust)

JUTUSTAV KAS-KÜSIMUS

S soovib teada, kas pS arvab, et H teab, kas pS soovib teada, millised X elemendid rahuldavad pS arvab, et H teab, millised X elemendid rahuldavad pS arvab, et eksisteerib X element, mis rahuldab p(Tulemusena ei oodata jah/ei vastust, vaid mingit konkreetset infot)

ALTERNATIIVKÜSIMUS

S soovib teada, kas X1 või X2 või … või Xn rahuldab pS arvab, et H teab, milline X1 või X2 või … või Xn rahuldab pS arvab, et kas X1 või X2 või … või Xn rahuldab p(Tulemusena valitakse üks etteantud valikute seast)

AVATUD KÜSIMUS

S soovib teada, millised X elemendid rahuldavad pS arvab, et H teab, millised X elemendid rahuldavad pS arvab, et eksisteerib X element, mis rahuldab p(Tulemusena saadakse täpsemat info küsitu kohta)

VASTUST PAKKUV KÜSIMUS

(a)S soovib teada, kas pS arvab, et H teab, kas pS arvab, et p

(b)S soovib teada, kas pS arvab, et H teab, kas pS arvab, et pS arvab, et H teab, et p(positiivse kontrolliga)

(c)S soovib teada, kas pS arvab, et H teab, kas pS arvab, et pS arvab, et H teab, et mitte-p(negatiivse kontrolliga)

TÄPSUSTAV KÜSIMUS

S teab, et pS soovib teada, millised X elemendid rahuldavad veel pS esitab SULETUD KAS-KÜSIMUSE või JUTUSTAVA KAS-KÜSIMUSE või ALTERNATIIVKÜSIMUSE või AVATUD KÜSIMUSE või VASTUST PAKKUVA KÜSIMUSE

Kasutatud kirjandus

Jean Carletta. Reliability of Coding Schemes - http://www.cogsci.ed.as.uk/~jeanc/maptask-coding-html

Harri Bunt. Dynamic Interpretation and Dialogue Theory. //The Structure of Multimodal Dialogue II. Ed. By M. M. Taylor, F. Neel and D. G. Bouwhuis. John Benjamins Publishing Company, Phiadelphia/Amsterdam, 1999, pp. 139-166

Laila Dybkjœr. MATE Deliverable D6.2. Final Report. 2000. - http://mate.nis.sdu.dk/about/deliverables

1) Rituaalid

Tervitamine

TERVITUS

VASTUTERVITUS

Hüvastijätmine

HÜVASTIJÄTT

VASTUHÜVASTIJÄTT

Soovimine

SOOVIMINE

TÄNAMINE

Kuidas elad

KUIDAS ELAD

VASTUS

Tänamine

TÄNAN

PALUN

Palumine

PALUN

TÄNAN

Vabandamine

VABANDUS

VABANDUSE VASTUVÕTMINE

Tutvustamine

ESITLUS

VASTUESITLUS

ÄRATUNDMINE

TUTVUSTUS

JAH

Kontakti loomine

-Kontakti algatus

MUL ON PROBLEEM

TÄHELEPANU PÜÜDMINE

KUTSUMINE

KONTAKTEERUMINE

-Vastuskontakt

POSITIIVNE KONTAKT

NEGATIIVNE KONTAKT

KONTAKTI EDASILÜKKAMINE

Kutsesignaal

KUTSUNG

KUTSUNGI VASTUVÕTMINE

Lõpetamine

LÕPUSIGNAAL

-Vastussignaal

LÕPETAMISE VASTUVÕTMINE

LÕPETAMISE TAGASILÜKKAMINE

Lõpu pakkumine

LÕPU PAKKUMISE SIGNAAL

-Vastuvõtu signaal

LÕPU PAKKUMISE VASTUVÕTMINE

LÕPU PAKKUMISE TAGASILÜKKAMINE

RITUAAL: MUU

2) Teema ümberstruktureerimine

Teema vahetamine

TEEMA VAHETUSE PAKKUMINE

Reaktsioon pakkumisele

VAHETUSE PAKKUMISE VASTUVÕTMINE

VAHETUSE PAKKUMISE TAGASILÜKKAMINE

ÜMBERSTRUKTUREERIMINE: MUU

3) Vooruvahetus

JÄTKAJA

Kontakti kontrollimine

KONTAKTI KONTROLL

KONTAKTI KINNITAMINE

VOORUVAHETUS: MUU

4) Parandamine

Paranduse algatus

ÜMBERSÕNASTAMINE

ÜLEKÜSIMINE

VASTUSE TINGIMUSTE TÄPSUSTAMINE

MITTEMÕISTMINE

PARANDUSE ALGATUS: MUU

PARANDUSE LÄBIVIIMINE

PARANDUSE HINDAMINE

PARANDAMINE: MUU

5) Direktiivid

Esiliikmed

KÄSK

PALVE

PALVE OODATA

ETTEPANEK

SOOV

ÜLESKUTSE

PAKKUMINE

LUBAMINE

KONTAKT

TEODIREKTIIV

DIREKTIIVI ESILIIGE: MUU

Järelliikmed

SOOVI ESITAMINE

DIREKTIIVI TÄITMINE

DIREKTIIVI TÄITMINE: INFO ANDMINE

DIREKTIIVI TÄITMINE: INFO PUUDUMINE

DIREKTIIVIST KEELDUMINE

DIREKTIIVI VASTUSE EDASILÜKKAMINE

DIREKTIIVI PIIRATUD TÄITMINE

PIIRATUD NÕUSTUMINE DIREKTIIVIGA

DIREKTIIVI JÄRELLIIGE: MUU

6) Küsimused

Esiliikmed

SULETUD KAS-KÜSIMUS

JUTUSTAV KAS-KÜSIMUS

ALTERNATIIVKÜSIMUS

AVATUD KÜSIMUS

VASTUST PAKKUV KÜSIMUS

TÄPSUSTAV KÜSIMUS

KÜSIMUSED ESILIIGE: MUU

Järelliikmed

NÕUSTUV JAH

MITTENÕUSTUV EI

NÕUSTUV EI

MUU KAS-VASTUS

ALTERNATIIVVASTUS: ÜKS

ALTERNATIIVVASTUS: MÕLEMAD

ALTERNATIIVVASTUS: KOLMAS VALIK

ALTERNATIIVVASTUS: MUU

ALTERNATIIVVASTUS: EITAV

AVATUD VASTUS: INFO ANDMINE

AVATUD VASTUS: INFO PUUDUMINE

VASTUSE EDASILÜKKAMINE

VASTUSEST KEELDUMINE

VASTUS ALTERNATIIVINA

KAHTLEV VASTUS

KÜSIMUSED JÄRELLIIGE: MUU

7) Seisukohavõtud

Esiliikmed

VÄIDE

ARVAMUS

HINNANG

SEISUKOHAVÕTT

AVALDUS

SÜÜDISTUS

ENESESÜÜDISTUS

VÄLJAVABANDAMINE

OLETUS

SEISUKOHAVÕTU ESILIIGE: MUU

Järelliikmed

OMAKSVÕTMINE

SAMAMEELSUSE OSUTAMINE

MITTENÕUSTUMINE

EMOTSIONAALNE NÕUSTUMINE

RESERVATSIOONIGA NÕUSTUMINE

RESERVATSIOONIGA ÄRAÜTLEMINE

DISTANTSEERUMINE

SEISUKOHAVÕTUST KEELDUMINE

SEISUKOHAVÕTU JÄRELLIIGE: MUU

8) Muud aktid

EELTEADE

JUTUSTAMINE

VASTUVÕTUTEADE

INFO OSUTAMINE UUEKS

INFO SUHTES SEISUKOHA MITTEVÕTMINE

INFO ANDMINE KÜSIMATA

MITTEVERBAALNE AKT

LUBADUS

INFOLISA: SELETAMINE

INFOLISA: PÕHJENDAMINE

INFOLISA: TÄPSUSTAMINE

INFOLISA: KIRJELDAMINE

INFOLISA: JÄRELDAMINE

INFOLISA: KOKKUVÕTMINE

INFOLISA: ÕIGUSTAMINE

INFOLISA: ÜLERÕHUTAMINE

INFOLISA: PEHMENDAMINE

JUTU PIIRIDE OSUTAMINE

SUMMEERIMISKORDUSED

ENESEPARANDUS

RETOORILINE KÜSIMUS

RETOORILINE VASTUS

REFERAAT

MEMOREERIMISKORDUS

PERFORMATIIV

MUU

MUUD: MUU

PRAAK

eestikeelsete infodialoogide märgendamise usaldusväärsuse hindamine

Documents