págico: evalua.ng(wikipediabased ( informa.on(retrievalin ... · evalua.ng(wikipediabased...
TRANSCRIPT
Págico: Evalua.ng Wikipedia-‐based informa.on retrieval in
Portuguese
Cris%na Mo+a (Linguateca/FCCN) Alberto Simões (CEHUM/UM)
Cláudia Freitas (PUC-‐Rio / Linguateca) Luis Costa (Linguateca/FCCN)
Diana Santos (Univ. of Oslo/Linguateca)
LogOnto 2014 -‐ FGV -‐ Brasil 1
• Evalua%on contest • Organized by Linguateca, a distributed language resource center for Portuguese • h+p://www.linguateca.pt
• Announced in June 2011 • Results delivered in the beginning of 2012
Págico – Português Mágico
2 years later... why Págico?
LogOnto 2014 -‐ FGV -‐ Brasil 2
Págico – Português Mágico • Evalua%on contest
• Systems (and humans) must find non-‐trivial answers to complex informa%on needs in Portuguese Wikipedia (150 topics were created): • Which Portuguese-‐speaking football players played professionally in more than three different countries?
• Jornais que circularam no Rio de Janeiro entre 1910 e 1960 • Produtos agrícolas com os quais se pode produzir combusdvel em escala comercial • Nomes ligados à luta contra o racismo no sec XX no Brasil • Filmes brasileiros premiados na categoria Montagem • Pratos brasileiros de origem ou influência indígena
“we are not proposing evalua%on of toy systems just to check if computers can be as good as humans. Rather, we are interested in systems that really help humans in non trivial informa%on finding goals.”
answer to informa%on needs that would require browsing hundreds of pages
LogOnto 2014 -‐ FGV -‐ Brasil 3
Págico – Português Mágico
• The task: • Find (PT)Wikipedia pages that answer the topics. The answer must be the name of the page. • Addi%onal pages must be provided when the answer page is incomplete
• Pages (answers and jus%fica%ons) must be selected from a sta%c version of the portuguese Wikipedia. • Pagico Collec9on: a Wikipedia snapshot of April 25th 2011
• Documents converted in XHTML files • Without Infoboxes
LogOnto 2014 -‐ FGV -‐ Brasil 4
The Collec.on: Wikipedia folksonomy • Distribu%on of categories across PT Wikipedia pages
• 99.446 categories classify 681.058 documents
LogOnto 2014 -‐ FGV -‐ Brasil 5
Topic crea.on
• Topics should be interes%ng to the Portuguese-‐speaking comunity • The answers
• should not be ovbious • ...and not obvious to Google(!), in order to jus%fy a wikipedia search
• should be spread among different pages in PT Wikipedia
• Topic: Músicos do início da Bossa Nova / Musicians associated with the development of Bossa Nova • Browse Bossa_Nova page..
It doesn't involve complex search… …from the standpoint of humans.
LogOnto 2014 -‐ FGV -‐ Brasil 6
Topic crea.on
• PT Wikipedia in 150 topics • 8 Super-‐themes • 25 subthemes • One or more areas/subareas were assigned to each topic: • “Documentary films about brazilian poli>cians” • Theme: Artes; Letras; Polí%ca • Subtheme: cinema; polí%ca; história
• “Comidas de santo (comidas rituais do Candomblé ou Umbanda) que também fazem parte da culinária brasileira”// religious food that are also brazilian food
• Theme: Cultura • Subtheme: culinária; religião; antropologia; folclore
Tabela 1: Classificacao detalhada dos temas no PagicoTema Topicos Respostas Corretas-subtema enviadas Participantes Donos Todas
# % # % # % # % # %Letras 69 46,00 15506 47,73 961 48,05 328 49,03 1085 48,24- historia 50 33,33 11124 34,24 664 33,20 243 36,32 761 33,84- literatura 15 10,00 3610 11,11 202 10,10 74 11,06 236 10,49- linguıstica 6 4,00 1312 4,04 64 3,20 32 4,78 72 3,20- jornalismo 3 2,00 667 2,05 27 1,35 9 1,35 28 1,24- filosofia 2 1,33 425 1,31 53 2,65 4 0,60 54 2,40Artes 36 24,00 7910 24,35 542 27,10 204 30,49 609 27,08- musica 19 12,67 4075 12,54 194 9,70 79 11,81 222 9,87- cinema 10 6,67 2243 6,90 216 10,80 78 11,66 237 10,54- televisao 4 2,67 967 2,98 57 2,85 31 4,63 70 3,11- artes plasticas 2 1,33 431 1,33 21 1,05 13 1,94 24 1,07- artes 2 1,33 450 1,39 66 3,30 5 0,75 68 3,02Geografia 34 22,67 7152 22,02 509 25,45 151 22,57 563 25,03- geografia 26 17,33 5476 16,86 396 19,80 112 16,74 431 19,16- arquitetura/urbanismo 7 4,67 1481 4,56 57 2,85 22 3,29 66 2,93- demografia 4 2,67 894 2,75 207 10,35 36 5,38 221 9,83- geologia 2 1,33 492 1,51 18 0,90 1 0,15 18 0,80Cultura 27 18,00 5612 17,28 370 18,50 79 11,81 395 17,56- antropologia/folclore 12 8,00 2544 7,83 160 8,00 40 5,98 172 7,65- religiao 7 4,67 1252 3,85 119 5,95 20 2,99 128 5,69- culinaria 5 3,33 1008 3,10 57 2,85 15 2,24 63 2,80- cultura 3 2,00 748 2,30 75 3,75 9 1,35 75 3,33- ensino 2 1,33 402 1,24 11 0,55 5 0,75 11 0,49Polıtica 19 12,67 4164 12,82 197 9,85 59 8,82 220 9,78Desporto/Esportes 18 12,00 3914 12,05 188 9,40 79 11,81 225 10,00Ciencia 14 9,33 2973 9,15 155 7,75 45 6,73 172 7,65- saude 4 2,67 885 2,72 21 1,05 18 2,69 30 1,33- zoologia 3 2,00 527 1,62 83 4,15 9 1,35 83 3,69- ciencia 2 1,33 446 1,37 20 1,00 10 1,49 27 1,20- botanica 2 1,33 384 1,18 9 0,45 6 0,90 10 0,44- geologia 2 1,33 492 1,51 18 0,90 1 0,15 18 0,80- matematica 1 0,67 239 0,74 4 0,20 1 0,15 4 0,18Economia 6 4,00 1321 4,07 77 3,85 30 4,48 94 4,18
Tabela 2: Topicos segundo o numero de temas a eles associados# Temas atribuıdos Grandes temas Temas
Total % Total %1 84 56,00 75 50,002 59 39,33 64 42,673 7 4,67 11 7,33
consideramos possıvel uma mesma EM recebermais de uma classificacao. Assim, a EM Brasilno topico 34 [Viajantes ou exploradores queescreveram sobre o Brasil do seculo XVI] pode servista tanto como uma ORGANIZACAO, comoum LOCAL ou como PESSOA (os brasileiros), eportanto recebeu as 3 classificacoes.
4.2 Categorizacao geografica e temporal
Com relacao a localizacao geografica, os 150topicos do Pagico estao distribuıdos como indicaa tabela 4:
A categoria “lusofonia geral” corresponde atopicos em que nao ha especificacao de regiaogeografica; e os topicos “gerais” nao mencionamexplicitamente elementos da cultura lusofona,mas integram o Pagico por conterem, em
LogOnto 2014 -‐ FGV -‐ Brasil 7
Answer documents
• A correct answer , according to Págico: • Wiki-‐PT page %tle à expected seman%c class
“Gêneros musicais que misturam samba e gêneros norte americanos” “Que países têm amarelo na bandeira?”
“Turma_da_Pilantragem”
“Bandeira_do_Brasil” ✕
✕
Good answer from a prac%cal perspec%ve…
.. how to decide/define what should be considered a “good answer” ?
…taking logic into considera%on facilitates the evalua%on task
Bad answer from a logic perspec%ve
Correct answer X
Useful answer LogOnto 2014 -‐ FGV -‐ Brasil 8
Answer documents – jus.fica.on pages
• Addi%onally, par%cipants need to provide the wikipedia pages that support that the chosen answer is, indeed, the correct one
Do we need jus%fica%on here?
Págico: only systems must provide jus%fica%on
LogOnto 2014 -‐ FGV -‐ Brasil 9
Answer documents – jus.fica.on pages
To be contested by the audience = to be booed? LogOnto 2014 -‐ FGV -‐ Brasil 10
Answers in Págico Topics with most and least correct answer documents
LogOnto 2014 -‐ FGV -‐ Brasil 11
Págico – by-‐products
• CARTOLA – h+p://www.linguateca.pt/Cartola • Freely available package
• Págico Collec%on: 681.058 documents from wikipedia portuguesa de 25 de abril de 2011;
• Págico topics • Evaluated answers • ..
• Special Edi%on of the Linguamá%ca journal of April 2012 (Santos et al., 2012) – h+p://www.linguama%ca.com
LogOnto 2014 -‐ FGV -‐ Brasil 12
Pagico_001: FILMES SOBRE A DITADURA OU SOBRE O GOLPE MILITAR NO BRASIL
Pagico_002: TELENOVELAS BRASILEIRAS DO GÊNERO REALISMO FANTÁSTICO
LogOnto 2014 -‐ FGV -‐ Brasil 14
Págico and LogOnto..
• Págico • Can it be useful to reasoning systems?
• Bootstrap a KB from Págico? • Test reasoning systems?
• More about Pagico: • h+p://www.linguateca.pt/Pagico/
LogOnto 2014 -‐ FGV -‐ Brasil 16
References
• Diana Santos, Cris%na Mota, Cláudia Freitas e Luís Costa (eds.) Linguamá>ca 4 (1). Abril, 2012
• Acknowledgments
LogOnto 2014 -‐ FGV -‐ Brasil 17
Answer evalua.on process
• 5 “judges” • Judgmenet : correct /incorrect / doub~ul
§ The answer seemed correct, but it wasn’t 100% jus%fied
§ The page classifica%on wasn’t ideal
LogOnto 2014 -‐ FGV -‐ Brasil 29
resposta CORRETA
apropriada
ú%l
Resposta CORRETA e não-‐apropriada
Onde fica o Taj Mahal? -‐ Na 5a Avenida… (Voorhees e Tice, 2000)
Quem é o autor de Ivanhoé? -‐ O autor de Rob Roy… (Spark Jones, 2003)
São respostas “corretas”?
L
Resposta CORRETA e não-‐ú%l
L
Perspec%vas diferentes
Depende …
NÃO HÁ UMA RESPOSTA ÚNICA CORRETA LogOnto 2014 -‐ FGV -‐ Brasil 30
as perguntas/tópicos podem ser decompostas em pedaços
Dinossauros carnívoros que habitaram o Brasil
Resposta: X
X é dinossauro
X é carnívoro
X habitou o Brasil
…mas nem tudo está perdido!
… e as respostas podem ser avaliadas em pedaços
✓
✓
Filmes sobre as relações entre Portugal e suas colônias
Resposta: X X é filme
X é sobre as relações entre Portugal e suas colônias ✓
✓
✓
Brasil é colônia Angola é colônia …
Se algum dos pedaços não está na página resposta, então deve estar em
alguma outra página à JUSTIFICATIVA
Como definir? • Tema principal? • Romance? • Comédia?
Devemos exigir?
Os pedaços também podem ser decompostos em outros pedaços… onde parar?
LogOnto 2014 -‐ FGV -‐ Brasil 31
Tarefa da organização
• Criar um sistema (SIGA) e preparar a coleção • Iden%ficar %pos de necessidades de informação com resposta na coleção • Escolher as respostas • Avaliar as enviadas pelos par%cipantes • Definir critérios de avaliação • Definir medidas • Criar e disponibilizar recursos
LogOnto 2014 -‐ FGV -‐ Brasil 33