DBpedia – redirects and titles

Jozef Arpáš

Opis problému

• Cieľom úlohy je vytvoriť zoznam názvov stránok, na ktoré odkazujú aj iné stránky(redirecty – opísané nižšie). Ku každej takejto stránke DBpedie, bude priradený zoznam všetkých názvov stránok, ktoré na ňu odkazujú

• Motivácia – analýza redirectov

Podobné riešenie

• Skoro podobné • http://www.nuxeo.com/blog/development/20

11/01/mining-wikipedia-with-hadoop-and-pig-for-natural-language-processing/

• Extrakcia o entitách Dbpedie, pomocou PIGu

Postup práce

• Platforma Apache PIG(http://pig.apache.org/)• Util.jar– FixLabelObject – FormatOutput

Opis riešenia• Na začiatku oba zdrojové datasety(odkazy na nich budú uvedené nižšie) načítame

pomocou príkazu LOAD.• Odstránime z nich predikáty, nakoľko tie pri riešení úlohy nie sú podstatné pretože

pre všetky triplety sú v každom datasete rovnaké. Na úpravu názvov stránok využijeme súbor s názvom util.jar, konkrétne triedu FixLabelObject.

• Redirectom priradíme ich názvy, pomocou príkazu JOIN.• Zoskupíme výsledok predošlého kroku, podľa URI stránok, na ktoré redirecty

odkazujú.• Dotiahneme názvy aj pre tieto, stránky na ktoré iné odkazujú, opäť pomocou

príkazu JOIN.• Výsledok predošlého kroku, upravíme spôsobom, že z každého riadku odstránime

viac nepotrebné URI.• Názvy upravíme do finálnej podoby opäť pomocou súboru util.jar, pomocou triedy

FormatOutput. Formát výstupu: <názov stránky> \t <názov redirect1> \t <názov redirect2>

Riešenie - skript

Výsledky• Abbot AbboT• Abacus AbacuS• Andorra AndorrA• AmoeboidAmeboid stage AmoeboidTaxa• Anatolia Asia Minor• Ayn Rand AynRand• Astronomer Astronomers and Astrophysicists• A. A. Milne A.A. Milne• Afghanistan Afghanistan (1911 Encyclopedia)• Auto racing AutoRacing• Antisemitism Anti-semitic Anti-semitism• Academy Award AcademyAwards• A. E. van Vogt A.E. van Vogt• Anna Kournikova AnnaKournikova• Austrian German AustriaLanguage• Axiom of choiceAxiomOfChoice• Anarcho-capitalism AnarchoCapitalism AnarchoCapitalists Anarcho-capitalists

Vyhodnotenie

URI názovhttp://dbpedia.org/resource/AnarchoCapitalism

AnarchoCapitalism

http://dbpedia.org/resource/AnarchoCapitalists

AnarchoCapitalists

http://dbpedia.org/page/Anarcho-capitalism

Anarcho-capitalists

 

Anarcho-capitalism AnarchoCapitalism AnarchoCapitalists Anarcho-capitalists