wikipediaで位置情報のテキストマインニングっぽいことをやってみた...

24

Upload: shingo-mori

Post on 24-May-2015

1.688 views

Category:

Documents


2 download

TRANSCRIPT

Page 1: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Wikipediaで位置情報のテキストマインニングっぽいことをやってみた

Prototyping for Experimental Rapid implementedversion of Location information application

はてな id:babydaemonsTwitter @babydaemons

Page 2: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Self Introduction:・ブラック系ITベンダの切り込み隊長・つい最近までプロジェクトが4スレッド並行稼働・Nagoya.pmしか活動してない。orz・妻一人、息子一人

・はてな id:babydaemons・Twitter @babydaemons・その他 http://www.google.com/?q=babydaemons

Page 3: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

今日のお題:

https://github.com/babydaemons/p5-MediaWiki-DumpFile-Parse/

Page 4: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Agenda:

・WikipediaのDBの提供って?・そのデータってどう使うの?・テキストマインニングって?・その位置情報は何に使うの?・まとめ

Page 5: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Agenda:

・WikipediaのDBの提供って?・そのデータってどう使うの?・テキストマインニングって?・その位置情報は何に使うの?・まとめ

Page 6: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

jawiki-latest-pages-articles

.xml.bz2

Page 7: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Page 8: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

*.xml.bz2 1.6GB*.xml 8.0GB

Page 9: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

EmacsやVimで開くのは

Page 10: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

神業!

Memory 16GB MacBook Pro所有の大先生

Page 11: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Agenda:

・WikipediaのDBの提供って?・そのデータってどう使うの?・テキストマインニングって?・その位置情報は何に使うの?・まとめ

Page 12: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Perlでは

Page 13: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

MediaWiki::DumpFile::Pages

On CPAN

Page 14: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Rubyでは

Page 15: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

https://github.com/yohasebe/wp2txt/

Faculty of Global Communications, Doshisha University

Page 16: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

貧民業では?

Memory 4GB MacBook Air所有の大貧民

Page 17: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

https://github.com/babydaemons/wikipedia-scipts/

Page 18: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Agenda:

・WikipediaのDBの提供って?・そのデータってどう使うの?・テキストマインニングって?・その位置情報は何に使うの?・まとめ

Page 19: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

その対象:緯度・経度

住所(日本語のみ)

Page 20: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Agenda:

・WikipediaのDBの提供って?・そのデータってどう使うの?・テキストマインニングって?・その位置情報は何に使うの?・まとめ

Page 21: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

概要はテレビCMで!!

Page 22: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Page 23: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Page 24: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208
Page 25: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

某社の位置情報DBとWikipedia記事の紐付け

Page 26: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Released onガラケー!!

Page 27: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

PC/スマホ?お察し下さい

orz

Page 28: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

ちなみにプロダクトコードは

Java

Page 29: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Perlはprototyping

Page 30: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Javaでプロトタイプ出来ないんですか?

関数型言語クラスタとテストクラスタの大家

Page 31: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

Agenda:

・WikipediaのDBの提供って?・そのデータってどう使うの?・テキストマインニングって?・その位置情報は何に使うの?・まとめ

Page 32: Wikipediaで位置情報のテキストマインニングっぽいことをやってみた 20121208

まとめ:

・Wikipediaのダンプ超デカっ!・MySQL取り込み鬼門!・生データなら楽チン!・正規表現最強!・詳細は夜の部で聞いてね!・だれかMakefile.PMの書き方 教えてください。m(_ _)m