20141127 py datatokyomeetup2

Copyright 2014 Shiroyagi Corporation. All rights reserved.

シバタアキラ

PyData NYC に行ってきました

Shiroyagi Corporation

Copyright 2014 Shiroyagi Corporation. All rights reserved. 2

Who am I

Akira Shibata, PhD.

TW: @punkphysicist

CEO, Shiroyagi Corporation (shiroyagi.co.jp)

Kamelio: Personalised News Curation

Kamect: Contents Discovery Platform

2004 - 2010:

Data Scientist @ NYU

Statistical data modelling @ LHC, CERN

2010 - 2013

Boston Consulting Group

http://shiroyagi.co.jp

2014年11月 Copyright 2014 Shiroyagi Corporation. All rights reserved.

3

PyData NYC

http://pydata.org/nyc2014/schedule/


4

とまってたとこ（KickStarterすぐ）

PyDataNYC （WeWork）

NYU


5

Overview: Andy Terrel（Continuum Ana.)https://speakerdeck.com/aterrel/pydata-nyc-2014-keynote

主に “PyData Stack” を超えた分散処理をPythonからどう行うかの全貌について

https://speakerdeck.com/aterrel/pydata-nyc-2014-keynote


6

様々なツール／バックエンドをPythonがつなげる


7

http://blaze.pydata.org/presentations/Blaze: Matthew Rocklin (Continuum Analytics)

“high level thinking, low-level computation”


8

データとオペレーションを分離する


9

複数のデータバックエンドを行き来することができる


10

DBへのインターフェイスを統合


11

Mongoから取り出したデータをSparkに入れる


12

SymPy: Sageみたいなもの


13

Symbolicな計算を各言語に翻訳できる

すごいけど、誰が使うのかよくわからない


14

https://github.com/amueller/pydata-nyc-advanced-sklearnScikit-Learn: Andreas Muller

かなり分厚いチュートリアル。冬休みにでも


15

Beaker: Scott Draves


16

Software Artist らしい

Fractal Flames


17

様々な言語が同時に使えるNotebook


18

Demo

http://beakernotebook.com/examples

http://beakernotebook.com/examples


19

アジェンダ


こんな問題について発表してきました

“Cats”

“Anime”

“Cats reaction to sighting dogs for the first time”


アプローチ

0 1 2 3 4

Image in Detect regions

Object recog. Scoring Cropping

IPython and Python script

Matlab +Scipy

C++ +Libraries

Numpy PIL


Region detection: Telling where to look at

How do we find regions to feed into object recognition? Default strategy was to look at the center

1


1 Region detection: proposals generated

~200 proposals generated per image


Object recognition: Result2

Takes minutes to detect all windows

0 domestic cat 1.03649377823 1 domestic cat 0.0617411136627 2 domestic cat -0.097744345665 3 domestic cat -0.738470971584 4 chair -0.988844156265 5 skunk -0.999914288521 6 tv or monitor -1.00460898876 7 rubber eraser -1.01068615913 8 chair -1.04896986485 9 rubber eraser -1.09035253525 10 band aid -1.09691572189

Obj Score


0 person 0.126184225082 1 person 0.0311727523804 2 person -0.0777613520622 3 neck brace -0.39757412672 4 person -0.415030777454 5 drum -0.421649754047 6 neck brace -0.481261610985 7 tie -0.649109125137 8 neck brace -0.719438135624 9 face powder -0.789100408554 10 face powder -0.838757038116

Object recognition: Result2

Obj Score


Score heatmap

We used 200-cat object recognition model developed for 2013 ImageNet Challenge

3


Finally4


28

PyData Tokyoについても話してきました

大ボス Travis Oliphant


29

事務局：非常に協力的

スピーカー紹介するわよ


30

SymPy NumPy Cython Pandas

scikit-learn Julia etc. etc.

20141127 py datatokyomeetup2

Technology