aiエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1...

11
AIエッジコンテスト 結果

Upload: others

Post on 10-Jun-2020

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

AIエッジコンテスト 結果

Page 2: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

コンテスト概要

Car, Pedestrian, Truck, Bicycle, Signal, Signs

オブジェクト検出部門

セグメンテーション部門

Car Pedestrian

x1

y1

Car

bounding box

y2

x2

Signal Lane

(学習用)約2万枚(評価用)約6千枚

(学習用)約2千枚(評価用)約6百枚

Page 3: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

矩形タグ画像 サンプル(場所)市街地

タグ 69住宅地

トンネル高速

交差点はタグ数が極めて多い

Page 4: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

矩形タグ画像 サンプル(時間帯)

夜は見え方が大きく異なる

Page 5: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

走行ルート

埼玉ルート東京ルート学習渋谷~

環状2号トンネル

学習浅草~首都高トンネル

評価環状2号トンネル

~浅草

評価首都高トンネル~羽田空港

多様な景色を網羅

Page 6: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

ラベルの分布

歩行者・車両の頻度が高い

Page 7: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

応募結果

参加 : 931 人

応募 : 197 チーム

応募回数 : 2497 件

社会人 3 : 1 学生

国内 3 : 1 海外

Page 8: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 10 100 1000

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

1 10 100

スコアの全体傾向

スコアの分布

オブジェクト検出部門 セグメンテーション部門

0 0.2 0.4 0.6 0.80 0.2 0.4 0.6 0.8上位

高精度

トップスコア

=0.745

投稿回数とスコアの関係

61位ベンチマークスコア(チュートリアル)

= 0.291

トップスコア

=0.728

61位ベンチマークスコア(チュートリアル)

= 0.423

Page 9: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

条件別精度

時間帯「夜」や、識別対象「歩行者」は精度が低い

オブジェクト検出部門 セグメンテーション部門

時間帯 時間帯

朝 昼 夜 朝 昼 夜

0.809 0.764 0.671 0.760 0.706 0.707

識別対象 識別対象

Car Truck Pedestrian Bicycle Signal Signs Car Pedestrian Signal Lane

0.894 0.813 0.536 0.623 0.632 0.785 0.802 0.532 0.450 0.929

ルート ルート

東京 埼玉 東京 埼玉

0.734 0.782 0.719 0.826

Page 10: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

矩形面積と精度の関係性

サイズが小さいと精度は低下

Page 11: AIエッジコンテスト結果 - static.signate.jp · 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 1000 0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1 1 10 100 スコアの全体傾向

モデリング手法総括

■ソフトウェア

9割以上がpython

■データの利用

提供外データ(BDD100K)

他部門データ(オブジェクト検出⇔セグメンテーション)

■モデリング

9割以上が深層学習

Faster R-CNN、deeplab v3 が多い

■アイデア賞

エッジコンピューティングの観点で考察・工夫