メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...deim forum 2015...

7
DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための 世界地図インタフェース 山田 廣田 雅春 †† 石川 ††† 横山 昌平 †††† 静岡大学情報学部 432–8011 静岡県浜松市中区城北 3-5-1 †† 首都大学東京システムデザイン研究科/日本学術振興会特別研究員 PD 191–0065 東京都日野市旭が丘 6-6 ††† 首都大学東京システムデザイン学部 191–0065 東京都日野市旭が丘 6-6 †††† 静岡大学大学院情報学研究科 432–8011 静岡県浜松市中区城北 3-5-1 E-mail: [email protected]††[email protected]†††[email protected]††††[email protected] あらまし 本研究では,写真の時系列変化と審美性に着目し,写真に付与されているメタデータを用いて,世界各地 で撮影された風景写真を効果的に閲覧するためのシステムの構築を行う.Flickr などで共有される写真には,ジオタ グやテキストタグ,Exif などのメタデータが付与されている.これらのメタデータによって,画像処理を用いずに写 真の撮影状況の把握が容易になる.また,風景写真に特化する理由は,世界各地で撮影されたジオタグ付き写真から, その撮影場所に直接訪問することなく風景を閲覧するというニーズがあるためである.本システムは,写真の時系列 変化を考慮することで,撮影日時に基づく風景の見た目の変化を閲覧可能にし,一度に大量の写真を閲覧する困難性 を解消する. キーワード 時系列変化,ソーシャルタギング,Flickr,可視化 1. はじめに 近年,GPS 機能を持つスマートフォンやデジタルカメラの普 及に伴い,Flickr [1] Panoramio [2] などの写真共有サイトの 利用者が増加し,世界中で大量の写真がアップロードされてい る.それらの写真には,写真共有サイト上のソーシャルタギン グによるテキストタグや Exif と呼ばれるメタデータが付与さ れている.Exif には,撮影場所の緯度経度情報を示すジオタグ や撮影日時の他にカメラの機種や被写体距離,フラッシュモー ドの種類などの多種多様な情報が含まれており,写真の撮影状 況を知るための重要な手がかりとなる.写真共有サイトに大量 の写真がアップロードされることによって,今日では,ユーザ がそれらの写真を一度に効率的に閲覧することが困難となって いる.そこで,大量の写真を効果的に閲覧できる写真の閲覧シ ステムの必要性が注目されており,写真の閲覧システムを提案 する多くの研究がされている [3] [4] [5]しかし,これらのシステムは,時間の変化が考慮されておら ず,ある撮影場所において,異なる撮影日時に撮影された写真 は,その写真の見た目が変化するということを想定していない. そのため,これらのシステムでは,昼間や夜間などとは無関係 に撮影された写真が混在してしまい,風景写真の閲覧システム としての景観を損ねるという課題がある.単純に撮影日時と無 関係に写真が表示されるよりも,昼夜の様子が,視覚的にわか るように写真が表示される方が望ましい. そこで,本研究では,特に時系列変化と写真の審美性に着目 し,写真に付与されているメタデータを用いて,世界各地で撮 影された風景写真の時系列変化を効果的に閲覧するためのシス テムの構築を行う.本研究において,風景写真を対象とする理 由は,写真のジオタグと撮影時間が主要なパラメータとして与 えられたとき,その写真の撮影場所の地理情報を知る上で風景 写真が最も適していると考えられるからである.また,世界各 地で撮影されたジオタグ付き写真から,その撮影場所に直接訪 問することなく風景を閲覧するというニーズがあるからである. 撮影場所の風景写真を提供する既存システムに Google Street View [6] があげられる.しかし,写真は定期的に更新されるも のの,その場の風景の多くは,昼間の写真で日ごとあるいは, 時間ごとの短い間隔における見た目の変化を閲覧できない.加 えて,ぼかしやモザイクなどの加工処理が施されているケース が多く,これによって景観を損ねる可能性がある.本システム が提供する世界地図インタフェースを用いることで,写真共有 サイトで多数のユーザによって時時刻刻とアップロードされる 写真から,時系列の変化による風景の見た目の変化,および写 真の撮影場所がどのような場所であるかを全世界を対象に視覚 的に把握することが可能となる. 大量の写真の効果的な可視化を支援するために,本研究では テキストタグ,Exif を含むテキストベースのメタデータを用い る.これらのテキストベースのメタデータを用いることで,処 理工程の複雑な画像処理を用いずに写真の撮影状況の把握が可 能になると考えられる.本システムでは,前述の通り風景写真 を対象とするため,空などの風景に関連するテキストタグが付 与された写真を利用する.しかし,テキストタグは一枚の写真 に対して誰もが自由に付与可能であるため,非常に多種多様で ある.また,多くは写真の内容に関連したキーワードとしてテ キストタグが付与されているが,付与の仕方の基準は明確に定

Upload: others

Post on 24-Jan-2021

1 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための

DEIM Forum 2015 F4-6

メタデータを利用した風景写真の時系列変化を効果的に閲覧するための世界地図インタフェース

山田 匠† 廣田 雅春†† 石川 博††† 横山 昌平††††

† 静岡大学情報学部 〒 432–8011 静岡県浜松市中区城北 3-5-1

†† 首都大学東京システムデザイン研究科/日本学術振興会特別研究員 PD 〒 191–0065 東京都日野市旭が丘 6-6

††† 首都大学東京システムデザイン学部 〒 191–0065 東京都日野市旭が丘 6-6

†††† 静岡大学大学院情報学研究科 〒 432–8011 静岡県浜松市中区城北 3-5-1

E-mail: †[email protected],††[email protected],†††[email protected],††††[email protected]

あらまし 本研究では,写真の時系列変化と審美性に着目し,写真に付与されているメタデータを用いて,世界各地

で撮影された風景写真を効果的に閲覧するためのシステムの構築を行う.Flickrなどで共有される写真には,ジオタ

グやテキストタグ,Exifなどのメタデータが付与されている.これらのメタデータによって,画像処理を用いずに写

真の撮影状況の把握が容易になる.また,風景写真に特化する理由は,世界各地で撮影されたジオタグ付き写真から,

その撮影場所に直接訪問することなく風景を閲覧するというニーズがあるためである.本システムは,写真の時系列

変化を考慮することで,撮影日時に基づく風景の見た目の変化を閲覧可能にし,一度に大量の写真を閲覧する困難性

を解消する.

キーワード 時系列変化,ソーシャルタギング,Flickr,可視化

1. は じ め に

近年,GPS機能を持つスマートフォンやデジタルカメラの普

及に伴い,Flickr [1]や Panoramio [2]などの写真共有サイトの

利用者が増加し,世界中で大量の写真がアップロードされてい

る.それらの写真には,写真共有サイト上のソーシャルタギン

グによるテキストタグや Exif と呼ばれるメタデータが付与さ

れている.Exifには,撮影場所の緯度経度情報を示すジオタグ

や撮影日時の他にカメラの機種や被写体距離,フラッシュモー

ドの種類などの多種多様な情報が含まれており,写真の撮影状

況を知るための重要な手がかりとなる.写真共有サイトに大量

の写真がアップロードされることによって,今日では,ユーザ

がそれらの写真を一度に効率的に閲覧することが困難となって

いる.そこで,大量の写真を効果的に閲覧できる写真の閲覧シ

ステムの必要性が注目されており,写真の閲覧システムを提案

する多くの研究がされている [3] [4] [5].

しかし,これらのシステムは,時間の変化が考慮されておら

ず,ある撮影場所において,異なる撮影日時に撮影された写真

は,その写真の見た目が変化するということを想定していない.

そのため,これらのシステムでは,昼間や夜間などとは無関係

に撮影された写真が混在してしまい,風景写真の閲覧システム

としての景観を損ねるという課題がある.単純に撮影日時と無

関係に写真が表示されるよりも,昼夜の様子が,視覚的にわか

るように写真が表示される方が望ましい.

そこで,本研究では,特に時系列変化と写真の審美性に着目

し,写真に付与されているメタデータを用いて,世界各地で撮

影された風景写真の時系列変化を効果的に閲覧するためのシス

テムの構築を行う.本研究において,風景写真を対象とする理

由は,写真のジオタグと撮影時間が主要なパラメータとして与

えられたとき,その写真の撮影場所の地理情報を知る上で風景

写真が最も適していると考えられるからである.また,世界各

地で撮影されたジオタグ付き写真から,その撮影場所に直接訪

問することなく風景を閲覧するというニーズがあるからである.

撮影場所の風景写真を提供する既存システムにGoogle Street

View [6]があげられる.しかし,写真は定期的に更新されるも

のの,その場の風景の多くは,昼間の写真で日ごとあるいは,

時間ごとの短い間隔における見た目の変化を閲覧できない.加

えて,ぼかしやモザイクなどの加工処理が施されているケース

が多く,これによって景観を損ねる可能性がある.本システム

が提供する世界地図インタフェースを用いることで,写真共有

サイトで多数のユーザによって時時刻刻とアップロードされる

写真から,時系列の変化による風景の見た目の変化,および写

真の撮影場所がどのような場所であるかを全世界を対象に視覚

的に把握することが可能となる.

大量の写真の効果的な可視化を支援するために,本研究では

テキストタグ,Exifを含むテキストベースのメタデータを用い

る.これらのテキストベースのメタデータを用いることで,処

理工程の複雑な画像処理を用いずに写真の撮影状況の把握が可

能になると考えられる.本システムでは,前述の通り風景写真

を対象とするため,空などの風景に関連するテキストタグが付

与された写真を利用する.しかし,テキストタグは一枚の写真

に対して誰もが自由に付与可能であるため,非常に多種多様で

ある.また,多くは写真の内容に関連したキーワードとしてテ

キストタグが付与されているが,付与の仕方の基準は明確に定

Page 2: メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための

まっていないため,風景写真以外の意図しない写真まで取得し

てしまうことが考えられる.このような背景をふまえて,次の

2つのアプローチをとる.

1つ目は,テキストタグの共起に基づくテキストタグのセッ

トを用いた風景写真の判別である.写真に十分に付与されたテ

キストタグの中で,あるテキストタグが含まれているとき,そ

の中に限定的に出現する別のテキストタグは共起しているとい

う関係になる.風景写真を対象とした場合,あるテキストタグ

と一緒に共起して付与されるテキストタグとして,どのような

キーワードが用いられているかを把握することで,潜在的な風

景写真を抽出することが可能である.

2つ目は,メタデータを用いたノイズ除去である.写真の撮

影状況情報を含む Exif は,撮影場所の環境や被写体の性質に

応じ,カメラなどの撮影媒体を操作することによって,その値

が決定し記録される.本研究が対象とする風景写真とそれに該

当しない写真の記録された値の傾向に明確な差があると仮定す

れば,Exifを用いることで,あるテキストタグを持つ写真のう

ち,空などの風景の写真のみを,写真の撮影状況に基づいて抽

出することが可能であると考えられる.

本論文の構成は次のとおりである.2章では,本研究と関連

研究の差分について述べる.3章では,提案システムの概要と

手法の流れについて述べる.4章では,システムの動作例につ

いてまとめる.5章では,本研究で得られた成果のまとめと今

後の展望について述べる.

2. 関 連 研 究

写真の閲覧システムを提案した研究には,Zerrら [3]の研究

や Epshteinら [4],五味ら [5]の研究がある.Zerrらは,テキ

ストベースのメタデータによる写真の視覚的特徴の分類を用

いたユーザが魅力的と感じる写真の閲覧システムを提案した.

Epshtein らは,ジオタグを用いて撮影シーンの階層的分類を

行い,大規模な写真コレクションの閲覧支援システムを提案し

た.五味らは,階層型データ可視化手法「平安京ビュー」を用

いて,各クラスタを表わす長方形領域ごとに写真群を表示する

ためのシステムを提案した.本研究は,撮影された写真の撮影

日時に着目し,時系列の変化による写真の見た目の変化が閲覧

可能であるという点で,これらの写真の閲覧システムと異なる.

写真の内容を分類する研究として,写真の画像情報を利用し

た手法が多く,Li [7]らの研究や小島 [8]らの研究があげられる.

Liらは,写真の色と明るさに着目し,人物の顔領域と背景領域

の視覚的な特徴差から写真の評価を行った.小島らは色情報に

加え,入力画像をグリッド上の領域に分割し,複数の特徴点を

取ることで色と形の 2つの情報によってフォトモザイクを利用

した写真の閲覧手法を提案した.画像情報を考慮するためには,

写真に対する画像処理をする必要があるため,写真の枚数が増

えれば,その分データ処理量が増大してしまう.本研究では,

テキストベースのメタデータを用いることで,処理工程の多い

画像処理を用いずに風景写真の判別を行う.

また,Exif を用いた写真の分類の研究として,Bountell ら

の研究 [9]があげられる.Bountellらは,写真に付与されてい

図 1 システム構成図

る Exif から,屋内と屋外で撮影された写真を分類した.屋内

と屋外を分類するための主な要素として,“フラッシュの有無

(Flash)”,“被写体距離 (SubjectDistance)”,“露光時間 (Ex-

posureTime)”がある.これらは,撮影状況の変化に最も影響

されるということを示した.本研究では,空などの風景を撮影

した屋外の写真のみを得るために Exif を用いてノイズ写真の

除去を行う.

3. 提案システム

本研究では,風景写真の時系列変化を効果的に閲覧するため

のシステムを構築する.システムの構成図を図 1に示す.シス

テムの処理はサーバサイドとクライアントサイドからなる.

外部の写真共有サイトである Flickrから写真画像とその写真

に付与されたメタデータをサーバサイドで収集する.ここで用

いるメタデータは,テキストタグ,“ジオタグ (GPSLatitude,

GPSLongitude)”,“撮影日時 (DateTimeOriginal)”,さらに,

“フラッシュの有無 (Flash)”,“F値 (FNumber)”,“被写体距

離 (SubjectDistance)”,“露光時間 (ExposureTime)”の値であ

る.より多くの風景写真を得るために,風景が撮影された写真

に付与されると考えられるテキストタグの集合をシステム側

が保持し,これに含まれるテキストタグに基づいて取得した写

真から風景写真の判別と抽出を行い,さらに,写真のメタデー

タを用いたノイズ除去を行う.この処理工程によって抽出され

た写真データを,クライアントサイドにおける世界地図インタ

フェースに出力する.

3. 1 テキストタグの共起に基づくテキストタグセット

例えば,Flickrにおけるテキストタグは,Flickrに登録した

ユーザが,Flickr内の写真に対して分類する際に自由に付与す

ることが許可されている.写真の撮影対象や撮影した場所およ

び日時などに関連する何らかのキーワードとして,テキストタ

グを付与されることが多い [10] [11].その一例として,図 2に,

実際に Flickr でアップロードされた一枚の写真に付与される

テキストタグを示す.写真は東京都墨田区にある東京スカイツ

リーを夕日の空を背景に撮影したものであり,その撮影対象や

場所を含む写真の内容を明示的にテキストタグとして付与して

Page 3: メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための

図 2 東京スカイツリーを撮影した写真と写真に付与されているテキ

ストタグ

いるのがわかる.最後に付与されている “d5100”とは,ニコン

製カメラの機種 D5100 のことを意味し,この例においては撮

影時にどのカメラの機種を扱ったかの内容も含まれていること

がわかる.したがって,風景の撮影を重点においた写真は風景

に関連するテキストタグによって抽出可能であると考えられる.

しかし,テキストタグの付与の仕方は明確に定まっていない.

そのため,仮にある写真の閲覧システムが与えられたとして,

ユーザが閲覧したいと思う写真を手動で検索する場合,単一の

テキストタグしか指定できないと次のような問題が生じる.例

えば,テキストタグ “sky”を入力した場合,“sky”を持つ空の

写真を取得する一方で,それと類似した空の写真が “skyline”

というテキストタグしか付与されていない場合,システムはそ

の写真を無視してしまう.つまり,クエリに関連するテキスト

タグが付与された写真が取得できない可能性がある.

そこで,本研究で構築するシステムでは,より多くの潜在的

な風景写真を取得するために,風景を意味する単語に関連する

キーワードの集合を写真に付与されるテキストタグの共起に基

づいて人手で作成し,これをテキストタグセットとする.テキ

ストタグセットはサーバサイドが保持し,これに含まれるテキ

ストタグを持つ風景写真の抽出を行う.

3. 2 ノイズ除去

風景を撮影した写真に付与されると考えられるテキストタグ

をもつ写真が必ずしも実際に現地で撮影した風景写真であると

いう保証は無い.これらをノイズと呼び,本研究では,テキス

トタグや Exifを用いてノイズ除去を行う.

3. 2. 1 テキストタグで判別可能なノイズ

写真共有サイト上では閲覧数を増やすために意図的に写真の

内容と全く無関係なテキストタグを多数付与するようなユーザ

が存在する.これついては,一定数を超える数のテキストタグ

が付与された写真はノイズ扱いとすることで,対処可能である

と考えられる.

また,内容が風景であっても,その写真がカメラの撮影モー

ドや撮影後の加工により白黒写真である,あるいは人が描いた

風景のイラストであるようなケースも存在する.白黒写真は,

図 3 に示されているように,単一の色彩しか持たないため時

系列変化による風景の見た目の変化が視覚的に判断できず,い

つ撮影された写真であるかを把握することが困難であるため,

ノイズ扱いとする.イラストは,図 4 に示されているように,

図 3 風景が撮影された白黒写真

図 4 人が描いたイラスト

様々な技法によって対象物が描かれた作品がアップロードされ

ているが,本システムにおいて,その場所の実際の風景を対象

とした写真の閲覧するという要求を満たせなくなるため,同様

にノイズ扱いとする.これらに該当する写真は,単に風景を撮

影する写真とはその表現の特徴が異なる.また,前述したとお

りテキストタグはその写真の内容が識別できるように付与され

る傾向が高いため,テキストタグにより判別可能であると考え

られる.Exifには原則として,撮影されたその時点の撮影状況

が記録されるため,風景写真を撮影して後から白黒加工をする

ようなケースに対しては特に効果的であると考えられる.

表 1に,テキストタグ “monochrome”が付与された写真を例

として,“monochrome”に共起するテキストタグの内,白黒写

真に付与されるテキストタグとして決め打ちされた上位 5件の

候補を,表 2に,テキストタグ “illustration”が付与された写

真を例として,“illustration”に共起するテキストタグの内,イ

ラストに付与されるテキストタグとして決め打ちされた上位 5

件の候補を示す.表 1については,“monochrome”に対して最

も高い頻度で共起しているのは “bw”である,また,このキー

ワードは後に続く “blackandwhite”,“blackwhite”などの略表

記であることがわかる.また,4番目に頻度の高い “grayscale”

も白黒の 2値だけで明暗を表現する方法のことを意味する.表

2については,いずれのテキストタグも「描いた」ということ

を明示的に示しているため,イラストとして十分に判別可能で

あると考えられる.本研究では,これらのテキストタグが付与

された写真をノイズの対象とする.

3. 2. 2 Exifを用いたノイズ除去

サーバサイドで取得した Exif の撮影状況を示すメタデータ

の内,“フラッシュの有無 (Flash)”,“F値 (FNumber)”,“被

写体距離 (SubjectDistance)”,“露光時間 (ExposureTime)”の

値を用い,空などの風景を撮影した写真に該当しない,あるい

Page 4: メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための

表 1 “monochrom” と共起した白黒写真に明示的に付与されると考

えられるテキストタグ

頻度順位 テキストタグ

1 bw

2 blackandwhite

3 blackwhite

4 grayscale

5 blackwhitephoto

表 2 “illustration”と共起したイラストに明示的に付与されると考え

られるテキストタグ

頻度順位 テキストタグ

1 drawing

2 painting

3 draw

4 sketch

5 illustrator

はサーバサイドの処理に支障をきたす可能性のあると想定され

る不正な書式の値を持つ写真群を対象にノイズ除去を行う.

本研究では,空などの風景写真を対象としているため,屋内

にある対象物が撮影された写真はノイズ扱いとする.Bountell

らによると,自然光は人工の光よりも強く,高い輝度値を有す

るため,カメラのフラッシュは屋外の風景の撮影時よりも屋内

の風景の撮影時のほうがはるかに高い割合で使用される.し

たがって,風景写真に関連するテキストタグが付与されている

のにも関わらず撮影対象が屋内の風景であるような例はフラッ

シュの有無によってノイズ除去が可能であると考えられる.

F値については,値が小さくなるほどレンズを通る光量が多

くなり,背景にボケが生じやすくする傾向がある.故に,至近

距離にある対象物を撮影する際にはしばしば値を小さくするた

め,判別可能な要素であると考えられる.

被写体距離については,顔写真などの至近距離で撮影された

写真は,その被写体に焦点を置くため,被写体距離も大幅に縮

まる.一方,風景写真の多くは被写体距離が定まらず,無限遠

として記録されるため,判別可能な要素であると考えられる.

また,Exifはカメラの機種によって値のフォーマットが様々

で統一されていないという問題がある.例えば,露光時間は数

分の一から数千分の一の分数単位で表現される一方で,小数

あるいは,単位不明の整数値で表現される場合があり,計算や

比較の妨げとなる.本研究では,サーバサイドにおいて,Exif

のフォーマットの統一を行う.単位不明の整数値については,

65,535や 4,294,967,295などのように小数値とは比較にならな

いほどかけ離れた明らかに逸脱した整数値であり,実際は極め

て少数のケースでしかないため,該当する値を持つ写真はノイ

ズとして除去する.

3. 3 風景写真の表示

図 5にクライアントサイドにおけるシステムのインタフェー

スを示す.クライアントサイドでは,サーバサイドから生成さ

れた風景写真の結果をWebブラウザ上で閲覧可能な世界地図

インタフェース上に表示する.地図および写真の表示について

は,Google Maps API [12] を用い,図 5 中のピンク枠に設置

された世界地図に写真のジオタグに基づいて写真を配置する.

可視化の方法として,写真が撮影された緯度経度の座標に直接

配置することが考えられる.しかし,この方法では,一定の時

間内で多数の写真が撮影されるような場所においては,写真が

重なり合うため,視認性が低い.これを考慮するために,地図

全体をピクセル単位に基づいた等間隔のグリッドに分割し,グ

リッドによって形成されたそれぞれのセルにおいて,それに含

まれる場所のジオタグを持つ写真が配置される.グリッドの間

隔,すなわちセルのサイズは地図のズームレベルに応じて変

更され,ズームレベルが高いほど,セルの一辺の距離は短くな

り,より正確な位置に写真が配置される.また,時系列による

変化を効果的に閲覧できるようにするため,スライダを設置し,

ユーザがスライダを操作することで地図上の写真をスライダが

示す時間帯に撮影された写真に動的に切り替えられるようにす

る.スライダが表す時間の単位は,時間,月の 2 種類であり,

それぞれの単位に合わせた写真の閲覧が可能である.

図 5 中の橙枠の表示情報欄にはマウスポインタの位置の緯

度経度および地図のズームレベルが示される.また,水色枠内

に設置されたスライダをユーザが操作することによって指定す

る時間が切り替わり,指定された時間中に撮影された写真が表

示される.スライダ上部のラベルは時間の粒度を示している.

“Hour”は時間,“Month”は月がスライダが表わす粒度の単位

として設定されていることを示し,その右側の数値はスライダ

が示している値である.図 5において,スライダは,Hour:12,

すなわち 12時が指定されているが,これは 12時台に撮影され

た写真のみが地図上に配置されることを意味する.地図上のセ

ルに配置される写真は,そのセルに含まれる写真群の中からラ

ンダムに選出された一枚である.写真をクリックすることで,

緑枠に示される写真一覧のパネルが表示され,そのセル内に含

まれる写真を閲覧することが可能である.

4. 動 作 例

本研究では,Flickr から取得した全データ 207,265,132 件

の内,テキストタグ “landscape” とそれに共起する風景と関

連するテキストタグ “sky”,“skyline”,“nature”,“sunset”,

“cloud”,“nightsky”を含むテキストタグセットを用い,クエリ

として与えた場合の Exifが付与されている写真データ 803,953

件を用いる.

図 6(a),7(a),8(a) に,時間単位を例に 12 時台,18 時台,

22 時台におけるそれぞれの地図上に配置された写真の表示結

果を,図 6(b),7(b),8(b) に,スライダが指定したそれぞれ

の時間帯に含まれる撮影日時に撮影された写真の例を示す.い

ずれの場合も,実際に風景写真が撮影された場所を含むセルに

写真が配置されている.配置される写真は,ヨーロッパ,アジ

ア,アメリカ合衆国以南の地域に密集している一方で,ロシア,

アフリカ北部,カナダの地域にはほとんど写真データが存在し

ていないことがわかる.ロシア,アフリカ北部,カナダの地域

において写真が少ないのは,単純に撮影者が少ない,あるいは

現地で Flickr を利用しているユーザ数が少ないということが

Page 5: メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための

図 5 ブラウザ上で表示される世界地図インタフェース

原因として考えられる.加えて,写真の多い地域の中でも,広

範囲に写真が配置されているセルの領域に空のセルが穴を作る

ように点在しているのがわかる.これによって,低いズームレ

ベルにおいて,これらの空のセルは地図上の連続する写真の見

た目を損ねてしまうと考えられる.しかし,この問題について

は,空のセルにある周囲のセルが,十分な写真枚数を有してい

る場合に限り,その隣接する空のセルに風景写真をジオタグに

基づく補完により,空のセルを埋めることで解消できると考え

られる.

図 6(a)では,図 6(b)に示されているように,全体的に昼間

に撮影されたような青い空の風景写真が多く配置されているの

に対し,図 7(a)では,図 7(b)のような夕日の写真が多く見ら

れ,橙色や明度の低い写真が多く配置されている.そして,図

8(a)では,図 6(a)や図 7(a)と比較して,星空や月,オーロラ

などの夜間で撮影されたような,さらに明度の低い写真が配置

されているが,全体的に写真数が少ない.これは,夜間に野外

で撮影するケースは昼間と比べて圧倒的に少ないため,空のセ

ルの数が昼間の結果に比べると増えている.

また,全ての配置結果において,スライダが指定した時間に

応じて配置される風景写真の見た目が世界各地で大部分が似

通っていることがわかる.これは撮影された風景写真の撮影日

時に対して,その撮影場所のタイムゾーンを考慮していないか

らであると考えられる.したがって,時差が離れていてもそれ

ぞれの現地の時間に合わせて撮影された写真が地図上に配置さ

れる.

世界各地のタイムゾーンが予めわかっていれば,世界の共通

する時間において,ある場所の現在時間とそのときに撮影され

る風景写真が可視化可能であると期待できる.この課題は,写

真に付与されているジオタグからその場所のタイムゾーンを取

得することで解決できると期待できる.

5. お わ り に

本研究では,Web上の写真共有サイトから取得した写真と写

真に付与されているテキストタグ,ジオタグ,撮影日時などの

メタデータを用いた風景写真の時系列変化を効果的に閲覧可能

な世界地図インタフェースの構築を行った.構築した写真閲覧

システムの世界地図インタフェースは風景写真に限らず,人物

や食べ物,イベントの写真などに応用可能である.しかし,ジ

オタグおよび撮影時間がパラメータとして与えられたとき,そ

の写真の撮影場所の地理情報を知る上で風景写真が最も適して

いると考えられる.また,世界各地で撮影された多種多様な写

真が閲覧可能であるユーザの立場にとって,遠く離れた土地の

風景を閲覧したいというニーズがあるため,本研究では風景に

特化し,システムの結果に対して考察を行った.

本論文で示したシステムの動作結果において,今後着目して

いく課題は 3つあげられる.

1つ目は,特定の撮影場所間における写真枚数のばらつきで

ある.これはグリッドで分割することによって形成される地図

上のセルが十分な枚数の写真を持つ際に,隣接する空のセルに

対する補完を行うことで対処する.補完先を決定する基準とし

てジオタグが候補としてあげられるが,その他に何を基準とし

てセル内のどの写真を補完するかを検討する必要がある.

2つ目は,配置される写真の撮影日時のズレである.この課

題の原因となる考慮されていないタイムゾーンについては,写

真に付与されているジオタグからその地点のタイムゾーンを取

得することで対処可能であると考えられる.

3つ目は,セルの代表写真の選出とその選出方法の検討であ

る.現状のシステムはセル内に複数の写真が含まれている場合

はその中から無作為に 1枚を表示する仕様となっているが,代

表の 1枚を選出することで,世界地図インタフェース上におい

て質の高い風景写真が閲覧可能であると期待できる.

Page 6: メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための

(a) 12 時台に撮影された風景写真の配置 (b) 昼間に撮影されたと考えられる写真

図 6 スライダを 12 時に指定した場合

(a) 18 時台に撮影された風景写真の配置 (b) 夕方に撮影されたと考えられる写真

図 7 スライダを 18 時に指定した場合

(a) 22 時台に撮影された風景写真の配置 (b) 夜間に撮影されたと考えられる写真

図 8 スライダを 22 時に指定した場合

文 献[1] “Flickr”, http://www.flickr.com/

[2] “Panoramio”, http://www.panoramio.com/

[3] Sergej Zerr, Stefan Siersdorfer, Jose San Pedro,Jonathon

Hare and Xiaofei Zhu, “NicePic!: A System for Extracting

Attractive Photos from Flickr Streams”, In Proceedings of

the 37th international ACM SIGIR conference on Research

& development in information retrieval, pages 1259–1260,

2014

[4] Boris Epshtein, Eyal Ofek, Yonatan Wexler and Pusheng

Zhang, “Hierarchical Photo Organization using Geo-

Relevance”, In Proceedings of the 15th annual ACM inter-

national symposium on Advances in geographic information

systems, pages 18:1–18:7, 2007

[5] 五味愛,宮崎麗子,伊藤 貴之,リジア,“CAT : 大量画像の一覧可視化と詳細度制御のための GUI”,画像電子学会誌,Vol.37,No.4,pages 436–443,2008

[6] “Google Street View”,

http://www.google.com/maps/views/streetview/

[7] Congcong Li, Alexander C. Loui and Tsuhan Chen, “To-

wards Aesthetics: a Photo Quality Assessment and Photo

Selection System”, In Proceedings of the international con-

ference on Multimedia, pages 827–830, 2010

[8] 小島加寿代,高橋成雄,岡田真人,“視覚特性を考慮した装飾的フォトモザイク”,情報処理学会論文誌,Vol.49,No.7,pages

2703–2711,2008

Page 7: メタデータを利用した風景写真の時系列変化を効果的に閲覧 ...DEIM Forum 2015 F4-6 メタデータを利用した風景写真の時系列変化を効果的に閲覧するための

[9] Matthew Bountell and Jiebo Luo, “Bayesian Fusion of Cam-

era Metadata Cues in Semantic Scene Classification”, In

Proceedings of the 2004 IEEE Computer Society Confer-

ence on (Volume:2), pages 623–630, 2004

[10] 和多田吉樹,鎌原淳三,長松隆,田中直樹,“位置情報付き類似画像を用いた未知画像のタグ推定における精度評価実験”,第 4

回データ工学と情報マネジメントに関するフォーラム,2012

[11] Haipeng Zhang, Mohammed Korayem, David J. Crandall

and Gretchen LeBuhn, “Mining Photo-sharing Websites to

Study Ecological Phenomena”, In Proceedings of the 21st

international conference on World Wide Web, pages 749–

758

[12] “Google Maps API”, https://developers.google.com/maps/