qualcomm vuforia を使用したar(拡張現実)アプリの紹介
TRANSCRIPT
第2.0.1版 2017年6⽉29⽇(⽊)
⻲⼭ 悦治 (Etsuji Kameyama)
Entertainment - Enterprise AR/MR PTC Vuforia
PTC Vuforiaの現状と最新情報
Project Chalkとは、離れた場所にいる⼈が⾒ている映像に対してデジタルデータを重ね合わせ、相⼿が困っている状況を⼿助けすることができるソリューション。
Project Chalk
出典：http://projectchalk.vuforia.com/ 出典：https://www.youtube.com/watch?v=s8D00Tjc4Ic
2017/5/1 -⽶国ロサンゼルスにて、5⽉1、5⽉2⽇にUnity開発者向けイベント「Unity VR/AR Vision Summit」が開催。Vuforiaは、Tango対応端末をサポートする「Vuforia Smart Terrain」を発表した。
Vuforia for Tango Devices
出典：https://developer.vuforia.com/ 出典：http://panora.tokyo/26847/
2017/5/31 -⽶国サンタクララにて開催された世界最⼤のARイベントAWE2017で、3Dモデルのフォルムを認識する CAD認識技術が発表された。今までは特徴点ベースであったが、この技術により特徴的なデータが含まれていないシンプルな⾃動⾞などを認識できるようになった。
Vuforia ⽴体物のフォルム認識
出典：https://developer.vuforia.com/ 出典：https://youtu.be/y70yStPCBHA
Vuforiaについて
Vuforiaについて
Vuforiaの技術と国内外事例 Images：画像認識：写真やイラストなどの画像を認識 VuMark：無限にパターンが⽣成できる次世代ARコード User-Defined Images：⾃⼰定義認識：その場で選んだ画像をターゲットとして設定 Cylinders：⽴体円柱認識：⽸などのシリンダー状の⽴体物を認識 Boxes：⽴⽅体認識：サイコロのような⽴⽅体を認識 Occlusion Management：⽴⽅体認識と似ているが、箱の中に物が⼊っているようにできる Virtual Buttons：認識画像側に仮想ボタンを設置しARの動作を切り替えられる Text：⽂字認識：⽂字 text を認識。現在は英語のみ認識可能 Extended Tracking：拡張トラッキング：ターゲット画像がカメラから外れても継続認識 Smart Terrain：画像認識を拡張しその周りの物を存在するかのようにAR上に影響を与える Objects：⽴体物を認識することができる(特徴点タイプ) Digital Eyewear：対応するヘッドマウントディスプレイに特化したSDK Vuforia Cloud：ターゲット画像の認識を端末内でではなくクラウド側で認識
付録
⽬ 次
【PTCについて】 PTC（NASDAQ: PTC）は企業がモノのインターネット（IoT）の「モノ」の開発、運⽤、サービスを変⾰するテクノロジー プラットフォームやソリューションをグローバルに提供する企業。
PTC Vuforia ゼネラルマネージャ兼シニアバイスプレジデントのジェイ・ライト（Jay Wright）は「PTCは、モノとのやり取りや体験のやり⽅を完全に変えてしまう技術が揃ったと考えます。当社がVuforiaで⽬指しているのは、すべてのモノを対象とした拡張現実（AR）体験を提供し、将来の仕事のしかたを根本から変えるということです」と述べている。
IDCシニアバイスプレジデント兼IoTリサーチフェローのバーノン・ターナー（Vernon Turner）⽒は「今⽇の発表は、IoT（モノのインターネット）と拡張現実という2つの変⾰をもたらす技術トレンドを活⽤して⼈と製品のやり取りを根本から変えてしまう新たなクラスの製品を提供するというもの…」と述べている。
出典(prtimes)：http://prtimes.jp/main/html/rd/p/000000068.000008474.html
VuforiaとPTCについて
Vuforiaの優れた技術がもたらす表現⼒
Vuforia - Vuforia Cloud
•公式サイト：https://www.vuforia.com (Qualcomm)
http://www.ptc.com/about/history/vuforia (PTC)
•対応：iOS、Android OS
•ARタイプ：画像認識、マーカー認識、英字テキスト認識、⽴体認識等
•取扱可能コンテンツタイプ：静⽌画、動画、3DCG、⾳声等
•スマートフォン向けの画像認識ARアプリで使⽤された実績は、世界最⾼レベル。レゴの3Dカタログ、セサミのテキスト認識、NASAの探査機のインタラクティブなARなど。⽇本国内の画像認識系のARアプリの多くにはVuforiaが採⽤。
2014年6⽉ナレッジワークス株式会社は Vuforia Preferred Developer を取得 ⽇本では、Vuforiaを使⽤したARアプリの開発実績がトップクラス。 AR開発・導⼊を検討中の⽅は、ぜひご相談ください。
Vuforia が対応するデバイス群(1/4)
出典：https://www.vuforia.com/devices
Vuforia supports the vast majority of smartphones and tablets running on Android 4.0.3 and later, as well as iOS 8.0 and later.
Phones and Tablets
NotebooksVuforia supports the Universal Windows Platform, extending its reach to new form-factors like Microsoft Surface Book.
Android Phone Apple iPhone / iPadAndroid Tablet Google TangoLenovo Phab 2 Pro
Google TangoASUS ZenFone AR
Vuforia が対応するデバイス群(2/4)
出典：https://www.vuforia.com/devices
New devices are being rapidly introduced into the market. Below are featured AR glasses and VR viewers that Vuforia supports.
Digital Eyewear
Glasses
Vuforia が対応するデバイス群(2/4)
出典：Vuzix M300 Android OS Smart Glasses Now Compatible with Vuforia
When Vuforia’s official support for Vuzix M300 kicks in for developers later this year, we should see some practical applications for augmented reality including customizable training applications that could be used for a variety of similar purposes, albeit with a little tweaking.
Digital Eyewear
Glasses
Vuforia が対応するデバイス群(4/4)
出典：https://www.vuforia.com/devices
New devices are being rapidly introduced into the market. Below are featured AR glasses and VR viewers that Vuforia supports.
Digital Eyewear
Viewers
主な利⽤実績は、玩具、エンターテーメント、ブランディング、教育、セールス・マーケティング
Vuforiaのケーススタディ
クアルコム時代の⼤⼿企業への導⼊実績は数多い
Vuforiaの利⽤企業
Vuforiaの技術と国内外事例
Vuforia - Images
Vuforia が採⽤する画像認識
๏ 画像認識(解析)と画像検索はどのように⾏われるのでしょう？ARで⽤いられている画像解析の仕組みは各社で異なります(ただし、同じAR技術を採⽤しているアプリは多々存在します)。AR⽤の解析技術に限ったことではありませんが、残念なことに共通化には⾄っていません。「QRコードやバーコードのように、ある程度の規格があるようにAR規格は世界共通にはならないのか？」等の質問を受けることが有ります。しかしながら、イニシアチブがとれる企業が共同で取り組まない限り、実現はしないでしょう。ここでは、Vuforia が使⽤している画像認識の⽅式について説明します。
๏ Vuforiaで使⽤されている認識⽅式：
‣ 特徴点⼀致：この画像解析⽅式は、画像のなかで濃淡がはっきりしているエッジの部分を⾃動解析し、バランスよく利⽤できる⽅式です。多くのARではこの⽅式が採⽤されています。カメラで撮影中、アプリよって点々が⾒える箇所がその特徴点部分に該当します。特徴的⼀致の⽅式では、認識時に⼀旦端末内でカラー画像をグレースケール画像に変換した後、特徴点データを⽣成する⽅式となっていることが多いようです。Vuforiaでもこのようなタイプの技術を採⽤しています。
‣ ある程度の⾓度や光の反射が有ったとしても、30-50%程度の⼀致箇所が⾒つかると認識されるようになっているため、利⽤者はストレスなく⾃然に操作することができます。特徴点の解析結果は、⭐印を5段階で⾒ることができるようになっており、1〜2点点程度が得られれば、ストレスなく認識されます。印刷物の場合、⼊稿前に事前検証が必須となります。印刷済みのものでももちろん使⽤可能ですが、これから印刷する場合はクリエイティブにまで関わることが必要です。次ページに解析結果のサンプルを掲載します。
Vuforia が採⽤する画像認識(サンプル)
※上記サンプルは、Vuforiaで解析した場合に得られる情報です。向かって左側が基の画像、左側が解析後のデータです。認識点が多い場合でも必ずしも認識率が⾼いとはいえない場合が有るため、認識箇所の決定前には必ず事前の確認が必要です。
※認識されない・認識率がかなり低い ※認識されるが追従性は低い可能性あり
※問題なく認識・追従される
※普通に認識・追従される
※問題なく認識・追従される
商品パッケージとAR連動株式会社アキタ - アキタたまごAR
AppStore,GooglePlay “アキタたまご” で検索
⽣産履歴検索が⾏えるアプリ。たまごのパッケージは「ゴミ箱ではなく、おもちゃ箱へ」。お⼦様がおもちゃのようにスマートフォンで遊べるようになっている。
daub ぬってポン！3Dぬりえ だーぶ
AppStore,GooglePlay “daub” で検索
✴祝！開局60周年！⼭梨放送開局記念イベント/モモオとモモッチのぬりえAR
✴5⽉3⽇4,5⽇ 広島市の平和通りと平和記念公園で開催された「2014ひろしまフラワーフェスティバル」会場内でご活⽤。
✴5⽉11⽇のママの⽇に向け、ファミリーマート限定「ありがとうミルクチョコレート」
CDの付録で楽しめるAR
http://cp.dsp.disney.co.jp/cpn/2012summer/http://http://news.livedoor.com/article/detail/6397052//article/detail/6397052/
ayupan AR は、ayupanの3D モデルが曲に合わせて歌って踊る様⼦を ARで楽しむことができるアプリ。浜崎さんの 13thアルバム「Party Queen」(初回盤)に同梱のステージを模した台紙にアプリをインストールしたスマートフォンをかざすことで利⽤できる。
浜崎あゆみ ayupanAR
探査機の操作を仮想体験
太陽系の宇宙探索を⾏うための探査機をARで楽しむことができる「Spacecraft 3D」。NASAのジェット推進研究所が実現。
AppStore,GooglePlay “Spacecraft” で検索
2種類のカードが連動する海外のデモ
https://www.youtube.com/watch?v=cTIjpo6cb6M
Vuforia - VuMarks
VuMarkは、どのような対象物でもAR機能を提供できる”次世代バーコード”。周りのデザインなどと外観を統⼀できない課題を解決する。VuMarkは⾃由なデザインをバーコードとして利⽤することができ、機械類や製造物など幅広いものへの提供を想定している。
Vuforia - VuMarks - design
Vuforia - User-Defined Images
⼿書きの⽂字や図が即席で認識できる
https://www.youtube.com/watch?v=Svj7bTyGWZ0
Vuforia - CylindersCylinders such as bottles, cans, cups and mugs can be recognized.
ドリンク⽸(円柱型)の認識
https://www.youtube.com/watch?v=LqgmlkJcqA4
Vuforia - BoxesSimple boxes with flat sides and sufficient visual details can be recognized.
箱の全⾯で認識してAR⾃動⾞を表⽰
https://www.youtube.com/watch?v=yTh_mSVXXsE
ドリンクの四⾓いパック全⾯の認識
https://www.youtube.com/watch?v=gs02IS2nsxQ
出典 : http://www.marketingmagazine.co.uk/article/1326265/jaguar-land-rover-uses-augmented-reality-showcase-discovery-sport
2014年12⽉11⽇ ランドローバーはショールームに実物そっくりの⾞体を来店客に⾒せることができる⾰新的な拡張現実（AR）技術を発表した。デジタルイニシアティブは、英国内のすべての店舗で展開されるという。
ランドローバーがARを使⽤した店頭販売
Elements 4D Interactive Blocks
https://www.youtube.com/watch?v=beodWECIzpo
Vuforia - Occlusion ManagementVuforia detects and tracks targets, even when theyʼre partially hidden behind everyday barriers, like your hand. Special occlusion handling allows apps to display graphics as if they appear inside physical objects.
Vuforia - Virtual ButtonsImagine a magazine page that acts like a touch screen. With Vuforia, that is possible. Create virtual buttons that your app can see and respond to on top of image targets in the real world.
https://www.youtube.com/watch?v=XQNhziVOTLI
Vuforia - TextSupports English word recognition from a standard database of ~100,000 words or a custom vocabulary defined by the developer.
セサミの Bug Birdと⼀緒に英語を学ぼう
https://www.youtube.com/watch?v=zhbyTGh6pfI
Big Bird's Words
Vuforia - Extended Tracking
Extended Tracking Demo
https://www.youtube.com/watch?v=8RnlBEU5tkI
⾶⾏機を観察して楽しむARANA- ヒコーキかんさつ
http://www.ana.co.jp/dom/promotion/pokemon/event_ar.html
Vuforia - Smart Terrain
マクドナルド＋FIFAのプロモーション
https://www.youtube.com/watch?v=HVTEGz2Rf74
Qualcomm® Vuforia™ SDK featuring Smart Terrain™ and HD Camera View
McDonald's GOL!
Vuforia - Objects
https://www.youtube.com/watch?v=mXpr37pR34U
Digital Eyewear
https://www.youtube.com/watch?v=vfCQWjI9sYc
Miniが⾃動⾞本体と連動するARグラスを発表
出典：http://http://development.blog.shinobi.jp/Entry/8422/
2015年4⽉9⽇(現地時間)、MINIの⾃動⾞と連動して使⽤できる拡張現実技術が採⽤されたメガネ型の端末 "MINI Augmented Vision" を発表した。ODG製のHMDとSnapdragon そして Vuforia で構成されているSF的なメガネ。
Vuforia Cloud
こころを動かす拡張コミュニケーションを⾝近にするaug!(オーグ)
‣VuforiaのCloud技術を使⽤した⾼度な認識と⾼性能な追従性
‣認識対象から外れてもコンテンツが消えない
‣キャッシュ機能による利便性向上 ‣撮影機能とSNSシェア機能 ‣背景透過アニメにも対応 ‣認識回数等のログ情報提供 ‣安価・短期間で導⼊可能
AppStore,GooglePlay “aug!” で検索
⽇刊スポーツ - ニッカンAR
新聞紙⾯を拡張するAR
新聞という紙媒体を有効活⽤。画像認識タイプのARと通知技術(PUSH)を使⽤した新しいタイプの新聞連動総合アプリ。新聞紙⾯との連動を連載で、イベントなどの特別動画をココだけで AppStore,GooglePlay “⽇刊スポーツAR” で検索
新聞
ARそのものの技術は、 シンプルに考えるとトリガーでしかない
重要なのは、 ⼈と⼈・⼈とモノ・⼈とコト・⼈と場所を
繋ぐための
コミュニケーション・コンテンツ
付録
⾼いブランディング効果
顧客接点の継続的強化・話題性による新規顧客の獲得
アプリの拡張性
継続的運営による費⽤対効果
画像誤認識の防⽌(画像認識でクラウドタイプの場合)
オリジナルアプリのメリット
初のAR記事：2009年2⽉13⽇【2009-2-26 世界初開催！AR(拡張現実)ビジネスの最前線】個⼈運営、現在約6千4百件以上のAR記事、世界50カ国からアクセス、多くのSNSサイトにより拡散
http://development.blog.shinobi.jp/
Blog
Paper.li
付録：⻲⼭悦治について
私が関係しているサイト・SNS - twitter (@kurakura) - facebook (ekameyama) - LinkedIn (Etsuji Kameyama) - ITmediaマーケティング - SlideShare (ekame) - paper.li (kurakura/ar) - YouTube (ekame) - myspace Music (KURA KURA) - The 25 Most Tweeting About AR - flickr (KURA KURA) - Twitter most popular - AR Mind Map - AMeeT-拡張現実の紹介 - デジタルサイネージとAR - Capital newspaper
2009年より、AR(拡張現実)の普及のために、ARブログの運営、セミナーへの登壇、AR関連書籍の執筆、AR技術を使⽤した企画・提案・開発等幅広い活動を⾏っています。現在はナレッジワークス株式会社の取締役に就任しています。AR導⼊に関するご相談・ご質問は、[email protected] ⼜は[email protected]までお気軽にどうぞ。
付録：⻲⼭悦治について
http://www.nts-book.co.jp/item/detail/summary/it/20140700_19.html
次世代のプロモーション手法として注目を集めるほか、医療や教育といった他分野への幅広い活用・発展が期待されているＡＲ〈拡張現実〉の世界がよくわかる入門書が電子書籍で登場。ＡＲとはカメラなどを通して見た現実の映像にＣＧや位置情報といったデジタル情報を重ねて表示する技術のこと。本書はその基本的な仕組みから歴史やさまざまな活用事例、ＡＲを体験できるアプリの紹介、未来の可能性まで幅広くわかりやすく解説 ---下記の執筆を担当--- 第２章 ARを体験する：代表的なアプリやサービス紹介 第３章 ARの活用例を知る：消費とAR／観光とAR／メディアとAR／ビジネスとAR／教育・医療とAR／公共空間とAR／新しいコミュニケーションツールとしてのAR／新しいエンターテイメントとして
http://www.sogensha.co.jp/booklist.php?act=details&ISBN_5=96001
---下記の執筆を担当--- 第3編 感覚デバイスが創る未来生活 / 第3章 コミュニケーション 1.コミュニケーション手法としての言語に関する限界 2.さまざまなコミュニケーション・ツールの出現 3.言語とコミュニケーション 4.心理療法とコミュニケーション 5.コミュニケーションボードが家庭に入り込む 6.学生生活と教育とコミュニケーション 7.家庭内ロボットの居る風景とコミュニケーション 8.遠隔でのコミュニケーション〈ワープして別の土地をリアルタイムに体験する〉 9.食／トレーサビリティとコミュニケーション 10.感覚デバイスの課題