Download - VR AR 미래전략 2016
Woontack Woo (禹雲澤)AHRC/UVR Lab.
GSCT, KAIST
국가미래전략토론회 (June 24, 2016)
2012-2016©Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
VR with Hands
VR with SLAM
Social VR by Facebook
MS Hololens Review
Magic Leap [A New Morning]
Meta 2 Review
What is VR/AR?리얼 인듯,리얼 아닌,리얼 같은~
기술정의VR(out there): puts people in a computer-generated worldVR: 컴퓨터로 만든 가상 공간이나 콘텐츠를 감각(시,청,촉,후,미 등)을
통해 몰입감 느끼며 상호작용
AR(here & now): Puts virtual content in a physical world VR을 현실에서 몰입감 느끼며 상호작용
가상증강현실의현황개별적이고 산발적으로 진행되고 있는 IoT, Big Data, AI, Robot 등의 연구를 사용자중심으로통합적으로연계활용할 수 있는 기술로 주목VR/AR의 부상과 투자 확대로 신시장에 대한 기대
가상증강현실의미래VR/AR의 일상화, 가상과 현실의 공존새로운 형태의 경험기반 사회경제 활동컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결
합하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작
업/협업 효율성 증대, 응용 범위 확대
가상증강현실핵심기술실감 콘텐츠 저작 및 증강기술실감 콘텐츠 기반의 지능적 상호작용 과 협업시공간 초월한 시청촉감 등 오감 통한 실감 경험위치기반의 콘텐츠 소비와 경험 공유And many more…가상증강현실의파급효과및대응: 핵심기술 확보 및 인력 양성신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하여 4차 산업혁명에 선제적 대응 및 신산업 창출사회 문제 대응부작용 대응: 탈현실화, 소외, 중독 등 부작용 가능성
Milgram's Reality-Virtuality Continuum [94]
Azuma's definition on AR [97]combines real and virtualis interactive in real timeis registered in real 3D world
R.Azuma,ASurveyofAugmentedReality,Presence,Vol.6,No.4,Aug.1997,pp.355‐385.
P.MilgramandA.F.Kishino,TaxonomyofMixedRealityVisualDisplays,IEICETrans.onI&S,E77‐D(12),pp.1321‐1329,1994.
"Virtuality is a bridge from reality to our imagination" - Chris Stapleton
VR vs. AR?
Mobile VR that will bring VR to the masses – Amir Rubin (CEO at Sixense)
AR is not ready. VR will come first in 2016 – Robert Scoble
AR needs to be experienced not explained – Tipatat Chennavasin
AR will be used every day all the time in the future VR will be a once
in a while thing – Steve Mann
AWE 2015: AR vs. VR = Mediality vs. ImaginalityThe people making money don't care about this debate, though!"
VR is the gateway to AR (for next few years)!” – Mark Billinghurst
wwoo@uvr
Is VR/AR Hype? (Google Trend)
VR vs. AR
G. Google Glass (Apr. 2012)Facebook-Oculus $2B (Mar. 2014)Google Cardboard (May 2014)Samsung Gear VR (Sep. 2014)Google-Magic Leap, $0.54B (Oct. 2014)MS Hololens (Jan. 2015)B. Sony Morpheus (Feb. 2015)HTC Vive VR (Mar. 2015)MINI (Apr. 2015)Apple-Metaio (May 2015)Google Jump with Go-pro (May 2015)
A. VR in E3 show (Jun. 2015)Intel-Recon (Jun. 2015)Samsung $99 HMD (Sep. 2015)
VR was Hot in 1990s!VR is Hot Again!
Zuckerberg’s 3 predictions for what SNS will look like in 10 years1. There will be (a lot) more people on
the Internet.2. We’ll be more likely to message people
through photos or SMS than the old web interface.
3. The future of computing is AR/VR: distraction-free, heads-up communication, etc.
AR/VR Industries with Smart GlassesMagic Leap (Google, Alibaba, Qualcomm, Warner Bro., etc.)PTC (IoT) + VuforiaMicrosoft HoloLensApple + Metaio (+ D. Bowman)Intel (RealSense) + ReconMeta, HP (Aurasma)Facebook + Oculus RiftSamsung Gear VR + FOVELG 360VR w/ G5 (VR w/ G3)Sony PlayStation VR (Morpheus)Google VR (+P. Debevec)
VR/AR, It’s Here Right Now!Revenue by 2020Digi-capital: $120B (90B/30B) vs. BBC Research: $105.2BRevenue by 2025Goldman Sachs Research: $80B (~ desktop PC market) HW[$45B] vs. SW[$35B, VR:AR= $26B:$7B]
2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
AR/VR, It’s Here Right Now!AR/VR could hit $120B (90B/30B) revenue by 2020
2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
http://goo.gl/NIKGbj
AR/VR, It’s Here Right Now!AR/VR could hit $120B (90B/30B) revenue by 2020
http://goo.gl/NIKGbj
2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
Make People Pay Whenever They Use!
What are Smart Glasses?Wearable displays for JIT information or VR/AR contentTypes of Display & Smart Glass
Screen orEnvironment
Why Glasses?Mobile vs. wearable
https://pbs.twimg.com/media/CZpNTCvWkAAk-Tj.jpg:large
?
iOptik - a Glimpse into the FutureCould this be the future of augmented reality glasses?
대상기술범위가상/증강현실 실현을 위한 현실세계 인지 및 가상화: 현실세계를 가상세계로 변환하기 위한 기술. 관심객체(Object)를 포함
한 현실세계를 스캐닝하여 공간적 정보와 오감 속성을 컴퓨터가 인식하고 활용할 수 있는 형태로 모델링하는 기술
스토리기반 실감콘텐츠 저작: 오감을 통합적으로 모방하여 현실 수준의 사실성이 높은 복제나 모델
링인 된 가상세계를 스토리에 따른 체험이 가능한 콘텐츠 저작 기술
실감 증강, 상호작용 및 협업: 증강된 가상세계 또는 관심객체와 사용자의 음성, 제스쳐 등 직접적 상
호작용 또는 사용자의 묵시적 의도, 감정, 환경 등의 상황에 대응한 간접적 상호작용 그리고 다수 사용자 간의 협업이 가능하도록 하는 기술
3D 지도기반 가상증강현실 체험 및 경험공유: 다양한 방식의 시공간을 초월한 체험 및 경험 공유를 지원하는 가상증
강현실 관리 및 3D 지도기반 서비스 플랫폼 기술
How does AR work?Get video
from camera
Recognize Object of Interest
Estimate position and orientation of
the camera
Render the augmented
scene
Process the interaction
Update the status
Objects Recognition & TrackingDetection & Recognition of objects/point of interestTracking: Continually locating the users viewpointPosition (x,y,z), Orientation (r,p,y)Registration: Positioning virtual object w.r.t. real worldTracking TechnologiesActive: Mechanical, Magnetic, Ultrasonic, GPS, WiFi, cell locationPassiveInertial sensors (compass, accelerometer, gyro)Computer Vision: Marker vs. Natural featureHybrid TrackingCombined sensors (eg Vision + Inertial)
2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
AugmentationReal-time deformable object renderingReal-time realistic Shadow & ShadingOptical-see-through HMD display
2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
Interaction, Collaboration and UIHand-based Interaction/collaboration for Ego-centric ARMultimodal interaction and collaborationOrganic & Empathy UI
Context-awareness and AR AgentContext-awareness and VisualizationQuantified-self for Augmented HumanSocial agent for Quality of Social Life
Telepresence “Being There without Really Being There (or Then)”Education & training, corporate communicationReach a wider audienceReduce travel costs
2012-2015 © Woo, KAIST GSCT UVR Lab., Daejeon 305-701, Korea
User Experience for AH Platform
UX for AH
Look (Affordance)
Feel (Sensibility/Aesthetics)
Use (Usability)
/AR
Modified MAR Reference Model*
External Services
User profile (Experience, Knowledge, Behavior)
Simulator (Event, Space)Renderer
MAR Execution Engine
Contextualized PoIs
Personal Device DisplayUser
InterfaceMAR Scene
(Events, Targets, …)
Environment (or wearable) Sensors for Real World
Capturer
Internet of Thing (IoT)
Sensors
Sensors
GPS
Compass
Gyro sensor
Personal Device Embedded
Camera
Media Assets
MAR ContentVirtualObject
Physical World
Open API
Physical World
User
UserInput
UserCommand
EnhancedExperience
MAR Visualization
Recognition Data
Context Analyzer
PoI AnalyzerUser LocalizationView Point Setting
PoI Analyzing
Context ProcessorContext IntegrationContext Inference
Context Management
RecognizedPoIs
User Context
Sensor Data PoI Recognition
Data
MAR Anchor
Properties
MAR OntologyMAREntity
MAREntity Info.
5W1H-based MAR Entity, Anchor, Content
5W1H MetadataSchema
who MARContents.Essential.Who
when MARContents.Essential.When
where MARContents.Essential.Where
what MARContents.Essential.What,MARContents.{Type,Reference,MARAnchor.ID},VO.{Type,String,DataFile},MediaAsset.{Type,DataFile}
how MARContents.Essential.How
Anchor
MAR Entity: Metadata1
3 MAR Content: Metadata
5W1H MetadataSchema
who MARAnchor.Essential.Who
when MARAnchor.Essential.When
where MARAnchor.{Essential.Where,PoICoordinate,ContentsCoordinate,CoordinateType}
what MARAnchor.{Essential.What,MAREntity.URI,MARContents.ID}
how MARAnchor.{Essential.How,Scale,Interaction,Animation,Accessibility}
MAR Anchor: Metadata2
Anchor
MAR Entity
Virtual Contents
Anchor
5W1H MetadataSchemawho {PoI,RecognitionData,MAREntityInformation}.Essential.Who
when {PoI,RecognitionData,MAREntityInformation}.Essential.When,MAREntityInformation.{BeginTime,EndTime}
where{PoI,RecognitionData,MAREntityInformation}.Essential.Where,PoI.{Location,FrontDirection},RecognitionData.{PoI3DPosition,GPSLocation},MAREntityInformation.{Location}
what
{PoI,RecognitionData,MAREntityInformation}.Essential.What,PoI.{RecognitionData.ID,MAREntity.URI},RecognitionData.{DataSetID,Sub‐DataSetID, CurrentSubData,CandidateSubData},MAREntity.{URI,Label,MAREntityInformation.ID,PoI.ID,MARAnchor.ID,Property.URI},MAREntityInformation.{Type,Description},Property.{URI,Label},LiteralValue.{Type,Value}
how {PoI,RecognitionData,MAREntityInformation}.Essential.How,RecognitionData.{Scale},MAREntityInformation.{Conditionstate}
PoI
MAR EntityInformation
RelatedMAR Entity
Property
연계활용기술스마트 I/O: 착용형, 부착형, 이식형 등IoT, 빅데이터, AI, 네트웍, 등드론, 로봇, 자율 주행, 등신산업창출응용분야교육엔터테인먼트의료제조국방커머스관광, 전시, 공연, 문화유산
Holistic Layers of Physical Spaces/Places
.
.
.
.
.
.
Real/Physical
Virtual/Cyber
Information/Knowledge
SPACE
TIME
Layers Social/wisidom
2D Picture Tracking (K.Kim) 3DVaseTracking(Y.Park) 3DVaseTracking(Y.Park)
Tracking (W. Baek) Tracking MO (W.Back) Multiple object Tracking (Y.Park)
ISMAR2008 ISMAR 2009 VC2010
3D objects Tracking, ISMAR2008 (K.Kim)
MotionBlurin3Dtracking,ISMAR2009(Y.Park)
ScalableTracking,VC2010(KKim)
ISMAR2010 ISMAR 2011 ICAT2011
Modeling & Tracking, ISMAR2010 (KKim)
Depth-assisted Tracking, ISMAR2011 (Y.Park)
Depth-assisted Detection, ICAT2011 (W.Lee)
What I have Worked… since 2001
AiRSculpt: A Wearable AR 3D Sculpting
Sung-A Jang, Hyung-il Kim, Woontack Woo, Graham Wakefield, “AiRSculpt: A Wearable Augmented Reality 3D Sculpting System,” HCII 2014, Vol.8530, pp.130-141, Jun. 2014
Hand Gesture Tracking in Trans SpacesOurs HSKL FORTH
Y.Jang, S-T.Noh, H.J.Chang, T-K.Kim, W.Woo, "3D Finger CAPE: Clicking Action and Position Estimation under Self-Occlusions in Egocentric Viewpoint," IEEE TVCG, vol. 21, no. 4, 2015. (presented in IEEE VR 2015).
Collaboration in Trans SpacesOurs HSKL FORTH
S-T. Noh, H-S. Yeo, W. Woo, “An HMD-based Mixed Reality Framework for Avatar-MediatedRemote Collaboration Using Bare-Hand Interaction”, ICAT-EGVE 2015, under review
Smartwatch-assisted AR Interaction
Hyung-il Kim, Woontack Woo, “Smartwatch-assisted Robust 6-DOF Hand Tracker for Object Manipulation in HMD-based Augmented Reality,” IEEE Symposium on 3D User Interfaces (3DUI) 2016, Mar. 2016
SWOT of AR/VR in Korea
SWOTSTRENGTHGlobal companies (Samsung
, LG, etc.)Quality of HW products
WEAKNESS Ill-prepared: few expertsWeak CPND eco-systemLoose collaboration
OPPORTUNITIESBig investmentReasonable HW/SW priceGrowing potential markets
증강휴먼공동연구센터 AHRCGlobal Open Research Initiative:
Industries support ‘open R&D for CPND eco-system’ KAIST educates 100 experts for 5 years
AHRC provides open R&D opportunities for experts
THREATSToo high expectationHW-driven: few proven acce
ptanceSocial appearance
CPND for VR/AR UXContentPlatformNetworkDevices
AR-UX
Content
Platform
Network
Device
The Economist 201604 http://goo.gl/2WofMf
• https://info.internet.org/• Open Compute Project (http://www.opencompute.org)
Facebook, Intel, Apple, Microsoft, Rackspace, Cisco, Juniper Networks, Goldman Sachs, Fidelity, Lenovo, Bank of America, etc.
Content is King : more than P-N-DImmersive AR/VR content authoringContext is QueenVR/AR-based o2o with IoT/IoECloud-based storage/processingSmart with Open Linked DataUser is GodNatural UI for AR & Augmented HumanIn-situ user participationEmphasis on UX and social acceptance
AR & AHEco-
system
Device: wearable Network:
internet of everything
Open PlatformContent:
in-situ mashup
Service: context-
aware o2o
UX-driven:User
participation
일몰형 (10년) AR 공동연구소설립및운영국제적 경쟁력과 리더십을 갖춘 거점 공동연구소: VR/AR분야의 국내외 연구역량을 결집하고 핵심 기술확보와 특허 선점기존 출연연과 상호보완적 협력과 경쟁을 통해 연구 역량 확대. 국내외 산학연 연계의 허브 및 산업화 확산: 전임연구원과 참여 기관의 파견이나 중단기 방문 연구 인력은 5:5로
유지하고, 공동연구 수행. 일몰 후 파견 기관으로의 복귀, 창업, 취업 등을 통해 축적된 기술을 확
산하고 산업화
고급 연구인력 양성 및 유지: 참여 대학에 가상증강현실 프로그램 신설을 통해 체계적 인력을 양성
하고, 연구소 인력에게도 학위 과정의 기회를 부여. 대학원생에게는 공동연구 참여를 통한 연구역량 강화
AR 공동연구소의두마리토끼: 산업화와삶의질산업화와 지속 가능한 CPND 생태계핵심 기술: 콘텐츠(몰입감, 상호작용, UI, UX 공유) & PND사용시 안정성 (멀미 등) 검증과몰입, 중독, 가상과 현실의 혼동으로 인한 사회적 문제 (사회적 고립
/소외, 리셋/리플리 증후군 등) 예방신산업: 교육, 오락, 의료, 제조, 국방, 커머스, 관광, 전시, 공연, 등삶의 질 향상 위한 사회적 도전과제 (Social Agenda Project)HRHR: Impact Investing to Social Problems 건강: 고령친화, 장애극복, (원격) 의료서비스, 예방안전: 범죄, 재난재해, 보안, 개인정보, 경제: 고용, 양극화, 인구 구조의 변화교육/사회/문화: 개인 맞춤형 교육, 협력, 사회통합, 문화유산기타: 공공행정, 환경 (기후, 자원, 생태계), 교통 (운송, 물류)
AR 공동연구소의목표및로드맵VR/AR 분야 생태계 활성화 및 2025년 세계시장 10% 점유범부처 협력: VR/AR 분야 CPND 생태계 구축 지원
VR/AR/AH 핵심기술 및 저작/체험 플랫폼 확보[1단계] VR/AR/AH CPND 핵심기술 확보 (~’19) 핵심기술 확보: 실감 콘텐츠 저작, 상호작용/협력/공유, UI/UX, AH P. 등 VR/AR기반 사용자 인지/지식/경험 증강, 육체적/지적/사회적 능력확장 CPND 표준화, UX-driven BM 개발, 서비스 기반 구축, 실증 등 지속적 사용을 위한 안정성(멀미 등) 검증 및 확보
부작용 (과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화 등) 대응 ‘산업화’와 공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응
[2단계] 가상증강현실 통합 운영 플랫폼 (~’22)[3단계] IoT-Big Data-AI-로봇 연계 증강휴먼 플랫폼 (~’26)
* Facebook의 10년(2016-25) Roadmap: AR-VR-AI의 통합 플랫폼
Future Human in UVR era?AR: extended space-timeHow to extend human’s physical, intellectual, social abilities?
http://goo.gl/yJPDtC
… After Singularity?(by Ray Kurzweil)
From HC Interaction to HC Integration Augmenting Human Intellect w/ computingConceptual framework & Mouse [‘63 D. Engelbart] AR for augmenting human physicallyQuantified Self, Tracking PersonLife logging using data from Personal Behavior
as well as IoE [‘07 Gary Wolf, Kevin Kelly]Small Data but
Big ‘Challenge & Opportunity’
From AR to Augmented Human [Woo]To improve human’s ‘Intellectual, Physical, Social’ abilities
How to achieve AH?Augmented Perception,
Intelligence, ExperienceP: Enhancing 5+ Sensation
and perceptionI: Offering wisdom with
QS, LOD, and IoE/IoTE: Improving sociality
with social agent
How does AH Platform work?Get video
from camera
Recognize Object of Interest
Estimate position and orientation of
the camera
Render the augmented
scene
Process the interaction
Update the status
•Context-aware & Visualization
•Quantified Self for AH Platform
•Social Agent for Quality of Social Life
Applications of Quantified Self Personal AR Guardian (healthcare, life coach/guard, etc.)Sustainable self-management with game-like competitionPersonal black-box for protecting self from criminal
From Quantified Self to Quality of Social Life: 사회적 관계 형성: Human-to-Human Social Networking경험의 공유와 공감: Empathy 타인 가치의 존중과 협상: Negotiation추천과 결정: Deliberative decision-making
FamilyFriendsGroupsCommunitiesCompaniesCountries…
Trusted Organization
Personalized Augmentation
UX Sharing
Sensing and Monitoring
Context-aware
Negotiation
Quantified Self
가상증강현실의현황과미래개별적으로 진행중인 IoT, Big Data, AI, Robot 등의 연구를 사용자중심으로통합적으로연계활용할 수 있는 기술로 주목VR/AR의 일상화: 가상과 현실의 공존새로운 형태의 경험기반 사회경제 활동컴퓨팅 환경을 확장하는 IT 기술, 시공간을 확장하는 VR/AR 기술을 결합
하면 시공간혁명을 통해 고부가가치의 신시장을 창출 전망새로운 경험 공유 플랫폼은 신시장, 시공간 한계 극복과 비용 절감, 작업/
협업 효율성 증대, 응용 범위 확대
대응: 일몰형 AR 공동연구소: VR/AR/AH CPND 핵심기술 확보 및 인력 양성부작용: 멀미, 과몰입, 중독, 소외, 가상-현실 혼동 등 탈현실화, etc.신시장 대응: IoT, Big Data, AI, 로봇 등 유관 기술과 연계하여
CPND 전 분야의 신산업 창출공동체 ‘삶의 질’ 향상을 위한 사회적 도전과제 대응
“The future is already here. It is just not uniformly distributed” by William Gibson (SF writer)
More InformationWoontack Woo, Ph.D.FB @[email protected] http://uvr.kaist.ac.kr
11th ISUVR 2016 @Aug. 1-5, 2016