zmiešaná realita · kpi fei tu košice svr - zmiešaná realita 18 mr v mobilných zariadeniach...

ZMIEŠANÁ REALITA

doc. Ing. Branislav Sobota, PhD.

Katedra počítačov a informatiky

FEI TU Košice

Systémy Virtuálnej Reality

KPI FEI TU Košice SVR - Zmiešaná realita 2

Zmiešaná realita (MR) (Azuma)

STAR 1200XL (Vuzix)

Zmiešaná realita (mixed reality, MR) je oblasť

počítačového výskumu zaoberajúca sa

kombináciou reálneho sveta a počítačom

generovaných dát (virtuálnej reality), kde

počítačom generované syntetické objekty sú

vmiešavané do reálneho prostredia a naopak,

v reálnom čase

MS Hololens

Zmiešaná realita ako koncept

používateľského rozhrania

Používateľské rozhranie má mnoho foriem. Jedná sa v princípe o

systém styku medzi dvomi oblasťami/subjektami a môže sa

vyskytovať nie len v počítačoch, ale na akomkoľvek

prístroji/systéme. Napríklad ovládač k televízoru má

používateľské rozhranie.

Oblasť/

subjekt

Oblasť/

subjekt

Human-computer interface (Card et. al)

Identifikácia hranice HCI je pomerne obtiažna. Kľúčovým

aspektom je možno to, že používateľ a počítač musia byť

zapojení do komunikatívneho dialógu, ktorého účelom je

dosiahnutie vykonania nejakej úlohy. Dialóg môže byť časovo

obmedzený, pretože počítač aj používateľ majú prístup k

prúdu symbolov ktoré putujú tam a späť za účelom

uskutočňovania komunikácie; každý z nich môže prerušiť,

dopytovať a opravovať komunikáciu na rôznych miestach v

tomto procese. Všetky mechanizmy, ktoré sa pri tom

používajú, tvoria rozhranie: fyzické zariadenia, napr.

klávesnice a displeje, ako aj počítačové programy určené

pre kontrolu interakcie.

Základné charakteristiky MR

• kombinuje reálne a virtuálne

• je interaktívna

• prebieha v reálnom čase

• je registrovaná v troch dimenziách

Systém zmiešanej reality je považovaný

za definitívne imersívny systém aj v rámci konceptu HCI

Ronald T.Azuma

Zmiešaná realita – Milgramovo continuum

• Rozšírená (obohatená) realita (augmented reality, AR) – vkladanie syntetizovaných objektov do reálneho sveta

• Rozšírená virtualita (augmented virtuality, AV) – vkladanie reálnych objektov do syntetizovaného sveta

Milgramov prechod (Milgramovo continuum) medzi reálnym a virtuálnym prostredím

Zmiešaná realita – Mannova klasifikácia

Realita Virtualita

Rozšírená realita (augmented reality, AR)

Rozšírená virtualita (augmented virtuality, AV)

Medialita

(sprostredkovanie)

Striktne sprostredkovaná virtualita

Sprostredkovaná realita (mediated reality, MR)

Sprostredkovaná virtualita (mediated virtuality, MV)

Medialita

Medialita vo forme sprostredkovania

Sprostredkovanie z hľadiska tejto technológie je rozšírený pojem zahrňujúci aj

isté prvky prenosu zviditeľnenia (vizualizácie) do iného formátu t.j. transformáciu

objektov do „mediálnej“ podoby.

Mediácia - proces prevádzania (transformácie) údajov v rámci vytvárania resp.

presunu objektov zahrňujúci aj množinu transformácií umožňujúcich transport

údajov na zviditeľnenie (vizualizáciu)

Medialita je potom chápaná ako interaktívne rozhranie t.j. prostredie styku

rozdielnych svetov. Jedná sa teda o mieru možného prepojenia medzi

heterogénnymi svetmi, v ktorých sú využívané rozdielne formy sprostredkovania

(zviditeľnenia, vizualizácie).

Typy MR systémov (podľa toho ako pozorovateľ vidí MR)

MR s priamym pohľadom

(optical see-through)

(s polopriepustným displejom)

MR s nepriamym pohľadom

(video see-through)

(s HMD)

Typy MR systémov (podľa toho ako dochádza k zlaďovaniu virtuálnych objektov s reálnym svetom )

• systémy so značkami (marker systems) – do reálnej scény sa umiestnia špeciálne značky, ktoré sú počas behu rozpoznané a nahradené virtuálnymi objektmi

• systémy bez značiek (semi-markless, markerless systems) - vyhodnocovanie a vkladanie je bez značiek, avšak sú potrebné iné doplnkové informácie napr. rozpoznanie obrazu, tváre príp. GPS

Obohatená a rozšírená realita (podľa toho v akom priestore dochádza k zlaďovaniu virtuálnych objektov s reálnym

svetom )

• Obohatená realita – bez priamej geometrickej väzby s reálnym svetom

• Rozšírená realita – s geometrickou väzbou s reálnym svetom

Google Glass

Toky dát v systémoch VR/MR

Vstupné

rozhrania

Vstupno-

výstupné

rozhrania

Vstupné dáta

Jadro VR

systému

Vstupné

Výstupné dáta

Dáta generované

jadrom VR systému

VSTUPY VÝSTUPY

Výstupné

rozhrania

Výstupné dáta

Vstupno-

výstupné

rozhrania

Previazanie zobrazovaných obrazov v systémoch

reálna scéna videná používateľom

súradnicový systém reálnej

scény

Virtuálny (syntetizovaný) objekt

súradnicový systém virtuálnej

scény

Zosúladenie reálnej a virtuálnej scény

(prepočet súradnicových systémov)

súradnice pozície kamery

Renderovanie grafiky (výpočet výslednej

virtuálnej grafickej scény)

súradnice pozície kamery

súradnicový systém sveta

(výstupná súradnicová sústava)

Obraz scény (reálny pohľad)

Virtuálny obraz (virtuálny pohľad)

súradnice obrazu reálnej scény

súradnice virtuálneho obrazu

Výstupné zobrazovacie zariadenie

Výstupný obraz zmiešanej reality

používateľ

Oblasti nasadenia MR systémov

• Výskumné a akademické aktivity

• Komerčné systémy

• Počítačové hry, exteriérová MR

• MR v mobilných zariadeniach

• Armádne nasadenie

• Medicína

• Priemyselné riešenia, architektúra

• Výuka a tréning

MR vo výskumných aktivitách

• MARS (Mobile Augmented Reality System created at GC and UI lad of Columbia University): http://graphics.cs.columbia.edu/projects/ mars/mars.html

• ARMAR (Augmented Reality for Maintenance And Repair): http://graphics.cs.columbia.edu/projects/armar/index.htm

• Sixth Sense (Wearable gestural interface developed at MIT media lab): http://www.pranavmistry.com/projects/sixthsense/index.htm

• ARToolKit (Software library for building AR applications created by Human Interface Technology laboratory): http://www.hitl.washington.edu/ artoolkit/

• DART (Designer’s Augmented Reality Toolkit created by Augmented Environments Laboratory of Georgia Institute of Technology): http://www.cc.gatech.edu/dart/

Komerčné MR systémy • Mirage - kompletný AR system vyvinutý Arcane Technologies: http://www.arcane-technologies.com/en/

• Virtual Box Simulator - aplikácia pre optimalizáciu zásielky pred poslaním: https://www.prioritymail.com/simulator.asp?id=18015211&ssno=26968

• Layar - štandardizácia AR zobrazovača: (http://blog.machinecontrolonline.com/?p=279)

• InterSense - riadenia strojov a zariadení a tréning obsluhy a servisu: (http://www.intersense.com)

• Boeing repair assistant (http://www.boeing.com)

• Procter & Gamble - reklamná kampaň na produkty Always (http://www.always.com/infinity/always_infinity.jsp#/experience-the-magic)

• D’Fusion (software na návrh a prezentáciu pomocou MR (AR): http://www.t-immersion.com/en,solution-presentation,559.html

Exteriérová MR a hry

Komponenty systému ARQuake a pohľad používateľa

http://wearables.unisa.edu.au/arquake

MR v mobilných zariadeniach

Vzhľad projektu MARA - systém AR pre mobilné telefóny

(http://research.nokia.com /research/projects/mara/index.html),

MR v mobilných zariadeniach

Fanta Virtual Tennis (http://fanta.eu/)

MR a medicína

MR a armáda

SIMNET, MILES2000 (http://www.tesslcs.com) (aj ASR)

MR a priemysel a architektúra

Ukážka servisnej BMW AR technológie

MR a automobilový priemysel

navigačné prvky v spojení so systémom GPS priamo do výhľadu vodiča

(napr. systém firmy Alvis Technologies Inc., http://www.alvis.com.tw/products.php?pkid=2)

MR a priemysel a architektúra

Model budovy a jej „zobrazenie“ v reálnom prostredí

MR a výuka a tréning

Zariadenie Spinnstube – skutočnosť (hore) a študentov vnem (dole)

HOLODESK, HOLOLENS (AR, Microsoft)

http://www.youtube.com/watch?feature=player_embedded&v=JHL5tJ9ja_w#!

Niektoré MR (AR) systémy

• D'Fusion Studio (http://www.t-immersion.com/)

• Metaio (http://www.metaio.com)

• ARTag (http://www.artag.net/)

• BuildAR (http://www.hitlabnz.org/wiki/Introduction_to_BuildAR)

• AR-media Plugin pre SketchUp

(http://www.inglobetechnologies.com/ /en/products/arplugin_su/info.php)

• ARToolkit (http://www.hitl.washington.edu/artoolkit/)

AR-media

Ukážka funkcie pluginu AR-media pre SketchUp

ARToolkit

jednoduché prostredie pre vytvorenie AR aplikácií, OpenSource s GPL licenciou pre nie

komerčné využitie

multiplatformové knižnice (Windows,Linux,MAC OS,SGI)

prekrýva 3D virtuálny objekt na reálnej značke

podpora rôznych vstupov (USB,Firewire,karty) a formátov (RGB/YUV420P,YUV)

podpora sledovania viacerých kamier

GUI inicializujúce rozhranie

rýchle a nenáročné sledovanie značiek (planárna detekcia v reálnom čase)

jednoduchá grafická knižnica (založená na GLUT) a vykresľovanie založené na OpenGL

podpora 3D VRML

jednoduché a modulovateľné API (v jazyku C) a podpora iných jazykov (JAVA,Matlab)

kompletná sada príkladov a utilít

softwérová knižnica na vytváranie zmiešanej reality. Rieši kľúčový

problém pri vývoji aplikácií zmiešanej reality, ktorým je určenie pozície

zorného poľa užívateľa.

Proces práce s ARToolkit

Proces vytvárania MR scény

Zhromažďovanie

údajov

collection

Model vytváranie/editácia

Model export

Model kontrolné vykreslenie

OK ? Model

výstup

Marker definícia

Marker vytváranie/editácia

Marker

Spájanie

modelu a

markera

Spojenie

Príprava dát

finálnej scény

Vykreslenie

finálnej scény

rendering

Marker kontrola rozpoznania

reálnej scény

Štandardný proces práce AR aplikácie bez

exaktných značiek

Inicializácia kamery

Štart

Inicializácia predlôh

Inicializácia 3D modelu Inicializácia

Načítanie video snímky

Detekcia predlohy/objektu

Výpočet pozície a orientácie

Vykreslenie 3D modelu

Vypnutie kamery

Koniec

Hlavný

cyklus

Ukončenie

Inicializácia kamery

Štart

Inicializácia predlôh

Inicializácia 3D modelu Inicializácia

Načítanie video snímky

a rozdelenie do subregiónov

Vykreslenie 3D modelu

Vypnutie kamery

Koniec

vný c

Ukončenie

Detekcia

predlohy1/

objektu1

Detekcia

predlohy2/

objektu2

Detekcia

predlohyN/

objektuN

Výpočet

pozície

a orientácie

objektu1

Výpočet

pozície

a orientácie

objektu2

Výpočet

pozície

a orientácie

objektuN

Paralelizácia

procesu

Štandardný proces práce AR aplikácie bez

exaktných značiek

1. kamera neustále sníma reálnu scénu a posiela video do

výpočtového systému na spracovanie

2. Programové vybavenie spracúva snímku po snímke

a pomocou zvolenej metódy na detekciu hľadá v snímke

danú(é) predlohu(y)/objekt(y).

3. po rozpoznaní objektu (predlohy) sa vypočíta jeho

pozícia a orientácia

4. ak je známa pozícia a orientácia, umiestni sa virtuálny

model na danú pozíciu

5. používateľ vidí na displeji reálnu scénu snímanú kamerou

rozšírenú o virtuálny 3D model.

Metódy detekcie používané v systémoch

MR (AR)

•SIFT - Scale Invariant Feature Transform

•SURF - Speeded-Up Robust Features

MR (AR) - SIFT

1. Vyhľadanie lokálnych extrémov v rozpoznávanom priestore – V prvej fáze sa

zostrojí scale-space (SS) t.j. mierkovo nezávislá reprezentácia obrázku pri

Gaussovom rozmazaní. V ňom sa vyhľadajú všetky lokálne extrémy. Pre

efektívny výpočet SS sa používa rozdiel Gaussových funkcií – Difference-of-

Gaussians (DoG)

2. Presnejšie určenie významných bodov – V tomto kroku sa získané body

z prvej fázy podrobnejšie skúmajú. Tie, ktoré majú nedostatočnú stabilitu sú

vylúčené a u zvyšných, ktoré sú stabilné sa spresni poloha v priestore.

3. Priradenie orientácií – V tejto častí je významným bodom priradená

dominantná orientácia na základe orientácie gradientu v okolí bodu.

Priradením orientácie docielime nezávislosť bodov od rotácie.

4. Vytvorenie deskriptorov pre významné body – Pre každý významný bod je

vypočítaný deskriptor na základe gradientu v okolí bodu. Pomocou

deskriptorov je možné hľadať zhody v porovnávaných obrazoch.

MR (AR) - SURF

SURF je metóda, ktorá dokáže popísať obrázok pomocou

deskriptorov. Metóda SURF je novšou obdobou metódy

SIFT. Popis pomocou deskriptorov vygenerovaných touto

metódou je invariantný voči rotácii a vzdialenosti kamery

od popisovaného objektu. Algoritmus SURF sa využíva

v mnohých aplikáciách počítačového videnia, ako napr. pri

rekonštrukcii 2D a 3D scén, klasifikáciu obrázkov a hlavne

pre rýchly popis obsahu obrázku.

MR (AR) - SURF Algoritmus je možno rozdeliť na niekoľko funkčných časti:

1. Prvý funkčný blok algoritmu je tzv. „integrálny obraz“. Integrálny

obraz v každom svojom obrazovom bode obsahuje hodnotu súčtu

hodnôt obrazových bodov (pixelov) od počiatku obrazu až do

daného bodu.

2. Ak je k dispozícii integrálny obraz, potom na výpočet ľubovoľnej

veľkej sumy hodnoty pôvodného obrazu potrebujeme iba 4 okolité

významové body (napr. na výpočet hodnoty sumy hodnôt pixelov vo

vnútri celého definovaného obdĺžnika nám stačí poznať hodnoty

rohových pixelov odpovedajúceho integrálneho obrazu).

3. Ďalej metóda SURF používa determinant Hessianovej matice.

Hessianová matica je štvorcovou maticou druhých parciálnych

derivácií spojitej funkcie 4. V ďalšom kroku nastáva budovanie mierkovo nezávislej reprezentácie

obrázu

5. Algoritmus končí priradením orientácie a vytvorením deskriptorov

MR (AR) - SURF

Významné body spoločné pre značku a aktuálnu snímku

Výpočet pozície, orientácie, projekcie

Ukážka celkového procesu MR bez

exaktných značiek

Zobrazenie MR pre HMD

(datovú prilbu)

Celkový diagram

procesu MR bez

exaktných značiek

Schéma vysokoúrovňového systému MR

Kamera

Senzorová časť

GPS Inerciálny snímač

Procesná časť

Definícia modelu Údaje o pozícii Databáza objektov

Vykresľovanie

Obraz z kamery

AR údaje

Procesná časť

Globálna

definícia

modelu/sveta

Globálne údaje

o pozícii vrátane

relačných

Globálna databáza

objektov

ačná

Využitie MR Možnosť pozrieť si výslednú realizáciu ešte pred samotnou realizáciou za pomoci MR

projekcie, možnosť „prechádzať sa“ v prípadných existujúcich priestoroch.

Ľahké odhalenie chýb pri projekcii - chybného umiestnenia prípadne chýbajúceho

konštrukčného prvku

Pre investora ľahké posúdenie a úprava pôvodného návrhu o optimálnom usporiadaní

technológie ešte pred začiatkom samotnej realizácie. K projektu sa môžu pri takomto type

vizualizácie vyjadrovať aj netechnici resp. môžu byť potlačené jazykové bariéry

Pohľady na projekt, ktoré v reáli nie sú možné

V kombinácii s GPS a prípadnými mobilnými zariadeniami orientácia vo výrobnom podniku

alebo ako prvok rozhrania informačného systému podniku, kde môžu byť zobrazované

doplnkové informácie o objektoch (napr. evidenčné číslo, dostupnosť na sklade či

zodpovednú osobu).

Možnosť pripraviť si a natrénovať postup dopravy a montáže s ohľadom na rozmer

zariadenia a dostupného priestoru

Tréning obsluhy technológie bez potreby pobytu priamo v prevádzke

Tréning požiarnej ochrany, zváračský simulátor, tréning na vysokozdvižnom vozíku, tréning

bezpečnostých jednotiek

Možnosť prípravy efektných prezentácií a podkladov pre budúcu reklamnú resp. investičnú

kampaň

Príklad použitia MR (AR, KPI FEI TU Košice)

Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie PC

Príklad použitia MR (AR, KPI FEI TU Košice) Skladanie výrobnej linky

Príklad použitia MR (AR, KPI FEI TU Košice) Virtuálny klavírny trenažér

Rozšírená virtualita

reálny pohľad zobrazenie v systéme AV

Experimentálne pracovisko MR (AR, KPI FEI)

reálny stav vnem (pohľad) pozorovateľa

Znázornenie tréningového procesu pomocou

dátovej prilby a snímača v parciálnej úlohe

uchopenie telesa (hore) a pri posúvaní vozíka

s motorom (dolu)

vnem (pohľad) pozorovateľa

Virtuálne pracovisko v modelovacom prostredí Tecnomatix JACK 7.1 (SIEMENS, vizual KPI FEI TU Košice)

Schéma základnej koncepcie distribuovaného systému zmiešanej reality

Plný distribuovaný systém zmiešanej reality (LIRKIS KPI FEI TU Košice)

Základné moduly distribuovaného systému zmiešanej reality

• komunikačný modul,

• úložisko údajov,

• synchronizačný modul,

• vizualizácia,

• údaje z polohových senzorov,

• gestá dátovej rukavice,

• realizácia skriptovaných animácií,

• detekcia kolízií medzi objektmi,

• manipuláciu s virtuálnymi objektmi pomocou dátovej rukavice,

• zachytenie zvuku,

• prehrávač zvuku.

Implementácia distribuovaného systému zmiešanej reality

Interakcie medzi modulmi distribuovaného systému zmiešanej reality

Výhody distribuovaného systému zmiešanej reality

• využitie výpočtovej schopnosti viacerých počítačov,

• nezávislosť modulov,

• asynchrónne vykonávania nezávislých činností VR,

• možnosť zámeny len niektorých modulov,

• škálovateľnosť.

Ukážka práce a pohľad pozorovateľa v distribuovanom systéme zmiešanej

reality

Ukážka práce dvoch účastníkov v distribuovanom systéme zmiešanej reality

KPI FEI TU KošiceKPI FEI TU Košice SVR - Zmiešaná realitaSVR - Virtuálna realita 61

OTÁZKY ?

zmiešaná realita · kpi fei tu košice svr - zmiešaná realita 18 mr v mobilných zariadeniach...

Documents

dopravný podnik mesta košice, a.s. - dpmk · dohoda...

tak orientasi realita dan sosialisasi

presentasi perusahaan realita 16

makalah.gangguan orientasi realita

virtuálna realita - technical university of košice ·...

mobilní seo - mýtus nebo realita?

realita wacana?

realita kualitas kbm

realita dan mimpi

stereoskopia a priestorovÉ zobrazovanie...kpi fei tu...

3d realita

svr raskar

košice 2021

košice sever

ruang teror pada labirin kampung pulo · kita cerap...

laporan wawancara mendalam realita sosial

proposal realita

realita - unisba

idealita dan realita peran skm

realita penjual koran dikota makassar