autor: rndr. zsolt t óth Školiteľ: doc. rndr. andrej ferko, phd. 25.10.2010, bratislava

Triangulácie v rovine, teréne a

priestore

Autor: RNDr. Zsolt TóthŠkoliteľ: Doc. RNDr. Andrej Ferko, PhD.25.10.2010, Bratislava

2

MotiváciaTriangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

Výpočtová geometria – význam optimálnych triangulácií

Rozsiahle poznatky – využitie v rôznych vedných oblastiach

Zameranie na špeciálnu podskupinu – dátovo závislé triangulácie

Praktické využitie v počítačovej grafike, napr.: problém rekonštrukcie (obrazu), predspracovanie sietí (numerické simulácie)

konvolučná technika

triangulačná technika

3

ObsahTriangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

Prehľad problematiky Vlastné rozšírenia

Vylepšenia rovinných prístupov Rozšírenie do vyšších dimenzií Paralelizácia dátovo závislých triangulácií Kombinačná technika a jej aplikačné

oblasti Analýza výsledkov Vybrané podnety pre ďalší výskum Prínos

4

Dátovo závislé triangulácie (DDT)

Prehľad problematiky

25.10.2010, Bratislava

Prispôsobí rekonštrukčnú sieť k vstupným dátam

Priradenie ceny k hranám Aproximácia triangulácie s minimálnou

váhou (MWT) - NP ťažká úloha [Mul06] Hypotéza: nižšia cena ~ lepší výsledok Minimalizuje sumu cenových funkcií, ktoré

sú priradené k hranám triangulácie - optimalizáciaVstupné dáta

Voľba cenovej funkcie

Optimalizačná technika

Optimálna triangulácia

Problém Kontrola Cieľ

5

Priebeh rekonštrukcie pomocou DDT

25.10.2010, Bratislava

Prehľad problematiky

6

Významnejšie práce v oblasti DDT

Prehľad problematiky

25.10.2010, Bratislava

DDT – Dyn et. al [DLR90] Lawsonova optimalizačná metóda

[Law77] Look-ahead technika (rozhliadanie),

rekonštrukcia obrazu [YBS01] DDT na úrovni pixlov [SW04] Simulované žíhanie pre DDT [Sch93] Genetická optimalizácia pre DDT

[Kol99]

7

ObsahTriangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

Prehľad problematikyVlastné rozšírenia

Vylepšenia rovinných prístupov Rozšírenie do vyšších dimenzií Paralelizácia dátovo závislých triangulácií Kombinačná technika a jej aplikačné

oblasti Analýza výsledkov Vybrané podnety pre ďalší výskum Prínos

8

Rozdelenie na bloky [Tót06a]

Vylepšenia rovinných prístupov

25.10.2010, Bratislava

• Deterministický prístup, zameraný na rekonštrukciu obrazu

• Štrukturalizácia dát • Rozdelenie obrazu na bloky• Prepojenie jednotlivých blokov

pomocou look-ahead prístupu• Prírodzená paralelizácia –

triangulácia jednotlivých blokov• Aplikovateľná aj na digitálne

výškové mapy, LOD prístup pri textúrach

9

Simulované žíhanie s rozhliadaním [Tót06a]

Vylepšenia rovinných prístupov

25.10.2010, Bratislava

• Stochastický prístup, kombinácia existujúcich prístupov: simulované žíhanie [YBS01] a look-ahead metódy [Sch93] - SALA

• Zmenené správanie - rýchlejšia konvergencia• Lepšia vizuálna kvalita v porovnaní so simulovaným

žíhaním• Nižšia váha dosiahnutej triangulácie

10

Simulované žíhanie s rozhliadaním

Vylepšenia rovinných prístupov

25.10.2010, Bratislava

1600%

SA

SALA

2400%

11

Quasi-DDTVylepšenia rovinných prístupov

25.10.2010, Bratislava

• Zmena chápania lokálnej optimálnosti• Vizuálna kvalita Quasi – DDT závisí od

typu rekonštruovaného obrazu• Neaproximuje MWT• Výrazne zvýšená rýchlosť výpočtu (10x)

DDT

Quasi -DDT

12

Rozšírenie do vyšších dimenzií [TVFG07]

Rozšírenie do vyšších dimenzií

25.10.2010, Bratislava

N-dimenzionálne triangulácie Problémy:

Počet simplexov sa zmení Zložitejšie topologické transformácie (bistellárne

preklápania) Úlohy:

Hľadanie vhodných cenových funkcií Nájdenie optimálnej triangulácie

13

Spôsob riešenia

25.10.2010, Bratislava

Priradenie cien k vrcholom náročná konštrukcia v 2D – horšie v N-

dimenziách optimalizačný algoritmus vo vyšších

dimenziách Konvexný obal simpliciálnej dekompozície

nezávisí od spôsobu triangulácie Objem simplexov sa váhuje na základe

toho, ako kvalitne vystihujú významné črty v dátach

- triangulácia- množina všetkých triang.- simplex dimenzie n- váha simplexu- objem simplexu

Rozšírenie do vyšších dimenzií

14

Váhové funkcieRozšírenie do vyšších dimenzií

25.10.2010, Bratislava

Prístup založený na variancii

Zovšeobecnenie cenových funkcií z 2D pre hypersteny

-hypersteny simplexu

15

Optimalizačný procesRozšírenie do vyšších dimenzií

25.10.2010, Bratislava

Zovšeobecnenie Lawsonovho optimalizačného procesu – iteratívne založená technika

Lokálna optimalita elementov simpliciálnej dekompozície

Cieľ - odstrániť simpliciálne steny pomocou topologických transformácií (bistellárne (dvojhviezdicové) preklápania)

Zoznam aktívnych elementov, ktorých optimalita sa mohla zmeniť

Výsledok - lokálne optimálna triangulácia

16

Výsledok rozšírenia do vyšších dimenzií

Rozšírenie do vyšších dimenzií

25.10.2010, Bratislava

DDT

Trilineárna interpolácia

17

Výsledok rozšírenia do vyšších dimenzií

Rozšírenie do vyšších dimenzií

25.10.2010, Bratislava DDT

Trilineárna interpolácia

18

Kompresia viacrozmerných dát pomocou DDT

Rozšírenie do vyšších dimenzií

25.10.2010, Bratislava

Nárast objemu dát –> zjednodušenie triangulačných sietí = stratová kompresia

Dátovo závislé zjednodušenie Rekonštrukcia pôvodnej množiny pomocou DDT “Premietnutie” váhovaného objemu do

vrcholov triangulácie Odstránenie vrcholov podľa ich ohodnotenia

(ak je to možné) Následná triangulácia vzniknutého

mnohostenu, a aktualizácia siete a ováhovanie objemu

19

Paralelizácia dátovo závislých triangulácií [ČTS*10]

25.10.2010, Bratislava

Paralelizácia dátovo závislých triangulácií

Motivácia: vývoj hardvéru – CPU a GPU Výkon CPU vs. GPU -> orientácia na GPU Ťažkosti paralelizácie DDT:

Paralelné vykonávanie topologických transformácií, v tomto prípade preklápanie hrán

Odlišná architektúra GPU (obmedzenia shaderov, práca s pamäťou, textúrami)

20

Paralelná optimalizácia

25.10.2010, Bratislava

Paralelizácia dátovo závislých triangulácií

Paralelná verzia Lawsonovho optimalizačného procesu – iteratívna optimalizácia

Zavedenie oblastí vplyvu pre jednotlivé hrany

Zavedenie špeciálnej dátovej štruktúry Hrubý popis priebehu rekonštrukcie:

Vytváranie kandidátov – zistenie lokálnej optimality

Akceptovanie, zamietnutie kandidátov – výber súčasne preklápateľných hrán

Paralelné preklápanie hrán – v súlade s danou dátovou štruktúrou

21

Vylepšenia základného prístupu

25.10.2010, Bratislava

Paralelizácia dátovo závislých triangulácií

Kvalita výstupu: paralelná optimalizácia < sekvenčný

prístup Rôzne vylepšenia:

Zväčšenie oblasti vplyvu hrán Zmena spôsobu výberu súčasne

preklápateľných hrán Kombinácia týchto metód

Zrýchlenie cca 6-10 násobok v porovnaní so sekvenčným spracovaním

CPU DDT GPU DDT modifikovaný GPU DDT

1200%

22

Paralelná DDT – ukážka výsledkov

25.10.2010, Bratislava

Paralelizácia dátovo závislých triangulácií

pôvodný obrázok

MIN

MAX

rozd

ielo

vá m

apa

CPU DDT GPU DDT modifikovaný GPU DDT

prí

slušn

á t

riangu

láci

a

1200%

23

Kombinačná technika a jej aplikačné oblasti

25.10.2010, Bratislava

Motivácia: porovnanie pro a kontra existujúcich metód

Kombinačná technika a jej aplikačné oblasti

Dátovo závislá triangulácia

založená na ľudskom vnímaní

+ vizuálna kvalita+ distribúcia chyby– čas výpočtu– triangulácia s

minimálnou váhou – NP– zosilňuje aj šum± návrh cenovej funkcie

Spracovanie obrazu

snaha napodobniť sinc() filter

+ čas výpočtu– signifikantné artefakty

v určitých smeroch

– neexistuje ideálny filter

24

Návrh riešenia

25.10.2010, Bratislava

Základná myšlienka – kombinácia výhod: Dátovo závislá triangulácia

vo vysokofrekvenčných oblastiach

Konvolučná technika v nízkofrekvenčných oblastiach

Kombinačná technika a jej aplikačné oblasti

Predspracovanie

•detekcia hrán•odhad hranových oblastí

Rekonštrukcia

•dátovo závislá triangulácia•konvolučná technika

Spojenie výsledkov

•stmeľovanie výsledkov na základe vzdialenostnej mapy

25

Predspracovanie

25.10.2010, Bratislava

detekcia hrán – Cannyho detektor hrán (1)

odhad hranových oblastí, vzhľadom na daný faktor zväčšenia (2)

vytvorenie vzdialenostnej mapy (3)

Kombinačná technika a jej aplikačné oblasti

1

2

3

26

Rekonštrukcia a spojenie výsledkov

25.10.2010, Bratislava

Kombinačná technika a jej aplikačné oblasti

dátovo závislá triangulácia

konvolučná technika

kombinácia na základe

vzdialenostnej mapy

27

Výsledok kombinácie

25.10.2010, Bratislava

Kombinačná technika a jej aplikačné oblasti

Lanczosov filter

Kombinovaná technika

28

Výhody a aplikačná oblasť techniky

25.10.2010, Bratislava

kvalitnejšia rekonštrukcia obrazu

väčšia odolnosť voči šumu

zrýchlenie výpočtov

možnosť rozdelenia úloh medzi CPU a GPU

rekonštrukcia videosekvencie (napr. mobil,

webkamera) sekvenčné spracovanie snímok využitie vyrátanej triangulácie z výsledku predošlej

snímky (zrýchlenie výpočtov) rátanie na CPU + GPU, OpenCL

Kombinačná technika a jej aplikačné oblasti

29

ObsahTriangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

Prehľad problematiky Vlastné rozšírenia

Vylepšenia rovinných prístupov Rozšírenie do vyšších dimenzií Paralelizácia dátovo závislých triangulácií Kombinačná technika a jej aplikačné

oblastiAnalýza výsledkov Vybrané podnety pre ďalší výskum Prínos

30

Analýza výsledkov - metodológia

Analýza výsledkov

25.10.2010, Bratislava

Aplikačná oblasť – rekonštrukcia obrazu Testovacie sady – štandardné testovacie

obrázky Výsledky konvolučných techník pomocou

ImageMagick [Ima] Porovnávacie kritériá

Váha dosiahnutej triangulácie Perceptuálne metriky Rozdielové obrazy

31

Váha dosiahnutej triangulácie

Analýza výsledkov

25.10.2010, Bratislava

Porovnanie medzi triangulačnými prístupmi

Cieľ dosahovať čo najlepšiu aproximáciu MWT

32

Perceptuálne metrikyAnalýza výsledkov

25.10.2010, Bratislava

33

Perceptuálne metrikyAnalýza výsledkov

25.10.2010, Bratislava

34

Rozdielové obrazyAnalýza výsledkov

25.10.2010, Bratislava

35

Paralelný prístupAnalýza výsledkov

25.10.2010, Bratislava

pôvodný obrázok

bilinear b-spline Lanczos

CPU DDT GPU DDT mod. GPU DDTmod. GPU DDT

Lanczosov filter

400%

400%

36

Paralelný prístupAnalýza výsledkov

25.10.2010, Bratislava

37

Analýza výsledkov - súhrn

Analýza výsledkov

25.10.2010, Bratislava

V prípade rekonštrukcie obrazu výsledné triangulácie majú lokálny charakter

Deterministické metódy dávajú lepšie výsledky ako stochastické prístupy

Zmysel využitia stochastických metód – aproximácia MWT

Paralelná verzia je významná z hľadiska praktickej použiteľnosti

Potvrdenie hypotézy: nižšia cena triangulácie ~ lepšia

kvalitaza predpokladu, že perceptuálne metriky sú objektívnym meradlom kvality

38

Vybrané podnety pre ďalší výskum

Triangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

Konštrukcia Delaunayovej triangulácie vo vyšších dimenziách pomocou zovšeobecneného Lawsonovho prístupu

Rekonštrukcia v čase sa meniacich volumetrických dát (DDT v 4D)

Rekonštrukcia obrazu – skúmanie možnosti zmeny umiestnenia jednotlivých vrcholov -> ostrenie hrán

Rekonštrukcia videosekvencie Vývoj paralelnej implementácie pomocou OpenCL,

ktorá by využívala súčasne CPU + GPU Využitie DDT v kombinácii s waveletovými

prístupmi

39

PrínosPrínos

25.10.2010, Bratislava

Sumarizácia existujúcich poznatkov o DDT Rôzne rozšírenia:

Rovinné prístupy (rozdelenie na bloky [Tót06a, Tót04], SALA [Tót06a, Tót04], Quasi-DDT)

Rozšírenie do vyšších dimenzií [TVFG07], kompresia pomocou DDT

Paralelný výpočet DDT [ČTS*10] Kombinácia DDT a konvolučných techník,

Analýza výsledkov – aplikačná oblasť: rekonštrukcia obrazu; aspekty: vizuálna kvalita, aproximácia MWT

Hlavný odkaz práce: DDT je vhodná alternatíva ku existujúcim rekonštrukčným technikám

40

Výskum podporovaný z grantov

Triangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

APVV - Tools for processing and visualization of tomographic and confocal data - APVV-20-056105, (2007)

Grant Univerzity Komenského - Dátovo závislá kompresia tetrahedrálnych sietí - UK/392/2007, (2007)

Grant Univerzity Komenského - Rekonštrukcia viacrozmerných dát pomocou triangulácie - UK/362/2006, (2006)

VEGA - Výpočtová geometria pre real-time rendering - VEGA grant no. 1/3083/06, (2006-2007)

ASO sustainable cooperation grant - Natural Phenomena Visualization using Unstructured Grid - (2005), http://aso.sccg.sk

APVT - Virtuálna Bratislava - APVT-20-025502, (2002 - 2004)

41

Publikačné výsledkyTriangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

[ČTS*10]Červeňanský M., Tóth Z., Starinský J., Ferko A., Šrámek M.: Parallel GPU-based data-dependent triangulations. Computers & Graphics, Volume 34, Issue 2, April 2010, ISSN 0097-8493, pp. 125-135.

[TVFG07]Tóth Z., Viola I., Ferko A., Gröller M. E.: N-dimensional data dependent reconstruction using topological changes. In Topology-based Methods in Visualization (2007), Hauser H., Hagen H., Theisel H., (Eds.), Springer, ISBN 978-3-540-70822-3, pp. 183–198.

[Tót06a]Tóth Z.: Towards an optimal texture reconstruction. In CESCG 2000-2005 Best Papers Selection (2006), Wimmer M., Ferko A., Szirmay-Kalos L., Hauser H., (Eds.), Österreichische Computer Gesellschaft Wien, ISBN 3-85403-204-8, pp. 197–212.

[Tót06b] Tóth Z.: Illustration of data dependent triangulation reconstruction technique, Animations of Computer Graphics exhibition in Proceedings of Spring Conference on Computer Graphics (2006), Častá-Papiernička, ISSN 1335-5694, pp. 104.

[Tót04] Tóth Z.: Image reconstruction using triangulations. Študentská vedecká konferencia FMFI UK 2004(Bratislava, SR - Brno, CZ), 2004.

42

Vybrané referencieTriangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

[Mul06] Mulzer W.: Minimum weight triangulation is NP-hard. In SCG ’06: Proceedings of the twenty-second annual symposium on Computational geometry (New York, NY, USA, 2006), ACM Press, pp. 1–10.[DLR90] Dyn N., Levin D., Rippa S.: Data dependent triangulations for piecewise linear interpolation. IMA Journal of Numerical Analysis, 10 (1990), 137–154.[Law77] Lawson C. L.: Software for c1 surface interpolation. In Mathematical Software III, J. Rice ed. (1977), Academic Press, pp. 161–194.[YBS01] Yu X., Bryan B. S., Sederberg T. W.: Image reconstruction using data dependent triangulation. Computer Graphics and Applications 21, 3 (2001), 62–68.[SW04] Su D., Willis P.: Image interpolation by pixel-level data-dependent triangulation. Comput. Graph. Forum 23, 2 (2004), 189–202.[Sch93] Schumaker L. L.: Computing optimal triangulations using simulated annealing. In Selected papers of the international symposium on Free-form curves and free-form surfaces (1993), Elsevier Science Publishers B. V., pp. 329–345.[Kol99] Kolingerová I.: Genetic approach to data dependent triangulations. In Proceedings of Spring Conference on Computer Graphics (1999), pp. 229–238.[Ima] ImageMagick:. http://www.imagemagick.org. Webpage accessed at September 2009.

Ďakujem za pozornosť

Triangulácie v rovine, teréne a priestore

25.10.2010, Bratislava

http://sccg.sk/~toth/res.html