simulation photoréaliste de l'Éclairage en synthèse d'images nicolas holzschuch...
TRANSCRIPT
![Page 1: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/1.jpg)
Simulation Photoréaliste de l'Éclairage en Synthèse d'Images
Nicolas HolzschuchHabilitation à Diriger des
RecherchesUniversité Joseph Fourier —
Grenoble I
![Page 2: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/2.jpg)
Overview
• Motivations• Previous work• Contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 3: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/3.jpg)
Overview
• Motivations• Previous work• Contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 4: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/4.jpg)
Photorealistic Image Synthesis
• Starting from the 3D model of a scene…
© C
. So
ler,
20
07.
Mo
del
by
L. B
ois
sie
ux.
![Page 5: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/5.jpg)
Photorealistic Image Synthesis
…we get a picture of this virtual world
© C
. So
ler,
20
07.
Mo
del
by
L. B
ois
sie
ux.
![Page 6: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/6.jpg)
Motivations
• Why are we doing this?– Many applications:
•Virtual prototyping•Cultural heritage•Video games•Special effects
– Good looking pictures– Multi-disciplinar activity (CS, physics, math)
![Page 7: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/7.jpg)
Motivations
• Why are we doing this?– Many applications:
•Virtual prototyping•Cultural heritage•Video games•Special effects
– Good looking pictures– Multi-disciplinar activity (CS, physics, math)
Model from DaimlerChrysler / RealReflect IST project / picture by C. Soler
![Page 8: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/8.jpg)
Motivations
• Why are we doing this?– Many applications:
•Virtual prototyping•Cultural heritage•Video games•Special effects
– Good looking pictures– Multi-disciplinar activity (CS, physics, math)
© P. Müller
![Page 9: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/9.jpg)
Motivations
• Why are we doing this?– Many applications:
•Virtual prototyping•Cultural heritage•Video games•Special effects
– Good looking pictures– Multi-disciplinar activity (CS, physics, math)
© Valve, 2006
![Page 10: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/10.jpg)
Motivations
• Why are we doing this?– Many applications:
•Virtual prototyping•Cultural heritage•Video games•Special effects
– Good looking pictures– Multi-disciplinar activity (CS, physics, math)
© Lucas Digital Ltd., 2002
![Page 11: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/11.jpg)
Motivations
• Why are we doing this?– Many applications:
•Virtual prototyping•Cultural heritage•Video games•Special effects
– Good looking pictures– Multi-disciplinar activity (CS, physics, math)
• Why is it difficult?
![Page 12: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/12.jpg)
Motivations• Why are we doing this?• Why is it difficult?
– Interactions between light and matter•Complex local effects (reflections)
– Self-dependent– Long distance interactions– Differences of scale/frequency– Time/quality compromise– Blurry effects are costlier– Too many computations?
![Page 13: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/13.jpg)
Overview
• Motivations• Timeline• Selected contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 14: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/14.jpg)
Timeline
![Page 15: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/15.jpg)
Timeline: positions
![Page 16: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/16.jpg)
Timeline: research themes
![Page 17: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/17.jpg)
Timeline: projects and contracts
![Page 18: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/18.jpg)
Overview
• Motivations• Timeline• Selected contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 19: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/19.jpg)
Overview
• Motivations• Timeline• Selected contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 20: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/20.jpg)
Wavelet Radiosity: credits
• 1993-1996: iMAGIS– Under the supervision of C. Puech, F. Sillion, G.Drettakis
• 1997-2000: ISA/LORIA– Working with J.-C. Paul, L. Alonso, F. Cuny, X. Cavin, C. Winkler, H. Barthélémy, S. Petitjean…
• 2000-2004: iMAGIS/GRAVIR– Working with L. Alonso (at ISA), C. Damez, F. Sillion…
![Page 21: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/21.jpg)
Wavelet radiosity• Extension of Hierarchical Radiosity
– [Gortler et al., 1993]
• Uses wavelets for basis functions– Haar wavelets (pw. constant) equivalent to HR
• M2, M3 wavelets : linear, quadratic functions
• Higher order wavelets should work better– Better representation for smooth functions
• Experimental study: no, they don’t!– [Wilmott & Heckbert, 1997]
![Page 22: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/22.jpg)
Wavelet radiosity• Everyone stopped working on WR
– …except us at ISA/LORIA• Point is: it should really work better– So why not?
• Experimental studies• Everyone had used a naïve approach:
– Just changing the basis function– But higher order wavelets are costlier
•n2 for each patch•n4 for each interaction
![Page 23: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/23.jpg)
Wavelet radiosity
• Naïve implementation doesn’t work• Must change the approach• Adapt the algorithm:
– Meshing strategy– No link storage + shooting – Refinement oracle– Visibility tests
![Page 24: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/24.jpg)
Why didn’t it work?
![Page 25: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/25.jpg)
Why didn’t it work?
• Wavelets need quad/triangular patches
![Page 26: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/26.jpg)
Why didn’t it work?
• Patches are then refined• The initial triangulation binds the algorithm
•And each patch is n2 times costlier
![Page 27: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/27.jpg)
Extended mesh
• Keep the original mesh• Adapt the radiosity algorithm
[Holzschuch, Cuny, Alonso, EGWR 2000]
![Page 28: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/28.jpg)
Extended mesh
• Separation between function and geometry
![Page 29: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/29.jpg)
Link storage and consequences• Biggest issue is memory cost
– n4 for each interaction– Solution: don’t store them!– [Stamminger, Schirmacher, Slusallek & Seidel, EG 1998]
• But think further:– Gathering/shooting– Gathering works better with HR– …except if you don’t store the interactions
• We should use shooting!– …then it makes more sense not to store links!
![Page 30: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/30.jpg)
Higher-Order Wavelets• Other changes (refinement oracle, visibility)
• This time it works:– Smaller memory costs– Faster computations
[Cuny, Holzschuch, Alonso, EG 2000]
![Page 31: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/31.jpg)
Memory costs
Observed memory costs for the different wavelet bases(rendering time follows similar curve)
Consistent with [Willmott & Heckbert 1997]!
![Page 32: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/32.jpg)
Higher order wavelets II
• Efficient global illumination algorithm– Uses higher-order wavelets– Robust, works on real-world scenes– Memory efficient
• So, is everything perfect?– Actually, no.– Shadow boundaries are a big issue
![Page 33: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/33.jpg)
Shadow boundaries
• Discontinuity: the oracle keeps refining
• Each patch is n2 times more costly– We lose all the ground we gained elsewhere
![Page 34: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/34.jpg)
Discontinuity meshing• Well-known method:
– Shadow boundary position is known– Cut the mesh according to these discontinuities
– Refine the resulting mesh
• Impossible with wavelet radiosity:– Wavelets only defined over quads/triangles
– …but we already have a workaround!
![Page 35: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/35.jpg)
DM and Higher-Order Wavelets• [Holzschuch and Alonso, EGSR 2004]• Discontinuities are introduced only if necessary – Use regular subdivision as much as possible
• Modified refinement oracle:– If refinement could have been avoided using DM
– Then Subdivide patch using discontinuity
– Embed the new patches inside quads– Regular subdivision over the new quads
![Page 36: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/36.jpg)
DM and Higher-Order Wavelets
• M2 wavelets, point light source, no DM
[Holzschuch and Alonso, EGSR 2004]
![Page 37: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/37.jpg)
DM and Higher-Order Wavelets
• M2 wavelets, point light source, with DM
[Holzschuch and Alonso, EGSR 2004]
![Page 38: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/38.jpg)
DM and Higher-Order Wavelets
• M3 wavelets, area light source, with DM
[Holzschuch and Alonso, EGSR 2004]
![Page 39: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/39.jpg)
Wavelet Radiosity: summary• Compact representation of illumination• Applications:
– Cooperation with Nancy School of Architecture– We tested our algorithms on real-world scenes– Great for robustness
• Research:– Real scientific problems came up– We had to solve them, resulting in nice papers
• Transfer: – The software was transferred to a start-up– VSP-Technology, headed by F. Cuny
![Page 40: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/40.jpg)
Wavelet radiosity: looking back• Shadow boundaries is an interesting issue
• Without DM:– 90 % of computation time for shadows
• With DM:– 90 % of implementation time for shadows
• Only important for (direct lighting+directly visible)
• Indirect lighting can use low quality version
• Waste of time?
![Page 41: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/41.jpg)
Overview
• Motivations• Timeline• Contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 42: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/42.jpg)
Frequency Analysis: credits
• Joint research work with MIT/CSAIL
• At MIT/CSAIL: F. Durand, E. Chan• At ARTIS/GRAVIR: C. Soler, F. Sillion
• Financed by an INRIA “Équipe Associée”
• [Durand, Holzschuch, Soler, Chan, Sillion, SIGGRAPH 2005]
![Page 43: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/43.jpg)
Illumination effects
• Blurry reflections:
From [Ramamoorthi and Hanrahan 2001]
![Page 44: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/44.jpg)
Illumination effects
• Shadow boundaries:
© U. Assarsson 2005.
Point light source Area light source
![Page 45: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/45.jpg)
Illumination effects
• Indirect lighting is usually blurry:
Complete lighting© C. Soler 2005.
![Page 46: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/46.jpg)
Illumination effects
• Indirect lighting is usually blurry:
Indirect lighting onlyDirect lighting only© C. Soler 2005.
![Page 47: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/47.jpg)
Frequency aspects of light transport
• Blurriness = frequency content– Sharp variations: high frequency– Smooth variations: low frequency
• All effects are expressed as frequency content:– Diffuse shading: low frequency– Shadows: introduce high frequencies– Indirect lighting: tends to be low frequency
![Page 48: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/48.jpg)
Problem statement
• How does light interaction in a scene explain the frequency content?
• Theoretical framework:– Understand the frequency spectrum of the radiance function
– From equations of light transport
![Page 49: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/49.jpg)
Unified framework:
• Spatial frequency (e.g. shadows, textures)
• Angular frequency (e.g. blurry highlight)
![Page 50: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/50.jpg)
Disclaimer: not Fourier optics
• We do not consider wave optics, interference, diffraction
• Only geometrical optics
Fro
m [
Hec
ht]
![Page 51: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/51.jpg)
Disclaimer: not Fourier optics
• We do not consider wave optics, interference, diffraction
• Only geometrical optics
Fro
m [
Hec
ht]
![Page 52: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/52.jpg)
Our approach
• Light sources are input signal • Interactions are filters/transforms– Transport – Visibility– BRDF– Etc.
![Page 53: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/53.jpg)
Our approach
• Light sources are input signal • Interactions are filters/transforms– Transport – Visibility– BRDF– Etc.
Light source signal
![Page 54: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/54.jpg)
Our approach
• Light sources are input signal • Interactions are filters/transforms– Transport – Visibility– BRDF– Etc.
Light source signal
Transport
![Page 55: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/55.jpg)
Our approach
• Light sources are input signal • Interactions are filters/transforms– Transport – Visibility– BRDF– Etc.
Light source signal
Signal 1
Transport
![Page 56: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/56.jpg)
Our approach
• Light sources are input signal • Interactions are filters/transforms– Transport – Visibility– BRDF– Etc.
Light source signal
Transport
Occlusion
Signal 2
![Page 57: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/57.jpg)
Our approach
• Light sources are input signal • Interactions are filters/transforms– Transport – Visibility– BRDF– Etc.
Light source signal
Transport
Occlusion
Signal 3
Transport
![Page 58: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/58.jpg)
Our approach
• Light sources are input signal • Interactions are filters/transforms– Transport – Visibility– BRDF– Etc.
Light source signal
Transport
Occlusion
Signal 4
Transport
BRDF
![Page 59: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/59.jpg)
Local light field
• 4D light field, around a central ray
Central ray
![Page 60: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/60.jpg)
Local light field
• 4D light field, around a central ray
• We study its spectrum during transport
![Page 61: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/61.jpg)
Local light field
• 4D light field, around a central ray
• We study its spectrum during transport
![Page 62: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/62.jpg)
Local light field
• 4D light field, around a central ray
• We study its spectrum during transport
![Page 63: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/63.jpg)
Local light field
• We give explanations in 2D – Local light field is therefore 2D
• See SIGGRAPH paper for extension to 3D
![Page 64: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/64.jpg)
Local light field parameterization• Space and angle
space
angle
Central ray
![Page 65: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/65.jpg)
Local light field representation• Density plot:
Area light source
Space
Ang
le
![Page 66: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/66.jpg)
Local light fieldFourier spectrum• We are interested in the Fourier spectrum of the local light field
• Also represented as a density plot
![Page 67: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/67.jpg)
Local light field Fourier spectrum
Spatial frequency
Ang
ular
freq
uenc
ySpectrum of an area light source:
![Page 68: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/68.jpg)
Basics of Fourier analysis
• Spectrum corresponds to blurriness:– Sharpest feature has size 1/Fmax
• Convolution theorem:– Multiplication convolution
• Classical spectra: – Box sinc– Dirac constant
![Page 69: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/69.jpg)
Example scene
Blockers
Light source
Receiver
![Page 70: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/70.jpg)
Transport in free space
Shear
Space Space
Ang
le
Ang
le
![Page 71: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/71.jpg)
Transport in free space
Shear
Space Space
Ang
le
Ang
leShear
Spatial frequency
Ang
ular
freq
.
Spatial frequency
Ang
ular
freq
.
![Page 72: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/72.jpg)
![Page 73: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/73.jpg)
Occlusion: multiplication
• Occlusion is a multiplication in ray space– Convolution in Fourier space
• Creates new spatial frequency content– Related to the spectrum of the blockers
![Page 74: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/74.jpg)
![Page 75: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/75.jpg)
![Page 76: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/76.jpg)
BRDF integration• Outgoing light:
– Integration of incoming light times BRDF
Outgoing lightIncoming light
BRDF
![Page 77: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/77.jpg)
BRDF integration
• Ray-space: convolution– Outgoing light: convolution of incoming light and BRDF
– For rotationally-invariant BRDFs
• Fourier domain: multiplication – Outgoing spectrum: multiplication of incoming spectrum and BRDF spectrum
![Page 78: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/78.jpg)
BRDF in Fourier: multiplication
=
• BRDF is bandwidth-limiting in angle
![Page 79: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/79.jpg)
Example: diffuse BRDF
• Convolve by constant: – multiply by Dirac– Only spatial frequencies remain
=
![Page 80: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/80.jpg)
Transforms: summaryRadiance/Fourier Effect
Transport Shear
Occlusion Multiplication/Convolution
Adds spatial frequencies
BRDF Convolution/Multiplication
Removes angular frequencies
Curvature Shear
![Page 81: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/81.jpg)
Case study: diffuse soft shadows• Decreasing blockers size:
– First high-frequencies increase– Then only low frequency– Non-monotonic behavior
![Page 82: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/82.jpg)
Diffuse soft shadows (2)
• Occlusion : convolution in Fourier – creates high frequencies– Blockers scaled down spectrum scaled up
Fourier space
v
(ang
le)
x (space)
Fourier space
v
(ang
le)
x (space)
blocker spectrum
![Page 83: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/83.jpg)
Diffuse soft shadows (3)• Transport after occlusion:
– Spatial frequencies moved to angular dimension
• Diffuse reflector: – Angular frequencies are cancelled
![Page 84: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/84.jpg)
Diffuse soft shadows (3)• Transport after occlusion:
– Spatial frequencies moved to angular dimension
• Diffuse reflector: – Angular frequencies are cancelled
![Page 85: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/85.jpg)
Frequency Analysis: summary• Framework for frequency analysis of light transport
• Gives high frequencies locations
• Occlusion creates high frequencies• Transport + reflection removes HFs• High frequencies mostly if:
– Small transport (quasi-contact)– Specular reflection (or highly glossy)
– Point light source
![Page 86: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/86.jpg)
Overview
• Motivations• Timeline• Contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 87: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/87.jpg)
GPU-based algorithms: credits• Specular reflections: D. Roger
• Real-time soft shadows: L. Atty, M. Lapierre, C. Hansen, J.-M. Hasenfratz, F. Sillion
• Contact shadows: M. Malmer, F. Malmer, U. Assarsson
• Global Illumination: J. Kontkannen, E. Turquin, F. Sillion
![Page 88: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/88.jpg)
GPU-based algorithms• GPUs are highly powerful machines
– Widely available– Used in the industry
•Video games, cinema
• But they also have their limitations– Memory accesses, per-pixel computations…
• They work better on local effects– Direct lighting, shadow boundaries…
• 2003: AS CNRS “Real-Time Rendering”
![Page 89: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/89.jpg)
Looking back…• Radiosity:
– Lots of work for direct lighting+directly visible
• High frequency effects in illumination: – Small transport– Shadow boundaries– Specular reflections– …mostly local or “semi-local” effects
•Involve a small subset of the scene for each pixel
![Page 90: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/90.jpg)
Think globally• Our hard points:
– Direct lighting+directly visible– Local or semi-local effects
• … all correspond to the forte of GPUs
• Main idea: – use GPUs for HF effects+directly visible
– Something else (CPU) for low frequency effects
![Page 91: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/91.jpg)
GPU-based algorithms
• Using GPUs for local/semi-local effects:– Specular reflections– Shadows (soft and hard)– Contact shadows
• Global illumination in static scenes:– GPU for direct lighting, CPU for indirect
![Page 92: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/92.jpg)
Specular reflections
• Vertex based reflections• For each vertex in the scene
– Compute its reflected position– Find light paths of extremal length– Using gradient descent
[Roger and Holzschuch, EG 2006]
![Page 93: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/93.jpg)
Specular reflections
Our method Env. mapping Reference
[Roger and Holzschuch, EG 2006]
![Page 94: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/94.jpg)
Real-time soft shadows
• Shadows: important issue for realism
• Real-time hard shadows: easy with GPU
• Soft shadows: still an open problem
• EG 2003: State-of-the-Art Report– Hasenfratz, Lapierre, Holzschuch, Sillion
![Page 95: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/95.jpg)
Soft Shadow Maps• Discretize occluders using shadow map
• Compute soft shadow for each surfel– Easy because surfel axis-aligned with LS
• Add the contributions of each surfel
[Atty, Holzschuch, Lapierre, Hasenfratz, Hansen, Sillion, CGF 2006]
![Page 96: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/96.jpg)
Contact shadows
• Shadows cast on nearby objects:
[Malmer, Malmer, Assarsson, Holzschuch, JGT 2007]
![Page 97: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/97.jpg)
Contact shadows• Equivalent to ambient occlusion
– Important for realism– Low-cost effect, but with high impact
• Low frequency effect• Several techniques for storing AO field– Moving with the object– Casting shadows on close objects– Indexed by direction: k*n2 storage– Post-processing to extract AO values
![Page 98: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/98.jpg)
Contact shadows
• Our solution:
![Page 99: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/99.jpg)
Contact shadows
• Store raw AO values, un-processed• 3D grid: n3 storage• No post-processing required
• Why is it interesting?– Low frequency effect: small values of n
– Raw values stored: no constant– Similar memory costs, faster rendering
![Page 100: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/100.jpg)
Global Illumination in static scenes• Direct lighting using GPU• Indirect lighting:
– Wavelet representation– precomputed Global Transport Operator
[Kontkanen, Turquin, Holzschuch, Sillion, EGSR 2006]
![Page 101: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/101.jpg)
Global Illumination in static scenes• Wavelet basis for radiance• Local Transport Operator
– expressing a single light bounce– precomputed
• Global Transport Operator– Built from LTO, using Neumann series
• For each frame:– Compute direct lighting, projected on WT basis
– Apply GTO to direct lighting– Result is indirect lighting
![Page 102: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/102.jpg)
Global Illumination in static scenes
Direct Indirect
Global
![Page 103: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/103.jpg)
GPU-based algorithms: summary• GPU techniques for local/semi-local effects:– Specular reflections– Soft shadows– Contact shadows
• Interactive global illumination– GPU for direct lighting, CPU for indirect
– Limited to static scenes
![Page 104: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/104.jpg)
Overview
• Motivations• Previous work• Contributions :
– Wavelet Radiosity – Frequency Analysis– GPU-based algorithms
• Conclusion & future work
![Page 105: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/105.jpg)
Conclusion & future work
• Photorealistic Image Synthesis• Contributions:
– Wavelet radiosity– Frequency analysis– GPU-based algorithms
• Several applications and contracts:– VSP-Tech, SIMULGEN, Eden Games…
![Page 106: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/106.jpg)
Future work: Real Time Global Illumination• Frequency analysis in real-time
– Used to guide computations
• GPU for local and semi-local HF effects– Direct lighting, shadows– Specular/glossy reflections– Occlusion and reflection fields
• CPU for other effects– Indirect lighting– Low Frequency effects
• Lots of applications and contacts:– Video games (GENAC II)– Movies
![Page 107: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/107.jpg)
Future work:Image-Based Rendering• We want more realistic pictures• Requires more realistic models
– Hard to create from scratch– Image-Based Modeling for acquisition
• Opens several new directions of research:– Easy model acquisition– Real-time rendering of the model– Re-lighting of the model
• Need for cooperation:– 2 ANR projects submitted this year
• Lots of potential applications
![Page 108: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/108.jpg)
Thank you!
![Page 109: Simulation Photoréaliste de l'Éclairage en Synthèse d'Images Nicolas Holzschuch Habilitation à Diriger des Recherches Université Joseph Fourier Grenoble](https://reader036.vdocuments.net/reader036/viewer/2022062511/55142fb0550346ec488b5eef/html5/thumbnails/109.jpg)
Acknowledgements• Everyone I worked with• In addition to those already mentioned:
– iMAGIS, 1993-1996: A. Lamouret, F. Faure, JC Lombardo, JD Gascuel, N. Tsingos, M. Desbrun, S. Rivière, R. Orti, JC Vedel, A. Verroust, MP Cani, A. Opalach,…
– UCT, 1996-1997:E. Blake, S. Nirenstein, D. Cook, A. Secchia,…
– ISA, 1997-2000: S. Lazard, S. Merzouk, K. Tombre, H. Everett, MO Berger, A. Tabbone…
– iMAGIS, 2000-2003: J. Thollot, X. Decoret, J. Turbet, F. Neyret, L. Reveret, G. Debunne, S. Grabli…
– ARTIS, 2004-2007: A. Martinet, L. Boissieux, V. Ostromoukhov, E. Eisemann, P. Barla, L. Baboud, H. Bezerra, A. Bousseau, A. Orzan, T. Stein, K. Smith, F. Moulin, D. Vanderhaeghe…