produrre programmi con studi virtuali sebastian sylwan [email protected]
TRANSCRIPT
Che cosa è un Virtual Studio ?
Fondamentalmente un “accozzaglia” di apparecchiature ad altissimo livello tecnologico.
Scenografie virtuali con attori reali.
Nessuno deve accorgersi della finzione
A che cosa serve ?
Ambiente di produzione completamente digitale
Ottimizzare gli spazi e le risorse
Risparmiare sui costi
Riutilizzare le risorse
Ambiente di produzione digitale
Tutti gli elementi sono disponibili in formato digitale
La scenografia sta in un database
Diversi set-up dello studio possono essere progettati e richiamati
Le risorse di calcolo ad alte prestazioni possono essere centralizzate e condivise
Il design può essere fatto su computer a basso costo
Gli elementi possono essere archiviati e riutilizzati
Avere elementi digitali facilita la post-produzione e il riutilizzo
Ottimizzare spazi e risorse
Nello stesso studio giro innumerevoli programmi
Devo comprare meno camere, regie, monitor, etc.
Tempo per cambiare le scenografie irrilevante
Costruzione di scenografie 3D
molto più semplice ed economico rispetto a quelle reali
molto più veloce
facilità di correggere ed adattere alle esigenze
riusabilità
Che cosa implica ?
Nuove professionalità
Forte integrazione tra mondo video e informatico
Convergenza…
Diversi campi tecnologici
– Rendering fotorealistico in tempo realeRendering fotorealistico in tempo reale
– Sensori elettromeccaniciSensori elettromeccanici
– OtticaOttica
– Trattamento del segnale video digitaleTrattamento del segnale video digitale
Nuove Professionalità
Scenografi “Virtuali”
Modellatori 3D
Attori
Assistente alla regia
Direttore tecnico
Sceneggiatori
Registi
Autori
Cameraman
Tecnici di illuminazione
Miglioriamo i modelli di produzione
Espandiamo lo spazio di studio esistente
Ambiente di produzione completamente digitale
Strumenti per il desing vs strumenti per la produzione
Sessione tipica in un Virtual Studio
Espandere lo spazio di studio esistente
incrementare il rendimento
più programmi in un unico studio
cambiamenti veloci
maggiore produttività
le scene sono indipendenti dallo spazio di studio
le informazioni possono essere associate al programma/ripresa
i dati di design e di produzione passano alla post-produzione
Tools for design vs. production
Design: guidato dal costo
modellazionemodellazione
illuminazioneilluminazione
animazioneanimazione
Produzione: guidata dalle prestazioni
Composizione di sceneComposizione di scene
pre-produzionepre-produzione
display real-time dinamicodisplay real-time dinamico
Texture painting 3D modeling & animation
Typical Design Tools
Production Tools
Scene composition Pre-production
Production Tools
Production
Come è fatto uno studio virtuale ?
3D modeling - Studio Design
Rendering Real-Time
Camera Tracking
Blue Back / Chroma Keying
Matte Keying
Switching
Optical tracking / measuring
Come è fatto uno studio virtuale ?
Una tipica sessione in studio virtuale
Scegliere la scena
Scegliere lo studio
Caricare le impostazioni dello studio
Caricare la registrazione della scena
Tarare le camere
Registrare
Post-produrre
Integrazione
Mettere insieme apparecchiature di “mondi” diversi
Sincronizzare alla perfezione in tempi strettissimi
Mission-critical RT
Vediamo nel dettaglio…
Modellazione 3D
Blue Back / Keying
Calibrazione
Registrazione
Modellazione 3D
Interna o esterna al pacchetto software...
…ma pensata esplicitamente per uno Studio Virtuale
Ottimizzazione per il rendering Real-time
Vapour deve generare 50/60 immagini / secondo
Devo necessariamente ottimizzare
Dal progetto al modello
Ottimizzazione degli studi 3DUsare colori invece di materiali ove possibile
Limitare il numero delle luci / usare texture per ottenere effetti di luce
“Spegnere” i lati posteriori degli oggetti se non sono visibili
Ridurre il numero di vertici nelle geometrie
Minimizzare l’uso di oggetti importati (t-mesh) e delle trasparenze
Nascondere/rimpiazzare gli oggetti “video” e i “dummy” quando non vengono usati
Creare texture con degli oggetti di testo fissi
Diminuire la risoluzione del testo con corpo piccolo
”Spegnere” i lati posteriori del testo 3D
Disabilitare lo z-buffer / riorganizzare gli elementi secondo l’ordine di rendering
Pixel fill rate: 10 cubi vengono resi prima di un unico cubo che riempie lo schermo
Far ereditare le proprietà agli oggetti quando possibile
Ottimizzazione del modello
Illuminazione
È importantissimo mantenere una coerenza nell’illuminazione per evitare artifatti percepiti come “falsità” della scena.
Prestare attenzione alle dominanti cromatiche dello studio virtuale e ricrearle (color-correction) nei talent enegli elementi reali (blue-spill)
Le sorgenti di luce devono provenire dalle stesse direzioni sia nel modello virtuale che nello studio reale, per ottenere una coerenza nelle ombre e nell’illuminazione
Typical Design Tools
Simulazione dell’illuminazione
Calibrazione dello Studio Virtuale
Blue Back
Blue Back: fattori critici
Perché blu ?
Illuminazione uniforme
Distanza dalle pareti
Ombre
Coerenza cromatica
Indumenti
Riflessi
Limbo e illuminazione
Angoli del Limbo
Chroma Keying
Le componenti del Blu vengono eliminate e al loro posto vengiono inserite le immagini generate dalla WS.
A questo “mascheramento” sul colore si aggiunge una maschera proveniente dalla WS stessa che decide se un oggetto sta davanti o dietro il “talent” e lo maschera di conseguenza (talent-tracking)
“Mappare” il virtuale sul reale
Devo creare un modello virtuale del mio blue-back reale e posizionarlo (posizione, scala, orientamento) nel mio studio virtuale
Devo posizionare molto precisamente le telecamere reali all’interno del set virtuale
Movimento e posizione delle camere
La visione prospettica della scena virtuale cambia con i movimenti delle camere, quindi questi devono essere acquisiti con la massima precisione possibile
I dati di movimento, posizione, zoom, pan e tilt delle camere devono arrivare a tutte le WS che fanno il rendering nel minor tempo possibile per non introdurre delay
Devono essere sincronizzati
Vediamo i diversi tipi con Pro e Contro
Camera tracking: meccanico
– Altissima precisioneAltissima precisione
– Bassi delayBassi delay
– Calibrazione più criticaCalibrazione più critica
– Camera rigCamera rig
– CraneCrane
– DollyDolly
– Necessità di taratura ottica precisaNecessità di taratura ottica precisa
Camera tracking: Pattern recognition
– Libertà di movimento (relativa)Libertà di movimento (relativa)
– Basso costoBasso costo
– Shoulder cameraShoulder camera
– Poco preciso / Velocità limitataPoco preciso / Velocità limitata
– ScattiScatti
– Alti delayAlti delay
Camera tracking: Elements search
– Device ausiliari (tipicamente a IR)Device ausiliari (tipicamente a IR)
– Shoulder camera (totale libertà di movimento)Shoulder camera (totale libertà di movimento)
– Poco precisoPoco preciso
– Bassissimi delay (< 1 frame !)Bassissimi delay (< 1 frame !)
Mettiamo insieme le cose
Rendering in tempo reale
Dipendente dalla posizione e dai movimenti delle camere reali
Virtual Cameras solo per immagini di sintesi
Unire le immagini
Unire le immagini
Devo ora integrare le immagini di sintesi con quelle naturali
Le immagini naturali sono girate su sfondo blu
Interfaccia
Risultato
Schema Generale
Un idea delle dimensioni
Produzione vs. Post-produzione
I dati provenienti dalle telecamere possono essere utilizzati “on the fly” oppure registrati per utilizzarli in post-produzione
Tutta l’interazione con lo studio virtuale compreso lo switching tra le telecamere (Program e Preview) viene fatto attraverso un PC
Questo permette di integrare grafici e dati dal mondo esterno con estrema facilità
Ho anche un notevole controllo e possibilità di automazione (scripting)
External Control - Producer
External Control
On air graphics
On air graphics
Caratteristiche Principali
resolution-independent rendering up to HDTV 1920x1080p as shown on NAB
full external control, producer 1.5x is really nice as it's able to read in, display and use frost's scene tree
texture load in background w/o affecting fg performance
two separate renderers with switch/crossfade/fade to black
Caratteristiche Principali
overlays, ie you can have a background scene and an overlay eg for a lower 3rd, this will always stay in place regardless of what you do with the camera
support for new thoma walkfinder interface w/ autocalibration and shoulder camera, enhanced protocol for super-fast data transmission (delay < 1 frame NTSC)
motion path feature
fully integrated synchronous switching solution
soon to come: triple renderer w/overlays, fast high quality 2d text, enhanced virtual camera features, tight 3DS MAX integration,
Camera 1
Camera 2
Backstage
Installazione
Installazione
Riferimenti (3D):
http:// www.gdmag.com Game developer magazine, real-time tips and tricks
http:// www.gamasutra.com Game related Real-time tips and tricks, lots of info.
http:// www.kinetix.com 3D Studio Max
http:// www.charm.net/learning.html Links to Unix, internet….
http:// www.3dcafe.com An excellent starting location! Links, free textures and objects
http:// avalon.viewpoint.com Free model archive for all formats (hosted by Viewpoint)
http:// www.acuris.com Models
http:// www.meshmart.org VRML models
http:// www.3name3d.com Models
http:// www.3d-design.com Based on the magazine, a lot of tillable free textures!
Riferimenti:
http://www.ultimatte.com
http:/www.discreet.com
http://www.thoma.com
Designing 3D Graphics
How to Create Real-Time 3D Models for Games and Virtual Reality
Includes CD-ROM Josh White 383 Pages ISBN 0-471-149268 www.vectorg.com/book/index.html
Grazie dell’attenzione
Per qualsiasi domanda:
Tra qualche giorno troverete queste slide qui:
http://www.media.dsi.unimi.it/~seba/