cennidi psicofisicae rendering 3d - bioing.it · gli indizi fisiologici sono meno forti di quelli...
TRANSCRIPT
Cenni di Psicofisica e Rendering 3D
Giovanni Magenes & Virginio CantoniDip. Ingegneria Industriale e dell’Informazione
Università of Pavia
Overview della lezione
• Cosa il nostro sistema visivo è in grado di percepire in un’immagine? (Psicofisica della visione)• Quali indizi ci consentono di apprezzare la terza
dimensione di una scena attraverso un’immagine 2D? (Percezione della profondità)• Come è possibile ottimizzare un’immagine per poter
apprezzare la profondità? (Modelli Iluminazione -Phong)• Quali metodi si possono usare per «vedere» in 3D
all’interno di strutture anatomiche? (Ray Casting, … )
1
2
La percezione in breve
• Integrazione dell’informazione proveniente dai sistemi sensoriali periferici a livello del SNC per la rappresentazione di se stessi in rapporto con il mondo esterno o per la rappresentazione del mondo esterno nella nostra mente.
• La percezione è la sequenza di tre eventi:– uno stimolo fisico– la trasformazione dello stimolo in
segnale neurale – la sua elaborazione, che provoca
una risposta �percettiva�(interpretazione della sensazione)
Percepire non significa solo � registrare� ciò che avvieneintorno a noi, ma costruire un�interpretazione per mezzo delsistema sensoriale e dell’esperienza.
3
• Lo studio moderno dei sistemi percettivi comincia dallaPsicofisica che stabilisce correlazioni quantitative tra stimoli esensazioni. Le informazioni essenziali possono essere ricavatedallo studio delle varie classi di recettori e dalle vie sensorialiche convogliano l’informazione fino alla corteccia. Perciò,eventi fisiologici possono essere correlati a tipi di stimolazionied entrambi ad un comportamento sensoriale discriminativo.(Kandel, �Principles of Neuroscience, 1985).
La percezione in breve
• Gli aspetti o dimensioni di uno stimolo fisico si dividono in duegrandi categorie:
• Dimensioni Protetiche: al variare progressivo di una proprietà fisica dello stimolo si associa spontaneamente l'impressione di una corrispondente variazione della sensazione lungo un unico asse sensoriale (concetto di valore più alto o più basso e di valore intermedio: peso, lunghezza, )
• Dimensioni Metatetiche: al variare progressivo di un proprietà fisica corrisponde una impressione di cambiamento qualitativo della sensazione (colori).
• In termini di scale di misura è possibile associare la scala fisica a quella delle sensazioni provocate da stimoli con dimensione protetica.
La percezione in breve
La Psicofisica
• La Psicofisica si occupa dello studio dei rapporti quantitativi che legano gli stimoli fisici alle risposte ‘mentali’ da essi provocate.
• L’idea che sta alla base di tale disciplina è quella di considerare il sistema percettivo umano come uno strumento di misura in grado, similmente ad uno strumento fisico, di fornire risposte, e quindi dati, che possano essere sistematicamente analizzate e che facciano da tramite per una quantificazione dell'esperienza sensoriale (Baird e Noma, 1978).
• Vi sono tre concetti fondamentali e le relazioni tra di essi:• Il mondo fisico esterno• L’attività della mente (corpo) derivante dalla stimolazione
esterna• La percezione conscia, ovvero la sensazione derivante
(Fechner, “Elemente der Psychophysik”,1860 )
• Per quantificare le relazioni tra il continuum fisico e quello sensoriale i “padri” della psicofisica si erano posti due domande:• Qual è il livello di stimolazione minima necessaria per
suscitare una sensazione? (soglia assoluta, absolutelimen)• Qual è la minima differenza necessaria per distinguere
una stimolazione come più intensa di un’altra (soglia differenziale, difference limen).
• Sia le soglie differenziali che quelle assolute sono determinabili in modo sperimentale e solo approssimativamente.
La nascita della Psicofisica
7
Soglie assolute e soglie differenziali
Dicesi soglia assoluta AL di uno stimolo il valore di esso che elicita una sensazione nel 50% delle presentazioni
8
Soglie assolute e soglie differenzialiDicesi soglia differenziale DL di uno stimolo la minima differenza di intensità in grado di essere rilevata nel 50% delle presentazioni di due stimoli messi a confronto
La legge di Weber
• Ernst Weber (1795-1878) fu autore della prima legge quantitativa della psicologia sperimentale.• La legge afferma che una soglia differenziale DL è sempre una
frazione costante dello stimolo R a cui si riferisce.
kRRkRR =D=D / quindi k è detto rapporto di Weber
RR1 R2 R3 R4
DL1 DL2 DL3
k = DL1/R1 = DL2/R2 = DL3/R3… = (R2-R1)/R1=(R3-R2)/R2 = (R4-R3)/R3 ...
Rapporto di Weber
• Stimoli tattili 0,02• Corrente elettrica 0,03• Posizione di punti (v) 0,03• Lunghezza di linee (v) 0,04• Estensione di aree (v) 0,06• Pesantezza 0,07• Chiarezza 0,08• Volume sonoro 0,10• Gusto salato 0,14• Gusto dolce 0,17• Vibrazioni (pelle) 0,20• Odore 0,24
Valori sperimentali del rapporto di
Weber per alcuni stimoli fisici (fonte
Baird e Noma, 1978)
• Assunzioni di base di Fechner (1860):• esiste una corrispondenza biunivoca tra gli elementi del
mondo esterno e quelli mentali tali da rendere plausibile misurare gli ultimi a partire dai primi.• esiste una scala interna unica che opera la
“trasformazione psicofisica” ovvero la misura dello stimolo secondo una scala interna di sensazione.
• La scala è di tipo logaritmico, ovvero ad un aumento in progressione geometrica della grandezza fisica corrisponde un aumento in progressione aritmetica della sensazione cosciente.
La legge di Fechner
La legge di Fechner
Partendo dall’ipotesi che le soglie differenziali (DL) nel continuum fisico costituiscano le jnd (just noticeabledifferences) in quello sensoriale e che siano tutte uguali, la legge di Fechner collega i continua fisici a quelli sensoriali.
S = c log R + a
La Psicofisica di Stevens
• Negazione della legge di Fechner (non esiste una funzione logaritmica tra continuum fisico e sensoriale).• Applicazione del metodo della bisezione alla percezione (1953)
a continua protetici -> le jnd non sono tutte uguali.Legge di Stevens
Per Fechner se
Per Stevens se
Variazione
23122
3
1
2 SSSSRR
RR
-=-Þ=
2
3
1
2
2
3
1
2 SS
SS
RR
RR
=Þ=
bcRS =
bRRcS )( 0-=
15
Caratteristiche della visione e bioimmagini
• Il sistema visivo umano ha un enorme range dinamico (106) ma riconosce un ridotto numero di livelli di grigio (100). Possiede invece una notevole capacità di discriminare colori diversi.• Le immagini mediche sono in generale prive di colore o utilizzano i
cosidetti �falsi colori�.• E� tuttavia impossibile generare uno stimolo che abbia dimensioni protetiche sulle caratteristiche colorimetriche e pertanto non è naturalmente associabile una scala ordinata a variazioni di colore.• In ogni caso per �fruire� di un immagine biomedica è necessario
poter estrarre informazioni che discriminano tra due o più condizioni.
L’acuità visiva
L’acuità visiva del soggetto ovvero il massimo della risoluzione spaziale del sistema visivo può essere ricavata dalla curva di sensibilità al contrastoQuesto limite sembra essere determinato dalla distanza fra coni e fra cellule gangliari nella retina!
Fra gli stimoli più utilizzati negli studi della percezione del contrasto ci sono macchie (spot) di luce su sfondo scuro oppure i reticoli (definiti in numero di cicli per grado di angolo visivo).La sensibilità al contrasto dipende da numerosi fattori: la luminanza, l’eccentricità del reticolo rispetto al centro della fovea, …
Risoluzione spaziale dell’occhio umano
Il limite dell’acuità visiva per la visione foveale è circa 0.017° il che combacia quasi perfettamente con la distanza centro a centro dei coni a livello della fovea che ricordiamo è di circa 0.008°. Infatti per poter discernere le due fasi di un reticolo quello di cui abbiamo bisogno sono almeno due coni 0.008°*2=0.016°
17
Campionamento spaziale (coni) e effetto aliasing a frequenza spaziale troppo elevata
L’acuità visiva
Gli studi neurofisiologici hanno mostrato sia nel gatto (Maffei e Fiorentini 1973) che nella scimmia (De Valois,Alberecht e Thorrel1982) che molti neuroni si comportano come filtri nel dominio della frequenza spaziale oltre che dell’orientamento (Hubel e Wiesel 1968)
I canali di frequenza spaziale
Questi dati neurofisiologici insieme a quelli psicofisici sull’uomo suggeriscono che la la curva di sensibilità misurata nell’uomo risulti dall’integrazione di numerosi meccanismi detti canali di frequenza spaziale specializzati per particolari dimensioni degli stimoli
27
Formazione e fruizione di un immagine
• La formazione di un’immagine è il risultato della interazione dell�energia prodotta da una sorgente con la materia costituente gli oggetti della scena trasferita sull’occhio. A tale interazione è generalmente associata una trasformazione geometrica 3D -> 2D• Per fruizione di un�immagine si intende invece l’estrazione
di informazioni utili dalla osservazione dell�immagine. Essa comporta due attività mentali: la percezione e l�interpretazione. • Spesso si comprendono entrambe con il termine di
percezione cosciente.
Elaborazione bottom-up e top-down
• La prima modalità ipotizza una modalità di elaborazioneguidata dai dati sensoriali, ossia dalle singole parti dellostimolo.• La seconda ipotizza che la percezione sia guidata dallaconoscenza o guidata dai concetti cioè basata sullerappresentazioni contenute in memoria.• Es.: possiamo riconosciamo un�automobile a partiredalla proprietà fisiche oppure partendo dal concetto diautomobile.
• Il problema della strategia � top-down o bottom-up �dipende dal contesto e dal task cognitivo
33
Angolo visivo α
d
h
La Legge di Emmert
La percezione di un'immagine che venga proiettata sulla retina variandone la distanza (immagine consecutiva o afterimage) è direttamente proporzionale alla distanza stessa. Più l'immagine è vicina, più piccola viene vista e viceversa. E' altresì proporzionale all'elevazione rispetto l'orizzonte
34
Vi sone tre categorie di illusioni:• ottiche, quando sono causate da fenomeni puramente ottici e
pertanto non dipendenti dalla fisiologia umana;• percettive, in quanto generate dalla fisiologia del sistema visivo.
Un esempio sono le immagini postume che si possono vedere chiudendo gli occhi dopo avere fissato un'immagine molto contrastata e luminosa;
• cognitive, dovute all'interpretazione che il cervello dà delle immagini. Un caso tipico sono le figure impossibili e i paradossi prospettici.
Un miraggio è un esempio di illusione naturale dovuta a un fenomeno ottico. La variazione nella dimensione apparente della Luna (più piccola quando è sopra la nostra testa, più grande quando è vicina all'orizzonte) è un'illusione cognitiva.
Illusioni ed errori percettivi
35
.
Quando la luna piena appare appena sopra l'orizzonte, essa sembra più grande di quando, successivamente, si trova ad una elevazione più alta, verso lo zenit del cielo. Questa è un’illusione poichèl'angolo che il diametro della luna sottende all'occhio dell'osservatore misura circa 1/2 grado di arco, indipendentemente dalla posizione in cui la luna si trova nel cielo.
Illusioni ottiche ed errori percettivi
La percezione della profondità
38
Il nostro cervello è in grado di percepire la profondità di un oggetto nello spazio, pur basandosi su un sistema di recettori bidimensionali. Esso utilizza due diverse modalità: a) il confronto tra vari indizi di profondità; b) uno specifico sistema di elaborazione, detto visione stereoscopica. In entrambe le modalità utilizziamo indizi legati alla terza dimensione sia di tipo fisiologico, sia di tipo psicologico.
Gli indizi fisiologici sono meno forti di quelli psicologici, e in caso di conflitto, prevalgono i secondi sui primi.
Indizi di profondità fisiologici
39
Gli indizi fisiologici sono:• l’accomodamento del cristallino: il cristallino modifica la suaforma in funzione della distanza del fuoco• la vergenza degli occhi: l’azione coordinata dei muscoli checontrollano il movimento degli occhi• la disparità binoculare: l’occhio destro vede infatti l’oggetto un po’ più a destra, l’occhio sinistro un po’ più a sinistra• la parallasse di movimento: rispetto al punto di fissazione,gli oggetti più lontani appaiono muoversi nella stessa direzionedel movimento dell’osservatore, mentre quelli più vicini sembrache si muovano in direzione opposta.
→ Rispecchiano il funzionamento dei recettori sensoriali.
Indizi di profondità pittorici (o psicologici)
40
• L’occlusione: quando un oggetto è interposto, nascondendone quindi in parte un altro, il secondo viene percepito come più lontano.• La grandezza relativa: a parità di condizioni, l’oggetto più grande viene visto più vicino.• L’altezza relativa: sotto all’orizzonte, oggetti più in alto nel campo visivo appaiono più lontani.• La luminosità: l’oggetto più luminoso appare più vicino.• Le ombreggiature: comprendiamo l’orientamento delle superfici in 3D per mezzo delle ombre• La prospettiva aerea: gli oggetti più nitidi e brillanti sono visti più vicini.
41
• La prospettiva lineare: le linee parallele tendono a convergere all’aumentare della distanza.• Il gradiente di tessitura: gli oggetti con trama più fitta appaiono più lontani.• La dimensione familiare: la conoscenza delle dimensioni degli oggetti aiuta a giudicare la distanza da essi e da quelli che li circondano.
-> Rispecchiano il funzionamento della mente nell’organizzare i dati sensoriali.
Indizi di profondità pittorici (o psicologici)
Esempi di indizi pittorici
43
a) occlusione b) gradiente di tessitura e dimensione familiare
c) prospettiva lineare d) prospettiva aerea
Bioimmagini e visione naturale
44
a) le strutture anatomiche e/o funzionali contenute devonoessere identificabili sulla base delle soglie note di sensibilità alcontrasto (luminosità minima in funzione della frequenzaspaziale) e, per poterne fare valutazioni comparative in terminigeometrici, devono soddisfare i relativi rapporti di Weber(soglia differenziale sugli stimoli di vicinanza, lunghezza, area);
b) la terza dimensione può essere percepita se sono presentisufficienti indizi pittorici non ambigui, in particolarel’occlusione (anche parziale in semitrasparenza), la prospettivalineare, le ombreggiature e la dimensione familiare (il clinicoconosce le dimensioni delle strutture esaminate).
Illuminazione e ombreggiatura
Se non inseriamo un modello di illuminazione non percepiamo la terza dimensione e tutto appare piatto
Modelli di illuminazioneUn modello di illuminazione è basato sulle proprietà ottiche degli
ogetti che compongono la scena visiva.Tipici effetti ottici (che richiedono una o più sorgenti di luce) sono:• La riflessione (di tipo Lambertiano e/o speculare)• La rifrazione (se gli oggetti sono trasparenti o semitrasparenti)• Le ombre (possono essere di varie tipologie )
Backward Ray Tracing• Idea: partire dai pixel e seguire il percorso dei raggi fino ad una
sorgente• Ogni pixel riceve la luce solo da una una direzione – la retta che
congiunge il punto focale con quel pixel sul piano immagine. • Ogni contributo fotonico ad un determinato pixel deve provenire
da questa direzione, pertanto si procede lungo una direzione e sitrova cosa sta inviando la luce da quella direzione.
• Tutto ciò è equivalente a fare un “forward” ray tracing, ma solo per i raggi che contribuiscono a formare l’immagine.
Il modello di Phong (1973)
48
Il colore di ogni pixel dell’immagine è determinato dall’illuminazione e comprende:a) Un contributo dovuto alla illuminazione dell’ambienteb) La diffusione di tipo Lambertiano, proporzionale all’angolo di incidenza della
luce (dovuta a sorgenti luminose posizionate nello spazio 3D)c) La riflessione speculare (dipendente dal punto di vista dell’osservatore, dalla
‘lucidità’ della superficie e dall’angolo di incidenza della luce)
49
Phong’s model (1973)
! = # − %# − %
The intensity of light is known to decrease with the factor 1/d2 due to energy laws, where d is the distancefrom the light source.From experience, the factor 1/d2 is modified to 1/(a+bd) or somethingsimilar, where a and b are constantsto prevent the nominator to approach zero.
ks=the coefficient of specularreflection for the surface (not reallya constant but a function of the angle a)(n.h)m
s determines how shiny the surface is; typically 1≤ms≤10000, means from dull (chalk) to veryshiny (mirror)
!" = $%&% +1
) + *+[ $.&. /. 1 +$2&2 /. 3 4 ]
Light source position and depthperception
51
Light And Shade: Highlights and shadows can provide information about an object’s dimensions and depth. Because our visual system assumes the light comes from above, a totally different perception is obtained if the image is viewed upside down.
….but how can we make a 3D rendering of the internalstructures?
multiplanar reformation (MPR), surfacerendering, (SR) and volume rendering, (VR).
Direct Volume Rendering: Ray Casting
•Only consider Primary Ray •Trace from each pixel as a ray into object space• Compute color value along the ray, composite.• Assign the value to the pixel
Similar to ray tracing in surface-based computer graphics. In DVR rendering only primaryrays, i.e. no secondary rays for shadows, reflection or refraction are considered. Since we have no surfaces in DVR we have to carefully step through the volume. A ray iscast into the volume, sampling the volume at certain intervals. The sampling intervals areusually equidistant, but they don't have to be (e.g. importance sampling). At eachsampling location, a sample is interpolated/reconstructed from the voxel grid. Popularfilter are nearest neighbor (box), trilinear, or more sophisticated (Gaussian, cubic spline).Volumetric ray integration: rays are casted through the volume, color and opacity are accumulated along each ray (compositing).
The basic goal of ray casting is to allow the best use of the three-dimensional data and not attempt to impose any geometric structure on it. It solves one of the most important limitations of surface extraction techniques, namely the way in which they display a projection of a thin shell in the acquisitionspace.
Surface extraction techniquesfail to take into account that, particularly in medicalimaging, data may originate from fluid and other materialswhich may be partiallytransparent and should be modeled as such. Ray casting doesn't suffer from this limitation.
Basic Idea: Ray Casting
Data Representation
•3D volume data are represented by a finite number of cross sectional slices (hence a 3D raster)•On each volume element (voxel), stores a data value (if it uses only a single bit, then it is a binary data set. Normally, we see a gray value of 8 to 16 bits on each voxel.)
N x 2D arraies = 3D array
Data Representation
What is a Voxel? – Two definitions
A voxel is a cubic cell, whichhas a single value cover the entire cubic region
A voxel is a data pointat a corner of the cubic cellThe value of a point inside the cell is determined by interpolation
Ray Casting
a) Stepping through the volume: a ray is cast into the volume, sampling the volume at certain intervals
b) The sampling intervals are usually equi-distant, but don�t have to be
c) At each sampling location, a sample is interpolated / reconstructed from the grid voxels: popular filters are nearest neighbor (box), trilinear (tent), Gaussian, cubic spline
d) Classification: map from density to color, opacity
e) Composite colors and opacities along the ray path
c1
c2
c3
Raycasting
color c = c s as(1 - a) + c
opacity a= a s (1 - a) + a
1.0
object (color, opacity)
volumetric compositingInterpolationkernel
Front-to-back
Ray Traversal - First
Depth
Intensity
First
• First: extracts iso-surfaces (again!)done by Tuy&Tuy �84
Ray Traversal - MIP
Depth
IntensityMax
• Max: Maximum Intensity Projectionused for Magnetic Resonance Angiogram
Ray Traversal - Accumulate
Depth
Intensity
Accumulate
• Accumulate opacity while compositing colors: make transparent layers visible!Levoy �88