dall'immagine alla realtà virtuale

1Valencia

25-26 March 2003Milano - UCSC21 Aprile 2007

Dall’immagine alla RVGiuseppe Riva

http://www.neurovr.org

Dall’immagine alla realtà virtuale

Prof. Giuseppe Riva

LICENT

Università Cattolica del Sacro Cuore

E-mail: [email protected]

http://www.neurovr.org http://www.cybertherapy.info

http://www.emergingcommunication.com

2Valencia




Sommario

In questa lezione vedremo: Dalla percezione all’azione

L’evoluzione dell’immagine Corpo, azione e percezione

Che cos’è la realtà virtuale La realtà virtuale come tecnologia La realtà virtuale come interfaccia

La realtà virtuale in pratica Realtà virtuale come tecnologia esperienzale Realtà virtuale come tecnologia cognitiva

NeuroVR: Un software open-source per sperimentare la realtà virtuale in ambito psico-pedagogico

3Valencia




PARTE 1: Dalla Percezione all’Azione

4Valencia




Dalla percezione all’azione (1)

Se analizziamo l’evoluzione degli strumenti di comunicazione negli ultimi 100 anni ci accorgiamo di due trend paralleli:

-La multisensorialità: dal visivo al multimediale

-La dinamicità: dall’immagine statica a quella in movimento

=> L’immagine si “incarna”

5Valencia





La logica di questo fenomeno è lo stretto legame tra azione epercezione:

“La percezione non è qualcosa che ci accade, fuori o dentro di noi, ma è qualcosa che facciamo” (Noe, p. 12)

La percezione e la consapevolezza percettiva dipendono dalle nostre capacita di azione e di pensiero

Noe, A., (2004), Action In perception. Cambridge,

MA: MIT Press

6Valencia





Il problema della costanza percettiva: vedendo una moneta rotolare sappiamo che è sempre la stessa anche se dal punto di vista percettivo le informazioni che ci arrivano sono diverse.

Secondo Noe (2004), la percezione è dipendente sia dall’oggetto, sia dalle capacità di movimento del soggetto percepiente.

7Valencia




Dalla percezione all’azione (4)A partire da queste riflessioni si sono sviluppate

due aree di ricerca:

LA PSICOLOGIA COGNITIVA “CORPOREA/INCARNATA”

che considera la mente come il risultato di un fenomeno

distribuito, che risiede non solo nella testa, e descrive i processi

cognitivi come il risultato dall’interazione in tempo reale e diretta verso un obiettivo tra un

organismo e l’ambiente

LO STUDIO DELL’INTERAZIONE

CORPOREAche ha come principale

obiettivo l’uso della corporeità per facilitare l’interazione

uomo-computer, realizzando interfacce e metafore e oggetti fisici in grado di comprendere

le necessità dell’utente

8Valencia




Psicologia Cognitiva Corporea (1)Embodied Cognition: considera i processi cognitivi come il risultato dall’interazione in tempo reale e diretta verso un obiettivo tra un organismo e l’ambiente.

Conoscenza (Clancey, 1997): capacità verso un’azione interattiva. Tale capacità viene attivata attraverso una sequenza di coordinazioni sensomotorie in atto, cioè mediante la concettualizzazione di un’intera sequenza comportamentale.

Per questo la conoscenza è necessariamente situata e incarnata: richiede un feedback esterno continuo per coordinare tra loro percezione e azione.

9Valencia




Psicologia Cognitiva Corporea (2)Come è possibile tale processo?: Secondo la Teoria dello Schema Rappresentazionale Comune (Common Coding Theory) le rappresentazioni di eventi percepiti (percezioni) e di eventi da eseguire (azioni) sono basate sullo stesso codice di tipo motorio (Prinz, 1997; Knoblich, 2003).

Durante la pianificazione e l’osservazione di un’azione il soggetto attiva uno schema motorio collegato al contesto in cui si svolge o si svolgerà l’azione.

Questa teoria ha avuto recentemente una verifica empirica attraverso le ricerche di un gruppo di neurofisiologi di Parma coordinati dal Prof. Rizzolatti.

10Valencia




Psicologia Cognitiva Corporea (3)Le ricerche di Rizzolatti hanno scoperto nella corteccia premotoria della scimmia e in seguito anche in quella dell’uomo, l’esistenza di due gruppi particolari di neuroni (bimodali – motori e percettivi):

•il primo gruppo di neuroni (F5ab-AIP) – chiamati neuroni “canonici” si attivano anche quando il soggetto guarda un oggetto a cui potrebbe essere rivolta la propria azione;

•il secondo gruppo di neuroni (F5c-PF) – chiamati neuroni “specchio” - si attivano invece quando il soggetto osserva un altro individuo che compie la stessa azione.

11Valencia




Psicologia Cognitiva Corporea (4)Rizzolatti e Sinigaglia (2006) descrivono così tale processo:

Ma che cosa accade quando allunghiamo la mano verso la tazzina? Quale che sia la direzione del nostro sguardo, non appena la tazzina entra nei campi recettivi visivi pericutanei, la sua posizione è localizzata rispetto alla mano, all’avambraccio, ecc. Tale localizzazione anticipa il contatto cutaneo, sicché la mano non ha bisogno di toccare la tazzina per sapere dove questa si trova. Le basta essere sufficientemente vicina perché lo stimolo attivi i neuroni i cui campi percettivi visivi sono situati su di essa… La localizzazione visiva della tazzina dovrebbe consentire di attuare quei movimenti specifici del braccio che dirigono la mano verso di essa come se si trattasse di uno stimolo tattile, cioè senza richiedere nessuna trasformazione. (p. 59).

12Valencia




Psicologia Cognitiva Corporea (5)In pratica, i neuroni canonici consentono una comprensione immediata delle opportunità di interazione che gli oggetti offrono a un soggetto percepiente (nel caso del manico della tazzina da caffé la possibilità di essere afferrato).

Mentre, i neuroni specchio permetterono una comprensione immediata delle intenzioni degli altri individui (l'intenzione ad esempio di portare la tazzina alla bocca per bere il caffé).

Il quadro che abbiamo appena descritto porta a supporre l’esistenza di un sistema simulativo basato sui schemi di tipo motorio che consente al soggetto di organizzare e comprendere l’azione

13Valencia




PARTE 2: Che cos’è la realtà virtuale

14Valencia




La realtà virtuale come tecnologia “incarnata”

Nella realtà virtuale il corpo diviene la principale interfaccia

con cui manipolare l’informazione disponibile

Nella storia dell’interazione uomo-computer è

identificabile un trend costante: rendere l’interazione con il computer il più possibile simile a quella che ciascuno di

noi ha all’interno di un ambiente reale

15Valencia




Possiamo definire la realtà virtuale come un ambiente tridimensionale generato dal computer in cui il soggetto o i soggetti interagiscono tra loro e con l’ambiente come se fossero realmente al suo interno. Dal punto di vista tecnologico è possibile distinguere tra due tipi di realtà virtuale: quella immersiva e quella non immersiva.

Che cos’è la realtà virtuale?

16Valencia




RV Immersiva

La realtà virtuale è immersiva quando è in grado di creare un senso di assorbimento e «immersione» sensoriale nell’ambiente tridimensionale generato dal computer.

Questa sensazione viene generata mediante-un dispositivo di visualizzazione, normalmente un casco;- uno o più sensori di posizione (tracker)

17Valencia




I caschi

€4,000

€10,000€20,000

€800

€24,000

€1,200

18Valencia




I sensori di posizione

€1,800

€5,000

€1900€5,000 -15,000

19Valencia




RV non Immersiva

La realtà virtuale non immersiva sostituisce il casco con un normale monitor che, grazie a speciali occhiali, consente la visione tridimensionale.

In questo caso l’impressione dell’utente è quella di vedere il mondo tridimensionale creato dal computer attraverso una sorta di «finestra».

20Valencia




Dalla Tecnologia all’esperienza

Analizzare la realtà virtuale partendo dalla tecnologia su cui è basata non consente però di comprendere totalmente le opportunità offerte da questo strumento.

la RV può essere infatti considerata una sofisticata interfaccia comunicativa, in cui l’utente sperimenta il senso di presenza.

per presenza si intende:

«… l’esserci (being there), cioè la sensazione di essere all’interno del mondo sintetico generato dal computer» (Steuer, 1990).

21Valencia




PARTE 3: La realtà virtuale tra tecnologia

ed esperienza

22Valencia




RV come tecnologia esperienziale (1)

La principale opportunità offerta dalla realtà virtuale è la possibilità di partecipare attivamente nella creazione e nello sviluppo della propria conoscenza:

l’apprendimento/cambiamento è legato allo «scoprire» e al «fare» in prima persona.

Come rileva Antinucci [1999], la realtà virtuale, permette di «conoscere il mondo» mediante un apprendimento di tipo senso-motorio, più naturale per l’essere umano, rispetto all’apprendimento di tipo simbolico-ricostruttivo, mediato dalla scrittura.

23Valencia




Apprendimento sensomotorio (1)

La terapia sfrutta in maniera limitata la modalità di apprendimento «senso-motorio».

In questa:• non si opera sui simboli => ma sulla realtà;• non si opera all'interno della propria mente => ma all'esterno con la percezione e l'azione;• può richiedere più tempo => ma i contenuti appresi non vengono dimenticati

24Valencia




Come funziona: • Si osservano fenomeni e comportamenti, • si interviene con la propria azione per modificarli, • si osservano gli effetti della propria azione, si riprova a intervenire, e così via.

Si ripetono tipicamente cicli di percezione e azione ciascuno operante sul risultato dell'altro: si prova e riprova. =>La conoscenza e il cambiamento emergono da questo «fare esperienza».

Apprendimento sensomotorio (2)

25Valencia




RV come tecnologia esperienziale (2)

In quest’ottica, la realtà virtuale può essere considerata una interfaccia «esperienziale», in cui la componente percettiva (visiva, tattile, cinestetica) si fonde con l’interattività:

Io conosco gli oggetti e/o le situazioni e imparo ad utilizzarli/controllarli attraverso l’esperienza diretta e in tempo reale delle mie reazioni (emozioni, pensieri, comportamenti) e delle loro in funzione delle mie azioni.

26Valencia




Come abbiamo visto, secondo l’ “Embodied Cognition” (Cognizione Incarnata/Corporea). il corpo è il sistema di riferimento dei processi percettivi e cognitivi:

Tutto quanto siamo in grado di conoscere della realtà esterna non può essere conosciuto se non attraverso il nostro corpo che, mediante gli organi sensoriali, ci consente il rapporto con quanto è fuori di noi.

RV come tecnologia cognitiva (1)

27Valencia




RV come tecnologia cognitiva (2)La seconda opportunità offerta dalla realtà virtuale immersiva è quella di alterare in maniera diretta e rapida i processi cognitivi legati alla corporeità.

Diversi studi hanno mostrato la capacità della realtà virtuale immersiva di modificare in tempi rapidi il metabolismo cerebrale e la percezione corporea all’interno di terapie differenti: disturbi alimentari, distrazione dal dolore, disturbi sessuali maschili, ecc.

28Valencia




La realtà virtuale come strumento di distrazione dal dolore acuto produce una modificazione significativa nell’attività cerebrale. Non si ha un effetto simile utilizzando un videogioco.

Scientific American, April 2004

29Valencia




RV come tecnologia cognitiva (3)

La RV crea una dissonanza tra le informazioni che arrivano al sistema visivo (mi muovo) e quelle che arrivano al sistema vestibolare (sono fermo). =>“simulation sickness” effetto collaterale della RV.

Tale dissonanza costringe il nostro sistema cognitivo ad un processo di adattamento che provoca una modificazione dello schema corporeo. Tuttavia le modalità e gli effetti di tale cambiamento non sono ancora chiari.

30Valencia




Le aree applicativePatologia Dimensione

esperienzialeDimensione cognitiva

Protocolli disponibili

Trial clinici controllati

Disturbi d’ansia semplice

SI NO SI SI (>10)

Disturbi di panico SI NO SI SI (>2)

Disturbo post-traumatico da stress

SI NO NO SI (>3)

Distrazione dal dolore acuto

SI SI NO SI (>2)

Obesità e disturbi alimentari

SI SI SI SI (>5)

Disturbi sessuali SI SI NO SI (>3)

31Valencia




PARTE 4: Realtà virtuale per la teatralità

psico-pedagogica

32Valencia




RV e teatralità psicopedagogica (1)

La realtà virtuale, così come la teatralità classica include al suo interno sia la dimensione corporea/motoria sia quella simulativa:

•Da una parte il soggetto nell’ambiente virtuale agisce utilizzando attivamente il proprio corpo. •Dall’altra la realtà virtuale consente di riprodurre contesti e azioni dando all’utente la possibilità di agire come se fosse nell’ambiente reale.

Ciò suggerisce la possibilità di utilizzare la realtà virtuale per intervenire sui processi di concettualizzazione attraverso la simulazione.

33Valencia





E se volessi usare la realtà virtuale?

Problema: Pochi docenti/operatori hanno familiarità con l’uso del computer, e una frazione ancora minore dispone di conoscenze relative alle tecnologie di simulazione 3D. Soluzione: Sviluppare uno strumento che sia semplice da utilizzare e facilmente accessibile anche da utenti non esperti.

Problema: Per realizzare un ambiente virtuale ci sono solo due soluzioni: (a) modificare dei videogiochi del costo di 30/50 euro; (b) far costruire ad una media agency un software specifico con un costo di decine di migliaia di euro Soluzione: Sviluppare uno strumento che sia poco costoso e adattabile alle diverse esigenze degli operatori.

34Valencia





La soluzione che vi propongo:

Il software open source NeuroVR – http://www.neurovr.org

Il sofware NeuroVR consente di progettare, sviluppare e testare ambienti virtuali di contenuto e complessità variabile, interattivi e modificabili in tempo reale.

L’interfaccia utente di NeuroVR è totalmente grafica e non richiede la conoscenza di complessi linguaggi di programmazione.

Gli ambienti di NeuroVR possono essere creati o modificati attraverso semplici operazioni, consentendo di sviluppare e testare ambienti virtuali di elevato realismo grafico.

35Valencia





La soluzione che vi propongo:

Flessibilità d’uso e portabilità sono altre due caratteristiche distintive degli ambienti NeuroVR:

Essi possono essere utilizzati sia in modalità immersiva, ovvero attraverso l’uso di head-mounted display, joystick e sensori di head-tracking, sia in modalità non immersiva, con monitor o video proiettori.

Un’altra utile funzionalità della piattaforma NeuroVR concerne la possibilità di salvare gli ambienti precedentemente sviluppati, ed utilizzarli nuovamente come strutture di base per costruire nuovi ambienti.

36Valencia





NeuroVR: l’Editor

Utilizzando l’Editor di NeuroVR, gli stimoli per ogni dato scenario possono essere scelti da un ricco database di oggetti 2D e 3D, e possono essere facilmente posizionati in scenari virtuali pre-configurati, attraverso l’utilizzo di un’interfaccia basata su icone.

Oltre a oggetti statici, come fotografie e oggetti 3D, l’Editor di NeuroVR permette di inserire nella scena virtuale videoclip realizzati dall’utente.

37Valencia





NeuroVR: Il Player

Consente di navigare e di interagire con gli ambienti virtuali creati usando l’Editor. Per migliorare il realismo della scena simulata il Player consente:

•La rilevazione delle collisioni per il controllo dei movimenti, •Tecniche avanzate di illuminazione•L’utilizzo di filmati

Il Player può essere configurato per essere utilizzato con un casco virtuale, sia in modalità stereoscopica che monoscopica; è inoltre predisposta la compatibilità con sensori head-tracking (movimento della testa).

38Valencia





Prova Pratica

Come usare NeuroVR

Programma open source per la

creazione di ambienti virtuali senza

competenze tecniche


39Valencia




PARTE 5: Per saperne di più

40Valencia




• Sulla RV, sulla presenza e i suoi effetti cognitivi:

Per saperne di più (1)

Riva, G. (2004), Psicologia dei nuovi media,

Bologna: Il Mulino

Morganti, F., Riva G. (2006),

Conoscenza, comunicazione e

tecnologia: Aspetti Cognitivi della RV,

Milano: LED

41Valencia




• Hanno parlato dei nostri relativi all’uso della RV per la modifica della percezione corporea:

• SCIENCE: Teletherapy for Eating Disorders, 26 October 2001, Volume 294, Number 5543, p.777

• JAMA: Fake worlds offer real medicine, 290 (10), 2107-2109, 22/29 Oct 2003

• Il National Institute of Health: Virtual Reality: opportunities for the NIH, Feb 2004.

• Le nostre ricerche, articoli, protocolli (solo in inglese) sono disponibili sul sito:

http://www.neurotiv.org


42Valencia




• E’ disponibile il volume “Psicologia Clinica dell’obesità” di Enrico Molinari e Giuseppe Riva, Bollati Boringhieri, Torino.

• Il sito del volume – http://www.obesita.info consente di scaricare uno degli ambienti virtuali – il supermercato – utilizzato nella terapia con la RV.


dall'immagine alla realtà virtuale

Business