s.taraglio. reti neurali per la percezione dellambiente in robotica autonoma 1 reti neurali per la...

S.Taraglio. Reti neurali per la percezione dell’ambiente in robotica autonoma 1

Reti neurali per la percezione dell’ambiente in robotica

autonoma

Sergio TaraglioSergio Taraglio

ENEA, Sezione di Robotica, C.R. Casaccia, [email protected]


Sommario

• Motivazione all’uso di reti neurali in robotica

• Teoria: reti neurali per la stereoscopia• Esempi di applicazioni:

– Stereoscopia – Navigazione reattiva– Riconoscimento di marker artificiali

• Conclusioni


Motivazione all’uso di NN in robotica

• La robotica: una scienza che studia la connessione intelligente tra percezione e azione

• Per costruire un robot occorrono le conoscenze e la pratica di tante altre scienze, meccanica, informatica, intelligenza artificiale, neuroscienze, psicologia, logica, linguistica, matematica, biologia, fisiologia, e anche, più indirettamente, filosofia, etica, arti espressive, design


Motivazione • Un robot (autonomo) deve:

– Misurare l’ambiente (sensoristica)– Farsi un’idea dell’ambiente (modellistica)– Decidere cosa e come fare (pianificazione)– Metterlo in pratica (attuazione)– Controllare lo stato del sistema (supervisione)

• Il fattore tempo:deve fare tutto ciò in tempo reale


Motivazione • Soluzione:

– Mezzi di calcolo più potenti– Algoritmi di calcolo più furbi

• Reti neurali:– Robuste rispetto al rumore– Affidabili (graceful degradation)– Alcune imparano da sole a partire da esempi

(!)– Molto veloci una volta programmate


NN per la stereoscopia

• La stereoscopia:



Point of view



• Il “matching”: problema matematicamente mal posto, non si ha la certezza dell’esistenza e della unicità della soluzione.

• Richiede l’applicazione di alcune ipotesi restrittive in grado di regolarizzare la soluzione.

• Gli algoritmi di stereo matching sono computing intensive



Lo stereo matching è esprimibile in termini di estremizzazione di un opportuno funzionale

r c

ksjikji

r c

kji

N

i

N

j

K

k Ssyy

N

i

N

j

K

kyRL tvtvtvbkjiPjiP

ctE

1 1

1

0

2

1 1

1

0

2 )()(2

)(,,1

)(,),(,,,,

1

Fotometrico Smoothness



• Reti Neurali Cellulari (CNN):– Riuniscono alcune caratteristiche di due classi di sistemi:– Reti Neurali:

Circuiti analogici non lineari che processano parallelamente i segnali in tempo reale (tempo di convergenza 10 µs).

– Automi Cellulari:Formate da una massiccia aggregazione di cloni che

comunicano direttamente soltanto con i primi vicini

– Conservano alcuni pregi delle altre reti neurali (processing parallelo asincrono, ottima tolleranza al rumore, etc).

– Data la topologia di interconnessione locale, sono realizzabili su chip anche reti di grandi dimensioni



• Equazione di input:

• Equazione di stato:

• Equazione di output:

jiu Evji ,,

v (t)= v t v ty x xi j i j i j, , ,

1

21 1

C

dv t

dt Rv t A(i,j;l m)v t + B(i,j;l m)v +I

x

xx y

(l m) N (i,j)u

(l m) N (i,j)

i j

i j l m

r

l m

r

,

, , ,, ,

, ,

1

.

controlloretroazione



. )()(),,;,,(

)(2

1)()(),,;,,(

2

1)(

1 1

1

01 1 1 1

1

0

1

0

1 1

1

0

2

1 1 1 1

1

0

1

0

,,,,,,

,,,,,,

r c

kji

r r c c

nmlkji

r c

kji

r r c c

nmlkji

N

i

N

j

K

ky

N

i

N

l

N

j

N

m

K

k

K

nuy

N

i

N

j

K

ky

x

N

i

N

l

N

j

N

m

K

k

K

nyy

tIvvtvnmlkjiB

tvR

tvtvnmlkjiAtE

• Estremizzano un funzionale energia interna, possono quindi essere utilizzate per risolvere problemi di ottimizzazione

• Si può trovare una rete CNN in grado di risolvere lo stereo matching?


NN per la stereoscopia• Scrivere un funzionale per la visione

stereoscopica• Mappare questo funzionale all’interno

della CNN, agendo sulle interconnessioni e le polarizzazioni delle celle

• Si ottiene così una Stereo-CNN capace di risolvere il problema espresso nel funzionale originario

• Nessuna connessione fisica intrastrato!

• I piani hanno una connessione “logica”


Applicazione: Navigazione Autonoma in un

Corridoio


Navigazione Autonomain un Corridoio

Immagine AcquisitaMappa Disparità Vista in Pianta


1

Navigazione Autonomain un Corridoio


Applicazione: Navigazione Autonoma

in un Corridoio con Ostacoli


Navigazione autonomain un Corridoio


Obstacle detection and avoidance

The external view


Obstacle detection and avoidance

The input images (R)

The disparity map

Interface view


Applicazioni: navigazione reattiva

• Navigazione autonoma in un corridoio: mantenere la mediana e non urtare le pareti

• Trattamento di dati sensoriali: immagini video• Necessità di prendere decisioni in tempi brevissimi (real-

time)• Reattività: risposta immediata

Immagine di ingressoAngolo di sterzata


Navigazione reattiva

immagine

elaborazione neurale

periodo = 4 s angolo di sterzo


Navigazione reattivaandata

ritorno

Il punto di vista del robot

Il punto di vista del robot


Riconoscimento marker

• Scopo: auto-localizzazione di un robot

Campione di

colore

Immagine

sorgente

Ricerca del colore

Bordi & colore

Bordi dell’immagin

e

Marker individuato


Riconoscimento markerParte

letteraleestratta

Trasformazione dell’immaginein forma “binaria”

Parte numericaestratta

Riduzione a 20X20 pixel

Porzione dell’immagine sorgente

che racchiude il marker


Conclusioni

• Le NN in robotica sono di grande aiuto:– Imparano per esempi– Sono “robuste” rispetto al rumore– Permettono un’elaborazione dati veloce

compatibile con i vincoli temporali– Ottime per la percezione sensoriale


Domande ?

s.taraglio. reti neurali per la percezione dellambiente in robotica autonoma 1 reti neurali per la...

Documents