Apprendimento di movimenti Apprendimento di movimenti della testa tramite Hidden della testa tramite Hidden Markov ModelMarkov Model

Relatore: Candidato:Prof.ssa Fiora Pirri Anna Belardinelli

Università degli Studi di Roma “La Sapienza”Facoltà di Ingegneria

Corso di Laurea in Ingegneria Informatica

OverviewOverview

Apprendimento automatico

Apprendimento imitativo

Metodi probabilisti

ci

Scienze Cognitive

Esperimento

apprendimento di movimenti

della testa

Applicazioni all’IngegneriaApplicazioni all’Ingegneria

Robotica mobileSicurezza e sorveglianzaAssistenza a soggetti disabiliInterfacce uomo-macchinaStrumentazione per video-

conferenzaInformatica grafica…

Apprendimento AutomaticoApprendimento Automatico

Apprendimento

supervisionato

non supervision

ato

con rinforzo

Reti Neurali

Alberi di decisione

Maximum Likelihood

Clustering

Markov Decision

Process

Q-learning

Apprendimento per Apprendimento per imitazioneimitazione

Approccio innovativo mutuato dalle Scienze Cognitive (Rao, Shon, Meltzoff, 2004)

Vantaggimaggior adattabilità in ambienti

dinamiciriduzione dei costi di

programmazione per compiti specificiprocesso di apprendimento più

efficiente e veloce

Apprendimento per imitazione Apprendimento per imitazione Approccio tradizionale vs. Approccio tradizionale vs. probabilisticoprobabilistico

Metodi tradizionali

Metodi probabilistici

presentano limiti nell’elaborazione e memorizzazione delle incertezze del mondo reale

I metodi probabilistici risultano più adatti all’apprendimento per imitazione in ambienti realistici, dinamici e rumorosi, caratteristica necessaria per lo sviluppo di sistemi artificiali autonomi.

gestiscono meglio la natura stocastica del mondo reale

Es.: filtro di Kalman, particle filtering, metodi Monte Carlo, Hidden Markov Model

Markov Chain Monte Carlo:Markov Chain Monte Carlo:l’algoritmo di Metropolis-Hastingsl’algoritmo di Metropolis-Hastings

Idea:

)0(x

Generare campioni x che approssimino una distribuzione obiettivo p(x) usando un meccanismo a catena di Markov.

Si inizializza for i=0 to N-1

Hidden Markov Model (HMM)Hidden Markov Model (HMM)

Elementi: N, numero degli stati

(nascosti) del modello M, numero dei simboli

osservabili A, matrice delle

probabilità di transizione tra gli stati

B, matrice delle probabilità di emissione dei simboli

∏, distribuzione iniziale degli stati

Assunzione markoviana

Genesi del modello eGenesi del modello e schema di apprendimento schema di apprendimento

Scopo: imparare a seguire i movimenti della testa come compito base per implementare un modello di attenzione condivisa tra sistema artificiale e utente umano (Nagai, 2005).

L’imitazione è il risultato dell’osservazione, della classificazione e della scelta del modello da riprodurre.

COMPUTER UOMO

ADATTAMENTOAPPRENDIMENTO

OSSERVAZIONE

Architettura cognitivaArchitettura cognitiva

osservazione

imitazione

Fase di osservazioneFase di osservazione

Segmentazione tramite K-mean di un frame ogni 5 e selezione della testa.

Calcolo della posizione del centro della testa e degli spostamenti relativi tra un frame e l’altro.

Da ogni video si è prodotto un vettore di coppie di elementi del tipo

Produzione dei dati di Produzione dei dati di addestramentoaddestramento

Per generalizzare il modello osservato l’apprendimento deve avvenire su

sequenze di spostamenti simili alla sequenza vista

200 sequenze di campioni di spostamenti lungo l’asse x e l’asse y ottenute fornendo all’algoritmo di Metropolis il vettore degli

spostamenti e la distribuzione Gaussiana da cui campionare

Modellazione con HMMModellazione con HMM

N= direzioni degli spostamenti discretizzate su 9 casi possibili

M= spostamenti rilevati con la segmentazione, classificati in 9 combinazioni possibili

A= matrice delle probabilità di transizione tra le direzioni degli spostamenti

B= matrice delle emissioni dati gli stati ∏= tutte le direzioni sono inizialmente

equiprobabili

Addestramento del modelloAddestramento del modello

Tramite le formule di Baum-Welch che ristimano i parametri del modello (A e B) in modo che sia massimizzata la probabilità delle osservazioni di addestramento

RiconoscimentoRiconoscimento

Tramite l’algoritmo di Viterbi viene riconsiderata la sequenza iniziale di osservazioni e, in base ai nuovi parametri stimati, ricostruita la sequenza di stati che più probabilmente l’ha prodotta.

Risultati: coincidenza tra stati ricostruiti e stati effettivi superiore ai 2/3 del totale.

Fase di imitazione Fase di imitazione RisultatiRisultati 1 1

Fase di imitazione Fase di imitazione RisultatiRisultati 2 2

Conclusioni e sviluppi futuriConclusioni e sviluppi futuri

Il sistema ha appreso ad imitare modelli di spostamenti della testa, fornendo buoni risultati di riconoscimento

E’ opportuno applicare la capacità imitativa anche alle distanze coperte dagli spostamenti

L’implementazione di una memoria associativa che operi il pattern matching aumenterà la versatilità del sistema