APPROSSIMAZIONE APPROSSIMAZIONE DI FUNZIONIDI FUNZIONI

AF - 1

• La regressione e la classificazione sono due aspetti particolari dell’ APPROSSIMAZIONE DI FUNZIONE

• Le MLP possono essere viste come particolari REGRESSORI NON LINEARI

PROBLEMAPROBLEMA

Sia: x inputd = f ( x ) funzione incognita

f (.)incognita

+

d

-

x

wxf ,ˆy

rispostadesiderata

Obiettivo : trovare f (.) assegnato un numero finito di coppie ( x , w )

• dipende dalla scelta di w che può essere modificato per minimizzare la discrepanza tra y e d

wxfy ,ˆ

• quando y approssima d, il sistema adattativo sta approssimando con la sua mappa input-output wxfy ,ˆ

xf

AF - 2

• La natura di f (.) e il criterio di errore definiscono il problema di learning

– Se f (.) lineare e criterio di errore MSE REGRESSIONE LINEARE

– Se f (.) produce valori 1/0 ( -1/ 1 ) classificazione.In tale caso la funzione è chiamata FUNZIONE INDICATORE

– Anche il problema della generalizzazione può essere trattato matematicamente nell’ottica dell’approssimazione di funzioni

UTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONEUTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONEUTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONEUTILITA’ DELLE RNA NELL’APPROSSIMAZIONE DI FUNZIONE

– SONO APPROSSIMATORI UNIVERSALI

– SONO APPROSSIMATORI EFFICIENTI

– POSSONO ESSERE IMPLEMENTATE COME SISTEMI ADATTATIVI

OBIETTIVO DELLA AF

Descrivere il comportamento di funzioni altamente complesse utilizzando insiemi di funzioni più semplici

Es:

- Legendre e Gauss uso di polinomi

- Sviluppo in serie di Taylor approssimazione nell’intorno di un punto

- Serie di Fourier uso dei polinomi trigonometrici

Generalizzazione

Hp: reale ,, reale )( 1T

Dxxxxf

eintegrabil mentequadratica )(xf

TEOREMA DELLA PROIEZIONE LINEARE

Si può descrivere f(x), in una area compatta S dello spazio degli ingressi attraverso una combinazione di funzioni semplici x), cioè:

N

iii xwwxf

1)(),(ˆ

),(ˆ)( :che tale,,con 1 wxfxfwww N

Con arbitrariamente piccolo

elementari funzioni

)( di nteapprossima ),(ˆ

i

xfwxf

AF - 3

REALIZZAZIONE

Quando si determinano i coefficienti wi che rendono arbitrariemente piccolo per qualunque f (.) nel dominio d’interesse si dice che l’insieme {i (.)} ha la proprietà di approssimatore universale sulla classe f (.), o anche che l’insieme è completo

PROBLEMI

1. SCEGLIERE LE FUNZIONI ELEMENTARI

2. CALCOLARE I PESI wi

3. SELEZIONARE IL NUMERO N DI FUNZIONI ELEMENTARI

1. AMPIA SCELTA (TRIGONOMETRICHE, SINC, WAVELET, etc.)

(.)i

Nota: I neuroni nascosti di una MLP con 1 strato nascosto implementano una possibile scelta delle funzioni elementari (.)i

AF - 4

x1

x2

xd

2

k

N

w1

w2

wN

wkf (x,w)

1

2. La scelta dei wi dipende dal criterio usato per calcolare la discrepanza tra e

Es: criterio LS i wi possono essere calcolati analiticamente

Se N è pari al numero di pattern d’ingresso xi: si può scrivere:

)(xf ),(ˆ wxf

fw

xf

xf

w

w

xx

xx

NNNNN

N1

11

1

111

)(

)(

)()(

)()(

fw

xf

xf

w

w

xx

xx

NNNNN

N1

11

1

111

)(

)(

)()(

)()(

CRITERI PER LA SCELTA DELLE {i(.)}

• Devono essere approssimatori universali per la classe di funzioni f(.)

• Devono essere facilmente trattabili matematicamente

• Deve esistere verificato se le costituiscono una base, cioè sono linearmente indipendenti

)(1 x i0),,( se solo e se 0)()( 111 NNN wwxwxw

SPESSO SI ASSUME CHE LE {i(.)} SIANO UNA BASE ORTONORMALE

è un vettore dei valori della funzione negli N puntif

AF - 5

TEOREMA DEL CAMPIONAMENTO

Si può approssimare qualunque segnale reale che sia smooth in un intervallo conoscendo i valori del segnale in un insieme finito di punti equispaziati (detti campioni) nell’intervallo

i

iii xx

xxsinxxsincx

)(

)()(i

iii xx

xxsinxxsincx

)(

)()(

Si può dimostrare che i pesi sono i valori del segnale nei punti di campionamento

a) Funzioni sinc

b) Serie di Fourier

AF - 6

c) Wavelet

• Nella trasformata di Fourier le funzioni elementari hanno estensione infinita nel tempo

• In molte applicazioni i segnali hanno durata temporale finita (es. transitori)

• L’idea alla base dell’analisi wavelet è di scegliere una forma d’onda adatta a rappresentare il segnale e poi creare molte versioni traslate e scalate dell’onda “madre”

• La decomposizione wavelet ha due parametri:

)2(2)(

)(),(ˆ

2/ ixx

xwwxf

jjij

i jijij

)2(2)(

)(),(ˆ

2/ ixx

xwwxf

jjij

i jijij

Traslazione e scanalatura di una wavelet

AF - 7

• Usando sistemi adattativi i pesi possono essere trovati attraverso il learning piuttosto che analiticamente

• Le basi sono dipendenti dai dati

X1

X2

XD

+1 b1

a11

w1

w1

1

i

y

iii

kikiki

wy

bxax

)(

iii

kikiki

wy

bxax

)(

La MLP realizza l’approssimazione di funzione usando come basi esattamente le uscite dei neuroni nascosti

Basi per l’approssimazione di funzioni non lineari con le MLP

• Funzioni elementari locali: rispondono primariamente ad un’area limitata dello spazio degli ingressi

• Funzioni elementari globali: rispondono all’intero spazio degli ingressi

AF - 8

Approssimazione con funzioni logistiche

Nota: i neuroni sigmoidali realizzano funzioni elementari globali

Interpretazione: la MLP sta realizzando una approssimazione di funzione con un set di BASI ADATTATIVE che vengono realizzate dai dati di input-output

Esse dipendono dai pesi del primo strato e dagli ingressi

AF - 9

• La gaussiana è centrata in x i con varianza : ha il massimo della risposta nell’intorno dell’ingresso x i e decade esponenzialmente col quadrato della distanza

• Sono funzioni elementari locali

• Dalla:

RADIAL BASIS FUNCTION (RBF)

)()( ii xxx )()( ii xxx

• di norma è una gaussiana:

ledimensiona-multi 2

exp)(

ediemsional-mono 2

exp)(

1

2

2

xxxG

xxG

T

covarianza di matrice :

varianza:2

2

I

iii

N

iii

xxGwwxf

xwwxf

),(ˆ

)(),(ˆ1

iii

N

iii

xxGwwxf

xwwxf

),(ˆ

)(),(ˆ1

APPROSSIMAZIONE CON RBF monodimensionale

AF - 10

L’APPROSSIMAZIONE CON RBF RICHIEDE:

• Il posizionamento delle Gaussiane per coprire lo spazio degli ingressi

• Il controllo dell’ampiezza di ciascuna Gaussiana

• Il controllo della larghezza di ciascuna Gaussiana

RBF:

- basi locali modificandone una non si influenza l’approssimazione nelle altre zone dello spazio

- il numero di RBF cresce esponenzialmente con le dimensioni dello spazio da coprire

- Allenamento efficiente una volta determinati i centri delle funzioni infatti l’errore è lineare coi pesi

- Convergenza al minimo globale purché i pesi siano posizionati in modo ottimo

LE RBF SONO MOLTO ADATTE PER L’IDENTIFICAZIONE DI SISTEMI

DIFFERENZE TRA MLP E RBF

AF - 11

Una scelta ottimale discende da un compromesso tra l’errore sul modello e la sua varianza

Analogia col fitting polinomialeAlto bias (errore) Alta varianza non generalizza

• I fiducial sono gli esempi del trainig set

• Il dominio completo è costituito da tutti i dati possibili d’ingresso

• Il polinomio corrisponde alla mappa input/output creata dalla rete

• I coefficienti del polinomio equivalgono ai pesi delle connessioni

• Il grado del polinomio corrisponde al numero di pesi

AF - 12Scelta del numero di basiScelta del numero di basi