neuroinformatik verhalten: analyse und modellierung björn brembs
TRANSCRIPT
Neuroinformatik
Verhalten: Analyse und Modellierung
Björn Brembs
Computational Neuroscience
Daten-analyse
Modell
Experiment
Ivan Petrowitsch Pavlov
Pavlov’s Hunde
Valiet Tungus Barbos
Klassisches Konditionieren
Pavlov‘s Hund
UR
Zeitliche Paarung von CS und US
Komplexere Assoziationen (1960er)
Overshadowing
Training Test
CS1+CS2+US CS1 alleine
CS1+CS2+US CS2 alleine
Blocking
Prä-Training Test Training Test
CS2+US CS2=100% CS1+CS2+US CS1 alleine
CS1+US CS1=100% CS1+CS2+US CS2 alleine
Theoretische Formulierungen (1970er)
V V V
V Vi i i ( )
Experiment/Analyse: „Lernen ist von der zeitlichen Paarung der Reize abhängig“
Hypothese: „Der prädiktive Wert des CS könnte für das Lernen entscheidend sein“also: Lernen findet immer dann statt, wenn Erwartungen verletzt werden
Formalisierte Hypothese:, mit V - Lernrate, - tatsächl. US
Rescorla-Wagner-Regel (1972):
Mit i - Salienz von CSi (0<<1), - Salienz des US (-1<<1)
- erwarteter US
Rescorla Wagner Regel
Anfangsbedingungen:• Vmax = 100 (willkürlich)• Vall = 0 (kein Lernen)• Vcs = 0 (kein Lernen)• c = 0.5 (willkürlich)
V Vi i i ( ) Vereinfacht: VCS=c(Vmax-Vall)
First Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs 1 0.5 * 100 - 0 = 50
0
50
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
Vall
Second Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs
2 .5 * 100 - 50 = 25
0
50
75
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
tren
gth
(V
)
Vall
Third Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs
3 .5 * 100 - 75 = 12.5
0
50
75
87.5
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
tren
gth
(V
)
Vall
4th Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs
4 .5 * 100 - 87.5 = 6.25
0
50
75
87.593.75
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
Vall
5th Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs
5 .5 * 100 - 93.75 = 3.125
0
50
75
87.593.7596.88
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
Vall
6th Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs
6 .5 * 100 - 96.88 = 1.56
0
50
75
87.593.7596.8898.44
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
Vall
7th Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs
7 .5 * 100 - 98.44 = .78
0
50
75
87.593.7596.8898.4499.22
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
Vall
8th Conditioning Trial
Trial c (Vmax - Vall) = ∆Vcs
8 .5 * 100 - 99.22 = .39
0
50
75
87,593,75
96,8898,4499,2299,61
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
Vall
Extinktion
1st Extinction Trial
Trial c (Vmax - Vall) = ∆Vcs
1 .5 * 0 - 99.61 = -49.8
Acquisition
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
Vall
Extinction
99.61
49.8
0
20
40
60
80
100
0 1 2 3 4 5 6
Trials
Ass
oci
ati
ve S
tren
gth
(V
)
Vall
2nd Extinction Trial
Trial c (Vmax - Vall) = ∆Vcs
2 .5 * 0 - 49.8 = -24.9
0
50
75
87.593.75 96.88 98.44 99.22 99.61
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Asso
ciativ
e St
reng
th (V
)
Vall
Acquisition
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Asso
ciativ
e St
reng
th (V
)
Vall
Extinction
99.61
49.8
24.9
0
20
40
60
80
100
0 1 2 3 4 5 6
Trials
Ass
oci
ati
ve S
tren
gth
(V
)Vall
Hypothetical Acquisition & Extinction Curves with c=.5 and
Vmax = 100
Extinction
99.61
49.8
24.9
12.456.23 3.11 1.560
20
40
60
80
100
0 1 2 3 4 5 6
Trials
Asso
ciat
ive
Stre
ngth
(V)
Vall
Acquisition
0
20
40
60
80
100
0 1 2 3 4 5 6 7 8
Trials
Asso
ciativ
e St
reng
th (V
)
Vall
Acquisitions & Extinktions Kurven mit c=0,5 vs. c=0,2 (Vmax = 100)
Acquisition
0
20
40
60
80
100
120
0 1 2 3 4 5 6 7 8
Trials
Ass
oci
ati
ve S
trength
(V
)
c=.5c=.2
Extinction
0
20
40
60
80
100
120
0 1 2 3 4 5 6
Trials
Ass
oci
ati
ve S
trength
(V
)
c=.5c=.2
Rescorla-Wagner Spreadsheet
R-W sagt Übererwartung voraus
• Blocking
– Wenn Vall=Vmax=100 wird CS2 kaum noch assoziative Stärke erreichen (Blocking)
• Übererwartung
– Bei Vall>Vmax wird V<0!
Prä-Training1 Test1 Prä-Training2 Test2 Training Test3
CS1+US CS1=100% CS2+US CS2=100% CS1+CS2+US CS1+CS2
CS1+US CS1=100% CS2+US CS2=100% CS1+CS2+CS3+US CS3
Prä-Training Test Training Test
CS2+US CS2=100% CS1+CS2+US CS1 alleine
CS1+US CS1=100% CS1+CS2+US CS2 alleine
VCS=c(Vmax-Vall)
Computational Neuroscience
Daten-analyse
Modell
Experiment
PER Konditionierung
R-W und Vummx1
Blocking und Dopamin
Seit Rescorla und Wagner
• Sutton und Barto 1990: Reinforcement learning, temporal difference models
• „actor-critic model“ assoziativen Lernens
http://en.wikipedia.org/wiki/Temporal_difference_learning http://www.scholarpedia.org/article/Temporal_difference_learning
Reinforcement Learning: An IntroductionRichard S. Sutton and Andrew G. Barto:http://www.cs.ualberta.ca/~sutton/book/the-book.html
http://machinelearning.org
Analyse von Spontanverhalten
http://brembs.net/spontaneous/http://www.plosone.org/doi/pone.0000443
Die Organisation von Verhaltenwird meist als Input/Output Modell beschrieben
Konstanter Input Konstanter OutputVerrauschter Output
Brain function is ultimately best understood in terms of input/output transformations and how they are produced. Michael Mauk (2000): Nature Neuroscience 3, 649-651
Nicht jeder Reiz bedingt die gleiche Antwort……aber jedes Verhalten ist eine Antwort auf einen Reiz
baseline spike
Selbst bei konstantem sensorischem Eingang verhält sich die Fruchtfliege variabel
Drosophila am Drehmoment-Kompensator
Zustandsraum-RekonstruktionKoordinaten-Einbettung
Zeitreihe: 80, 60, 40,……
Einbettungs-Dimension: 3
Drei Datenpunkte bestimmen einen 3D Vektor:
All computations: Alexander Maye, UKE Hamburg
Geometric Random Inner Products: GRIP
All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Fliegen als Zufallsgeneratoren?
Fliegenverhalten sieht nicht wie einfaches Rauschen aus
Fliegen gegen Poisson
Inter-Spike-Interval (ISI-)Analyse
All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
ISI-Verteilungen haben ein „schweres Ende“
Statistik erster Ordnung
Potenzgesetz: Skaleninvarianz
All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Mischung der Einzelwerte ähnelt den Originaldaten nicht
Unabhängigkeit der Daten
All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Noch nicht einmal sehr komplexe stochastische Modelle reichen aus
Nichtlinearität?
Root mean square fluctuation of displacement
Offensichtlich scheint die Nichtlinearität ein wichtigerer Faktor zu sein als die
Zufälligkeit!
Branched Poisson Process: BPP
All computations: Alexander Maye, UKE Hamburg (Maye et al. 2007)
Mathematisch instabile, nichtlineare Prozesse steuern das Flugverhalten von Drosophila
Nichtlineare Vorhersagen: S-Maps
Logistische Gleichung:
Nichtlinearität
Kor
rela
tion
nichtlinear
linear/stochastisch
nnn xxrx 11
Ein neues VerhaltensmodellHaben Fruchtfliegen einen freien Willen?
Es muss eine input-unabhängige Output-Komponente geben: