christian eurich
Post on 03-Jan-2016
27 Views
Preview:
DESCRIPTION
TRANSCRIPT
Christian EurichInstitut für Theoretische
Neurophysik
Einführung in die Wahrscheinlichkeitsrechnung
medio-lateral
antero-posterior
Ziele
... In 8 Schritten
... Grundbegriffe ins Gedächtnis rufen
... nicht für Experten!
... Mischung aus Mathematik und Praxis
... Anwendungen aus dem Neuro-Bereich
Wahrscheinlichkeitsrechnung...
1. Stochastizität: Arbeitsdefinition
Radioaktiver Zerfall
Münzwurf, Würfeln
Schwankungen des Körpergleichgewichts
Ein System verhält sich stochastisch, wenn wir sein Verhalten nicht vorhersagen können. Die Ursache der Stochastizität wird (hier) nicht betrachtet.
medio-lateral
antero-posterior
Stabilogramm
Beispiele:
Stochastizität: Arbeitsdefinition
Neuronale Aktivität
Metronom: Beschreibung hängt von der gewünschten Genauigkeit ab
2. Zufallsexperimente und Ereignisse
Ein Experiment heißt Zufallsexperiment, wenn die Ergebnisse, die auftreten können, bekannt sind. Es istjedoch nicht bekannt, welches Ergebnis tatsächlichals nächstes auftritt.
AB
Die Menge aller möglichen Ergebnisse ist derStichprobenraum eilmengen heißen Ereignisse, einelementigeTeilmengen heißen Elementarereignisse.
kann diskret (abzählbar) oder kontinuierlich(überabzählbar) sein.
Zufallsexperimente und Ereignisse
WürfelnBeispiel:
Stichprobenraum Elementarereignis AB (eig.: „1 Auge“ etc.)Ereignis: C = „ungerade“
Wird z. B. eine 1 gewürfelt, so sagt man, die Ereignisse A und C seien eingetreten.
ist das unmögliche Ereignis.ist das sichere Ereignis.
Zufallsexperimente und Ereignisse
Neuronale FeuerstatistikBeispiel:
Stichprobenraum „0 Spikes“, „1 Spike“, ..., „10 Spikes“Elementarereignis A„3 Spikes“Ereignis: B = {„< 5 Spikes“}
Zeit
500 ms
Spiketrain
Entspr. maximaler Feuerrate
3. Axiomatische Definition der Wahrscheinlichkeit
(Kolmogorov 1933)
Eine Funktion P, die jedem Ereignis eines Zufallsexperimenteine Zahl zuordnet, heißt Wahrscheinlichkeit, falls sie folgende Axiome erfüllt:
1. Für jedes Ereignis gilt0 P(A) 1.
2. Es ist P() = 1 (sicheres Ereignis).
3. Für zwei Ereignisse A, B mit A B = (unverträgliche Ereignisse) gilt:P(A B) = P(A) + P(B).
A
Axiomatische Definition der Wahrscheinlichkeit
3. Für zwei Ereignisse A, B mit A B = (unverträgliche Ereignisse) gilt:P(A B) = P(A) + P(B).
WürfelnBeispiel:
A = B =
P(A) = 1/6, P(B) = 1/6Somit: P(A B) = P
Aber:
A = B =
P(A) = 1/3, P(B) = 1/6
Daher: P(A B) 3/6,sondern: P(A B) = P({1,2}) = 1/3
4. Bestimmung von Wahrscheinlichkeiten
Axiome von Kolmogorov legen die Wahrscheinlichkeiten noch nicht fest! Sie müssen definiert oder gemessen werden.
Dieses Kapitel ist umfasst Mathematik und Empirie.
Bestimmung von Wahrscheinlichkeiten
a) Mathematik; für endliche Stichprobenräume
Ordne jedem Elementarereignis die gleiche Wahrscheinlichkeit zu (Laplace-Experiment) und wende Abzähltechniken an (Kombinatorik).
Würfeln mit einem fairen WürfelBeispiel:
P() = P() = ... = P() = 1/6.
-Wie kommt man zu der Zahl „1/6“?
P() = 1 (Axiom 2) und Axiom 3!
Bestimmung von Wahrscheinlichkeiten
a) Mathematik; für endliche Stichprobenräume
Ordne jedem Elementarereignis die gleiche Wahrscheinlichkeit zu (Laplace-Experiment) und wende Abzähltechniken an (Kombinatorik).
Lotto (6 aus 49)Komplizierteres Beispiel:
P(„4 Richtige“) =
6
49
2
43
4
6
mit
4
6
!2!4!6
Bestimmung von Wahrscheinlichkeiten
b) Empirie; für diskrete Stichprobenräume
Führe das Zufallsexperiment N-mal aus. Das Ereignis A trete dabei NA-mal auf. Eine Schätzung für die Wahrscheinlichkeit P(A) ist die relative Häufigkeit
P(A) NA / N.
Die Division durch N liefert dabei die Normierung: Es muss für Elementarereignisse Bi gelten:
P(Bi) = 1.
i
Die Schätzung wird für große N genau (Gesetz der großenZahlen).
Bestimmung von Wahrscheinlichkeiten
b) Empirie; für diskrete Stichprobenräume
Neuronale Feuerstatistik
Beispiel:
5. Wahrscheinlichkeitsverteilung
enFür alle Elementarereignisse x nennt man die Funktion P(x) eine Wahrscheinlichkeitsverteilung (oder kurz Verteilung).
Neuronale Feuerstatistik
Beispiel:
Verteilung der Anzahlvon Spikes als Antwortauf einen bestimmten Reiz
Zumeist: Umrechnung auf die Feuerrate r (# Spikes / s)
Wahrscheinlichkeitsverteilungen
Poisson-VerteilungBeispiel:
Betrachte ein Intervall (Zeitintervall, Raumbereich usw.). Wieviele Ereignisse treten in diesem Intervall auf? Es seien im Mittel Ereignisse.
ek
kPk
!);(
Poisson-Verteilung:
Poisson-Verteilung
Poisson-Verteilung
Eine Poisson-Verteilung ist dann zu erwarten, wenn die einzelnen Ereignisse unabhängig voneinander auftreten.
Gehorchen neuronale Feuerereignisse einer Poisson-Verteilung?
,rt r Feuerrate
rtk
ek
rtrtkP
!
)();( (?)
ek
kPk
!);(
Poisson-Verteilung Poissonscher Spiketrain
rtk
ek
rtrtkP
!
)();(
Test: Verteilung der Wartezeiten ist exponentiell; hier: Interspike-Intervalle
{
t
trretp )(
Oft gute Näherung, aber nicht exakt erfüllt: z. B. Refraktärzeit
6. Bedingte Wahrscheinlichkeit
Wahrscheinlichkeiten ändern sich, wenn sich der Stich-probenraum ändert. Dies ist i. a. der Fall, wenn wir mehr Wissen über ein System bekommen.
Wir wollen eine bedingte Wahrscheinlichkeit
P(A|B) A,B Ereignisse
„Wahrscheinlichkeit von A unter der Bedingung, dass B eingetreten ist“
einführen.
Bedingte Wahrscheinlichkeit WürfelnBeispiel:
Schritt 1
A = , P(A) = 1/6B = , P(B) = ½P(A|B) = 1/3
Hier: P(A|B) = P(A)/P(B)
Das ist aber noch nicht die endgültige Version, das Beispiel war zu simpel...
Bedingte Wahrscheinlichkeit WürfelnBeispiel:
Schritt 2
A = , P(A) = 1/3B = , P(B) = ½P(A|B) = 1/3 (!)
Wichtig ist nur die „1“,also A B mit P(A B)=1/6
P(A|B) = P(A B)/P(B)Anstatt P(A|B) = P(A)/P(B):
Bedingte Wahrscheinlichkeit
Neuronale Feuerstatistik
Präsentiere verschiedene Reize A1, A2, A3, ... Die neuronale Feuerstatistik ändert sich (i. A. verschiedene mittlere Feuerraten, andere Verteilung)Wie groß ist die Wahrscheinlichkeit, als Antwort auf die Präsentation eines Reizes eine bestimmte Feuerrate r (oder eine bestimmte Anzahl n von Spikes) zu bekommen?
Interpretiert als bedingte WahrscheinlichkeitP(r|A1), P(r|A2), P(r|A3), ... bzw.P(n|A1), P(n|A2), P(n|A3), ...
7. Satz von Bayes
Was ist der Zusammenhang zwischen P(A|B) und P(B|A)?
P(A|B) = P(A B) /P(B)
P(B|A) = P(B A) /P(A)
Somit P(A|B) P(B) = P(B|A) P(A) oder
P(B)P(A) A)|P(B
B)|P(A
Der Satz von Bayes hat sehr viele Anwendungen. Hier: statistische Signalverarbeitung
Satz von der totalen Wahrscheinlichkeit
P(B)P(A) A)|P(B
B)|P(A Benötigt für den Nenner
Zerlege in disjunkte Teilmengen:= A1, A2, A3, ... mit Ai Aj = für alle i j.
Dann gilt für ein beliebiges Ereignis B:
P(B) = P(B|A1) P(A1) + P(B|A2) P(A2) + ...
Im Satz von Bayes:
... )P(A )A|P(B )P(A )A|P(BP(A) A)|P(B
B)|P(A2211
,
wobei A eines der Ereignisse Ai ist.
Anwendung auf neuronale Antworten
Neuronale FeuerstatistikVerschiedene mögliche Reize A1, A2, A3, ...
Wie groß ist die Wahrscheinlichkeit, als Antwort auf die Präsentation eines Reizes Ai eine bestimmte Feuerrate r (oder eine bestimmte Anzahl n von Spikes) zu bekommen?Interpretiert als bedingte WahrscheinlichkeitP(r|A1), P(r|A2), P(r|A3), ... bzw. P(n|A1), P(n|A2), P(n|A3), ...
Jetzt: Wie groß ist – bei gegebener Antwort r bzw. n – die Wahrscheinlichkeit, dass der präsentierte Reiz der Reiz Ai war?
Interpretiert als bedingte WahrscheinlichkeitP(A1|r), P(A2|r), P(A3|r), ...
Rekonstruktion von Reizen
Verschiedene mögliche Reize A1, A2, A3, ...
Feuerstatistiken P(n|A1), P(n|A2), P(n|A3), ...
Bestimme die Wahrscheinlichkeiten P(A1|n), P(A2|n), P(A3|n), ... mit dem Satz von Bayes
Gegeben:
Ermittle eine neuronale Antwort n
Rekonstruierter Reiz: Wähle den Reiz Ai, für den die Wahrscheinlichkeit P(Ai|n) maximal ist (Maximum-A- Posteriori-Schätzer).
Rekonstruktion:
Unabhängige Ereignisse
Mit Hilfe der bedingten Wahrscheinlichkeit lässt sich die Unabhängigkeit von Ereignissen definieren.
Zwei Ereignisse A, B heißen unabhängig, wenn gilt:
P(A|B) = P(A).
Würfeln mit zwei WürfelnBeispiel:
P(„2 mit Würfel 1“ | „ungerade mit Würfel 2“) = P(„2 mit Würfel 1“) = 1/6
Aus folgt: P(A B) = P(A) P(B)P(A|B) = P(A B)/P(B)
8. Multivariate Verteilungen
Bislang war die Wahrscheinlichkeit P eine Funktion einer (Zufalls-)Variablen X: P(x). Jetzt: P(x1, x2, ...): Multivariate Verteilungen.
In einem Zufallsexperiment werden die Größen X1, X2, ... gemessen; Messergebnis sei x1, x2, .... Dann nennt man die Funktion P(x1, x2, ...) die Verbundwahrscheinlichkeit von X1, X2, ...
(Achtung: „Verteilung“ ist doppelt besetzt...)
Multivariate Verteilungen Feuerstatistik zweier NeuronenBeispiel:
Ergibt ein bivariate Verteilung P(n1,n2) bzw. P(r1,r2).
Praktisches Problem: Es werdenviel mehr Daten benötigt!
top related