ingo rechenberg powerpoint-folien zur 8. vorlesung bionik ii / biosensorik organisches rechnen...
TRANSCRIPT
![Page 1: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/1.jpg)
Vorlesung BionikII /Biosensorik
Freitag: 10 -12 ct Hörsaal: H 0110
Grenzempfindlichkeit biologischer Rezeptoren
Sinnesorgane als Modelle für technische Messgeräte
Der Biosensor als bionisch-biotechnologisches Zwittersystem
Rechnen mit Molekülen (DNA-Chips und DNA-Computing)
Struktur und Arbeitsweise Neuronaler Netzwerke
Exotische Messsysteme in der Natur
Signalwandlung und Signalverarbeitung in Biosensoren
Beginn: 15. 04. 05
Die Inhibition - Leistung einer elementaren Neuronenschaltung
![Page 2: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/2.jpg)
Ingo Rechenberg
PowerPoint-Folien zur 8. Vorlesung „Bionik II / Biosensorik“
Organisches Rechnen (Organic Computing)
Struktur und Arbeitsweise neuronaler Netzwerke
![Page 3: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/3.jpg)
Entwicklung Neuronaler Netze
Ein Meilenstein der Bionik
![Page 4: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/4.jpg)
Anwendung neuronaler Netze:
Mustererkennung,
Bildverarbeitung,
Robotik,
Prozessautomatisierung,
Diagnose, Medizin,
Betriebswirtschaft,
Finanzdienstleistungen
Wissensverarbeitung
![Page 5: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/5.jpg)
Neuronales Netz
![Page 6: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/6.jpg)
Eingangsneuronen
Zwischenneuronen
Ausgangsneuron
Neuronales Netz
![Page 7: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/7.jpg)
Eigenheiten einer Nervenzelle
Schwellverhalten des Encoders
Impulsfortleitung
Zeitverhalten der Synapse
![Page 8: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/8.jpg)
Streichung des Schwellverhaltens des Encoders
Neuron 0. OrdnungSpannungshöhe statt Impulse
Streichung des Zeitverhaltens der Synapse
![Page 9: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/9.jpg)
Neuron 0. Ordnung
(Technische Realisierung)
![Page 10: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/10.jpg)
Neuron 1. OrdnungSpannungshöhe statt Impulse
Streichung des Zeitverhaltens der Synapse
Streichung des Schwellverhaltens des Encoders aufgehoben !
![Page 11: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/11.jpg)
(Technischen Realisierung)
Neuron 1. Ordnung (a)
UeUa
Ue
Ua
![Page 12: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/12.jpg)
(Technischen Realisierung)
Neuron 1. Ordnung (b)
UeUa
Ua
Ue
![Page 13: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/13.jpg)
Neuron 2. Ordnung
Impulsfortleitung
Spannungs-Frequenzwandler mit Schwelle
Verzögerungs-glied 1. Ordnung
![Page 14: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/14.jpg)
Neuron 2. Ordnung(Technische Realisierung)
Berliner Bionik-Neuron
U
U
F
F
VZ1
VZ1
VZ1
![Page 15: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/15.jpg)
Reduktionsgesetz für eine Neuronales Netz 0. Ordnung
![Page 16: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/16.jpg)
Donald O. Hebb (1904-1985)
HEBB-Regel
Häufiger Gebrauch einer Synapse
macht diese stärker leitfähig !
![Page 17: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/17.jpg)
Frank ROSENBLATTs Perceptron
Neuronales Netz 1. Ordnung (a)
2-schichtig mit springendem
Ue-Ua-Verhalten und diskreter Verstellung der Gewichte
UeUa
![Page 18: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/18.jpg)
Regel 1:
Wenn die Reaktion falsch als 0 klassifiziert wird, dann Gewichte der aktiven Eingänge um +1 erhöhen.
Regel 2:
Wenn die Reaktion falsch als 1 klassifiziert wird, dann Gewichte der aktiven Eingänge um -1 erniedrigen.
+1
+1
1
1
0 statt 1
1 statt 0
Die Perceptron Lernregel
![Page 19: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/19.jpg)
Lernregel:
Back Propagation
Evolutionsstrategie
UeUa
Heute
Neuronales Netz 1. Ordnung (b)
3-schichtig mit sigmoidem
Ue-Ua-Verhalten und konti-nuierlicher Verstellbarkeit der Gewichte
![Page 20: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/20.jpg)
Die sigmoide Kennlinie wird durch die Fermi-Funktion beschrieben:
xy
e11
x
y
)1(dd yy
xy
Sie zeichnet sich durch die besondere mathematische Eigenschaft aus:
UeUa
![Page 21: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/21.jpg)
Training mit Backpropagation
![Page 22: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/22.jpg)
Neuron 1: 1e11
1 neta
Neuron 3:
Neuron 2: 2e11
2 neta
3e11
3 neta
Neuron i: j Ferminet
iiaja
4143131 awawnet
4243232 awawnet
6365353 awawnet
w4
6
a5
w2
4
w3
5a2
a3
a1w
13 w
14w23
w45w
36
1 2
3 4
5 6
a4
a6
Einfachstes 3-schichtiges Neuronales Netz
![Page 23: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/23.jpg)
Fehler:2
222
11 )()( ** aaaaF
Soll Soll IstIst
Angenommen, die 8 Gewichte können über Zahnräder eines Getriebes verstellt werden. Dann gibt es eine Übersetzung für jedes Zahnrad, bei der sich F maximal schnell ver-mindern würde, wenn wir an der Hauptwelle drehen. Die Übersetzungen sind gleich den Ableitungen von F nach den Gewichten w. w
46
a5
w2
4
w3
5a2
a3
a1w
13 w
14w23
w45w
36
1 2
3 4
5 6
a4
a6
Getriebeübersetzung für 13w13
13ΔwFw
Getriebeübersetzung für 35w35
35ΔwFw
= Schrittweite
![Page 24: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/24.jpg)
Bei den richtigen Getriebeübersetzungen folgt man dem Gradientenweg zum Minimum.
Getriebefaktor (Gewichtsänderung) für 13w
3111113
1
113)1()( *1
1aaaaa
wnet
neta
aF
wF
Getriebefaktor (Gewichtsänderung) für 35w
35
3
3
1
135
33
11 w
netneta
anet
neta
aF
wF
35
3
3
2
2
33
22 w
netneta
anet
neta
aF
53313111135
)1()1()( * aaawaaaawF
533232222 )1()1()( * aaawaaaa
![Page 25: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/25.jpg)
Weg der Rechnung
1. Vorwärtsrechnung zur Bestimmung von
1a 2aund
Fehler2
222
11 )()( ** aaaa w
46
a5
w2
4
w3
5a2
a3
a1w
13 w
14w23
w45w
36
1 2
3 4
5 6
a4
a6
![Page 26: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/26.jpg)
w36w45 w
46
w3
5
w14w23 w
24
2
w1
3Weg der Rechnung
1. Vorwärtsrechnung zur Bestimmung von
1a 2aund
Fehler2
222
11 )()( ** aaaa
2. Rückwärtsrechnung zur Bestimmung von
bis
13
Δw
24
Δw14
Δw23Δw
35
Δw
46
Δw36
Δw45Δw
a2a1
1
3 4
5 613Δw 46Δw
![Page 27: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/27.jpg)
Weg der Rechnung
1. Vorwärtsrechnung zur Bestimmung von
1a 2aund
Fehler2
222
11 )()( ** aaaa
2. Rückwärtsrechnung zur Bestimmung von
bis
3. Einstellung der neuen Gewichte
bis
w4
6w
24
w3
5a2a1
w3 w
14w23
w45w
36
1 2
3 4
5 6
13Δw 46Δw
13w 46w
z. B. 35)(35)(35 Δwww altneu
![Page 28: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/28.jpg)
Training mit der Evolutionsstrategie
![Page 29: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/29.jpg)
w4
6
a5
w2
4
w3
5a2
a3
w1
3 w14w23
w45w
36
1 2
3 4
5 6
a4
a6
a1Mutieren der Gewichte
13w 46wbis1
Bestimmung des Fehlers
222
211 )()( ** aaaaF
3
Durchlaufen des Netzes zur Bestimmung von
1a 2aund2
Die Operation wird -mal durchgeführt (= 1 Generation). Dann wird das Netz mit dem kleinsten Fehler zum Ausgang einer neuen „Generation“.
![Page 30: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/30.jpg)
Es sei w ein Vektor mit den Komponenten
5645363524231413 ,,,,,,, wwwwwwwww
![Page 31: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/31.jpg)
Algorithmus der (1, ) – Evolutionsstrategie mit MSR
11NE1Ng zww gg
22NE2N zww ggg
zww gggNEN
eiltnormalvert)1,0(,, /21 nzzz n
ggNBE
1 ww )(),(),()( NN2N1NB min gggg FFFF wwww
ggNBE
1
1E1N gg
2E2N gg
ggEN
eiltnormalvert schlogarithmi
-Würfel
z-Würfel
![Page 32: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/32.jpg)
Mutation der Mutabilität undVererbbarkeit der Mutabilität
„Knackpunkt“ der Evolutionsstrategie
DNA-Kopierer
DNA
![Page 33: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/33.jpg)
w
0
2
+ zi
0 1
w
i
ze
Zur Erzeugung der Mutationen z und
2 3 412
13
Interpretetion der Kurve: Eine Zufallszahl zwischen 1/2 und 1/3 ist genau so häufig wie zwischen 2 und 3
logarithmisch normalverteilt (Dichte )
normalverteilt (Dichte z)
![Page 34: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/34.jpg)
ES-Theorie: 20% Erfolgswahscheinlichkeit
Von-Neumann-Computer
versus
Neuronencomputer
Mutation
Verbesserung unwahrscheinlich
![Page 35: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/35.jpg)
Kausalität
Schwache Kausalität
Starke Kausalität
Gleiche Ursache → Gleiche Wirkung
Ähnliche Ursache → Andere Wirkung
Ähnliche Ursache → Ähnliche Wirkung
![Page 36: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/36.jpg)
Schwach kausales Verhalten Stark kausales Verhalten
Klassischer Computer Neuronencomputer
Nicht evolutionsfähig Evolutionsfähig
![Page 37: Ingo Rechenberg PowerPoint-Folien zur 8. Vorlesung Bionik II / Biosensorik Organisches Rechnen (Organic Computing) Struktur und Arbeitsweise neuronaler](https://reader035.vdocuments.net/reader035/viewer/2022062404/55204d6749795902118bd728/html5/thumbnails/37.jpg)
Ende