Ingo Rechenberg

PowerPoint-Folien zur 9. Vorlesung „Evolutionsstrategie I“

Finale Theorie der Evolutionsstrategie

mit Eltern und Nachkommen

Weiterverwendung nur unter Angabe der Quelle gestattet

DARWINs Denkschema in maximaler Abstraktion

ES)1( 1

Genauere Nachahmung der biologischen Evolution

ES),( 1

Noch genauere Nachahmung der biologischen Evolution

ES),(

( , )-ES

ES mit mehreren Eltern und Nachkommen

= 7

= 2

Basis-Algorithmus der (, ) - Evolutionsstrategie

1E1N zxx ggi

2E2N zxx ggj

zxx ggkEN

eiltnormalvert- )1,0(,, /21 nzzz n

gg1NBE1

1 xx

,2,1,,, rankji

gg2NBE2

1 xx

gg NBE

1 xx

B1 = Qualitätsmäßig bestes Individuum

B2 = Qualitätsmäßig 2. bestes Individuum

B = Qualitätsmäßig . bestes Individuum

Text

lin

,, lin c

,, 11 lin c

Lineare Theorie der (, ) - Evolutionsstrategie

Der Fortschrittsbeiwert kann bislang nicht berechnet werden.

Was tun ?

hrV 2

31 hrV 2

32 hrV 2

33

1 2 3: :

Der junge Archimedes hat eine geniale Idee: Er lässt sich in der Tischlerwerkstatt der Universität aus Holz drei Kegel, eine Halb-kugel und einen Zylinder fertigen. Alle Körper haben die gleiche Kreis-Grundfläche und die gleiche Höhe. Archimedes kündigt einen Vortrag mit dem Titel „Über die Volumina runder Körper“ an.

Aber die Vermutung, dass sich die Volumina Kegel zu Halbkugel zu Zylinder wie 1 : 2 : 3 verhalten lag in der Luft.

Die antike griechische Mathematik war noch nicht in der Lage, die Volumina der Körper zu berechnen.

Archimedes

Eine Anekdote

Eine gewaltige Spannung bemächtigt sich der Zuhörer; schließ-lich hat jeder von ihnen mit dem Problem gerungen. War es möglich, dass dieser noch unbekannte junge Mann die Lösung gefunden hatte? Man wagt kaum zu atmen. Und was macht Archimedes? – Er beginnt mit einer Waage zu hantieren.

Zunächst bringt er die drei Kegel mit dem Zylinder ins Gleichgewicht.

Kein dröhnender Applaus. Eisiges Schweigen! Der erst 14-jährige Apollonius von Perge - trotz Ju-gend schon ein berühmter Mathematiker - erhebt sich und spricht: „Euer Magnifizenz, geehrte Kolle-gen. Ich stelle den Antrag, dass Archimedes für immer der Universität verwiesen werde, da er den Geist der Mathematik mit schmutziger Materie besudelt hat.“ Archimedes kehrt nach Syrakus zurück.

Dann vertauscht er zwei seiner Kegel mit der Halbkugel.

Schließlich wiegt er zwei Kegel mit einer Halbkugel auf.

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20

1 0,002 0,56 0,003 0,85 0,50 0,004 1,03 0,75 0,44 0,005 1,16 0,91 0,67 0,40 0,006 1,27 1,03 0,83 0,61 0,37 0,007 1,35 1,13 0,94 0,76 0,57 0,35 0,008 1,42 1,22 1,04 0,87 0,71 0,54 0,33 0,009 1,49 1,29 1,12 0,96 0,82 0,67 0,50 0,31 0,00

10 1,54 1,35 1,19 1,04 0,90 0,77 0,63 0,47 0,30 0,0012 1,63 1,45 1,30 1,17 1,04 0,93 0,81 0,69 0,57 0,43 0,0014 1,70 1,53 1,39 1,26 1,15 1,05 0,95 0,84 0,74 0,64 0,40 0,0016 1,77 1,60 1,45 1,34 1,23 1,14 1,05 0,95 0,86 0,78 0,59 0,37 0,0018 1,82 1,66 1,53 1,41 1,31 1,22 1,13 1,04 0,96 0,89 0,72 0,55 0,35 0,0020 1,87 1,71 1,58 1,47 1,37 1,29 1,20 1,13 1,05 0,98 0,83 0,68 0,52 0,33 0,0030 2,04 1,90 1,78 1,69 1,60 1,53 1,45 1,39 1,33 1,27 1,16 1,06 0,95 0,86 0,7650 2,25 2,12 2,01 1,93 1,85 1,79 1,73 1,68 1,62 1,57 1,49 1,41 1,33 1,26 1,19

100 2,51 2,39 2,30 2,22 2,16 2,10 2,05 2,00 1,96 1,92 1,85 1,79 1,73 1,67 1,62200 2,75 2,64 2,55 2,49 2,43 2,38 2,34 2,29 2,26 2,22 2,16 2,11 2,06 2,01 1,97300 2,88 2,78 2,69 2,63 2,58 2,53 2,49 2,45 2,41 2,38 2,32 2,27 2,23 2,19 2,15500 3,04 2,94 2,86 2,80 2,75 2,71 2,67 2,63 2,60 2,57 2,52 2,47 2,43 2,39 2,36

1000 3,24 3,15 3,08 3,03 2,98 2,93 290 2,86 2,84 2,81 2,76 2,72 2,68 2,65 2,61

Linearer Fortschritt: ,, c , cauf einem Computer auswiegen

Im Jahr 1969 mit dem Rechner PDP -10 „ausgewogen“. – Rechenzeit: 730 Stunden !

Feststellung:

Eine (, ) - ES ist

langsamer als eine (1, ) - ES

Statt vom vordersten Punkt (dem Spitzenelter) wird auch von weiter hinten aus (dem zweitbesten, drittbesten, … Nachkommen) mutiert. Die schlechteren Eltern müssen hinterher geschleppt werden.

lin

kug

,, lin c

,1,1 lin c

rnc2

2

,1,1 kug

rnc2

2

,, kug

Von der linearen zu nichtlinearen Theorie

Kugelmodell

E

r

.. .x x2 n

x1

q

N"'N

a

nnq 1

222 arqr

rar

qa 2 2

für2

a linKugel

a

"

Linien Fortschritt

N

Für q << r darf a auf x 1

projiziert werden

Mutation der Variablen x 2 bis x

n

Der bis auf x 1 mutierte

Nachkomme N‘ erleidet

den Rückschritt a

Eine geometrische Betrachtung für n >> 1

Projektion erlaubt wenn q << rWir drehen q um die x1-Achse so, dass q in der Bildschirmebene liegt

rnc2

2

,Kugel

Das dimensionslose Fortschrittsgesetz

rnc2

2

,Kugel

2,2 cr

n

2,

2

22

,2

, 422

cr

n

cr

n

cr

n

mit

2,2 cr

n

,2 cr

nund

folgt das zentrale Fortschrittsgesetz2

Dimensionslose Fortschrittsgeschwindigkeit

Dimensionslose Schrittweite

rnc2

2

,Kugel ),,,,( rnf

Text

Der Evolutions- Stratege

-5 -3 -1 310

0,2

0,1

0,3

1 01 01 01 010

2

Evolutions Fenster

Kugelmodell

Korridormodell

10010-210-410-610-8

102 104 106 1080

0,4

0,3

0,2

0,1

*

*

Fortschrittsfenster der (1 + 1) - Evolutionsstrategie

Evolutionsfenster

Warum logarithmische Auftragung für die Schrittweite ?

Einzig sinnvolle Skala

Das gilt auch für die Mutationsschrittweite

Zitronensaft

M agensäure Kaffee

Reines WasserBatteriesäure Lim onade Darm saft

Waschm itte llösung

Speiseessig Apfelsaft Trinkmilch

Saure M ilch Backpulverlösung

Seewasser Am moniaklösung

D ie pH -Skala

6 7 8 9 1 0 1 1 1 2 1 3 1 40 1 2 3 4 5

!

1 02 0,0796 03 0,1194 0,0417 04 0,1325 0,0703 0,0242 05 0,1352 0,0828 0,0449 0,01606 0,1338 0,0884 0,0574 0,03107 0,1306 0,0912 0,0631 0,04138 0,1267 0,0930 0,0676 0,04739 0,1225 0,0925 0,0697 0,0512

10 0,1184 0,0911 0,0708 0,054111 0,1144 0,0891 0,0708 0,055612 0,1106 0,0876 0,0704 0,057013 0,1070 0,0860 0,0696 0,057014 0,1036 0,0836 0,0690 0,056815 0,1004 0,0816 0,0677 0,0566

/*max,1 /*

max,2 /*max,3 /*

max,4

Serielle Fortschrittsgeschwindigkeit /*,

Maximalwerte

0,1352

0,0930

0,07080,0708

0,05700,0570

Maximale Fortschrittsgeschwindigkeit:

(1 + 1) - ES versus (, ) - ES

nr202,0max11

nr135,0max5,1

nr093,0max8,2

nr072,0max11,3

nr057,0max13,4

maxmax 115,1 67,0

maxmax 118,2 46,0

maxmax 1111,3 35,0

maxmax 1113,4 28,0

Warum (, )-Evolutionsstrategie ?

Wir können den Schwerpunkt der erfolgreichen Nachkommen bilden

Und das wird sich als ein raffinierter evolutionsstrategischer Trick erweisen

Wir bilden den Schwerpunkt der besten Nachkommen mit den Variablenwerten

/)( )(1)(1)(11 21 NBNBNB xxxx

. .

.

/)( )(2)(2)(22 21 NBNBNB xxxx

/)( )()()( 21 NBnNBnNBnn xxxx

Beziehungsweise wir bilden den Schwerpunkt-Elter mit den Variablenwerten

nnxxxq n 1223

22

Der Querschritt reduziert sich um den Faktor !

/1

/)( )(1)(1)(11 21 EEE xxxx

/)( )(2)(2)(22 21 EEE xxxx

/)( )()()( 21 EnEnEnn xxxx

. .

.

Berechnung des misslichen Querschritts

Was geschieht mit den über gemittelten x1 Werten, die als beste Eltern ausgelesen wurden und zu-

sammen den Fortschritt ergeben ? Die einzelnen x1-Fortschritte werden zwar durch dividiert, aber es

werden dann von ihnen, die ja alle mehr in der positiven Mutationsrichtung liegen, wieder addiert. Der Verlust durch Mittelung bleibt klein (siehe -Tabelle). ,c

Text

//

Die arithmetrisch über gemittelten Variab-len xi besitzen nach dem Additionstheorem der Normalverteilung die Streuung:

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20

1 0,002 0,56 0,003 0,85 0,42 0,004 1,03 0,66 0,34 0,005 1,16 0,83 0,55 0,48 0,006 1,27 0,95 0,70 0,48 0,25 0,007 1,35 1,06 0,82 0,62 0,42 0,23 0,008 1,42 1,14 0,92 0,73 0,55 0,38 0,20 0,009 1,49 1,21 1,00 0,82 0,65 0,50 0,35 0,19 0,00

10 1,54 1,27 1,07 0,89 0,74 0,60 0,46 0,32 0,17 0,0012 1,63 1,37 1,18 1,02 0,88 0,75 0,63 0,51 0,39 0,27 0,0014 1,70 1,46 1,27 1,12 0,99 0,87 0,76 0,65 0,55 0,45 0,24 0,0016 1,77 1,53 1,35 1,20 1,08 0,96 0,86 0,76 0,67 0,58 0,40 0,22 0,0018 1,82 1,59 1,41 1,27 1,15 1,04 0,94 1,85 0,76 0,68 0,52 0,36 0,20 0,0020 1,87 1,64 1,47 1,33 1,21 1,11 1,02 0,93 0,85 0,77 0,62 0,48 0,33 0,18 0,0030 2,04 1,83 1,67 1,55 1,45 1,35 1,27 1,20 1,13 1,06 0,94 0,83 0,73 0,63 0,5350 2,25 2,05 1,91 1,80 1,71 1,62 1,55 1,49 1,43 1,37 1,27 1,18 1,10 1,02 0,95

100 2,51 2,33 2,20 2,10 2,02 1,95 1,88 1,83 1,78 1,73 1,65 1,57 1,50 1,44 1,39

Linearer Fortschritt: ,, c , c aus Tabelle

kk ki

kic

ki

ikic

,1

1

0

1

, 11Die Fortschrittsbeiwerte sind berechenbar und müssen nicht „ausgewogen“ werden

Kugelmodell

E

r

.. .x x2 n

x1

1 nq

222 arqr

rar

qa 2 2

für2

a linKugel

rnc2

2

,Kugel

a

Für q << r darf a auf x 1

projiziert werden

Mutation der Variablen x 2 bis x

n

Der bis auf x 1 mutierte

Nachkomme erleidet den

Rückschritt a

und Division durch (Schwerpunkt.)

nq

qa

aDurch Addition der normalverteilten Eltern (Additionstheorem !)

Linien Fortschritt

( , )-ES

ES mit Mischung der Variablen (Erbanlagen) von zwei Individuen

= 8

= 2 = 2

Intermediärer Vererbungsgang

in der Natur

Der Unterschied zur intermediären Vererbung in der Natur

ist, dass bei der () -ES nicht zwei, sondern alle El-

tern ihre Variablenwerte mischen. Eine derartige Multi-Re-

kombination gibt es in der Natur nur bei Viren (Phagen).

In der Natur werden die Erbanlagen von je zwei Individuen gemischt. In der Nomenklatur der ES wäre die Mischungszahl = 2.

( , ) - ES = 2 Nur Phagen (Viren, die in Bakterien leben) beherrschen die Technik der

Multirekombination = . Das heißt, alle Eltern mischen ihre Erbanlagen.

( , ) - ES =

Multi-Mischung (Multirekombination) ist auf dem Computer nicht nur leicht durchführbar, sondern algorithmisch sogar einfacher zu programmieren.

Evolutionsstrategen arbeiten mit Multirekombination

Nomenklatur

( , ) - ES (, ) - ES

oder

In der Theorie lässt sich nur der Fall = erfolgreich behandeln.

Multirekombination liefert eine größere Fortschrittsgeschwindigkeit als die Zweier-Rekombination

Warum ( , ) - ES statt (1 + 1) - ES ?

1. Selbstadaptation der Mutationsschrittweite erfordert eine Gruppe konkurrierender Individuen ( > 1)

3. Die Einführung des Vererbungsfaktors „Chromosomen-Kreuzung“ erfordert mehrere Eltern ( > 1)

2. Eine Population von Elternindividuen ( > 1) ist robuster gegenüber Qualitätsrauschen (unscharfe Selektion)

Ende

Der Algorithmus der - Evolutionsstrategie lautet verbal:

Eltern der Generation g erzeugen in zufälliger Folge insgesamt

Nachkommen.

2. Plus-Strategie: von den + Individuen werden die besten

zu Eltern der Generation g +1.

Komma-Strategie: Streichen der Eltern der Generation g. Von den

Individuen werden die besten zu Eltern der Generation g +1.

),(

In der Formel

ist die Fortschrittsgeschwindigkeit eine Funktion von der Variablenzahl n, dem Höhenlinien-Krümmungsradius r, der Mutationsstreuung , der Nachkommen-zahl und der Elternzahl . Das ist eine 5-dimensionale Mannigfaltigkeit. Nur eine unüberblickbare Schar von Diagrammen könnte den Zusammenhang grafisch veranschaulichen.

In der dimensionslosen Form mit den universellen Parametern und ist der Zusammenhang in einem einzigen Diagramm darstellbar.

rnc2

2

,Kugel

Das Additionstheorem der Normalverteilung:

Werden k normalverteilte Zufallszahlen mit der Streuung addiert, so ergibt

sich eine neue Zufallszahl mit der Streuung kadd