Ingo Rechenberg

PowerPoint-Folien zur 9. Vorlesung „Evolutionsstrategie I“

Finale Theorie der Evolutionsstrategie

mit Eltern und Nachkommen

DARWINs Denkschema in maximaler Abstraktion

ES)1( 1

Genauere Nachahmung der biologischen Evolution

ES),( 1

Noch genauere Nachahmung der biologischen Evolution

ES),(

( , )-ES

ES mit mehreren Eltern und Nachkommen

= 7 = 2

Basis-Algorithmus der (, ) - Evolutionsstrategie

1E1N zxx ggi

2E2N zxx ggj

zxx ggkEN

eiltnormalvert- )1,0(,, /21 nzzz n

gg1NBE1

1 xx

,2,1,,, rankji

gg2NBE2

1 xx

gg NBE

1 xx

B1 = Qualitätsmäßig bestes Individuum

B2 = Qualitätsmäßig 2. bestes Individuum

B = Qualitätsmäßig . bestes Individuum

Text

Verschiedene Eltern !

lin

,, lin c

,, 11 lin c

Lineare Theorie der (, ) - Evolutionsstrategie

Der Fortschrittsbeiwert kann bislang nicht berechnet werden.

Was tun ?

= Linienfortschritt

hrV 231 hrV 2

32 hrV 2

33

1 2 3: :

Der junge Archimedes hat eine geniale Idee: Er lässt sich in der Tischlerwerkstatt der Universität aus Holz drei Kegel, eine Halb-kugel und einen Zylinder fertigen. Alle Körper haben die gleiche Kreis-Grundfläche und die gleiche Höhe. Archimedes kündigt einen Vortrag mit dem Titel „Über die Volumina runder Körper“ an.

Aber die Vermutung lag in der Luft, dass sich die Volumina Kegel zu Halbkugel zu Zylinder wie 1 : 2 : 3 verhalten.

Die antike griechische Mathematik war noch nicht in der Lage, die Volumina der Körper zu berechnen.

Archimedes

Eine Anekdote

Eine gewaltige Spannung bemächtigt sich der Zuhörer; schließ-lich hat jeder von ihnen mit dem Problem gerungen. War es möglich, dass dieser noch unbekannte junge Mann die Lösung gefunden hatte? Man wagt kaum zu atmen. Und was macht Archimedes? – Er beginnt mit einer Waage zu hantieren.

Zunächst bringt er die drei Kegel mit dem Zylinder ins Gleichgewicht.

Kein dröhnender Applaus. Eisiges Schweigen! Der erst 14-jährige Apollonius von Perge - trotz Ju-gend schon ein berühmter Mathematiker - erhebt sich und spricht: „Euer Magnifizenz, geehrte Kolle-gen. Ich stelle den Antrag, dass Archimedes für immer der Universität verwiesen werde, da er den Geist der Mathematik mit schmutziger Materie besudelt hat.“ Archimedes kehrt nach Syrakus zurück.

Dann vertauscht er zwei seiner Kegel mit der Halbkugel.

Schließlich wiegt er zwei Kegel mit einer Halbkugel auf.

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20

1 0,002 0,56 0,003 0,85 0,50 0,004 1,03 0,75 0,44 0,005 1,16 0,91 0,67 0,40 0,006 1,27 1,03 0,83 0,61 0,37 0,007 1,35 1,13 0,94 0,76 0,57 0,35 0,008 1,42 1,22 1,04 0,87 0,71 0,54 0,33 0,009 1,49 1,29 1,12 0,96 0,82 0,67 0,50 0,31 0,00

10 1,54 1,35 1,19 1,04 0,90 0,77 0,63 0,47 0,30 0,0012 1,63 1,45 1,30 1,17 1,04 0,93 0,81 0,69 0,57 0,43 0,0014 1,70 1,53 1,39 1,26 1,15 1,05 0,95 0,84 0,74 0,64 0,40 0,0016 1,77 1,60 1,45 1,34 1,23 1,14 1,05 0,95 0,86 0,78 0,59 0,37 0,0018 1,82 1,66 1,53 1,41 1,31 1,22 1,13 1,04 0,96 0,89 0,72 0,55 0,35 0,0020 1,87 1,71 1,58 1,47 1,37 1,29 1,20 1,13 1,05 0,98 0,83 0,68 0,52 0,33 0,0030 2,04 1,90 1,78 1,69 1,60 1,53 1,45 1,39 1,33 1,27 1,16 1,06 0,95 0,86 0,7650 2,25 2,12 2,01 1,93 1,85 1,79 1,73 1,68 1,62 1,57 1,49 1,41 1,33 1,26 1,19

100 2,51 2,39 2,30 2,22 2,16 2,10 2,05 2,00 1,96 1,92 1,85 1,79 1,73 1,67 1,62200 2,75 2,64 2,55 2,49 2,43 2,38 2,34 2,29 2,26 2,22 2,16 2,11 2,06 2,01 1,97300 2,88 2,78 2,69 2,63 2,58 2,53 2,49 2,45 2,41 2,38 2,32 2,27 2,23 2,19 2,15500 3,04 2,94 2,86 2,80 2,75 2,71 2,67 2,63 2,60 2,57 2,52 2,47 2,43 2,39 2,36

1000 3,24 3,15 3,08 3,03 2,98 2,93 290 2,86 2,84 2,81 2,76 2,72 2,68 2,65 2,61

Linearer Fortschritt: ,, c , cauf einem Computer auswiegen

Im Jahr 1969 mit dem Rechner PDP -10 „ausgewogen“. – Rechenzeit: 730 Stunden !

Feststellung:

Eine (, ) - ES ist

langsamer als eine (1, ) - ES

Statt vom vordersten Punkt (dem Spitzenelter) wird auch von weiter hinten aus (dem zweitbesten, drittbesten, … Nachkommen) mutiert. Die schlechteren Eltern müssen hinterher geschleppt werden.

lin

kug

,, lin c

,1,1 lin c

rnc 2

2,1,1 kug

rnc 2

2,, kug

Von der linearen zu nichtlinearen Theorie

?

Kugelmodell

Er

.. .x x2 n

x1

q

N"'N

a

nnq 1

222 arqr

rarqa 2 2 für

2

a linKugel

a

"

Linien Fortschritt

N

Für q << r darf a auf x 1

projiziert werden

Mutation der Variablen x 2 bis x

n

Der bis auf x 1 mutierte

Nachkomme N‘ erleidet

den Rückschritt a

Eine geometrische Betrachtung für n >> 1

Projektion erlaubt wenn q << rWir drehen q um die x1-Achse so, dass q in der Bildschirmebene liegt

rnc 2

2,Kugel

Alle bis auf x 1 mutierten

Nachkommen N‘

erleiden den Rückschritt

a

Das dimensionslose Fortschrittsgesetz

rnc 2

2,Kugel

2,2 cr

n

2,

2

22

,2

, 422

crn

crn

crn

mit

2

,2 crn

,2 crnund

folgt das zentrale Fortschrittsgesetz2

Dimensionslose Fortschrittsgeschwindigkeit

Dimensionslose Schrittweite

rnc 2

2,Kugel

),,,,( rnf

Text

Der Evolutions- Stratege

zeichnet sich durch diese Formel aus

-5 -3 -1 310

0,2

0,1

0,3

1 01 01 01 010

2

Evolutions Fenster

Gültig für beliebige werte von , , , r, n !

Kugelmodell

Korridormodell

10010-210-410-610-8 102 104 106 1080

0,4

0,3

0,2

0,1

*

*

Fortschrittsfenster der (1 + 1) - Evolutionsstrategie

Evolutionsfenster

Warum logarithmische Auftragung für die Schrittweite ?

Einzig sinnvolle Skala

Das gilt auch für die Mutationsschrittweite

Zitronensaft

M agensäure Kaffee

Reines WasserBatteriesäure Lim onade Darm saft

Waschm itte llösung

Speiseessig Apfelsaft Trinkmilch

Saure M ilch Backpulverlösung

Seewasser Am m oniaklösung

D ie pH -Skala

6 7 8 9 1 0 1 1 1 2 1 3 1 40 1 2 3 4 5!

Elektromagnetisches Wellenspektrum

Potenz einer Ionenaktivität

1 02 0,0796 03 0,1194 0,0417 04 0,1325 0,0703 0,0242 05 0,1352 0,0828 0,0449 0,01606 0,1338 0,0884 0,0574 0,03107 0,1306 0,0912 0,0631 0,04138 0,1267 0,0930 0,0676 0,04739 0,1225 0,0925 0,0697 0,0512

10 0,1184 0,0911 0,0708 0,054111 0,1144 0,0891 0,0708 0,055612 0,1106 0,0876 0,0704 0,057013 0,1070 0,0860 0,0696 0,057014 0,1036 0,0836 0,0690 0,056815 0,1004 0,0816 0,0677 0,0566

/*max,1 /*

max,2 /*max,3 /*

max,4

Serielle Fortschrittsgeschwindigkeit /*,Maximalwert

e

0,1352

0,0930

0,07080,0708

0,05700,0570

rn

,

Maximale (serielle) Fortschrittsgeschwindigkeit:

(1 + 1) - ES versus (, ) - ES

nr202,0max11

nr135,0max5,1

nr093,0max8,2

nr072,0max11,3

nr057,0max13,4

maxmax 115,1 67,0

maxmax 118,2 46,0

maxmax 1111,3 35,0

maxmax 1113,4 28,0

vergleichen wir mit max,

Warum (, )-Evolutionsstrategie ?

Wir können den Mittelwert (= Schwerpunkt) der erfolgreichen Nachkommen bilden

Und das wird sich als ein raffinierter evolutionsstrategischer Trick erweisen

Denn die Nachkommen liegen „mal links, mal rechts“ neben dem Gradienten

Wir bilden den Mittelwert der besten Nachkommen

/)( )(1)(1)(11 21 NBNBNB xxxx

. .

.

/)( )(2)(2)(22 21 NBNBNB xxxx

/)( )()()( 21 NBnNBnNBnn xxxx

Zur Mittelwertbildung

Gegeben sind die Werte mzzzz ,,,, 321

Dann ist der Mittelwert mzzzzz m /)( 321

Wenn mzzzz ,,,, 321 unabhängig (0, )-normalverteilt sind,

Dann besitzt die Zufallsgröße z die verminderte Streuung m/

Normalverteilte Zufallszahlen

Die besten Nachkommen sind aber die ausgelesenen Eltern

Additionstheorem der Normalverteilung

Also bilden wir den Mittelwert (= Schwerpunkt) der Eltern mit den Variablenwerten

nnnxxxq n 11223

22

Der Querschritt reduziert sich um den Faktor !

/1

/)( )(1)(1)(11 21 EEE xxxx

/)( )(2)(2)(22 21 EEE xxxx

/)( )()()( 21 EnEnEnn xxxx

. .

.

Berechnung des misslichen Querschritts

Was geschieht mit den über gemittelten x1 Werten, die als beste Eltern ausgelesen wurden und zu-sammen den Fortschritt ergeben ? Die einzelnen x1-Fortschritte werden zwar durch dividiert, aber es werden dann von ihnen, die ja alle mehr in der positiven Mutationsrichtung liegen, wieder addiert. Der Verlust durch Mittelung bleibt klein (siehe -Tabelle). ,c

/

Die arithmetrisch über gemittelten Variab-len xi besitzen nach dem Additionstheorem der Normalverteilung die Streuung:

1 2 3 4 5 6 7 8 9 10 12 14 16 18 20

1 0,002 0,56 0,003 0,85 0,42 0,004 1,03 0,66 0,34 0,005 1,16 0,83 0,55 0,48 0,006 1,27 0,95 0,70 0,48 0,25 0,007 1,35 1,06 0,82 0,62 0,42 0,23 0,008 1,42 1,14 0,92 0,73 0,55 0,38 0,20 0,009 1,49 1,21 1,00 0,82 0,65 0,50 0,35 0,19 0,00

10 1,54 1,27 1,07 0,89 0,74 0,60 0,46 0,32 0,17 0,0012 1,63 1,37 1,18 1,02 0,88 0,75 0,63 0,51 0,39 0,27 0,0014 1,70 1,46 1,27 1,12 0,99 0,87 0,76 0,65 0,55 0,45 0,24 0,0016 1,77 1,53 1,35 1,20 1,08 0,96 0,86 0,76 0,67 0,58 0,40 0,22 0,0018 1,82 1,59 1,41 1,27 1,15 1,04 0,94 1,85 0,76 0,68 0,52 0,36 0,20 0,0020 1,87 1,64 1,47 1,33 1,21 1,11 1,02 0,93 0,85 0,77 0,62 0,48 0,33 0,18 0,0030 2,04 1,83 1,67 1,55 1,45 1,35 1,27 1,20 1,13 1,06 0,94 0,83 0,73 0,63 0,5350 2,25 2,05 1,91 1,80 1,71 1,62 1,55 1,49 1,43 1,37 1,27 1,18 1,10 1,02 0,95

100 2,51 2,33 2,20 2,10 2,02 1,95 1,88 1,83 1,78 1,73 1,65 1,57 1,50 1,44 1,39

Linearer Fortschritt: ,, c , c aus Tabelle

kk ki

ki cki

ikic

,1

1

0

1

, 11Die Fortschrittsbeiwerte sind berechenbar und müssen nicht „ausgewogen“ werden

Kugelmodell

Er

.. .x x2 n

x1

121 nqqqq

222 arqr

rarqa 2 2 für

2

a linKugel

rnc 2

2,Kugel

Für q << r darf a auf x 1

projiziert werden

Mutation der Variablen x 2 bis x

n des

Nachkommem N1 ergeben den Quer-

schritt q1. Für alle Nachkommen gilt:

q1(N1) = q2(N2) = q3(N

3) = . . .

Division durch (Mittelwertbildung)

nq

q1

a

aDurch Addition der normalverteilten Eltern (Additionstheorem !)

Linien FortschrittDer Rückschritt

a hat sich verkleinert

qq

q

für n >> 1

Summierung der Querschritte

der besten Nachkommen

( , )-ES

ES mit Mischung der Variablen (Erbanlagen) von zwei Individuen

= 8

= 2 = 2

Intermediäre Vererbung in der Natur

Der Unterschied zur intermediären Vererbung in der Natur ist, dass bei der () -ES nicht zwei, sondern alle El-

tern ihre Variablenwerte mischen. Eine derartige Multi-Re-

kombination gibt es in der Natur nur bei Viren (Phagen).

In der Natur werden die Erbanlagen von je zwei Individuen gemischt. In der Nomenklatur der ES wäre die Mischungszahl = 2.

( , ) - ES = 2 Nur Phagen (Viren, die in Bakterien leben) beherrschen die Technik der

Multirekombination = . Das heißt, alle Eltern mischen ihre Erbanlagen.

( , ) - ES =

Multi-Mischung (Multirekombination) ist auf dem Computer nicht nur leicht durchführbar, sondern algorithmisch sogar einfacher zu programmieren.

Evolutionsstrategen arbeiten mit Multirekombination

Nomenklatur

( , ) - ES (, ) - ES

oder

In der Theorie lässt sich nur der Fall = erfolgreich behandeln.

Multirekombination liefert eine größere Fortschrittsgeschwindigkeit als die Zweier-Rekombination

Warum ( , ) - ES statt (1 + 1) - ES ?

1. Selbstadaptation der Mutationsschrittweite erfordert eine Gruppe konkurrierender Individuen ( > 1)

2. Die Einführung des Vererbungsfaktors „Chromosomen-Kreuzung“ erfordert mehrere Eltern ( > 1)

3. Eine Population von Elternindividuen ( > 1) ist robuster gegenüber Qualitätsrauschen (unscharfe Selektion) Nächste Vorlesung

Ende

Der Algorithmus der - Evolutionsstrategie lautet verbal:

Eltern der Generation g erzeugen in zufälliger Folge insgesamt Nachkommen.

2. Plus-Strategie: von den + Individuen werden die besten zu Eltern der Generation g +1.

Komma-Strategie: Streichen der Eltern der Generation g. Von den Individuen werden die besten zu Eltern der Generation g +1.

),(

In der Formel

ist die Fortschrittsgeschwindigkeit eine Funktion von der Variablenzahl n, dem Höhenlinien-Krümmungsradius r, der Mutationsstreuung , der Nachkommen-zahl und der Elternzahl . Das ist eine 5-dimensionale Mannigfaltigkeit. Nur eine unüberblickbare Schar von Diagrammen könnte den Zusammenhang grafisch veranschaulichen.

In der dimensionslosen Form mit den universellen Parametern und ist der Zusammenhang in einem einzigen Diagramm darstellbar.

rnc 2

2,Kugel

),,,,(Kugel rnf

Das Additionstheorem der Normalverteilung:

Werden k normalverteilte Zufallszahlen mit der Streuung addiert, so ergibt

sich eine neue Zufallszahl mit der Streuung kadd