cnn template dekompozíció - analogikai algoritmusok implementációjának egy lehetséges...

1

Analogical and Neural Computing LaboratoryComputer and Automation Research InstituteHungarian Academy of Sciences, Budapest

CNN template dekompozíció CNN template dekompozíció analogikai algoritmusok analogikai algoritmusok implementációjának egy implementációjának egy

lehetséges eszközelehetséges eszközePh.D. értekezés tézisei

írta: Kék László

Témavezető:Dr. Roska Tamás akadémikus

2

Analogical and Neural Computing Laboratory, Hungarian Academy of Sciences, Budapest

TartalomTartalom

Celluláris Neurális Hálózatok (CNN) alapjai

Motiváció

TézisekTézisek

Összefoglaló

Köszönetnyilvánítás

3


L. Chua & L. Yang, 1988 N-dimenziós processzor tömb Cellák állapota folytonos, funkciójuk egyszerű Lokális kölcsönhatás (lineáris ill. nemlineáris) Számos, sokrétű alkalmazási terület Analogikai algoritmusok a CNN Univerzális Gépen A CNN-UM analóg VLSI implementációja

Celluláris Neurális Hálózatok (CNN)Celluláris Neurális Hálózatok (CNN)

4


Celluláris Neurális Hálózat (CNN)

uij - bemenet

xij - állapot/ yij - kimenet

zij - áram BB

AAii

jj

Template: [A B z]Template: [A B z]

ijkl(i,j)SC(k,l)

klkl(i,j)SC(k,l)

klijij ztuB+tyA + txtxrr

)()()()(

5


CNN számítás

bemenet

állapot/kimenet

B

A

zz

6


CNN-UM architektúrájaCNN-UM architektúrája

GAPU

LAM

LLM

CNNnucleus

LLU

LCCU

LAOU

GAPU

GACUSCRLPRAPR

Switch Configuration Registerglobal Logic Program Registerglobal Analog Program Register

Global Analogic Control Unit

Global Analogic Programming Unit

LLMLAMLLU

LAOU

LCCU

Local Logic UnitLocal Analog Output UnitLocal Communication and Control Unit

Local Logic MemoryLocal Analog Memory

CNN

UNIVERZÁLIS

GÉP

7


MotivációMotivációCél:

A CNN chipek architektúrájából fakadó korlátok algoritmikus úton történő feloldása

Korlátok: 3x3-as lokális összeköttetés (r=1) lineáris template-ek

Nehézségek (problémák): Nemlineáris template-ek Nagyméretű (r>1) template-ek Analóg CNN-UM implementációk inhomogenitása

8


TézisekTézisek

1. 3x3-as nemlineáris template-dekompozíció

2. Nagyméretű template-dekompozíció

3. Hibatűrő template-dekompozíció

9


1. tézis 3x3-as nemlineáris template-dekompozíció

Analogikai algoritmust dolgoztam ki a 3x3-as nemlineáris template-ek egy osztályának (lineáris A, nemlineáris - szakaszonként lineáris - B) olyan CNN architekrúrán való implementálására, amely csak 3x3-as lineáris template-ek futtatására alkalmas Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias

map Kísérletileg igazoltam egy egyszerű nemlineáris template olyan

CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je

10


Megfogalmaztam a nemlineáris A template-dekomozíció irányelveit folytonos idejű CNN-re

Megmutattam, hogy DTCNN esetében a 3x3-as nemlineáris B template-dekompozíció módszere nemlineáris A template-re is alkalmazható

Nemlineáris A template dekompozíció

1

11


( ) ( ) ( ) ( , )x t x t + A y t + B u u zij ij klC(k,l) S (i,j)

kl klC(k,l) S (i,j)

ij kl ij

r r

( ) ( ),B u u F u uij kl ij kl kl

P1(x1,y1)F(x)

P4(x4,y4)

P2(x2,y2) P3(x3,y3)

m = 4

S5S3 S4S2S1

-11

1

x

ElmElmééleti alapokleti alapok1

12


1. tézis (folyt.)1. tézis (folyt.) Elméleti alapokElméleti alapok

nem

k = l = 1

s = 1

A kiválasztott cellák állapotainak beállítása az sintervallum nak m egfelelően

Az s intervallum hoz “tartozó” cellák kiválasztása

s m+1?igen

s = s+1

Eredm ény hozzáadása a BIAS-hez

k és l m egfelelő növelése

VÉG E

igen

nem

Részeredm ény akkum ulálása

C(k,l) S r(i,j)?

hatásának kiszámításaB kl 1

13


CONTOUR1

Módosított template (B=0):

Kezdeti állapot Kiszámított Bias Kimenet

Kísérleti (szimulációs) eredményekKísérleti (szimulációs) eredmények1

-1

0.5

vuij - vukl

0.18-0.18

b

7.0

000

000

000

000

020

000

zBA

7.0

000

000

00

000

020

000

z

b

BA

14


LEFTEDGE template

Kimenet

vuij-vukl

b

-0.5

0.5

1

1cP400-on vcP400-on végzett kísérletégzett kísérlet

Bemenet Kezdeti állapot

cP400(CNN-UM chip)

1

000

00

000

000

020

000

zbBA

15


L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp. 551-566, 1998.

L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design (ECCTD’97), pp. 661-666, Budapest, 1997.

L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-7-1996, Budapest, 1996.

Kapcsolódó publikációkKapcsolódó publikációk1

16


Eljárást adtam nagyméretű nemlineáris template-ek egy osztályának (NxN-es lineáris A (aij=0, ahol r>1) és nemlineáris -

szakaszonként lineáris - B) 3x3-as lineáris template-ekkel való helyettesítésére Az algoritmus korlátai: analóg be- és kimenet, fixed state, bias

map Megmutattam, hogy DTCNN esetében a módszer olyan template-

ekre is alkalmazható, amely nagyméretű lineáris vagy nemlineáris A template-et tartalmaz

Kísérletileg igazoltam egy 5x5-ös lineáris template olyan CNN-UM chipen (cP400) való implementálhatóságát, amely csak bináris be- és kimenettel rendelkezik, nincs fixed state-je sem bias map-je

2. tézis Nagyméretű template-dekompozíció

17


Problémák: nemlinearitás nagyméretűség

Megoldás: Partition-Shift algoritmus (K. Crounse, 1996) az 1. tézisben megfogalmazott 3x3-as nemlineáris

template dekompozíció

2ElmElmééleti alapokleti alapok

Alapgondolat: Bias mappel helyettesíteni (kiváltani) a B template-et

18



3x3-as nemlineáris template-dekompozícióalkalmazása az aktuális 3x3-as nemlineáris

template-re vonatkozóan

Template-felosztás(3x3-as nemlineáris template-ek generálása)

Aktuális 3x3-as nemlineáris template kijelölése

Következő template?

nem

igen

VÉGE

Módosított template (B=0) alkalmazásafelhasználva a kiszámított Bias map-et

Részeredmény akkumulációa Partition-Shift algoritmus szerint

2

19


Diagonális

vonaldetektor

B B11 12

0 2 0 2 01

0 2 0 0

01 0 0

01 0 2

0 0 01

0 0 01

. . .

.

.

. .

.

.

0

Bc

01 0 2 0 2

0 2 1 0 2

0 2 0 2 01

. . .

. .

. . .

B B21 22

0 0 0

01 0 0

0 2 01 0

0 0 0

0 0 0 2

01 0 2 0 2

.

. .

.

. . .

A B

0 0 0 0 0

0 0 0 0 0

0 0 12 0 0

0 0 0 0 0

0 0 0 0 0

0 2 0 2 01 01 0 2

0 2 01 0 2 0 2 01

01 0 2 1 0 2 01

01 0 2 0 2 01 0 2

0 2 01 01 0 2 0 2

.

. . . . .

. . . . .

. . . .

. . . . .

. . . . .

z 18.

Dekomponáló 3x3-as template-ek

2Kísérleti (szimulációs) eredményekKísérleti (szimulációs) eredmények

20


Módosított template

A B

0 0 0

0 12 0

0 0 0

0 0 0

0 0 0

0 0 0

18. .z

KiszámítottBias

Kimenet

2Kísérleti (szimulációs) eredmények Kísérleti (szimulációs) eredmények (folyt.)(folyt.)

Bemenet Kezdeti állapot

21


5 pixelnél nem rövidebb vízszintes vonaldetekció

A B

0 0 0 0 0

0 0 0 0 0

0 0 1 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

0 0 0 0 0

1 1 1 1 1

0 0 0 0 0

0 0 0 0 0

4 5 z .

cP400(CNN-UM chip)

KimenetBemenet Kezdeti állapot

cP400-on vcP400-on végzett kísérletégzett kísérlet2

22


L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, International Journal of Circuit Theory and Applications, Vol. 26, No.6, pp. 551-566, 1998.

L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Proceedings of the European Conference on Circuit Theory and Design (ECCTD’97), pp. 661-666, Budapest, 1997.

L. Kék and Á. Zarándy, “Implementation of Large-Neighborhood Nonlinear Templates on the CNN Universal Machine”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-7-1996, Budapest, 1996.


23


Megmutattam, hogy a CNN-UM chipek esetleges pontatlan működése tetszőleges csatolatlan bináris be- és kimenetű template esetén kiküszöbölhető több, kisebb komplexitású csatolatlan template felhasználásával

Kidolgoztam két hibatűrő template-dekompozíciós eljárást I. eljárás: a template által meghatározott Boole függvény

diszjunkt normál alakjából előállítja azt az utód-template szekvenciát, amelyek segítségével kiváltjuk a kiinduló template-et

II. eljárás: iteratív módon csökkenti a megvalósítandó template nehézségi fokát (növeli annak robusztusságát)

3. tézis Hibatűrő template-dekompozíció

24


Definiáltam a template robusztusság-érték fogalmát Bebizonyítottam, hogy dimenziócsökkentéssel a template

robusztusság-értéke nem csökken, általános esetben növekszik Igazoltam, hogy a Shannon-kifejtés lineárisan szeparálható Boole-

függvények esetén 4-ről 3 tagra egyszerűsödik Kísérletileg igazoltam, hogy a CNN template könyvtárban

található és a cP400-as chipen dekompozíciót igénylő összes 3x3-as bináris be- és kimenetű template maximum 2 utód-template felhasználásával dekomponálható

Memutattam, hogy a cP400-as chip robusztusságérték-határa megközelítően 0.5-el egyenlő

3

25



Létezik még dekompozíciótigénylő utód-template?

Adott egy CNN chip

A “legkedvezőbb” kizárandótemplate-elem kiválasztása

Utód-template-ek generálása ésazok CNN chipen történő

optimalizálása

VégeNem

Adott egy dekompozíciót igénylőtemplate

Igen

3

26


LCP <=> TEM1 AND TEM2

F u u u u u u u u u u u u u u u u

u u u u u u

( ) = ( ) =

= { }{ }

u

1 2 4 5 6 2 3 4 5 6 2 4 5 6 1 3

2 4 5 6 1 3

A B

0 0 0

0 1 0

0 0 0

0 0 0

2 2 2

1 2 1

5z

A B

0 0 0

0 1 0

0 0 0

0 0 0

1 1 1

0 1 0

3z

A B

0 0 0

0 1 0

0 0 0

0 0 0

0 0 0

1 0 1

1z

TEM1:

TEM2:

3LCP template dekompozíciójaLCP template dekompozíciója

27


LCPcP400 <=> TEM1* AND TEM2*

TEM1* :

TEM2* :

A B

0 0 0

0 0 51 0

0 0 0

0 0 0 05

137 123 139

0 144 0

5 24.

.

. . .

.

.z

A B

0 0 0

0 019 0

0 0 0

0 0 0 02

0 0 07 0 05

142 0 05 139

0 94.

.

. .

. . .

.z

3LCP template dekompozíciója LCP template dekompozíciója (folyt.)(folyt.)

28


P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, IEEE Transactions on Circuits and Systems special issue on Bio-Inspired Processors and Cellular Neural Networks for Vision, Vol. 46, No. 2, pp. 312-322, February 1999.

P. Földesy, L. Kék, T. Roska, Á. Zarándy, and G. Bártfai, “Fault Tolerant CNN Template Design and Optimatization Based on Chip Measurements”, Proceedings of the IEEE International Workshop on Cellular Neural Networks and their Applications (CNNA’98), pp. 404-409, London, 1998.

P. Földesy, L. Kék, Á. Zarándy, T. Roska, and G. Bártfai, “Fault Tolerant Design of Analogic CNN Templates and Algorithms Part I: The Binary Output Case”, Research report of the Analogical and Neural Computing Laboratory, Computer and Automation Institute, Hungarian Academy of Sciences (MTA SzTAKI), DNS-3-1998, Budapest, 1998.


29


Tudományos eredményeim: 3x3-as nemlineáris (A - lineáris, B - szakaszonként

lineáris) template-ek csak lineáris template-ek futtatására alkalmas architektúrán való implementálása

NxN-es (nemlineáris) template-ek 3x3-as lineáris template-ekké való dekompozíciója

3x3-as csatolatlan bináris be- és kimenetű template-ek hibatűrő dekompozíciója

ÖsszefoglalóÖsszefoglaló

30


MTA Doktori Tanács, MTA SzTAKI BME Műszaki Informatika Szak Doktori Tanácsa Feleségem, szülők, család Analogikai és Neurális Számítások Laboratórium munkatársai

(Dr. Zarándy Ákos, Dr. Szolgay Péter, Dr. Radványi András, Dr. Szirányi Tamás, Földesy Péter, Bártfai Guszti, Dr. Venetianer Péter, Nemes László, Rekeczky Csaba, Dr. Kozek Tibor, ...)

Dr. Arató Péter, a BME Irányítástechnika és Informatika Tanszék vezetője

Bírálók: Dr. Rudas Imre, Dr. Jobbágy Ákos Cikkek bírálói Dr. Holovács József, Dr. Naum Aizenberg, Dr. Igor Aizenberg Neubauer Ferenc

KöszönetnyilvánításKöszönetnyilvánítás Dr. Roska Tamás

31


Köszönöm figyelmüket.Köszönöm figyelmüket.

cnn template dekompozíció - analogikai algoritmusok implementációjának egy lehetséges...

Documents