1

類神經網路在智慧型管理決策之應用盧 坤 勇

2

第一部份類神經網路介紹壹、導論 貳、類神經網路架構 參、類神經網路演算法肆、類神經網路之應用

3

壹、導論一、類神經網路簡介 二、類神經網路之類型 三、類神經網路之運作 四、類神經網路之需求能力

4

一、類神經網路簡介類神經網路之定義： 「類神經網路是一種由軟體和硬體所組成之計算系統，

使用許多相連的人工神經元來模仿生物神經網路。透過人工神經元從外界環境或其它神經元取得所需資訊，經過簡單的運算之後，將結果輸出到外界環境或其它神經元，這些資訊可作進階使用。」

5

一、類神經網路簡介( 續 )類神經網路之背景‧早在 1957 年即有人提出此觀念 ‧早期是一種感知機（ perception）之型式‧在 1960 年代中期即告沒落‧在 1980 年代中期之後又再度流行

6

一、類神經網路簡介( 續 )生物神經網路之組成元素 神經核（ soma）

軸索（或稱神經軸）（ axon） 樹突（或稱神經樹）（ dendrites）

突觸（或稱神經節）（ synapse）

7

一、類神經網路簡介( 續 )神經樹 神經節

神經核

神經軸

生物神經元模型示意圖

8

一、類神經網路簡介( 續 )人工神經元模型

netj f

X1

X2

Xn

Wij Yj

閥值

輸入訊號連結加權值

處理單元淨值轉換函數輸出訊號

θj

9

一、類神經網路簡介( 續 )人工神經元資訊處理模型其中 Yj 表模仿生物神經元模型的輸出訊號 f 表模仿生物神經元模型之轉換函數（ transfer function ）

Wij 表模仿生物神經元模型之神經節強度，又稱為連結加權值

Xi 表模仿生物神經元模型之輸入訊號 θj 表模仿生物神經元模型之閥值

)( ji

iijj XWfY

10

一、類神經網路簡介( 續 )類神經網路組成單元 輸入層：用來輸入外在環境之資訊 隱藏層 (有些網路模型無此層 ) ： 提供類神經網路表現處理單元間之交互作用，

以及所處理問題之內在結構能力 輸出層：用來輸出訊息給外在環境

11

一、類神經網路簡介( 續 )倒傳遞類神經網路模型

輸入向量

輸入層 隱藏層 輸出層

輸出向量

12

二、類神經網路之類型

‧監督式學習模型（ Supervised learning network ）

‧非監督式學習模型（ Unsupervised learning network ）

‧聯想式學習（ Associated learning network ）

‧最適化應用網路（ Optimization application network ）

可綜合為四大類

13

監督式學習模型範例 : 老師在黑板書寫英文字母 A B C

D ，後向學生說明它們是英文字母 A B C D ， 學生開始學習認字。

下次老師重新寫上英文字母 A B C D ，雖然與前次之樣子不太相同，但學生依然可認出其為英文字母 A B C D 。

14

非監督式學習模型範例 : 老師在黑板書寫英文字母 A B C D，但不向學生說明它們是何字。

下次老師重新寫上英文字母 A B C D，雖然與前次之樣子不太相同，但學生依然可認出其為前次書寫之英文字母 A B C D中之某一個。

15

聯想式學習範例 : 老師在黑板書寫英文字母 A B C D，學生則學習老師之書寫筆順。

下次老師重新寫上英文字母 A B C D，縱使英文字母之筆畫有部份殘缺，但學生依然可聯想其正確筆順。

16

最適化應用網路針對一問題，設定相關變數及對應值，在滿足限制條件下，使得目標函數可達最佳化。

17

二、類神經網路之類型( 續 )監督式學習從問題領域中取得所需之學習範例（必須有輸入變數值和輸出變數值），透過範例之學習以取得輸入變數與輸出變數之對應規則再以此規則應用於新案例之推論（只有輸入值，輸出值 則以推論方式取得）。

18

二、類神經網路之類型( 續 )監督式學習常用模型

感知機網路（ Perception ）

倒傳遞網路（ Back-propagation Network，簡稱 BPN ）

機率神經網路（ Probabilistic Neural Network，簡稱 PNN ）

學習向量量化網路（ Learning Vector Quantization，簡稱 LVQ ）

反傳遞網路（ Counter- propagation Network，簡稱 CPN ）

19

二、類神經網路之類型( 續 )非監督式學習

從問題領域中取得所需之學習範例（只有輸入變數值），透過範例學習找出內在之聚類規則，再以這個聚類規則應用於新的案例之分析。

20

二、類神經網路之類型( 續 )非監督式學習常用模型

自組織映射網路（ Self-Organization

Map，簡稱 SOM）

自適應共振理論網路（ Adaptive Resonance

theory Network，簡稱 ART ）

21

二、類神經網路之類型( 續 )聯想式學習

從問題領域中取得所需之學習範例（狀態變數值），透過學習範例導出內在記憶規則，再以這個規則應用於新的案例之分析。

22

二、類神經網路之類型( 續 )聯想式學習常用模型

霍普菲爾網路（ Hopfield Neural

Network，簡稱 HNN

雙向聯想記憶網路（ Bi-directional

Associative Memory，簡稱 BAM ）

23

二、類神經網路之類型 ( 續 )最適化應用網路

類神經網路除可應用於學習過程外，也可依問題本質來決定其設計變數值， 在滿足設計之限制條件下，使得所設計之目標可達於最佳狀態。

24

二、類神經網路之類型 ( 續 )最適化應用網路常用模型

霍普菲爾 -坦克網路（ Hopfield –Tank

Neural Network，簡稱 HTN）

退火神經網路（ Annealed Neural

Network，簡稱 ANN ）

25

三、類神經網路之運作

類神經網路之運作方式乃模擬人類之學習過程，事前透過學習以取得一些經驗法則，事後則透過聯想方式，比對待解決問題與所記憶之類型。

學習與訓練

26

三、類神經網路之運作( 續 )學習與回想型態監督式：範例資料是由代表範例特徵輸入變數向量和代表範例分類或預測目標值之輸出變數共同組成。 非監督式：範例資料僅由代表範例特徵輸入變數向量所組成。

27

三、類神經網路之運作( 續 )學習與回想型態聯想式：範例資料僅由代表範例特徵之狀態變數向量所組成（變數同時具有輸入和輸出之特性，是以迭代方式來決定變數值，故稱為狀態變數）。

28

三、類神經網路之運作( 續 )類神經網路運作過程

訓練範例學習演算法 未學習網路 已學習網路 （調整加權值）

測試範例回想演算法法

已學習網路 已學習網路 （確認精度）

待推案例回想演算法法

已學習網路 待推案例 （輸出推論結果）

29

四、類神經網路之需求能力

高速計算能力 龐大的記憶容量 學習能力 容錯能力

優良的類神經網路應具備

30

貳、類神經網路架構一、網路構成元素 二、處理單元三、網路層的規劃四、網路處理過程五、網路設計綜合探討

31

一、網路構成元素類神經網路之組成單元 處理單元 (processing element)

層 (layer) 網路 (network)

32

一、網路構成元素( 續 )處理單元 (processing element)

為網路最基本單元，通常透過下列函數來處理資料： ‧集成函數 ‧作用函數 ‧及轉換函數

33

一、網路構成元素( 續 )層 (layer)

由具有相同作用之若干個處理單元所組成，作用特性可分成三類： ‧輸入層 ‧輸出層 ‧學習層

34

一、網路構成元素( 續 )網路 (network)

‧網路是由「層」集合而成 ‧通常具有學習和回想兩種作用

35

二、處理單元處理單元之類型‧集成函數 (summation function)

‧作用函數 (activity function)

‧轉換函數 (transfer function)

36

二、處理單元( 續 )處理單元間作用關係示意圖

其它處理單元輸出 網路連結集成函數值

作用函數

作用函數值轉換函數

處理單元輸出

I

netY

集成函數X W f1 f2

f3

37

集成函數 集成函數之功能在於將從其它處理單元轉來之資訊加以綜合，可用下式表示： 常用的集成函數有下列型式： ‧加權乘積和 ‧歐式距離

二、處理單元( 續 )

),( XWfI

ii

ijj XWI

2)( i

ijij WXI

38

作用函數 作用函數之功用在於將集成函數值與處理單元目前之狀態加以綜合，函數型式如下： 常用的作用函數有三種型式： ‧直接使用集成函數之輸出 ‧加入前次集成函數之輸出 ‧加入前次作用函數之輸出

二、處理單元( 續 )

),,( 11 nj

nj

njj netIIfnet

nj

nj Inet

1. nj

nj

nj IcInet

1. nj

nj

nj netcInet

39

轉換函數 轉換函數的功用是將作用函數之輸出值轉換成處理單元之輸出值，函數型式為：常用的轉換函數型式： ‧硬限函數 ‥Perceptron函數（又稱為階梯函數 step function）

二、處理單元( 續 )

)( jnetfY

00

01

j

jj

net

netY

如果

如果

40

‥Hopfield函數

‥Signum函數

二、處理單元( 續 )

01

01

j

jj

net

netY

如果

如果

00

0

011

j

jnj

jnj

net

netY

netY

如果

如果

如果

41

‥Signum0函數

‥BAM函數

二、處理單元( 續 )

01

00

01

j

j

jj

net

net

netY

如果

如果

如果

00

0

011

j

jnj

jj

net

netY

netY

如果

如果

如果

42

‧線性函數 ‥門限型函數

‥無門限型函數

二、處理單元( 續 )

00

0

j

jjj

net

netnetY

如果

如果

jj netY

43

‧非線性函數 ‥雙彎曲函數（ Sigmoid function）

‥雙曲線正切函數（ Hyperbolictangent function ）

二、處理單元( 續 )

jnetj eY

1

1

jj

jj

netnet

netnet

j eeeeY

44

三、網路層的規劃 隨不同的網路模式而有不同的的作用形態，常用的「層」作用有三種形式： ‧正規化輸出 ‧競爭化輸出 ‧競爭化學習

45

三、網路層的規劃( 續 ) 正規化輸出 正規化輸出是將同一層中的處理單元之原始輸

出向量予以正規化，轉成單位長度向量後，才作為層的輸出。

46

三、網路層的規劃( 續 )競爭化輸出 競爭化輸出是從同一層中的處理單元之原始輸

出向量選擇若干個最強的處理單元，將其值設為1，其餘值設為 0，然後將結果作為層的輸出。

47

三、網路層的規劃( 續 )競爭化學習 競爭化學習是從同一層中的處理單元之原始輸

出向量選擇若干個最強的處理單元（優勝單元），網路只調整與優勝單元相連的下層網路連結。

48

四、網路處理過程運作過程可分成兩個階段：‧學習階段（ Learning）

學習階段乃將適量的學習範例套入學習演算法，經逐次的學習之後，調整網路連結之加權值。

49

四、網路處理過程( 續 )‧回想階段（ Recalling）

回想階段乃將適量的測試範例套入回想演算法內，用來測試所建構之網路品質。

50

四、網路處理過程( 續 )類神經網路學習演算法 從能量函數（ Energy function）的觀點推導

演算法，能量函數可用來測度網路之學習效果，學習過程則在於求得能量函數之最小化。

51

四、網路處理過程( 續 )常見的學習演算法有三種型態： ‧監督式學習演算法 ‧非監督式學習演算法 ‧聯想式學習演算法

52

四、網路處理過程( 續 )能量函數型式 監督式學習演算法 非監督式學習演算法

聯想式學習演算法

2)(21

jjj YTE

2)(21

iiji WXE

i

jijij

XWXE21

53

四、網路處理過程( 續 )學習過程 ‧通常採用最陡坡降法來求取能量函數之最小化 ‧結果通常會收斂於一個鄰近起始值之局部最小化 ‧實務上需要用許多不同的起始值去搜尋總體最小值 ‧學習之目的在於調整網路連結加權值

54

四、網路處理過程( 續 )各種學習演算法之推導結果如下： ‧監督式學習演算法

‥差距法則（ Delta Rule ）

‥通用差距法則（ General Delta Rule ）

XW jij ..

ikik XW ..

55

四、網路處理過程( 續 ) ‧非監督式學習演算法

‧自聯想式學習法

‧異聯想式學習法

)(. ijiij WXW

p

pij

pj

pi

pij WXXW ).(

p

pij

pj

pi

pij WYXW ).(

56

四、網路處理過程( 續 )本節使用符號之意義 網路連結加權修正值 Wkj= 處理單元 k 的上層處理單元 j 之連結加權值 學習速率，用於控制每次加權值改變量之幅度 差距量，可作為修正加權值之依據 Xi = 連結輸入側之單元輸入值

ijW

ijj

57

四、網路處理過程( 續 )本節使用符號之意義 Tj = 連結輸出側之單元目標輸出值 Yj = 連結輸出側之單元推論輸出值 = 第 p 個式樣（訓練範例特徵向量）前部第 i 個 元素質 = 第 p 個式樣（訓練範例特徵向量）後部第 j 個 元素質

piX

pjY

58

五、網路設計綜合探討 在規劃類神經網路時，不同的參數設計會得到不

同的運作效率。 重要影響參數為： ‧隱藏層之處理單元數 ‧隱層層數 ‧學習效率

59

五、網路設計綜合探討( 續 )隱藏層之處理單元數 ‧處理單元數越多，則網路收斂速度越慢，但是卻

可得到更小的誤差值 ‧超過某個限度之後，對於訓練之誤差度之縮小就

沒有多大的助益

60

五、網路設計綜合探討( 續 )隱藏層之處理單元數計算公式

或是2

輸出單元數輸入單元數單元數

2/1. 輸出單元數輸入單元數單元數

61

五、網路設計綜合探討( 續 )隱層層數 ‧隱藏層數目以一到兩層具有最好的收斂效果 ‧太多或太少其收斂效果較差 ‧簡單問題取一層即可，複雜問題則取兩層

62

五、網路設計綜合探討( 續 )學習效率 ‧學習速率會影響網路加權值之修正量 ‧太大或太小對於網路之收斂效果均有不例之影響 ‧依經驗值，學習速率可設定在 0.5或 0.1到 1之間

63

參、類神經網路演算法一、網路架構 二、網路演算法 三、評估網路學習效果 四、網路學習過程 五、網路回想過程

64

一、網路架構以倒傳遞網路為例 倒傳遞網路是由輸入層、隱藏層、輸出層所構成，其

網路架構下圖所示。

輸入向量

輸入層 隱藏層 輸出層

輸出向量

65

一、網路架構(續 )

輸入層 用來呈現網路之輸入變數，處理單元之個數依實際問題而定，通常使用線性函數作為轉換函數，亦即： f(x) = x 。

66

一、網路架構(續 )

隱藏層 用來呈現輸入處理單元間之交互作用，處理單元數之設定並無一定準則可供參考，實務上通常是以試驗方式來決定，轉換函數通常採用非線性函數。網路架構可以沒有隱藏層之設計，也可以具有一層以上之隱藏層。

67

一、網路架構(續 )

輸出層 用來呈現網路之輸出變數，處理單元之個數依實際問題而定，通常使用非線性函數作為轉換函數。

68

一、網路架構(續 )

隱藏層與輸出層通常選用雙彎取函數作為轉換函數 xe

xf

11)(

1,0

0,0

a.雙彎曲函數 b. 雙曲線正切函數

1,0

-1,0

69

二、網路演算法 倒傳遞神經網路之演算法，是透過訓練範例之輸入向量 X 與目標輸出向量 T 來修正網路連結加權值 W，達到學習之目的。

演算法之推導過程如下四個步驟：

70

二、網路演算法(續 )

設 Aj表第 j 個單元推論輸出值， Tj表第 j 個單元目標輸出值，第 n 層之第 j 個輸出值與第 n-1層單元輸出值之關係可表示為：

其中 表集成函數， f 表轉換函數，且 )( n

jnj netfA

jni

iij

nj AWnet 1

1.

njnet

71

二、網路演算法(續 )

2.透過能量函數來降低網路輸出單元之目標輸出值與推論輸出值之差距，

再以最陡坡降法求取能量函數之最小值 2)(

21

jjj ATE

ijij W

EW

.

72

二、網路演算法(續 )

3.透過微積分之連鎖率（ chain rule），將 轉成下式

及

ijWE /

ij

nj

njij W

netnetE

WE

ij

nj

nj

nj

njij W

netnetA

AE

WE

73

二、網路演算法(續 )

3-1 第 n 層即為最終層，相當於網路之輸出層

3-2 第 n 層不是最終層，而是網路之隱藏層之一 )()(

21 n

jjk

nkkn

jnj

ATATAA

E

jkk

nkn

j

WAE

1

74

二、網路演算法(續 )

4. 總結 4-1 Wij介於輸出層與隱藏層間

4-2 Wij非介於輸出層與隱藏層間

)(.)( ' nj

njj

nj netfAT

).(.. '1 nj

kjk

nk

nj netfW

75

二、網路演算法(續 )

倒傳遞演算法關鍵公式

如果所使用之轉換函數為雙彎曲函數形式，如下式：

則

1.. ni

njij AW

jnetj enetf

1

1)(

)(1.)()('jjj netfnetfnetf

76

三、評估網路學習效果‧學習過程通常需要邊學習邊檢驗學習效果‧事前可將收集資料分成兩個部分，一半作為訓練範

例用，另一半作為測試用‧訓練過程可在每學習幾個學習循環，即將測試範例載入，以供檢視網路之誤差程度是否收斂

77

三、評估網路學習效果(續 )

誤差程度之評估方式 ‧誤差均方根法

‧總錯誤率 NM

YTM

p

N

j

pj

pj

.

)( 2

範例總數錯誤分類之範例總數總錯誤率

78

四、網路學習過程學習過程可分成八個步驟1.設定網路參數：諸如網路種類、層樹、處理單元

樹、網路連結等。2.使用均勻分配隨機亂數，產生加權值矩陣與閥值

向量初始值。3.輸入一個訓練範例之輸入向量 X，以及一個目標

輸出向量 T。

79

四、網路學習過程(續 )

4.計算推論輸出向量 Y 5.計算差距量 δ

6.計算加權值矩陣修正量，以及閥值向量修正量 7. 更新加權值及閥值 8.重複步驟 3到 7，直到收斂為止。

80

五、網路回想過程回想過程在於求取待求解問題之輸出向量值可依下述四個步驟來進行 1.設定網路相關參數值。 2. 讀入訓練過程所得之加權值矩陣及閥值。 3.輸入待求解問題之輸入向量 X。

4.計算推論輸出向量 Y

81

肆、類神經網路之應用實例一：信用卡持卡者之信用判斷 實例二：從技術面預測證交所隔日收盤指數之變化率 實例三：從技術面預測證交所隔日收盤指數之變化

82

實例四：從穩定液之成分及濃度來預估黏度 實例五：從取得之樣本值來診斷乳癌之良惡性情形 實例六：依據施工條件及地層基礎選擇適合的建築基樁型式

肆、類神經網路之應用( 續 )

83

實例一信用卡持卡者之信用判斷說明：可利用歷史案例之關鍵變數，以類神經網路來判定信用卡持卡者之信用狀態。

用途：金融診斷實作：1.輸入變數分類：小孩人數、職業、房屋數、每月收入、每月支出、銀行帳戶數、持卡張數、前幾月付款情形。

2.輸出變數分類：以有序分類多神經元來表示可能發生問題、有能力還款但會拖延及準時付款等三類。

3.分類模型：非模糊分類。4.網路模式：倒傳遞網路。5.網路架構： 14 – 14 - 3。

84

實例二從技術面預測證交所隔日收盤指數之變化率說明：利用歷史收盤指數變化情形，預估隔日收盤指數之變化。用途：投資決策實作：1.輸入變數分類：以單神經元編碼方式，將前數日之開盤指數、

最高指數、最低指數、收盤指數、成交量列為輸入變數。2.輸出變數分類：以實數之單神經元表示隔日收盤指數之變化率。3.分類模型：時間數列型。4.網路模式：倒傳遞網路。5.網路架構： 30 – 30 - 1 。

85

說明：可利用歷史之收盤指數變化情形，預估隔日收盤指數之變化。用途：投資決策實作：1.輸入變數分類：以單神經元編碼方式，將前十日之收盤指數列為輸入變數。

2.輸出變數分類：以實數值之單神經元表示隔日收盤指數。3.分類模型：時間數列型。4.網路模式：倒傳遞網路。5.網路架構： 10 – 10 - 1 。

實例三從技術面預測證交所隔日收盤指數之變化

86

說明：可利用投入之化學成分，預估成品之黏度。用途：化學分析實作：1.輸入變數分類：將高分子濃度、分散劑濃度及皂土濃度以

單神經元方式編碼。2.輸出變數分類：以實數值之單神經元表示漏斗之黏滯度。3.分類模型：非時間數列型。4.網路模式：倒傳遞網路。5.網路架構： 3 - 3 - 1 。

實例四從穩定液之成分及濃度來預估黏度

87

說明：可利用取得之樣本值來診斷乳癌之良惡性情形。用途：醫學診斷實作：1.輸入變數分類：以模糊邏輯變數單神經元編碼方式，將下列因素列為輸入變數，clump-thickness, cell-size-

uniformitycell-shape—uniformity, marginal-adhesion,single-epithelial-cell-size, bare-nuclei,bland-chromatin, normal-nucleoli, mitosis,

實例五從取得之樣本值來診斷是否罹患乳癌

88

實例五(續 )

1.輸出變數分類：以邏輯變數單神經元表示乳癌是否為惡 性（ 0=偽 , 1=真）。2.分類模型：非模糊分類型。3.網路模式：倒傳遞網路。4.網路架構： 9 – 9 - 1 。

89

實例六依據施工條件及地層基礎選擇適合的建築基樁型式說明：利用給定之施工條件及地質基礎資料，選定合適的基樁形式。

用途：工程決策實作：1.輸入變數分類：以單神經元編碼方式，將上部結構、土層型

態、鄰近結構、噪音管制、施工空間、基礎形式、工期要求、地下水位、交通狀況、貫入能力、含大礫石及土壤種類等十二項因素列為輸入變數。

90

實例六 ( 續 )2.輸出變數分類：以無序分類多神經元編碼方式，將基樁型式分成八類： 展式基腳、 H-鋼樁、場鑄混凝土樁、預鑄混凝土樁、乾孔無套管鑽掘式基樁、穩定液套管鑽掘式基樁、穩定液無套管鑽掘式基樁及鋼管樁。3.分類模型：非模糊分類模型。4.網路模式：倒傳遞網路。5.網路架構： 12 – 12 - 8 。

91

伍、未來發展 與限制一、待突破之問題點 二、未來發展方向

92

一、待突破之問題點‧大型化的問題 ‧可靠度方面的問題 ‧欠缺智慧型的決策能力 ‧欠缺高等智慧能力

93

二、未來發展方向‧擬生物神經網路之研究 ‧基本理論之研究 ‧電腦硬體架構之配合 ‧網路模式之改良與創新‧新的應用開發