類神經網路概述及實例 謝邦昌 教授 輔仁大學 統計學系

壹、類神經網路由來

類神經網路理論起源於1950年代，當時科學家仿造人類大腦的組織及運作方式，開始提出稱之為「感知機」（Perceptron）的神經元模型，這是最簡單也是最早的類神經模型，感知機通常被拿來做分類器（Classifier）使用。但是在1980年之前，由於專家系統(expert system)則是當時最流行的人工智慧基礎，加上類神經網路的理論仍不成熟，因此類神經網路並沒有受到很大的重視。

一直到1980年代之後，由於霍普菲爾（Hopfield）神經網路(1982年)被提出，而此時專家系統開始遇到了瓶頸，類神經網路理論才逐漸受到重視。直到今日為止，類神經網路仍然有新的架構及理論不斷的被提出，配合電腦運算速度的增加，使得類神經網路的功能更為強大，運用層面也更為廣泛。

一部機器的運作或是一個事件的發生常常有相對應的因果關係（例如：打開電器用品的開關，電器用品開始運作；腳踩油門車子的速度增加），我們將打開開關與腳踩油門的動作稱為系統的輸入，電器用品與車子稱為系統，而電器用品的運作與車子的速度稱為系統的輸出，整個輸入與輸出的關係可以用一個方塊圖來表示：

[pic]

類神經網路的一個優點在於並不需要瞭解系統的數學模型為何，而直接以神經網路取代系統的模型，一樣可以得到輸入與輸出之間的關係。其方塊圖如下所示：

[pic]

人類的大腦大約由1011個神經細胞（Nerve Cells）組成，而每個神經細胞又有104個突觸（Synapses）與其他細胞互相連結成一個非常複雜的神經網路。一個神經單元是由一個細胞主體（Cell body）所構成，而細胞主體則具有一些分支凸起的樹狀突起(Dendrite)和一個單一分支的軸突(Axom)。樹狀突起由其它的神經單元接收訊號，而當其所接受的脈動(Impulse)超過某一特定的定限(Threshold)，這個神經單元就會被點燃(Fire)，並產生一個脈動傳遞到軸突。

在軸突末端的分支稱為胞突纏絡(Synapse)，它是神經與神經的連絡點﹔它可以是抑制的或者是刺激的。抑制的胞狀纏絡會降低所傳送的脈動﹔刺激的細胞纏絡則會加強之。當人類的感官受到外界刺激經由神經細胞傳遞訊號到大腦，大腦便會下達命令傳遞至相關的受動器（Effectors）做出反應（例如：手的皮膚接觸到燙的物體立即放開），這樣的過程往往需要經由反覆的訓練，才能做出適當的判斷，並且記憶於腦細胞中。如果大腦受到損害（例如中風患者），便需要藉由復健的方式，重新學習。

雖然以上只是對一個神經的扼要描述，但實際上，已經包含了類神經計算模式的一些重要特色。我們可以了解，每一個計算單元只是一個簡單的定限裝置。它從別的單元接收訊號，當這些訊號超過了它的定限，那麼它就會傳遞出訊號給其它單元。另外，我們也發現，知識不再是以明確的符號來表示，而是表現在由神經和定限值所形成的整個網路。類神經網路的運作便源於此，藉由不同的演算法訓練類神經網路使得神經網路的輸出能達到我們所要求的結果。

貳、類神經網路簡介

類神經網路（Artificial Neural Network）類似人類神經結構的一個平行計算模式，是「一種基於腦與神經系統研究，所啟發的資訊處理技術」，通常也被稱為平行分散式處理模式（Parallel Distributed Processing Model）或連結模式（Connectionist Model）。

類神經網路它可以利用一組範例，即系統輸入與輸出所組成的資料，建立系統模型（輸入與輸出間的關係）。有了這樣的系統模型便可用於推估、預測、決策、診斷，而常見的迴歸分析統計技術也是一個可利用的範例，因此類神經網路也可以視為一種特殊形式的統計技術。

下圖為一個類神經元的模型顯示：

[pic]

X：稱為神經元的輸入（input） W：稱為鍵結值（weights） b：稱為閥值（bias），有偏移的效果 S：稱為加法單元（summation），此部分是將每一個輸入與鍵結值相乘後做一加總的動作。

φ( )：稱之為活化函數（activation function），通常是非線性函數，有數種不同的型式，其目的是將S的值做映射得到所需要的輸出。

Y：稱之為輸出（output），亦即我們所需要的結果。

虛線的部分即為類神經元，類神經網路的訓練就是在調整鍵結值，使其變得更大或是更小，通常由隨機的方式產生介於+1到- 1之間的初始值。鍵結值可視為一種加權效果，其值越大，則代表連結的神經元更容易被激發，對類神經網路的影響也更大；反之，則代表對類神經網路並無太大的影響，而太小的鍵結值通常可以移除以節省電腦計算的時間與空間。

將上述的神經元組合起來就成為一個類神經網路。目前為止，許多的學者針對欲解決問題的不同，提出許多的類神經網路模型，每一種類神經網路的演算法並不相同。常見的網路有：倒傳遞網路（Back-propagation Network）、霍普菲爾網路（Hopfield Network）、半徑式函數網路（Radial Basis Function Network），這些類神經網路並非適用所有的問題，我們必須針對欲解決問題的不同選擇適當的類神經網路。以下所顯示的是四個輸入與一個輸出的倒傳遞網路模型： [pic] ※圓圈的部分代表神經元

這個網路由三層的類神經單元所組成。第一層是由輸入單元所組成的輸入層，而這些輸入單元可接收樣本中各種不同特徵。這些輸入單元透過固定強度的連結連接到由特徵偵測單元後，再透過可調整強度的連結連接到輸出層中的輸出單元，最後，每個輸出單元對映到某一種特定的分類，這個網路是由調整連結強度的程序來達成學習的目的。

假如輸出單元的輸出值和所預期的值相同，那麼連接到此輸出單元的連結強度則不被改變。但如果應該輸出 1 的單元卻輸出 0，那麼連接到這個單元的連結強度則會被加強。相反的，如果應該輸出 0 卻輸出 1，那麼連接到此輸出單元的連結強度則會被降低。簡單的說，達成收斂的效果是這個學習程序的主要的目標。

要使得類神經網路能正確的運作，則必須透過訓練（training）的方式，讓類神經網路反覆的學習，直到對於每個輸入都能正確對應到所需要的輸出，因此在類神經網路學習前，我們必須建立出一個訓練樣本（training pattern）使類神經網路在學習的過程中有一個參考，訓練樣本的建立來自於實際系統輸入與輸出或是以往的經驗。

例如：洗衣機洗淨衣服的時間，與衣服的質料、數量、骯髒的程度有關，因此我們必須先針對不同質料、數量、骯髒的程度的衣服統計出洗衣所需的時間，建立訓練樣本。不同衣服的質料、數量、骯髒程度就是類神經網路的輸入，而洗衣所需的時間則為類神經網路的目標值（target），也就是類神經網路的參考輸出。類神經網路的工作性能與訓練樣本有直接的關係，若訓練樣本不正確、太少或是太相似，類神經網路的工作區間與能力將大打折扣。換句話說，訓練樣本就是類神經網路的老師，因此，訓練樣本越多、越正確、差異性越大，類神經網路的能力就越強。

類神經網路訓練的目的，就是讓類神經網路的輸出越接近目標值，亦即，相同的輸入進入到系統與類神經網路，得到的輸出值亦要相同。類神經網路未訓練前，其輸出是凌亂的，隨著訓練次數的增加，類神經網路的鍵結值會逐漸的被調整，使得目標值與神經網路的輸出兩者誤差越來越小。當兩者的誤差幾乎不再變化時，我們稱此類神經網路已收斂（convergence），此時類神經網路便訓練完成。通常我們會定義一個價值函數（cost function）作為神經網路收斂的指標，價值函數將會隨著網路的訓練次數越變越小最後幾乎不再變化。

學習率（learning rate），在類神經網路的訓練過程中是一個非常重要的參數。學習率影響著類神經網路收斂的速度，若學習率選擇較大則類神經網路收斂的速度將變得較快，反之，較小的學習率會使得類神經網路的收斂速度變慢。選擇太大或太小的學習率對類神經網路的訓練都有不良的影響。

當類神經網路經由訓練樣本訓練完成後，雖然神經網路的輸出已經與我們所要求的數值接近，但對於不是由訓練樣本所產生的輸入，我們並不知道會得到何種輸出。因此，我們必須使用另一組類神經網路從未見過樣本進入到類神經網路中，測試其推廣性（generalization），看看是否與所要求的值接近，而此樣本則稱之為測試樣本（testing pattern）。

參、類神經網路應用

由於類神經網路對於輸入對應到輸出有著記憶與學習的功能，並且對於未知的輸入有推廣性的功用，因此類神經網路可運用於各種領域中，舉例如下：

1. 工業應用 ˙控制器設計與系統鑑別 ˙產品品質分析（例：汽水瓶裝蓋與填充監測、珍珠分級） ˙機電設備診斷（例：數值電路診斷、類比IC診斷、汽車引擎診斷） ˙化工程序診斷 （例：化工廠製程故障診斷） ˙實驗數據模型建立 （例：複合材料行為模型建立） ˙工程分析與設計（例：鋼樑結構、道路鋪面狀況評級）

2. 商業應用 ˙股票投資（例：大盤基本分析、大盤技術分析、個股技術分析） ˙債券投資（例：債券分級、美國國庫券利率預測） ˙期貨、選擇權、外匯投資（例：期貨投資、選擇權投資、外匯投資） ˙商業信用評估（例：貸款信用審核、信用卡信用審核） ˙其他商業應用（例：直銷顧客篩選、不動產鑑價）

3. 管理應用 ˙策略管理（例：市場需求量預測方法之選擇、雇工人數規畫） ˙時程管理（例：排程策略選擇、工作排程） ˙品質管理（例：管制圖判讀、半導體製造過程所需蝕刻時間估計）

4. 資訊應用 ˙影像辨識系統（例：指紋識別、衛星遙測影像分析、醫學影像識別） ˙訊號分類 ˙其他資訊應用（例：雷達訊號分類、聲納訊號分類）

5. 科學應用 ˙醫學（例：皮膚病診斷、頭痛疾病診斷、心臟病診斷、基因分類） ˙化學（例：化合物化學結構識別、蛋白質結構分析） ˙其他科學應用（例：體操選手運動傷害分析、時間數列分析方法選擇）

6. 其他領域的應用 ˙函數模型建構（例：自來水廠水質處理操作） ˙預測模型建構（例：電力負載預測、太陽黑子活動預測） ˙決策模型建構（例：排程策略選擇、建築結構材料選擇）

肆、類神經網路優缺點 1. 優點 類神經網路與統計技術、歸納學習相比其優點有：

1. 類神經網路可以建構非線性的模型，模型的準確度高。

2. 類神經網路有良好的推廣性，對於未知的輸入亦可得到正確的輸出。

3. 類神經網路可以接受不同種類的變數作為輸入，適應性強。

4. 類神經網路可應用的領域相當廣泛，模型建構能力強。

5. 類神經網路具模糊推論能力，允許輸出入變數具模糊性，歸納學習較難具備此能力。

2. 缺點 類神經網路與統計技術、歸納學習相比其缺點有：

1. 類神經網路因為其中間變數（即隱藏層）可以是一層或二層，數目也可設為任意數目，而且有學習速率等參數需設定，工作相當費時。

2. 類神經網路以迭代方式更新鍵結值與閥值，計算量大，相當耗費電腦資源。

3. 類神經網路的解有無限多組，無法得知哪一組的解為最佳解。

4. 類神經網路訓練的過程中無法得知需要多少神經元個數，太多或太少的神經元均會影響系統的準確性，因此往往需以試誤的方式得到適當的神經元個數。

5. 類神經網路因為是以建立數值結構（含加權值的網路）來學習，其知識結構是隱性的，缺乏解釋能力。而歸納學習以建立符號結構（如：決策樹）來學習，其知識結構是顯性的，具解釋能力。

伍、結論

類神經網路是一門嶄新且令人興奮的研究領域，它包含了許多發展的潛力，但也同時遭受到一些尚未克服的困難。其優點可列舉如下:

1. 可處理雜訊﹕一旦一個類神經網路被訓練完成後，即使輸入的資料中有部分被遺失，它依然有能力去辨認樣本。

2. 不易損壞﹕因為類神經網路以分散式的方法來表式資料，所以當某些單元損壞時，它仍然可以正常的工作。

3. 可以平行處理。

4. 可以學習新的觀念。

5. 為智慧型機器提供了一個較合理的模式。

6. 已經被成功的運用在某些領域，而這些領域以一般傳統方法很難解決，如某些視覺問題。

7. 它的模式有希望實現聯合記憶體（Associative memory）。

8. 它提供了一個工具，來模擬並探討人腦的功能。

因為有這些優點，因此有關類神經網路的研究已快速的成長。然而，如果要持續這方面的研究，有一些問題是必須要注意的，如下所示：

1. 類神經網路並非人腦。人腦有不同且更複雜的結構；它們有相當高的模組化，而且不僅能調整連結強度的大小，它們還可以建立新的連結。

2. 類神經網路目前仍不能模擬高度認知的表徵，例如符號。無論人類在實際上是否屬於符號系統，我們確實有能力來產生並處理符號；如何以類神經網路來處理這些工作須進一步探討。

3. 類神經網路可能具有很差的抽象程度；它本身可能無法來描述高層次的程序。

4. 高層次的組織和抽象的原則是不可避免的。人腦的本身是一個具有高度結構和組織的系統。

5. 人類的某些智慧行為並不是平行的。許多高層次的推理行為在本質上似乎是循序(Sequential)的。

6. 人腦是一個相當大的組織，它具有上億的神經。雖然在較小的系統中，我們已確定可以達成一些有用的行為，但是具有更多智慧的程式所需的神經個數，可能遠超過我們實際能製作在電腦上的數目。

7. 雖然神經架構是人類智慧的基礎，但他們可能不是製作在機器上的最佳層次。

雖然有這些的困難，目前電腦的運算速度越來越快，類神經網路的訓練時間可以更為縮短，相信在未來類神經網路的應用領域將會更為廣泛，類神經網路還是具有相當的發展潛力，而且將成為研究的一個重要焦點。

範例:

類神經網路之SATAISTICA

1. 鳶尾花資料

將利用Statistica Neural Network中的概率模型與多層感知器模型，來判別鳶尾花的品種，再加以和Paper（演化式模糊類神經網路鑑別分類技術在資料探勘上之應用）中之Fuzzy模型、NN模型（用Qnet軟體）、以及Fuzzy-NN模型來比較判別結果的優劣。

以下先分別Run概率模型與多層感知器模型，和Paper裡架構一樣（100個Training Data，50個Testing Data），最後再統合比較。

1. 概率模型

開啟鳶尾花資料的Data Set，如下圖1：

[pic]

圖1：鳶尾花資料之Data Set

以Shuffle的方式隨機選出Training Data與Testing Data，在圖1中黑色部份為Training Data，藍色部份為Testing Data。

在Probabilistic Training中的Smoothing（滑動因子：此為控制輸入與輸出之間的擬合程度，值越小代表擬合的程度越高）測試了0.3、0.2、0.1、0.05、以及0.01；Smoothing為0.3與0.2時其判別的結果相同，判別結果如圖2至圖5：

[pic]

圖2：Smoothing為0.3與0.2時之判別結果

[pic]

圖3：Smoothing為0.1時之判別結果

[pic]

圖4：Smoothing為0.05時之判別結果

[pic]

圖5：Smoothing為0.01時之判別結果

以上結果皆為將接受與拒絕的標準都調至0.5，以避免判別時出現過多Unknown的情形。

由圖2至圖5可以看出，就Testing Data的判別結果而言，為Smoothing設定在0.1與0.05時最好，其Setosa判別正確率為100%、Versicol判別正確率為85.7%、Virginic判別正確率為93.3%，整體而言正確率為94%。

另外發現，將Smoothing調小雖然可以提高正確性，但若調整得太小（如圖5之Smoothing值為0.01）則反而會造成判別時Unknown的增加。

2. 多層感知器模型

我們同樣以剛才建立概率模型的資料，不再重新Shuffle，以避免標準不同所造成的結果無法比較。

首先將以Hidden Layer的Neuron數目為變數，分別測試數目為3（軟體建議）、8、9、10來建構模型，其餘變數固定（Learning Rate為0.1、Momentum為0.8），其測試之比較如下頁表1：

表1：各種隱藏層Neuron個數之Training RMSE結果

|隱藏層Neuron個數 |Momentum |Learning Rate |Training RMSE |
|3 |0.8 |0.1 |0.08219 |
|8 |0.8 |0.1 |0.08209 |
|9 |0.8 |0.1 |0.08135 |
|10 |0.8 |0.1 |0.08179 |

由表1可以看出，其實隱藏層的神經元個數在多層感知模型中並不會影響很大，其Training RMSE值皆在0.082附近（其實我們應該還要觀察Testing Data的RMSE，但Statistica NN無法為我們所列出）；其判別結果如下圖6與圖7（隱藏層神經元個數為8、9、10時結果相同）：

[pic]

圖6：隱藏層神經元個數為3時之判別結果

[pic]

圖7：隱藏層神經元個數為8、9、10之判別結果

判別結果差異其實不大，以隱藏層神經元個數較多時結果較好一些，對於Setosa與Virginic品種判別正確率皆為100%、Versicol品種判別正確率為78.8%；整體判別之正確率為0.94%。

另外再考慮Learning Rate對判別結果的影響，在此以0.1、0.2、0.3、0.5來測試，其餘條件同樣不變（Hidden Layer Neuron個數3、Momentum為0.8），測試結果如表2所示：

表2：各種Learning Rate之Training RMSE結果

|隱藏層Neuron個數 |Momentum |Learning Rate |Training RMSE |
|3 |0.8 |0.1 |0.08219 |
|3 |0.8 |0.2 |0.08047 |
|3 |0.8 |0.3 |0.08012 |
|3 |0.8 |0.5 |0.08006 |

由表2看出Learning Rate為0.2到0.5時，其Training RMSE值較小，其判別之結果如圖8至圖10（Learning Rate為0.3與0.5時結果相同）：

[pic]

圖8：Learning Rate為0.1之判別結果

[pic]

圖9：Learning Rate為0.2之判別結果

[pic]

圖10：Learning Rate為0.3與0.5之判別結果

由以上3圖看出判別正確率（整體）由低而高，最後又降低，以Learning Rate為0.2時表現的最好，對於Setosa與Virginic品種判別正確率皆為100%、Versicol品種判別正確率為78.8%；整體判別之正確率為0.94%。

※參考文獻

˙謝邦昌、邱志洲，類神經網路分析（Neural Network Analysis），曉園出版社

˙葉怡成，應用類神經網路，儒林圖書公司，1997.

˙蘇木春、張孝德，機械學習：類神經網路、模糊系統以及基因演算法則，全華科技圖書股份有限公司，1999.

˙海洋大學智慧型控制實驗室http://www.imt.ntou.edu.tw/Lab

˙news.csie.nctu.edu.tw