從數學概念入手，一文帶你理解感知機是什麼

雷鋒網AI科技評論按：

神經網路已經成為了人工智慧最火的領域，是源於大腦結構的計算模型。 屬於資訊處理結構，其最重要的屬性是其從資料中學習的能力。 這些技術在行銷、工程等諸多領域取得了巨大的成功。

感知機是一種人工神經網路，由Frank Rosenblatt于1957年發明，他也提出了相應的感知機學習演算法。

神經網路類型眾多，其中最為重要的是多層感知機。 多層感知機中的特徵神經元模型稱為感知機。本文將解釋從數學概念上理解感知機模型，雷鋒網編譯。

感知機元件

神經元是神經網路的主要組成部分，感知機是最常用的模型。 如下圖所示。

上述神經元包含下列元素：

 輸入（x1 ，...，xn ）。

偏移b和突觸權重（w1 ，...，wn ）。

組合函數c（·）。

啟動函數a（·）。

輸出y。

如下圖所示的神經元有三個輸入。 它將輸入集合x =（x1 ，x2 ，x3 ）變換為單個輸出y。

上圖中的神經元，包含下列元素：

輸入（x1 ，x2 ，x3 ）。

神經元參數，為集合b = -0.5和w =（1.0，-0.75,0.25）。

組合函數c（·），將輸入與偏移和突觸權重合並。

啟動函數設置為雙曲正切tanh（·），通過該組合生成神經元輸出。

輸出y。

神經元參數

神經元參數由偏移和一組突觸權重組成。

偏置b是實數。

突觸權重w =（w1 ，...，wn ）是大小為輸入數量的向量。

因此，該神經元模型中的參數的總數是1 + n，其中n是神經元中輸入的數量。

上圖所示的感知機。 其神經元模型包含1個偏移和3個突觸權重：

偏移為b = -0.5。

突觸權重向量是w =（1.0，-0.75,0.25）。

該神經元參數數量為1 + 3 = 4。

組合功能

組合函數通過輸入向量x生成組合值或淨輸入c。 感知機中，組合由偏移加上突觸權重和輸入的線性組合計算得到，

c = b +Σwi·x i i = 1，...，n。

注意，偏置對啟動函數淨輸入的增減取決於其正負。 偏移有時被表示為連接到固定為+1的輸入的突觸權重。

上例中的神經元，輸入向量x =（-0.8,0.2，-0.4）的感知機的組合值為

c = -0.5 +（1.0·-0.8）+（-0.75·0.2）+（0.25·-0.4）

= -1.55

啟動功能

啟動函數通過組合來定義神經元的輸出。實踐當中，可以考慮多種適用的啟動函數。 三個最常用的是邏輯，雙曲正切和線性函數。 在此不考慮不可匯出的其他啟動函數，如閾值。

邏輯函數具有S形形狀。 該啟動是單調的新月形函數，其在線性和非線性☆禁☆行☆禁☆為之間表現出良好的平衡。 定義為

a = 1 /（1 + exp（-c））

邏輯函數如下圖所示。

邏輯函數的取值區間為（0,1）。 特別適合分類應用，因為輸出可以根據概率解釋。

雙曲正切也是神經網路領域中常用的S形函數。 它非常類似於邏輯函數。 主要區別是雙曲正切的取值區間為（-1,1）。 雙曲正切由

a = tanh（c）

雙曲正切如下圖所示。

超實體正切函數非常適用于近似應用。

線性啟動函數滿足下列等式

a = c

因此，具有線性啟動函數的神經元的輸出等於其組合。 線性啟動函數圖形如下圖所示。

線性啟動函數也非常適用于近似應用。

本文給出的例子中，組合值為c = -1.55。 因該函數為雙曲正切，所以該神經元的啟動如下：

a = tanh（-1.55）

= -0.91

輸出功能

輸出計算是感知機中最重要的功能。 對於特定的一組神經元輸入信號，通過組合生成輸出信號。 輸出函數以組合和啟動函數的組成表示。 下圖說明瞭感知機中資訊是如何傳播的。

因此，神經元的輸出最終表述為其輸入的函數

y = a（b + w·x）

本文中的感知機， 如果輸入x =（-0.8,0.2，-0.4），輸出y如下

y = tanh（-0.5 +（1.0·-0.8）+（-0.75·0.2）+（0.25·-0.4））

= tanh（-1.55）

= -0.91

顯而易見，輸出函數合併了組合和啟動函數。

結論

神經元是生物神經系統中單個神經元行為的數學模型。

單個神經元可以完成一些非常簡單的學習任務，但是許多神經元構成的網路威力巨大。人工神經網路的結構是指神經元的數量和它們之間的連接關係。 下圖顯示了神經元的前饋網路架構。

雖然通過本文讀者能夠瞭解感知機的功能，但是存在特徵各異並且用途不同的神經元模型。如可伸縮神經元，主成分神經元，非伸縮神經元或概率神經元。上圖中，可伸縮神經元為黃色，非伸縮神經元為紅色。

via 

neuraldesigner

，雷鋒網編譯