您的位置:首頁>手機>正文

從數學概念入手,一文帶你理解感知機是什麼

雷鋒網AI科技評論按:

神經網路已經成為了人工智慧最火的領域,是源於大腦結構的計算模型。 屬於資訊處理結構,其最重要的屬性是其從資料中學習的能力。 這些技術在行銷、工程等諸多領域取得了巨大的成功。

感知機是一種人工神經網路,由Frank Rosenblatt于1957年發明,他也提出了相應的感知機學習演算法。

神經網路類型眾多,其中最為重要的是多層感知機。 多層感知機中的特徵神經元模型稱為感知機。本文將解釋從數學概念上理解感知機模型,雷鋒網編譯。

感知機元件

神經元是神經網路的主要組成部分,感知機是最常用的模型。 如下圖所示。

上述神經元包含下列元素:

 輸入(x1 ,...,xn )。

偏移b和突觸權重(w1 ,...,wn )。

組合函數c(·)。

啟動函數a(·)。

輸出y。

如下圖所示的神經元有三個輸入。 它將輸入集合x =(x1 ,x2 ,x3 )變換為單個輸出y。

上圖中的神經元,包含下列元素:

輸入(x1 ,x2 ,x3 )。

神經元參數,為集合b = -0.5和w =(1.0,-0.75,0.25)。

組合函數c(·),將輸入與偏移和突觸權重合並。

啟動函數設置為雙曲正切tanh(·),通過該組合生成神經元輸出。

輸出y。

神經元參數

神經元參數由偏移和一組突觸權重組成。

偏置b是實數。

突觸權重w =(w1 ,...,wn )是大小為輸入數量的向量。

因此,該神經元模型中的參數的總數是1 + n,其中n是神經元中輸入的數量。

上圖所示的感知機。 其神經元模型包含1個偏移和3個突觸權重:

偏移為b = -0.5。

突觸權重向量是w =(1.0,-0.75,0.25)。

該神經元參數數量為1 + 3 = 4。

組合功能

組合函數通過輸入向量x生成組合值或淨輸入c。 感知機中,組合由偏移加上突觸權重和輸入的線性組合計算得到,

c = b +Σwi·x i i = 1,...,n。

注意,偏置對啟動函數淨輸入的增減取決於其正負。 偏移有時被表示為連接到固定為+1的輸入的突觸權重。

上例中的神經元,輸入向量x =(-0.8,0.2,-0.4)的感知機的組合值為

c = -0.5 +(1.0·-0.8)+(-0.75·0.2)+(0.25·-0.4)

= -1.55

啟動功能

啟動函數通過組合來定義神經元的輸出。實踐當中,可以考慮多種適用的啟動函數。 三個最常用的是邏輯,雙曲正切和線性函數。 在此不考慮不可匯出的其他啟動函數,如閾值。

邏輯函數具有S形形狀。 該啟動是單調的新月形函數,其在線性和非線性☆禁☆行☆禁☆為之間表現出良好的平衡。 定義為

a = 1 /(1 + exp(-c))

邏輯函數如下圖所示。

邏輯函數的取值區間為(0,1)。 特別適合分類應用,因為輸出可以根據概率解釋。

雙曲正切也是神經網路領域中常用的S形函數。 它非常類似於邏輯函數。 主要區別是雙曲正切的取值區間為(-1,1)。 雙曲正切由

a = tanh(c)

雙曲正切如下圖所示。

超實體正切函數非常適用于近似應用。

線性啟動函數滿足下列等式

a = c

因此,具有線性啟動函數的神經元的輸出等於其組合。 線性啟動函數圖形如下圖所示。

線性啟動函數也非常適用于近似應用。

本文給出的例子中,組合值為c = -1.55。 因該函數為雙曲正切,所以該神經元的啟動如下:

a = tanh(-1.55)

= -0.91

輸出功能

輸出計算是感知機中最重要的功能。 對於特定的一組神經元輸入信號,通過組合生成輸出信號。 輸出函數以組合和啟動函數的組成表示。 下圖說明瞭感知機中資訊是如何傳播的。

因此,神經元的輸出最終表述為其輸入的函數

y = a(b + w·x)

本文中的感知機, 如果輸入x =(-0.8,0.2,-0.4),輸出y如下

y = tanh(-0.5 +(1.0·-0.8)+(-0.75·0.2)+(0.25·-0.4))

= tanh(-1.55)

= -0.91

顯而易見,輸出函數合併了組合和啟動函數。

結論

神經元是生物神經系統中單個神經元行為的數學模型。

單個神經元可以完成一些非常簡單的學習任務,但是許多神經元構成的網路威力巨大。人工神經網路的結構是指神經元的數量和它們之間的連接關係。 下圖顯示了神經元的前饋網路架構。

雖然通過本文讀者能夠瞭解感知機的功能,但是存在特徵各異並且用途不同的神經元模型。如可伸縮神經元,主成分神經元,非伸縮神經元或概率神經元。上圖中,可伸縮神經元為黃色,非伸縮神經元為紅色。

via 

neuraldesigner

,雷鋒網編譯

喜欢就按个赞吧!!!
点击关闭提示