Hopfield神經(jīng)網(wǎng)絡(luò)是一種遞歸神經(jīng)網(wǎng)絡(luò)，由約翰·霍普菲爾德在1982年發(fā)明。
簡介
Hopfield網(wǎng)絡(luò)是一種結(jié)合存儲系統(tǒng)和二元系統(tǒng)的神經(jīng)網(wǎng)絡(luò)。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發(fā)生。Hopfield網(wǎng)絡(luò)也提供了模擬人類記憶的模型。
離散Hopfield網(wǎng)絡(luò)是一個單層網(wǎng)絡(luò)，有個神經(jīng)元節(jié)點，每個神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點沒有自反饋。每個節(jié)點都可處于一種可能的狀態(tài)（1或－1），即當該神經(jīng)元所受的刺激超過其閥值時，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如 －1）。整個網(wǎng)絡(luò)有兩種工作方式：即異步方式和同步方式。
構(gòu)造
Hopfield網(wǎng)絡(luò)的單元是二元的（binary），即這些單元只能接受兩個不同的值，并且值取決于輸入的大小是否達到閾值。Hopfield網(wǎng)絡(luò)通常接受值為-1或1，也可以是0或者1。輸入是由sigmoid函數(shù)處理得到的。 sigmoid函數(shù)定義為：
用于將輸入化簡為兩個極值。
每一對Hopfiled網(wǎng)絡(luò)的單元和間都有一對以一定權(quán)重（weight）的連接{}。因此，Hopfiled網(wǎng)絡(luò)可被描述為一個完整的無向圖,，其中是人工神經(jīng)元集合。
Hopfiled網(wǎng)絡(luò)的連接有以下特征：
（沒有神經(jīng)元和自身相連）
（連接權(quán)重是對稱的）
權(quán)重對稱的要求是一個重要特征，因為它保證了能量方程（稱向函數(shù)某一點收斂的過程為勢能轉(zhuǎn)化為能量）在神經(jīng)元激活時單調(diào)遞減，而不對稱的權(quán)重可能導致周期性的遞增或者噪聲。然而，Hopfiled網(wǎng)絡(luò)也證明噪聲過程會被局限在很小的范圍，并且并不影響網(wǎng)絡(luò)的最終性能。
應(yīng)用
聯(lián)想記憶功能是離散Hopfield網(wǎng)絡(luò)的一個重要應(yīng)用范圍。要想實現(xiàn)聯(lián)想記憶，反饋網(wǎng)絡(luò)必須具有兩個基本條件：
① 網(wǎng)絡(luò)能收斂到穩(wěn)定的平衡狀態(tài)，并以其作為樣本的記憶信息；
② 具有回憶能力，能夠從某一殘缺的信息回憶起所屬的完整的記憶信息。離散Hopfield網(wǎng)絡(luò)實現(xiàn)聯(lián)想記憶的過程分為兩個階段：學習記憶階段和聯(lián)想回憶階段。在學習記憶階段中，設(shè)計者通過某一設(shè)計方法確定一組合適的權(quán)值，使網(wǎng)絡(luò)記憶期望的穩(wěn)定平衡點。聯(lián)想回憶階段則是網(wǎng)絡(luò)的工作過程。
離散Hopfield網(wǎng)絡(luò)用于聯(lián)想記憶有兩個突出的特點：即記憶是分布式的，而聯(lián)想是動態(tài)的。離散Hopfield網(wǎng)絡(luò)局限性，主要表現(xiàn)在以下幾點：
① 記憶容量的有限性；
② 偽穩(wěn)定點的聯(lián)想與記憶；
③ 當記憶樣本較接近時，網(wǎng)絡(luò)不能始終回憶出正確的記憶等。另外網(wǎng)絡(luò)的平衡穩(wěn)定點并不可以任意設(shè)置的，也沒有一個通用的方式來事先知道平衡穩(wěn)定點。
參見
?路德維希·玻爾茲曼機– 像一個Hopfield網(wǎng)絡(luò)，可采用退火吉布斯抽樣代替梯度下降
??易辛模型
??赫布理論
參考資料 >