霍普菲爾德神經網絡

霍普菲爾德神經網絡(Hopfield neural network)是一種循環神經網絡，由約翰·霍普菲爾德在1982年發明。Hopfield網絡是一種結合存儲系統和二元系統的神經網絡。它保證了向局部極小的收斂，但收斂到錯誤的局部極小值（local minimum），而非全局極小（global minimum）的情況也可能發生。霍普菲爾德網絡也提供了模擬人類記憶的模型。

構造

霍普菲爾德網絡的單元是二元的（binary），即這些單元只能接受兩個不同的值，並且值取決於輸入的大小是否達到閾值。Hopfield網絡通常接受值為-1或1，也可以是0或者1。輸入是由sigmoid函數處理得到的。 sigmoid函數定義為：

$S(t)={\frac {1}{1+e^{-t}}}$ ，

用於將輸入化簡為兩個極值。

每一對霍普菲爾德網絡的單元i和j間都有一對以一定權重（weight）的連接 $w_{ij}$ 。因此，霍普菲爾德網絡可被描述為一個完整的無向圖 $G=<V,f>$ ，其中 $V$ 是人工神經元集合。

霍普菲爾德網絡的連接有以下特徵：

$w_{ii}=0,\forall i$ （沒有神經元和自身相連）
$w_{ij}=w_{ji},\forall i,j$ （連接權重是對稱的）

權重對稱的要求是一個重要特徵，因為它保證了能量方程（稱向函數某一點收斂的過程為勢能轉化為能量）在神經元激活時單調遞減，而不對稱的權重可能導致周期性的遞增或者噪聲。然而，霍普菲爾德網絡也證明噪聲過程會被局限在很小的範圍，並且並不影響網絡的最終性能。

更新

使用下述公式更新霍普菲爾德中節點的值:

$s_{i}\leftarrow \left\{{\begin{array}{ll}+1&{\mbox{if }}\sum _{j}{w_{ji}s_{j}}\geq \theta _{i},\\-1&{\mbox{otherwise.}}\end{array}}\right.$

公式中：

$w_{ji}$ 是節點j到節點i的權重。
$s_{i}$ 節點i的值（狀態s）.
$\theta _{i}$ 節點i的閾值，常為0.

霍普菲爾德的更新有兩種方式：

異步: 每個更新一個節點。此節點可以是隨機選中的，也可是按照預設順序選中的。
同步: 同時更新所有節點的狀態。這種更新方式要求系統中具有中央時鐘以便維持同步。這種方式被認為是不太現實的，因為在生物或物理系統中常常沒有中央時鐘（用於保持同步狀態，即各個節點常常是自行其是的。）

參見

玻爾茲曼機 – 像一個霍普菲爾德網絡，可採用退火吉布斯抽樣代替梯度下降
受限玻爾茲曼機
易辛模型
赫布理論

參考文獻

J. J. Hopfield, "Neural networks and physical systems with emergent collective computational abilities", Proceedings of the National Academy of Sciences of the USA, vol. 79 no. 8 pp. 2554–2558, April 1982.

Hebb, D.O. (1949). Organization of behavior. New York: Wiley

Hertz, J., Krogh, A., & Palmer, R.G. (1991). Introduction to the theory of neural computation. Redwood City, CA: Addison-Wesley.

McCullough, W.S., & Pitts, W.H. (1943). A logical calculus of the ideas immanent in nervous activity. Bulletin of Mathematical Biophysics,5, 115-133

Polyn, S.M., & Kahana, M.J. (2008). Memory search and the neural representation of context. Trends in Cognitive Sciences, 12, 24-30.

Rizzuto, D.S., & Kahana, M.J. (2001). An autoassociative neural network model of paired-associate learning. Neural Computation, 13, 2075-2092.

Kruse, Borgelt, Klawonn, Moewes, Russ, Steinbrecher (2011). Computational Intelligence.

外部連結

Chapter 13 The Hopfield model（頁面存檔備份，存於互聯網檔案館） of Neural Networks - A Systematic Introduction（頁面存檔備份，存於互聯網檔案館） by Raul Rojas (ISBN 978-3-540-60505-8)
Hopfield Neural Network Applet
Hopfield Neural Network implementation in Ruby (AI4R)（頁面存檔備份，存於互聯網檔案館）
The Travelling Salesman Problem（頁面存檔備份，存於互聯網檔案館） - Hopfield Neural Network JAVA Applet
scholarpedia.org- Hopfield network（頁面存檔備份，存於互聯網檔案館） - Article on Hopfield Networks by John Hopfield
Hopfield Network Learning Using Deterministic Latent Variables - Tutorial by Tristan Fletcher
Neural Lab Graphical Interface - Hopfield Neural Network graphical interface (Python & gtk)

閱論編概率論：隨機過程
離散時間（英語：Discrete-time stochastic process）	伯努利過程分支過程中餐館過程高爾頓-沃特森過程（英語：Galton–Watson process）獨立同分佈馬爾可夫鏈莫蘭過程（英語：Moran process）隨機漫步循環擦除隨機遊走（英語：Loop-erased）自避行走
連續時間	貝塞爾過程出生-死亡過程維納過程/布朗運動布朗橋 Excursion（英語：Brownian excursion）分數布朗運動（英語：Fractional Brownian motion）幾何布朗運動 Meander（英語：Brownian meander）柯西過程（英語：Cauchy process） Contact process（英語：Contact process (mathematics)） Cox process（英語：科克斯过程） Diffusion process（英語：Diffusion process） Empirical process（英語：Empirical process）費勒過程（英語：Feller process）弗萊明-維奧過程（英語：Fleming–Viot process）伽馬過程（英語：Gamma process）亨特過程（英語：Hunt process） Interacting particle system（英語：Interacting particle system）s 伊藤積分伊藤過程跳躍擴散（英語：Jump diffusion）跳躍過程萊維過程 Local time（英語：Local time (mathematics)）馬爾可夫加過程（英語：Markov additive process）麥基恩-弗拉索夫過程（英語：McKean–Vlasov process）奧恩斯坦-烏倫貝克過程泊松過程複合泊松過程（英語：Compound Poisson process）非齊次泊松過程泊松點過程施拉姆-勒夫納演進半鞅 Sigma-martingale（英語：Sigma-martingale） Stable process（英語：Stable process） Superprocess（英語：Superprocess） Telegraph process（英語：Telegraph process） Variance gamma process（英語：Variance gamma process）維納過程 Wiener sausage（英語：Wiener sausage）
離散時間與連續時間	分支過程高斯過程隱馬爾可夫模型（HMM）馬可夫過程鞅鞅差序列（英語：Martingale difference sequence）局部鞅（英語：Local martingale） Sub- Super-（英語：Super-） Random dynamical system（英語：Random dynamical system） Regenerative process（英語：Regenerative process） Renewal process（英語：Renewal process）白雜訊
場及其它	狄利克雷過程（英語：Dirichlet process）高斯隨機場（英語：Gaussian random field）吉布斯測度（英語：Gibbs measure）霍普菲爾德神經網絡易辛模型馬爾可夫網絡滲流理論皮特曼-約爾過程（英語：Pitman–Yor process）點過程 Cox（英語：Point process#Cox point process）泊松過程玻茨模型隨機場隨機圖
時間序列模型	ARCH模型 ARIMA模型自我迴歸模型 ARMA模型廣義ARCH模型移動平均模型
金融模型	布萊克-德爾曼-托伊模型（英語：Black–Derman–Toy model）布萊克-卡拉辛斯基模型（英語：Black–Karasinski model）布萊克-舒爾斯模型陳模型 Constant elasticity of variance (CEV)（英語：Constant elasticity of variance model）科克斯-英格索爾-羅斯模型 (CIR)（英語：Cox–Ingersoll–Ross model） Garman–Kohlhagen（英語：Garman–Kohlhagen model） HJM框架赫斯頓模型（英語：Heston model） Ho–Lee（英語：Ho–Lee model）赫爾-懷特模型 LIBOR市場模型（英語：LIBOR market model） SABR volatility（英語：SABR volatility model）瓦西塞克模型（英語：Vasicek model）
精算學	Bühlmann（英語：Bühlmann model） Cramér–Lundberg（英語：Cramér–Lundberg model） Risk process（英語：Risk process） Sparre–Anderson（英語：Sparre–Anderson model）
等候理論	Bulk（英語：Bulk queue） Fluid（英語：Fluid queue） Generalized queueing network（英語：G-network） M/G/1（英語：M/G/1 queue） M/M/1 M/M/c（英語：M/M/c queue）
性質	右連左極函數 Continuous（英語：Continuous stochastic process） Continuous paths（英語：Sample-continuous process）遍歷性 Exchangeable（英語：Exchangeable random variables） Feller-continuous（英語：Feller-continuous process） Gauss–Markov（英語：Gauss–Markov process）馬爾可夫性質 Mixing（英語：Mixing (mathematics)） Piecewise deterministic（英語：Piecewise deterministic Markov process）可預測過程循序可測過程 Self-similar（英語：Self-similar process）平穩過程 Time-reversible（英語：Time reversibility）
極限定理	中心極限定理 Donsker's theorem（英語：Donsker's theorem） Doob's martingale convergence theorems（英語：Doob's martingale convergence theorems）遍歷理論 Fisher–Tippett–Gnedenko theorem（英語：Fisher–Tippett–Gnedenko theorem） Large deviation principle（英語：Large deviation principle）大數法則重對數律 Maximal ergodic theorem（英語：Maximal ergodic theorem） Sanov's theorem（英語：Sanov's theorem）
不等式	Burkholder–Davis–Gundy（英語：Burkholder–Davis–Gundy inequalities） Doob's martingale（英語：Doob's martingale inequality） Kunita–Watanabe（英語：Kunita–Watanabe inequality）
工具	Cameron–Martin formula（英語：Cameron–Martin formula）隨機變量的收斂 Doléans-Dade exponential（英語：Doléans-Dade exponential） Doob decomposition theorem（英語：Doob decomposition theorem） Doob–Meyer decomposition theorem（英語：Doob–Meyer decomposition theorem） Doob's optional stopping theorem（英語：Doob's optional stopping theorem） Dynkin's formula（英語：Dynkin's formula）費曼-卡茨公式右連左極函數 Girsanov theorem（英語：Girsanov theorem） Infinitesimal generator（英語：Infinitesimal generator (stochastic processes)）伊藤積分伊藤引理 Kolmogorov continuity theorem（英語：Kolmogorov continuity theorem） Kolmogorov extension theorem（英語：Kolmogorov extension theorem） Lévy–Prokhorov metric（英語：Lévy–Prokhorov metric） Malliavin calculus（英語：Malliavin calculus） Martingale representation theorem（英語：Martingale representation theorem） Optional stopping theorem（英語：Optional stopping theorem） Prohorov theorem（英語：Prohorov theorem）二次變差 Reflection principle（英語：Reflection principle (Wiener process)） Skorokhod integral（英語：Skorokhod integral） Skorokhod's representation theorem（英語：Skorokhod's representation theorem）右連左極函數 Snell envelope（英語：Snell envelope）隨機微分方程 Tanaka（英語：Tanaka equation）停時隨機積分 Uniform integrability（英語：Uniform integrability） Usual hypotheses（英語：Usual hypotheses）維納空間 Classical（英語：Classical Wiener space） Abstract 漂移項
相關領域	精算學計量經濟學遍歷理論極值理論（EVT） Large deviations theory（英語：Large deviations theory）數理金融學數理統計學概率論等候理論 Renewal theory（英語：Renewal theory） Ruin theory（英語：Ruin theory）統計學隨機分析時間序列分析機器學習
分類