ホップフィールド・ネットワーク

ホップフィールド・ネットワーク (英: Hopfield network) は、ニューラルネットワークの一モデルである。

アメリカ合衆国の物理学者であるジョン・ホップフィールド (J.J. Hopfield) が提唱した^[1]。ユニット（ニューロン）間に対称的な相互作用がある非同期型ネットワークであり、自然な操作によってネットワークのエネルギーが極小値をとる。元はスピンの安定条件をもとめるモデルとして発想されたものであったが、ネットワークによる連想記憶のモデルとして歓迎され、ニューラルネットブームの火付け役の一つとなり、また後のボルツマンマシンの元ともなった。これは統計的な変動をもちいて、エネルギーが極小値ではなく最小値をとることを目指すモデルである。

構造と動作

各ユニットはMcCulloch-Pitts 型入出力特性をもっている。

タイムスライス${\displaystyle t}$において、${\displaystyle w_{ij}(t)}$をユニットjからiへの結合係数、${\displaystyle -\theta _{i}(t)}$をユニットiの閾値、${\displaystyle x_{i}(t)}$をユニットiの出力とする。ここで全てのi, jの組について、i ≠ jならば${\displaystyle w_{ij}(t)=w_{ji}(t)}$、i = jならば${\displaystyle w_{ij}(t)=0}$である。またネットワーク全体のエネルギー${\displaystyle E(t)}$を、次のように定義する

${\displaystyle E(t)=-{1 \over 2}{\sum _{i\neq j}{w_{ij}{x_{i}(t)}{x_{j}(t)}}}-\sum _{i}{\theta _{i}(t)}{x_{i}(t)}}$

以上の構造を持つモデルをタイムスライス毎に次のように動作させる

1. ランダムにユニットを一つ選ぶ
2. そのユニットへの入力の重み付き総和を計算する
3. 結果に基づき、そのユニットの出力を更新する
   • 閾値より大きければ1
   • 閾値と等しければ現在と同じ値
   • 閾値より小さければ0
   • （この際、他のユニットには手を触れない）
4. tを増分だけ増加させ最初に戻る

すると、${\displaystyle E(t)}$はtの増加と共に単調減少することが容易に示される。

参考文献

1. ^ “Neural network and physical systems with emergent collective computational abilities”. Proceedings of the National Academy of Sciences of the United States of America 79 (8): 2554-8. (1982). PMID 6953413. http://www.pnas.org/cgi/content/abstract/79/8/2554?maxtoshow=&HITS=10&hits=10&RESULTFORMAT=1&author1=hopfield&andorexacttitle=and&andorexacttitleabs=and&andorexactfulltext=and&searchid=1&FIRSTINDEX=0&sortspec=relevance&resourcetype=HWCIT. 

外部リンク

• Hopfield Network （英語） - スカラーペディア百科事典「ホップフィールド・ネットワーク」の項目。