Rețeaua neuronală Hopfield

Rețeaua neuronală Hopfield este un model de rețea neuronală recurentă în timp discret a cărui matrice de conexiune este simetrică și zero pe diagonală și în care dinamica este asincronă (un singur neuron este actualizat la fiecare unitate de timp). A fost popularizat de fizicianul John Hopfield în 1982 . Descoperirea sa a ajutat la relansarea interesului pentru rețelele neuronale care se epuizaseră în anii 1970, în urma unui articol al lui Marvin Minsky și Seymour Papert .

O rețea Hopfield este o memorie adresabilă prin conținutul său : o formă memorată este recuperată printr-o stabilizare a rețelei, dacă a fost stimulată de o parte adecvată a acestui formular.

Structura

Acest model de rețea este alcătuit din N neuroni cu stări binare (-1, 1 sau 0, 1 în funcție de versiune), toate interconectate. Prin urmare, intrarea totală a unui neuron i este:

I_ {i} = \ sum _ {{j}} w _ {{ij}} V_ {j}

$w _ {{ij}}$ este greutatea conexiunii de la neuronul i la neuronul j
$V_ {j}$ este starea neuronului j

Starea rețelei poate fi caracterizată printr-un cuvânt de N biți corespunzător stării fiecărui neuron.

Dinamic

Funcționarea rețelei este secvențiată de un ceas. Vom observa:

$Vieți)$ sau starea neuronului i la momentul t $V_i$
$V_ {i} (t + 1)$ starea neuronului i la momentul t + dt unde dt desemnează intervalul de timp dintre 2 căpușe de ceas

Există mai multe alternative destul de echivalente pentru actualizarea stării neuronilor:

Modul stochastic original al lui Hopfield în care fiecare neuron își schimbă starea într-un moment aleatoriu la o frecvență medie egală pentru toți neuronii. Mai simplu, putem considera că la fiecare bifă de ceas, desenăm un neuron la întâmplare pentru a-l actualiza.

Un mod sincron în care toți neuronii sunt actualizați simultan.

Un mod secvențial în care neuronii sunt actualizați într-o ordine definită.

Calculul noii stări a neuronului i se face după cum urmează:

${\ displaystyle V_ {i} (t + 1) = \ left \ {{\ begin {matrix} 1 & \ mathrm {si} \ sum _ {j} {w_ {ij} V_ {j}}> 0, \ \ -1 & \ mathrm {altfel} \ end {matrix}} \ right.}$

Învăţare

Învățarea într-o rețea Hopfield constă în asigurarea faptului că fiecare dintre prototipurile care trebuie memorate este:

O stare stabilă a rețelei

Un stat atrăgător care permite găsirea acestuia din stări ușor diferite

Pentru a estima greutățile, folosim o învățare Hebbiană, inspirată de legea Hebb (teoretizată de Hebb în 1949 și observată de fapt în creier de Bliss și Lomo în 1973 ). Deci una dintre reprezentările algebrice este:

w _ {{ij}} = {\ frac {1} {n}} \ sum _ {{k = 1}} ^ {p} x_ {i} ^ {k} x_ {j} ^ {k} \,

unde este greutatea legăturii dintre neuron și neuron , este dimensiunea vectorului de intrare, numărul de modele de antrenament și și , respectiv, sunt intrarea ith a neuronilor și . $w _ {{ij}}$ $j$ $eu$ $nu$ $p$ $x_ {i} ^ {k}$ $x_ {j} ^ {k}$ $k$ $eu$ $j$

Învățarea Hebbian minimizează funcția energetică , adică dacă două unități sunt active simultan, greutatea conexiunilor lor este crescută sau scăzută.

Limite

Cu toate acestea, rețeaua Hopfield are limite bine cunoscute: poate stoca doar aproximativ 0,14 n modele cu n numărul de neuroni. Modelele ulterioare, inspirate din rețeaua Hopfield, dar modificând regulile de stocare și acces, permit extinderea acestei limite de stocare.

Vezi și tu

Note și referințe

(în) JJ Hopfield , „ Rețele neuronale și sisteme fizice cu abilități de calcul colective emergente ” , Proceedings of the National Academy of Sciences , vol. 79, n o 8,1 st aprilie 1982, p. 2554–2558 ( ISSN 0027-8424 și 1091-6490 , PMID 6953413 , DOI 10.1073 / pnas.79.8.2554 , citit online , accesat la 24 octombrie 2018 )
Ala ABOUDIB , Vincent GRIPON și Xiaoran JIANG , „ Un studiu de algoritmi de recuperare a mesajelor rare în rețelele de clici neuronale “, COGNITIVE 2014: a 6 -a Conferință Internațională pe Advanced Cognitive tehnologii și aplicații ,Mai 2014, p. 140-146 ( citit online , accesat la 24 octombrie 2018 )

Articole similare

linkuri externe

Neural Lab - interfață grafică în Python și Gtk care permite manipularea unei rețele hopfield