ADALINE

ADALINE ( Adaptive Linear Neuron sau ulterior Adaptive Linear Element ) este o rețea neuronală artificială cu un singur strat.

A fost dezvoltat de profesorul Bernard Widrow și unul dintre studenții săi, Ted Hoff, de la Universitatea Stanford în 1960. Adaline se bazează pe neuronul formal al lui McCulloch și Pitts . Se compune dintr-o greutate sinaptică , o părtinire (se adaugă o constantă la intrare) și o funcție de însumare .

Diferența dintre Adaline și modelul McCulloch-Pitts se află în faza învățării , unde greutățile sinaptice sunt ajustate în funcție de suma ponderată a intrărilor de date. În perceptronul standard (McCulloch-Pitts), rețeaua trece prin funcția de activare (sau funcția de transfer), iar funcția de ieșire este utilizată pentru a regla greutățile sinaptice.

Există, de asemenea, o extensie numită Madaline.

Definiție

Adaline este o rețea neuronală cu un singur strat, cu mai multe noduri, fiecare acceptând mai multe intrări și generând o singură ieșire. Având în vedere următoarele variabile:

x, vectorul de intrare
w, "vectorul de greutate"
n, numărul de intrări
$\ theta$ , o constantă
y, ieșirea

apoi: . ${\ displaystyle y = \ sum _ {j = 1} ^ {n} x_ {j} w_ {j} + \ theta}$

Și dacă presupunem că:

${\ displaystyle x_ {n + 1} = 1}$
${\ displaystyle w_ {n + 1} = \ theta}$

atunci ieșirea se reduce la produsul punct al lui x și w: ${\ displaystyle y = x \ cdot w}$

Algoritm de învățare

Să ne pozăm:

$\ eta$ , rata de învățare (o constantă)
d, ieșirea dorită
o, ieșirea efectivă,

atunci greutățile sunt actualizate după cum urmează: . Adaline converge la eroarea celor mai mici pătrate, care este: ${\ displaystyle w \ leftarrow w + \ eta (do) x}$
${\ displaystyle E = (face) ^ {2}}$