Regresia polinomială

Subclasă	Regresie liniară , regresie locală

Regresia polinomială este o analiză statistică care descrie variația unei variabile aleatoare explicată dintr - o funcție polinomială de explicative variate. Acesta este un caz special de regresie liniară multiplă , unde observațiile sunt construite din puterile unei singure variabile.

Prezentare

Dacă numim $( X i , Y i )$ a i -a realizare a perechii de variabile aleatorii, căutăm polinomul

{\ displaystyle P_ {n} (x) = a_ {n} x ^ {n} + a_ {n-1} x ^ {n-1} + \ ldots + a_ {1} x + a_ {0},}

îngăduind să scrie

{\ displaystyle Y_ {i} = P_ {n} (X_ {i}) + \ varepsilon _ {i}}

reziduul $ε i$ , sau perturbare, fiind „cel mai mic” în sensul celor mai mici pătrate .

Regresia polinomială este o regresie liniară multiplă : putem scrie relația, pentru $X i , p = X p i$ :

{\ displaystyle Y_ {i} = a_ {n} \ cdot X_ {i, n} + a_ {n-1} \ cdot X_ {i, n-1} + \ ldots + a_ {1} \ cdot X_ {i , 1} + a_ {0} + \ varepsilon _ {i}.}

Cazuri speciale

Regresia liniară este o regresie polinomială de gradul 1.

Aplicații

Un anumit număr de legi fizice sunt exprimate sub formă de polinoame. Regresia polinomială face posibilă estimarea valorilor parametrilor legii.

Metoda de netezire și derivare Savitzky-Golay utilizează regresia polinomială pe un interval de alunecare.

Rezoluție minimă pătrate

Luați în considerare un set de date $( X i , Y i ) 1 \leq i \leq n$ . Vrem să realizăm o regresie printr-un polinom de gradul trei:

{\ displaystyle P_ {3} (x) = ax ^ {3} + bx ^ {2} + cx + d.}

Pătratul reziduului este scris:

{\ displaystyle \ varepsilon (x, y) ^ {2} = \ left (P_ {3} (x) -y \ right) ^ {2}}

este

{\ displaystyle {\ begin {align} \ varepsilon (x, y) ^ {2} = \ x ^ {6} a ^ {2} + 2x ^ {5} ab + 2x ^ {4} ac + 2x ^ { 3} ad-2x ^ {3} ya \\ + x ^ {4} b ^ {2} + 2x ^ {3} bc + 2x ^ {2} bd-2x ^ {2} yb \\ + x ^ { 2} c ^ {2} + 2xcd-2xyc \\ + d ^ {2} -2yd \\ + y ^ {2} {\ text {.}} \ End {align}}}

Observăm apoi:

{\ displaystyle \ varepsilon _ {i}: = \ varepsilon (X_ {i}, Y_ {i})}

Valorile $a , b , c , d$ minimizează suma pătratelor reziduurilor $e$ :

{\ displaystyle e = \ sum _ {i} \ varepsilon _ {i} ^ {2}}

Noi sunam

{\ displaystyle \ mathrm {S} _ {j} = \ sum _ {i} \ mathrm {X} _ {i} ^ {j}}

și

{\ displaystyle \ mathrm {T} _ {j} = \ sum _ {i} \ mathrm {X} _ {i} ^ {j} \ mathrm {Y} _ {i}}

Dacă parametrul $a$ este mai mare sau mai mic, valoarea lui $e$ crește. Valoarea $e$ este minimă pentru $o$ solicitată, adică să spunem, derivata parțială a $e$ cu privire la $un$ trebuie să fie zero:

\ frac {\ partial e} {\ partial a} = 0 \ Longrightarrow 2a \ mathrm {S} _6 + 2b \ mathrm {S} _5 + 2c \ mathrm {S} _4 + 2d \ mathrm {S} _3 - 2 \ mathrm {T} _3 = 0

Putem face același lucru pentru fiecare parametru, care oferă un sistem de ecuații liniare :

{\ displaystyle {\ begin {pmatrix} \ mathrm {S} _ {6} & \ mathrm {S} _ {5} & \ mathrm {S} _ {4} & \ mathrm {S} _ {3} \\ \ mathrm {S} _ {5} & \ mathrm {S} _ {4} & \ mathrm {S} _ {3} & \ mathrm {S} _ {2} \\\ mathrm {S} _ {4} & \ mathrm {S} _ {3} & \ mathrm {S} _ {2} & \ mathrm {S} _ {1} \\\ mathrm {S} _ {3} & \ mathrm {S} _ {2 } & \ mathrm {S} _ {1} & \ mathrm {S} _ {0} \ end {pmatrix}} \ cdot {\ begin {pmatrix} a \\ b \\ c \\ d \ end {pmatrix} } = {\ begin {pmatrix} \ mathrm {T} _ {3} \\\ mathrm {T} _ {2} \\\ mathrm {T} _ {1} \\\ mathrm {T} _ {0} \ end {pmatrix}} {\ text {.}}}

Vezi și tu