Proces autoregresiv
Un proces autoregresiv este un model de regresie pentru seriile temporale în care seria este explicată mai degrabă prin valorile sale anterioare decât prin alte variabile.
Definiție
Un proces autoregresiv de ordine p, notat AR (p) este dat de:
Definiție - AR (p):Xt=vs.+φ1Xt-1+φ2Xt-2+...+φpXt-p+εt.{\ displaystyle X_ {t} = c + \ varphi _ {1} X_ {t-1} + \ varphi _ {2} X_ {t-2} + \ ldots + \ varphi _ {p} X_ {tp} + \ varepsilon _ {t}. \,}
unde sunt parametrii modelului, este un zgomot constant și un zgomot alb .
φ1,...,φp{\ displaystyle \ varphi _ {1}, \ ldots, \ varphi _ {p}}vs.{\ displaystyle c}εt{\ displaystyle \ varepsilon _ {t}}
Folosind operatorul de întârzieri , îl putem scrie:
L{\ displaystyle L} (1-φ1L-φ2L2-...-φpLp)Xt=vs.+εt.{\ displaystyle (1- \ varphi _ {1} L- \ varphi _ {2} L ^ {2} - \ ldots - \ varphi _ {p} L ^ {p}) X_ {t} = c + \ varepsilon _ {t}. \,}
Proces AR (1)
Un proces autoregresiv de ordinul 1 este scris:
Xt=vs.+φXt-1+εt.{\ displaystyle X_ {t} = c + \ varphi X_ {t-1} + \ varepsilon _ {t}. \,}
Reprezentare medie mobilă
Putem formula procesul AR (1) recursiv în raport cu condițiile anterioare:
Xt=vs.∑k=0NU-1φk+φNUXt-NU+∑k=0NU-1φkεt-k.{\ displaystyle X_ {t} = c \ sum _ {k = 0} ^ {N-1} \ varphi ^ {k} + \ varphi ^ {N} X_ {tN} + \ sum _ {k = 0} ^ {N-1} \ varphi ^ {k} \ varepsilon _ {tk}.}Revenind la valorile inițiale, ajungem cu:
Proprietate - Xt=vs.∑eu=0∞φeu+∑eu=0∞φeuεt-eu{\ displaystyle X_ {t} = c \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} + \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ varepsilon _ {ti}}
Demonstrație
Xt=vs.+φXt-1+εt=vs.+φ(vs.+φXt-2+εt-1)+εt=(1+φ)vs.+φ2Xt-2+εt+φεt-1=...=(1+φ+φ2+φ3+...)vs.+εt+φεt-1+φ2εt-2+φ3εt-3+...=vs.∑eu=0∞φeu+∑eu=0∞φeuεt-eu{\ displaystyle {\ begin {align} X_ {t} & = c + \ varphi X_ {t-1} + \ varepsilon _ {t} = c + \ varphi (c + \ varphi X_ {t-2} + \ varepsilon _ {t-1}) + \ varepsilon _ {t} \\ & = (1+ \ varphi) c + \ varphi ^ {2} X_ {t-2} + \ varepsilon _ {t} + \ varphi \ varepsilon _ {t -1} \\ & = \ ldots \\ & = (1+ \ varphi + \ varphi ^ {2} + \ varphi ^ {3} + \ ldots) c + \ varepsilon _ {t} + \ varphi \ varepsilon _ {t-1} + \ varphi ^ {2} \ varepsilon _ {t-2} + \ varphi ^ {3} \ varepsilon _ {t-3} + \ ldots \\ & = c \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} + \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ varepsilon _ {ti} \ end {align}}}
Trebuie remarcat faptul că sumele de aici urcă la infinit. Acest lucru se datorează faptului că, de multe ori, se presupune că seriile cronologice încep de la și nu . Cu toate acestea, unii autori consideră că seria începe și apoi adaugă valoarea inițială în formulă.
t0=-∞{\ displaystyle t_ {0} = - \ infty}t0=0{\ displaystyle t_ {0} = 0}t0=0{\ displaystyle t_ {0} = 0}X0{\ displaystyle X_ {0}}
Putem vedea că acesta este zgomotul alb conturat cu nucleul plus o medie constantă. Dacă zgomotul alb este gaussian , atunci este și un proces normal.
Xt{\ displaystyle X_ {t}}φk{\ displaystyle \ varphi ^ {k}}Xt{\ displaystyle X_ {t}}
Reprezentare în domeniul frecvenței
Densitatea spectrală de putere este transformata Fourier a funcției autocovariance. În cazul discret, acesta este scris:
Φ(ω)=12π∑nu=-∞∞Bnue-euωnu=12π(σ21+φ2-2φcos(ω)).{\ displaystyle \ Phi (\ omega) = {\ frac {1} {\ sqrt {2 \ pi}}} \, \ sum _ {n = - \ infty} ^ {\ infty} B_ {n} e ^ { -i \ omega n} = {\ frac {1} {\ sqrt {2 \ pi}}} \, \ left ({\ frac {\ sigma ^ {2}} {1+ \ varphi ^ {2} -2 \ varphi \ cos (\ omega)}} \ right).}Această dezvoltare este periodică datorită prezenței termenului cosinus în numitor. Presupunând că timpul de eșantionare ( ) este mai mic decât timpul de descompunere ( ), atunci putem folosi o aproximare continuă a :
Δt=1{\ displaystyle \ Delta t = 1}τ{\ displaystyle \ tau}Bnu{\ displaystyle B_ {n}}
B(t)≈σ21-φ2φ|t|{\ displaystyle B (t) \ approx {\ frac {\ sigma ^ {2}} {1- \ varphi ^ {2}}} \, \, \ varphi ^ {| t |}}care prezintă o formă lorentziană pentru densitatea spectrală:
Φ(ω)=12πσ21-φ2γπ(γ2+ω2){\ displaystyle \ Phi (\ omega) = {\ frac {1} {\ sqrt {2 \ pi}}} \, {\ frac {\ sigma ^ {2}} {1- \ varphi ^ {2}}} \, {\ frac {\ gamma} {\ pi (\ gamma ^ {2} + \ omega ^ {2})}}}unde este frecvența unghiulară asociată .
γ=1/τ{\ displaystyle \ gamma = 1 / \ tau}τ{\ displaystyle \ tau}
Momente ale unui proces AR (1)
Pentru a calcula diferitele momente ale unui proces AR (1), adică așteptarea , varianța , autocovarianța și autocorelația sa , vom presupune că zgomotele albe sunt distribuite independent și identic , cu zero așteptare și varianță (că observăm ).
σ2{\ displaystyle \ sigma ^ {2}}εeu∼eueud(0,σ2){\ displaystyle \ varepsilon _ {i} \ sim iid (0, \ sigma ^ {2})}
Speranţă
E[Xt]=φtX0+vs.∑eu=0t-1φeu{\ displaystyle \ operatorname {E} [X_ {t}] = \ varphi ^ {t} X_ {0} + c \ sum _ {i = 0} ^ {t-1} \ varphi ^ {i} \,}
Dovadă prin raționament prin inducție
-
P (0) (inițializare) : deoarece X 0 este determinist. Expresia este:E[X0]=X0{\ displaystyle \ operatorname {E} [X_ {0}] = X_ {0} \,}
φ0X0+vs.∑eu=0-1φeu=1X0+0=X0{\ displaystyle \ varphi ^ {0} X_ {0} + c \ sum _ {i = 0} ^ {- 1} \ varphi ^ {i} = 1X_ {0} + 0 = X_ {0} \,}E[Xt+1]=E[vs.+φXt+εt]{\ displaystyle \ operatorname {E} [X_ {t + 1}] = \ operatorname {E} [c + \ varphi X_ {t} + \ varepsilon _ {t}] \,}Deoarece E este un operator liniar:
E[Xt+1]=vs.+φE[Xt]{\ displaystyle \ operatorname {E} [X_ {t + 1}] = c + \ varphi \ operatorname {E} [X_ {t}] \,}Cu ipoteza inducției:
E[Xt+1]=vs.+φ(φtX0+vs.∑eu=0t-1φeu){\ displaystyle \ operatorname {E} [X_ {t + 1}] = c + \ varphi (\ varphi ^ {t} X_ {0} + c \ sum _ {i = 0} ^ {t-1} \ varphi ^ {i}) \,}
E[Xt+1]=vs.+φt+1X0+vs.∑eu=0t-1φeu+1{\ displaystyle \ operatorname {E} [X_ {t + 1}] = c + \ varphi ^ {t + 1} X_ {0} + c \ sum _ {i = 0} ^ {t-1} \ varphi ^ {i + 1} \,}
Prin schimbarea variabilelor în sumă, i → i-1 :
E[Xt+1]=φt+1X0+vs.+vs.∑eu=1tφeu{\ displaystyle \ operatorname {E} [X_ {t + 1}] = \ varphi ^ {t + 1} X_ {0} + c + c \ sum _ {i = 1} ^ {t} \ varphi ^ {i } \,}Și, cu :
vs.=vs.∑eu=00φeu{\ displaystyle c = c \ sum _ {i = 0} ^ {0} \ varphi ^ {i} \,}
E[Xt+1]=φt+1X0+vs.∑eu=0tφeu{\ displaystyle \ operatorname {E} [X_ {t + 1}] = \ varphi ^ {t + 1} X_ {0} + c \ sum _ {i = 0} ^ {t} \ varphi ^ {i} \ ,}Varianța
Var[Xt]=∑eu=0tφ2euσ2{\ displaystyle \ operatorname {Var} [X_ {t}] = \ sum _ {i = 0} ^ {t} \ varphi ^ {2i} \ sigma ^ {2}}
Dovadă
Var[Xt]=E[(Xt-E[Xt])2]=E[(vs.∑eu=0∞φeu+∑eu=0∞φeuεt-eu-vs.∑eu=0∞φeu)2]Conform rezultatului obținut mai sus=E[(∑eu=0∞φeuεt-eu)2]=Var[∑eu=0∞φeuεt-eu]deoarece E(X2)=Var(X)+E(X)2și E[∑eu=0∞φeuεt-eu]=∑eu=0∞φeuE[εt-eu]=0prin ipoteza E[εt]=0=∑eu=0∞Var[φeuεt-eu]prin independența de εt și a fortiori φeuεt-eu=∑eu=0∞φ2euVar[εt-eu] deoarece Var[laX]=la2Var[X]=∑eu=0∞φ2euσ2{\ displaystyle {\ begin {align} \ operatorname {Var} [X_ {t}] & = \ operatorname {E} \ left [(X_ {t} - \ operatorname {E} [X_ {t}]) ^ { 2} \ right] \\ & = \ operatorname {E} \ left [\ left (c \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} + \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ varepsilon _ {ti} -c \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ right) ^ {2} \ right] {\ text {Conform rezultatului obținut mai sus}} \\ & = \ operatorname {E} \ left [\ left (\ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ varepsilon _ {ti} \ dreapta) ^ {2} \ dreapta] \\ & = \ operatorname {Var} \ left [\ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ varepsilon _ {ti} \ right] \ quad {\ text {car}} \ operatorname {E} \ left (X ^ {2} \ right) = \ operatorname {Var} (X) + \ operatorname {E} (X) ^ {2} \ quad {\ text {și}} \\ & \ quad \ quad \ quad \ quad \ quad \ quad \ quad \ quad \ quad \ operatorname {E} \ left [\ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i } \ varepsilon _ {ti} \ right] = \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ operatorname {E} [\ varepsilon _ {ti}] = 0 \\ & \ quad \ quad \ quad \ quad \ quad \ quad \ quad \ quad \ quad {\ text {după ipoteza}} \ operatorname {E} [\ varepsilon _ {t}] = 0 \\ & = \ sum _ {i = 0} ^ {\ infty} \ ope ratorname {Var} \ left [\ varphi ^ {i} \ varepsilon _ {ti} \ right] \ quad {\ text {prin independența lui}} \ varepsilon _ {t} {\ text {și a fortiori din}} \ varphi ^ {i} \ varepsilon _ {ti} \\ & = \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {2i} \ operatorname {Var} [\ varepsilon _ {ti}] \ quad { \ text {car}} \ operatorname {Var} [aX] = a ^ {2} \ operatorname {Var} [X] \\ & = \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {2i } \ sigma ^ {2} \ end {align}}}
Cov[Xt,Xt-j]=φj∑eu=0t-jφ2euσ2{\ displaystyle \ operatorname {Cov} [X_ {t}, X_ {tj}] = \ varphi ^ {j} \ sum _ {i = 0} ^ {tj} \ varphi ^ {2i} \ sigma ^ {2} }
Dovadă
Cov[Xt,Xt-j]=E[(Xt-E[Xt])(Xt-j-E[Xt-j])]=E[(∑eu=0∞φeuεt-eu)(∑k=0∞φkεt-k-j)]=E[∑eu=0∞∑k=0∞φeu+kεt-euεt-k-j]=∑eu=0∞∑k=0, k+j≠eu∞φeu+kE[εt-euεt-k-j]+∑k=0∞φ2k+jE[εt-k-j2]=∑k=0∞φ2k+jVar[εt-k-j]deoarece prin asumarea independenței de εl, E[εt-euεt-k-j]=E[εt-eu]E[εt-k-j]=0, și E[εt-k-j2]=Var[εt-k-j]+E[εt-k-j]2=Var[εt-k-j]=φj∑eu=0∞φ2euσ2{\ displaystyle {\ begin {align} \ operatorname {Cov} [X_ {t}, X_ {tj}] & = \ operatorname {E} \ left [(X_ {t} - \ operatorname {E} [X_ {t }]) (X_ {tj} - \ operatorname {E} [X_ {tj}]) \ right] \\ & = \ operatorname {E} \ left [(\ sum _ {i = 0} ^ {\ infty} \ varphi ^ {i} \ varepsilon _ {ti}) (\ sum _ {k = 0} ^ {\ infty} \ varphi ^ {k} \ varepsilon _ {tkj}) \ right] \\ & = \ operatorname { E} \ left [\ sum _ {i = 0} ^ {\ infty} \ sum _ {k = 0} ^ {\ infty} \ varphi ^ {i + k} \ varepsilon _ {ti} \ varepsilon _ {tkj } \ right] \\ & = \ sum _ {i = 0} ^ {\ infty} \ sum _ {k = 0, ~ k + j \ neq i} ^ {\ infty} \ varphi ^ {i + k} \ operatorname {E} \ left [\ varepsilon _ {ti} \ varepsilon _ {tkj} \ right] + \ sum _ {k = 0} ^ {\ infty} \ varphi ^ {2k + j} \ operatorname {E} \ left [\ varepsilon _ {tkj} ^ {2} \ right] \\ & = \ sum _ {k = 0} ^ {\ infty} \ varphi ^ {2k + j} \ operatorname {Var} [\ varepsilon _ {tkj}] \ qquad {\ text {deoarece prin presupunerea independenței lui}} \ varepsilon _ {l} {\ text {,}} \ operatorname {E} \ left [\ varepsilon _ {ti} \ varepsilon _ {tkj } \ right] = \ operatorname {E} [\ varepsilon _ {ti}] \ operatorname {E} [\ varepsilon _ {tkj}] = 0 {\ text {,}} \\ & \ qquad ~~~~ ~ ~~~~~~~~~~~~ ~~~~~~~~~~~~~~~~~~~~~ {\ text {and}} \ operatorname {E} \ left [\ varepsilon _ {tkj} ^ {2} \ right] = \ operatorname {Var} [\ varepsilon _ {tkj}] + \ operatorname {E} [\ varepsilon _ {tkj}] ^ {2} = \ operatorname {Var} [\ varepsilon _ {tkj}] \\ & = \ varphi ^ {j} \ sum _ {i = 0} ^ {\ infty} \ varphi ^ {2i} \ sigma ^ {2} \ end {align}}}
Corect[Xt,Xt-j]≡Cov[Xt,Xt-j]Var(Xt)Var(Xt-j)=φj1-φ2(t-j)+21-φ2t+2{\ displaystyle \ operatorname {Corr} [X_ {t}, X_ {tj}] \ equiv {\ frac {\ operatorname {Cov} [X_ {t}, X_ {tj}]} {\ sqrt {\ operatorname {Var } (X_ {t}) \ operatorname {Var} (X_ {tj})}}} = \ varphi ^ {j} {\ sqrt {\ frac {1- \ varphi ^ {2 (tj) +2}} { 1- \ varphi ^ {2t + 2}}}}}
Condiții de staționaritate
Parametrul determină dacă procesul AR (1) este staționar sau nu:
φ{\ displaystyle \ varphi}|φ|={<1Procesul este staționar=1Mers aleatoriu: procesul este deci non-staționar>1Procesul este exploziv{\ displaystyle | \ varphi | = {\ begin {cases} <1 & {\ text {Procesul este staționar}} \\ = 1 & {\ text {Mers aleatoriu: procesul nu este deci staționar}} \\> 1 și {\ text {Procesul este exploziv}} \ end {cases}}}
ϕ <1
În această condiție , următoarele rezultate provin din faptul că dacă atunci seria geometrică .
X0=vs.1-φ{\ displaystyle X_ {0} = {\ frac {c} {1- \ varphi}}}|q|<1{\ displaystyle | q | <1} ∑nu=0∞laqnu=la1-q{\ displaystyle \ sum _ {n = 0} ^ {\ infty} aq ^ {n} = {\ frac {a} {1-q}}}
dacă |φ|<1:{\ displaystyle {\ text {si}} | \ varphi | <1:}
E[Xt]=vs.1-φ{\ displaystyle \ operatorname {E} [X_ {t}] = {\ frac {c} {1- \ varphi}}}
Var[Xt]=σ21-φ2{\ displaystyle \ operatorname {Var} [X_ {t}] = {\ frac {\ sigma ^ {2}} {1- \ varphi ^ {2}}}}
Cov[Xt,Xt-j]=φj1-φ2σ2{\ displaystyle \ operatorname {Cov} [X_ {t}, X_ {tj}] = {\ frac {\ varphi ^ {j}} {1- \ varphi ^ {2}}} \ sigma ^ {2}}
Corect[Xt,Xt-j]=φj{\ displaystyle \ operatorname {Corr} [X_ {t}, X_ {tj}] = \ varphi ^ {j}}
Putem vedea că funcția de autocovarianță scade cu o rată de . Vedem aici că așteptarea și varianța sunt constante și că autocovarianța nu depinde de timp: procesul este deci staționar .
τ=-1/ln(φ){\ displaystyle \ tau = -1 / \ ln (\ varphi)}
ϕ = 1
Când , procesul este scris: și, prin urmare, având în vedere spre deosebire de anterior ,φ=1{\ displaystyle \ varphi = 1}Xt=vs.+Xt-1+εt{\ displaystyle X_ {t} = c + X_ {t-1} + \ varepsilon _ {t}}t0=0{\ displaystyle t_ {0} = 0}Xt=vs.t+X0+∑eu=0t-1εt-eu{\ displaystyle X_ {t} = ct + X_ {0} + \ sum _ {i = 0} ^ {t-1} \ varepsilon _ {ti}}
dacă |φ|=1:{\ displaystyle {\ text {si}} | \ varphi | = 1:}
E[Xt]=vs.t+E[X0]{\ displaystyle \ operatorname {E} [X_ {t}] = ct + \ operatorname {E} [X_ {0}] \,}
Var[Xt]=tσ2{\ displaystyle \ operatorname {Var} [X_ {t}] = t \ sigma ^ {2} \,}
Cov[Xt,Xt-j]=(t-j)σ2{\ displaystyle \ operatorname {Cov} [X_ {t}, X_ {tj}] = (tj) \ sigma ^ {2} \,}
Proces AR (p)
Se scrie un proces AR (p):
Xt=vs.+φ1Xt-1+φ2Xt-2+...+φpXt-p+εt.{\ displaystyle X_ {t} = c + \ varphi _ {1} X_ {t-1} + \ varphi _ {2} X_ {t-2} + \ ldots + \ varphi _ {p} X_ {tp} + \ varepsilon _ {t}. \,}Momente
Diferitele momente ale unui proces staționar (a se vedea secțiunea următoare) sunt:
E(Xt)=vs.1-φ1-φ2-...-φp{\ displaystyle \ operatorname {E} (X_ {t}) = {\ frac {c} {1- \ varphi _ {1} - \ varphi _ {2} - \ ldots - \ varphi _ {p}}}}
Var(Xt)=φ1γ1+φ2γ2+...+φpγp+σ2{\ displaystyle \ operatorname {Var} (X_ {t}) = \ varphi _ {1} \ gamma _ {1} + \ varphi _ {2} \ gamma _ {2} + \ ldots + \ varphi _ {p} \ gamma _ {p} + \ sigma ^ {2}}
Cov(Xt,Xt-j)=φ1γj-1+φ2γj-2+...+φpγj-p{\ displaystyle \ operatorname {Cov} (X_ {t}, X_ {tj}) = \ varphi _ {1} \ gamma _ {j-1} + \ varphi _ {2} \ gamma _ {j-2} + \ ldots + \ varphi _ {p} \ gamma _ {jp}}
Formulele de varianță și covarianță corespund așa-numitelor ecuații Yule și Walker ( vezi mai jos ).
Stare de staționaritate
Teorema - Un proces AR (p) este staționar dacă modulul soluțiilor (rădăcinile) ecuației sale caracteristice este de fiecare dată strict mai mare de 1 în valoare absolută.
Condiția este adesea formulată diferit, ca rădăcinile să fie în afara cercului complex al unității.
Exemplu: AR (1)
Întârzierea polinomială unui (1) proces AR este: . Rezoluția sa (prin înlocuirea operatorului de întârziere L cu valoarea simplă x) dă . Condiția ca soluția să fie mai mare de 1 se ridică laXt=φXt-1+εt{\ displaystyle X_ {t} = \ varphi X_ {t-1} + \ varepsilon _ {t}}(1-φL)Xt=εt{\ displaystyle (1- \ varphi L) X_ {t} = \ varepsilon _ {t}}1-φX=0⇒X=1φ{\ displaystyle 1- \ varphi x = 0 \ Rightarrow x = {\ frac {1} {\ varphi}}}|1φ|>1⇒|φ|<1{\ displaystyle | {\ frac {1} {\ varphi}} |> 1 \ Rightarrow | \ varphi | <1}
Exemplu: AR (2)
Întârzierea polinomială unui AR (2) prevede: . Rezolvarea ecuației pătratice conduce la următoarele condiții:
Xt=φ1Xt-1+φ2Xt-2+εt{\ displaystyle X_ {t} = \ varphi _ {1} X_ {t-1} + \ varphi _ {2} X_ {t-2} + \ varepsilon _ {t}}(1-φ1L-φ2L2)Xt=εt{\ displaystyle (1- \ varphi _ {1} L- \ varphi _ {2} L ^ {2}) X_ {t} = \ varepsilon _ {t}} (1-φ1X-φ2X2){\ displaystyle (1- \ varphi _ {1} x- \ varphi _ {2} x ^ {2})}
- φ1+φ2<1{\ displaystyle \ varphi _ {1} + \ varphi _ {2} <1}
- φ2-φ1<1{\ displaystyle \ varphi _ {2} - \ varphi _ {1} <1}
- |φ2|<1{\ displaystyle | \ varphi _ {2} | <1}
Exemplu: AR (p)
Se poate scrie întârzierea polinomială a unui AR (p) . Rezolvarea ecuației duce la următoarele condiții necesare (dar nu suficiente):
Xt=φ1Xt-1+φ2Xt-2+⋯+φpXt-p+εt{\ displaystyle X_ {t} = \ varphi _ {1} X_ {t-1} + \ varphi _ {2} X_ {t-2} + \ dots + \ varphi _ {p} X_ {tp} + \ varepsilon _ {t}}(1-φ1L-φ2L2-⋯-φpLp)Xt=εt{\ displaystyle (1- \ varphi _ {1} L- \ varphi _ {2} L ^ {2} - \ dots - \ varphi _ {p} L ^ {p}) X_ {t} = \ varepsilon _ { t}}(1-φ1X-φ2X2-⋯-φpXp){\ displaystyle (1- \ varphi _ {1} x- \ varphi _ {2} x ^ {2} - \ dots - \ varphi _ {p} x ^ {p})}
- φ1+φ2+⋯+φp<1{\ displaystyle \ varphi _ {1} + \ varphi _ {2} + \ dots + \ varphi _ {p} <1}
- |φp|<1{\ displaystyle | \ varphi _ {p} | <1}
Ecuațiile Yule-Walker
Cele Yule -Walker ecuațiile stabilesc o corespondență directă între parametrii model ( AND ) și autocovariances sale. Sunt utile pentru determinarea funcției de autocorelație sau estimarea parametrilor. Ei stabilesc că:
φ{\ displaystyle \ varphi}vs.{\ displaystyle c}
ecuația YW - γj=∑k=1pφkγj-k∀j=1,...,p{\ displaystyle \ gamma _ {j} = \ sum _ {k = 1} ^ {p} \ varphi _ {k} \ gamma _ {jk} \ qquad \ forall j = 1, \ ldots, p}
Coeficienții reprezintă funcția de autocovarianță a lui X de ordinul j.
γj{\ displaystyle \ gamma _ {j}}Când includem și autocovarianța de ordinul 0 (de fapt, varianța), trebuie să adăugăm și varianța reziduurilor pentru prima ecuație. Acest termen suplimentar se găsește numai în prima ecuație, deoarece am făcut ipoteza de independență a reziduurilor (și, prin urmare ).
Cov(ε)=0{\ displaystyle \ operatorname {Cov} (\ varepsilon) = 0}
ecuația YW - γj=∑k=1pφkγj-k+σε2δj∀j=0,...,p{\ displaystyle \ gamma _ {j} = \ sum _ {k = 1} ^ {p} \ varphi _ {k} \ gamma _ {jk} + \ sigma _ {\ varepsilon} ^ {2} \ delta _ { j} \ qquad \ forall j = 0, \ ldots, p}
σε{\ displaystyle \ sigma _ {\ varepsilon}}este abaterea (abaterea standard) de zgomot alb și δ j
simbolul Kronecker , care este 1 dacă j = 0 și 0 altfel.
De asemenea, este posibil să exprimăm aceste ecuații în funcție de autocorelație:
ecuația YW - ρj=∑k=1pφkρj-k+σε2γ0δj∀j=0,...,p{\ displaystyle \ rho _ {j} = \ sum _ {k = 1} ^ {p} \ varphi _ {k} \ rho _ {jk} + {\ frac {\ sigma _ {\ varepsilon} ^ {2} } {\ gamma _ {0}}} \ delta _ {j} \ qquad \ forall j = 0, \ ldots, p}
Exemple
AR (1)
Pentru un proces AR (1), avem:
γj=φγj-1∀j=1,...,p{\ displaystyle \ gamma _ {j} = \ varphi \ gamma _ {j-1} \ qquad \ forall j = 1, \ ldots, p}Observăm că găsim rapid, cu j = 1, rezultatul obținut mai sus:
ρ1=γ1γ0=φ{\ displaystyle \ rho _ {1} = {\ frac {\ gamma _ {1}} {\ gamma _ {0}}} = \ varphi}
Var[Xt]=σ21-φ2{\ displaystyle \ operatorname {Var} [X_ {t}] = {\ frac {\ sigma ^ {2}} {1- \ varphi ^ {2}}}}luând ecuația suplimentară pentru , care apoi devine
γ0=φγ1+σε2{\ displaystyle \ gamma _ {0} = \ varphi \ gamma _ {1} + \ sigma _ {\ varepsilon} ^ {2}}γ0=φγ0φ+σε2=φ2γ0+σε2⇒(1-φ2)γ0=σ2⇒γ0=σ21-φ2{\ displaystyle \ gamma _ {0} = \ varphi \ gamma _ {0} \ varphi + \ sigma _ {\ varepsilon} ^ {2} = \ varphi ^ {2} \ gamma _ {0} + \ sigma _ { \ varepsilon} ^ {2} \ Rightarrow (1- \ varphi ^ {2}) \ gamma _ {0} = \ sigma ^ {2} \ Rightarrow \ gamma _ {0} = {\ frac {\ sigma ^ {2 }} {1- \ varphi ^ {2}}}}
AR (p)
{γ1=φ1γ0+φ2γ-1+...+φpγ-(p-1)γ2=φ1γ1+φ2γ0+...+φpγ-(p-2)⋮γp=φ1γp-1+φ2γp-2+...+φpγ0{\ displaystyle {\ begin {cases} \ gamma _ {1} = \ varphi _ {1} \ gamma _ {0} + \ varphi _ {2} \ gamma _ {- 1} + \ ldots + \ varphi _ { p} \ gamma _ {- (p-1)} \\\ gamma _ {2} = \ varphi _ {1} \ gamma _ {1} + \ varphi _ {2} \ gamma _ {0} + \ ldots + \ varphi _ {p} \ gamma _ {- (p-2)} \\\ vdots \\\ gamma _ {p} = \ varphi _ {1} \ gamma _ {p-1} + \ varphi _ { 2} \ gamma _ {p-2} + \ ldots + \ varphi _ {p} \ gamma _ {0} \ end {cases}}}Că putem scrie sub formă de matrice:
[γ1γ2γ3⋮]=[γ0γ-1γ-2...γ1γ0γ-1...γ2γ1γ0...⋮⋮⋮⋱][φ1φ2φ3⋮]{\ displaystyle {\ begin {bmatrix} \ gamma _ {1} \\\ gamma _ {2} \\\ gamma _ {3} \\\ vdots \\\ end {bmatrix}} = {\ begin {bmatrix} \ gamma _ {0} & \ gamma _ {- 1} & \ gamma _ {- 2} & \ dots \\\ gamma _ {1} & \ gamma _ {0} & \ gamma _ {- 1} & \ dots \\\ gamma _ {2} & \ gamma _ {1} & \ gamma _ {0} & \ dots \\\ vdots & \ vdots & \ vdots & \ ddots \\\ end {bmatrix}} {\ begin {bmatrix} \ varphi _ {1} \\\ varphi _ {2} \\\ varphi _ {3} \\\ vdots \\\ end {bmatrix}}}Dovadă
Ecuația definitorie a procesului AR este
Xt=∑eu=1pφeuXt-eu+εt.{\ displaystyle X_ {t} = \ sum _ {i = 1} ^ {p} \ varphi _ {i} \, X_ {ti} + \ varepsilon _ {t}. \,}Înmulțind cei doi membri cu X t - j și luând așteptările, obținem
E[XtXt-j]=E[∑eu=1pφeuXt-euXt-j]+E[εtXt-j].{\ displaystyle E [X_ {t} X_ {tj}] = E \ left [\ sum _ {i = 1} ^ {p} \ varphi _ {i} \, X_ {ti} X_ {tj} \ right] + E [\ varepsilon _ {t} X_ {tj}].}Acum se pare că . În cazul în care considerăm procesul de zero medie ( ), revine la funcția de corelare automată. Termenii de zgomot alb sunt independenți unul de celălalt și, în plus, sunt independenți de unde este mai mare decât zero. Pentru . Pentru ,
E[XtXt-j]=γj+E[Xt]E[Xt-j]{\ displaystyle E [X_ {t} X_ {tj}] = \ gamma _ {j} + E [X_ {t}] E [X_ {tj}]}X{\ displaystyle X}vs.=0{\ displaystyle c = 0}E[XtXt-j]{\ displaystyle E [X_ {t} X_ {tj}]}Xt-j{\ displaystyle X_ {tj}}εt{\ displaystyle \ varepsilon _ {t}}j{\ displaystyle j}j>0,E[εtXt-j]=0{\ displaystyle j> 0, E [\ varepsilon _ {t} X_ {tj}] = 0}j=0{\ displaystyle j = 0}
E[εtXt]=E[εt(∑eu=1pφeuXt-eu+εt)]=∑eu=1pφeuE[εtXt-eu]+E[εt2]=0+σε2,{\ displaystyle E [\ varepsilon _ {t} X_ {t}] = E \ left [\ varepsilon _ {t} \ left (\ sum _ {i = 1} ^ {p} \ varphi _ {i} \, X_ {ti} + \ varepsilon _ {t} \ right) \ right] = \ sum _ {i = 1} ^ {p} \ varphi _ {i} \, E [\ varepsilon _ {t} \, X_ { ti}] + E [\ varepsilon _ {t} ^ {2}] = 0+ \ sigma _ {\ varepsilon} ^ {2},}Acum, avem pentru j ≥ 0,
γj=E[∑eu=1pφeuXt-euXt-j]+σε2δj.{\ displaystyle \ gamma _ {j} = E \ left [\ sum _ {i = 1} ^ {p} \ varphi _ {i} \, X_ {ti} X_ {tj} \ right] + \ sigma _ { \ varepsilon} ^ {2} \ delta _ {j}.}In caz contrar,
E[∑eu=1pφeuXt-euXt-j]=∑eu=1pφeuE[XtXt-j+eu]=∑eu=1pφeuγj-eu,{\ displaystyle E \ left [\ sum _ {i = 1} ^ {p} \ varphi _ {i} \, X_ {ti} X_ {tj} \ right] = \ sum _ {i = 1} ^ {p } \ varphi _ {i} \, E [X_ {t} X_ {tj + i}] = \ sum _ {i = 1} ^ {p} \ varphi _ {i} \, \ gamma _ {ji}, }care oferă ecuațiile Yule-Walker:
γj=∑eu=1pφeuγj-eu+σε2δj.{\ displaystyle \ gamma _ {j} = \ sum _ {i = 1} ^ {p} \ varphi _ {i} \ gamma _ {ji} + \ sigma _ {\ varepsilon} ^ {2} \ delta _ { j}.}pentru j ≥ 0. Pentru j <0,
γj=γ-j=∑eu=1pφeuγ|j|-eu+σε2δj.{\ displaystyle \ gamma _ {j} = \ gamma _ {- j} = \ sum _ {i = 1} ^ {p} \ varphi _ {i} \ gamma _ {| j | -i} + \ sigma _ {\ varepsilon} ^ {2} \ delta _ {j}.}Estima
Pornind de la modelul AR (p) fără constantă dată de:
Xt=∑eu=1pφeuXt-eu+εt.{\ displaystyle X_ {t} = \ sum _ {i = 1} ^ {p} \ varphi _ {i} X_ {ti} + \ varepsilon _ {t}. \,}Parametrii care trebuie evaluați sunt și .
φeueu=1,...,p{\ displaystyle \ varphi _ {i} \ quad i = 1, \ ldots, p}σε2{\ displaystyle \ sigma _ {\ varepsilon} ^ {2}}
Metoda Yule-Walker
Metoda constă în utilizarea ecuațiilor Yule-Walker prin inversarea relațiilor: coeficienții sunt exprimați în funcție de autocovarianțe. Aplicăm apoi raționamentul Metodei momentelor : găsim parametrii estimați din autocovarianțele estimate.
Luând ecuația în forma sa matricială:
[γ0γ1γ2γ3⋮]=[γ-1γ-2γ-3...1γ0γ-1γ-2...0γ1γ0γ-1...0γ2γ1γ0...0⋮⋮⋮⋱0][φ1φ2φ3⋮σε2]{\ displaystyle {\ begin {bmatrix} \ gamma _ {0} \\\ gamma _ {1} \\\ gamma _ {2} \\\ gamma _ {3} \\\ vdots \\\ end {bmatrix} } = {\ begin {bmatrix} \ gamma _ {- 1} & \ gamma _ {- 2} & \ gamma _ {- 3} & \ dots & 1 \\\ gamma _ {0} & \ gamma _ {- 1} & \ gamma _ {- 2} & \ dots & 0 \\\ gamma _ {1} & \ gamma _ {0} & \ gamma _ {- 1} & \ dots & 0 \\\ gamma _ {2 } & \ gamma _ {1} & \ gamma _ {0} & \ dots & 0 \\\ vdots & \ vdots & \ vdots & \ ddots & 0 \\\ end {bmatrix}} {\ begin {bmatrix} \ varphi _ {1} \\\ varphi _ {2} \\\ varphi _ {3} \\\ vdots \\\ sigma _ {\ varepsilon} ^ {2} \ end {bmatrix}}}Vectorul parametrilor poate fi apoi obținut.
θ^=(φ^1⋮σ^ε2){\ displaystyle {\ hat {\ theta}} = {\ begin {pmatrix} {\ hat {\ varphi}} _ {1} \\\ vdots \\ {\ hat {\ sigma}} _ {\ varepsilon} ^ {2} \ end {pmatrix}}}
Matricea sistemului este o matrice Toeplitz . Un algoritm care poate fi folosit pentru inversarea sistemului este algoritmul Levinson-Durbin.
Probabilitate maximă necondiționată
Estimarea unui model AR (P) prin metoda maximă probabilitate este delicată deoarece funcția de probabilitate este foarte complexă și nu are derivate analitice. Această dificultate apare din interdependența valorilor, precum și din faptul că observațiile anterioare nu sunt toate disponibile pentru primele valori p.
Probabilitate condiționată maximă
O modalitate de simplificare a complexității funcției de probabilitate este condiționarea acestei funcții pe primele observații p. Funcția log-probabilitate devine:
L(X1,X2,...,XT)=-(T-P)2Buturuga(2π)-(T-P)2Buturuga(σ2)-∑t=p+1T(yt-vs.-φ1yt-1-φ2yt-2-...-φpyt-p)22σ2{\ displaystyle {\ begin {align} L (x_ {1}, x_ {2}, \ ldots, x_ {T}) & = - {\ frac {(TP)} {2}} \ log (2 \ pi ) - {\ frac {(TP)} {2}} \ log (\ sigma ^ {2}) \\ & - \ sum _ {t = p + 1} ^ {T} {\ frac {(y_ {t } -c- \ varphi _ {1} y_ {t-1} - \ varphi _ {2} y_ {t-2} - \ ldots - \ varphi _ {p} y_ {tp}) ^ {2}} { 2 \ sigma ^ {2}}} \ end {align}}}
Maximizarea acestei funcții în raport cu parametrii corespunde minimizării erorilor modelului. Estimatorul probabilității condiționate maxime corespunde astfel cu cel al celor mai mici pătrate .
φ{\ displaystyle \ varphi}
Estimatorul rezultat va fi echivalent cu estimatorul necondiționat în eșantioane mari și ambii au aceeași distribuție asimptotică (Hamilton 1994, p. 126 ). Poate fi părtinitor.
Proprietățile estimatorilor
Davidson și McKinnon (1993) raportează că estimatorul condițional al celor mai mici pătrate este părtinitor , dar converge totuși . Cryer și Chan (2008) propun o simulare Monte-Carlo pentru a testa diferiții estimatori.
Anexe
Bibliografie
- (în) Jonathan D. Cryer și Kung-Sik Chan ( trad. engleză), Analiza seriilor temporale: cu aplicații în R , New York, Springer,2008, A 2 -a ed. , 491 p. ( ISBN 978-0-387-75958-6 , LCCN 2008923058 , citit online ) , p. 491
- (în) Russell Davidson și James G. MacKinnon ( trad. din engleză), Estimation and Inference in Econometrics , New York, Oxford University Press ,1993( ISBN 978-0-19-506011-9 , LCCN 92012048 ) , p. 874
- (în) William H Greene ( trad. din engleză), Econometrie , Paris, Pearson Education,2005, Ed. A 5- a . , 943 p. ( ISBN 978-2-7440-7097-6 ) , p. 2
- (în) James Douglas Hamilton ( trad. din engleză), Time Series Analysis , Princeton, NJ, Princeton University Press ,1994, 799 p. ( ISBN 978-0-691-04289-3 , LCCN 93004958 ) , p. 799
- (în) GS Maddala și In-Moo Kim ( trad. din engleză), Unit Roots, Cointegration and Structural Change , Cambridge, Cambridge University Press ,2003, Ed. A 5- a . , Hardcover ( ISBN 978-0-521-58257-5 , LCCN 98017325 ) , p. 505
Note și referințe
-
Hamilton (1994, p. 59 )
-
vezi Cryer (2008, p. 84 )
-
vezi Cryer (2008, p. 76 )
-
vezi Greene (2005, p. 256 )
Articole similare
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">