Covarianță

În teoria probabilității și statisticile , covarianța dintre două variabile aleatorii este un număr care face posibilă cuantificarea abaterilor lor comune de la așteptările lor respective. De asemenea, este utilizat pentru două serii de date numerice (abateri de la mijloace ). Covarianța a două variabile aleatoare independente este zero, deși inversul nu este întotdeauna adevărat.

Covarianța este o extensie a noțiunii de varianță . Corelația este o formă normalizată covarianței ( dimensiunea covarianță dintre cele două variabile este produsul dimensiunilor lor, în timp ce corelația este o variabilă adimensional ).

Acest concept este generalizat în mod natural la mai multe variabile ( vector aleator ) de matricea de covarianță (sau matricea varianță-covarianță ) care, pentru un set de p variabile aleatoare reale X 1 etc., X p este matricea pătrată al cărei l 'element de rândul i și coloana j reprezintă covarianța variabilelor X i și X j . Această matrice face posibilă cuantificarea variației fiecărei variabile în comparație cu fiecare dintre celelalte. Forma normalizată a matricei de covarianță este matricea de corelație .

De exemplu, dispersia unui set de puncte aleatorii într-un spațiu bidimensional nu poate fi caracterizată pe deplin de un singur număr și nici de varianțele numai în direcțiile x și y  ; o matrice 2 × 2 face posibilă înțelegerea completă a naturii bidimensionale a variațiilor.

Matricea de covarianță fiind un semi- pozitiv definit matrice , poate fi diagonalizată și studiul valorilor proprii și a vectorilor proprii face posibilă caracterizarea distribuției folosind o bază ortogonală  : această abordare este obiectul analizei componentelor principale , care poate fi văzută ca un fel de comprimare a informațiilor.

Definiția covariance

Covarianța a două variabile aleatoare reale X și Y având fiecare o (finită) variance, notat cov ( X, Y ) sau uneori σ XY , este valoarea:

Definiție  - Cov⁡(X,Da)≡E⁡[(X-E⁡[X])(Da-E⁡[Da])]{\ displaystyle \ operatorname {Cov} (X, Y) \ equiv \ operatorname {E} [(X- \ operatorname {E} [X]) \, (Y- \ operatorname {E} [Y])]}

unde denotă așteptarea matematică . Varianța lui X este deci Var ( X ) = Cov ( X , X ). E⁡[] {\ displaystyle \ operatorname {E} [] \}

Intuitiv, covarianța caracterizează variațiile simultane ale a două variabile aleatorii: va fi pozitiv atunci când diferențele dintre variabile și mediile lor tind să fie de același semn, negativ în caz contrar.

Conform expresiei sale de definiție, dimensiunea covarianței este produsul dimensiunilor variabilelor. Pe de altă parte, corelația , care este exprimată folosind varianța și covarianța, își ia valorile în [-1, 1] și rămâne adimensională.

Se spune că două variabile aleatorii a căror covarianță este zero sunt necorelate: corelația lor este, de asemenea, zero.

Pentru două variabile aleatorii discrete X și Y luându-și valorile respectiv în două seturi finite și avem  {Xeu|1≤eu≤nu},{\ displaystyle \ \ {x_ {i} \, | \, 1 \ leq i \ leq n \},} {yj|1≤j≤m},{\ displaystyle \ \ {y_ {j} \, | \, 1 \ leq j \ leq m \},}

Cov⁡(X,Da)=∑eu=1nu∑j=1mXeuyjP⁡(X=Xeu și Da=yj)-E⁡[X]E⁡[Da].{\ displaystyle \ operatorname {Cov} (X, Y) = \ sum _ {i = 1} ^ {n} \ sum _ {j = 1} ^ {m} \, x_ {i} y_ {j} \ operatorname {P} (X = x_ {i} \ {\ textrm {și}} \ Y = y_ {j}) - \ operatorname {E} [X] \ operatorname {E} [Y].}

in timp ce:

σX2=∑eu=1nuXeu2P⁡(X=Xeu)-E⁡[X]2șiσDa2=∑j=1myj2P⁡(Da=yj)-E⁡[Da]2.{\ displaystyle \ sigma _ {X} ^ {2} = \ sum _ {i = 1} ^ {n} x_ {i} ^ {2} \ operatorname {P} (X = x_ {i}) - \ operatorname {E} [X] ^ {2} \ quad {\ textrm {and}} \ quad \ sigma _ {Y} ^ {2} = \ sum _ {j = 1} ^ {m} y_ {j} ^ { 2} \ operatorname {P} (Y = y_ {j}) - \ operatorname {E} [Y] ^ {2}.}

Definiția matricei de covarianță

Matricea de covarianță a unui vector de p variabile aleatoare , fiecare dintre care are o variație, este matricea pătrată a cărei termen generic este dată de X→=(X1⋮Xp){\ displaystyle {\ vec {X}} = {\ begin {pmatrix} X_ {1} \\\ vdots \\ X_ {p} \ end {pmatrix}}}

laeu,j=Cov(Xeu,Xj){\ displaystyle a_ {i, j} = {\ textrm {Cov}} \ left (X_ {i}, X_ {j} \ right)}

Matricea de covarianță, uneori observată , este definită de Σ{\ displaystyle {\ boldsymbol {\ Sigma}}}

Definiție  - Var⁡(X→)≡E⁡[(X→-E⁡(X→))(X→-E⁡(X→))T]{\ displaystyle \ operatorname {Var} ({\ vec {X}}) \ equiv \ operatorname {E} [({\ vec {X}} - \ operatorname {E} ({\ vec {X}})) ( {\ vec {X}} - \ operatorname {E} ({\ vec {X}})) ^ {T}]}

Prin extinderea termenilor:

Var⁡(X→)=(Var⁡(X1)Cov⁡(X1,X2)⋯Cov⁡(X1,Xp)Cov⁡(X2,X1)⋱⋯⋮⋮⋮⋱⋮Cov⁡(Xp,X1)⋯⋯Var⁡(Xp))=(σX12σX1X2⋯σX1XpσX2X1⋱⋯⋮⋮⋮⋱⋮σXpX1⋯⋯σXp2){\ displaystyle \ operatorname {Var} ({\ vec {X}}) = {\ begin {pmatrix} \ operatorname {Var} (X_ {1}) & \ operatorname {Cov} (X_ {1}, X_ {2 }) & \ cdots & \ operatorname {Cov} (X_ {1}, X_ {p}) \\\ operatorname {Cov} (X_ {2}, X_ {1}) & \ ddots & \ cdots & \ vdots \ \\ vdots & \ vdots & \ ddots & \ vdots \\\ operatorname {Cov} (X_ {p}, X_ {1}) & \ cdots & \ cdots & \ operatorname {Var} (X_ {p}) \ end {pmatrix}} = {\ begin {pmatrix} \ sigma _ {x_ {1}} ^ {2} & \ sigma _ {x_ {1} x_ {2}} & \ cdots & \ sigma _ {x_ {1} x_ {p}} \\\ sigma _ {x_ {2} x_ {1}} & \ ddots & \ cdots & \ vdots \\\ vdots & \ vdots & \ ddots & \ vdots \\\ sigma _ {x_ { p} x_ {1}} & \ cdots & \ cdots & \ sigma _ {x_ {p}} ^ {2} \ end {pmatrix}}}

Proprietăți de covarianță

O generalizare a teoremei König-Huygens pentru varianță implică:

Proprietate  - Cov⁡(X,Da)=E⁡(XDa)-E⁡(X)E⁡(Da){\ displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y)}

Corolar  -  Dacă X și Y sunt independente atunci . Cov⁡(X,Da)=0{\ displaystyle \ operatorname {Cov} (X, Y) = 0}

În general, inversul nu este adevărat.

Contra exemplu

Este suficient să găsim două variabile X și Y cu covarianță zero și care nu sunt independente. Fie z o variabilă discretă care poate lua valorile 1 sau -1 într-un mod echiprobabil (conform unei legi Rademacher ).

Fie X orice variabilă aleatorie independentă de z . Atunci X și Y = z X nu sunt în mod clar independenți. in orice caz

Cov⁡(X,Da)=E⁡(XDa)-E⁡(X)E⁡(Da)=E⁡(z)Var⁡(X)=0.{\ displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {E} (XY) - \ operatorname {E} (X) \ operatorname {E} (Y) = \ operatorname {E} (z) \ operatorname {Var} (X) = 0.}

Proprietăți  - 

• Cov⁡(X,X)=Var⁡(X){\ displaystyle \ operatorname {Cov} (X, X) = \ operatorname {Var} (X)}
• Cov⁡(X,Da)=Cov⁡(Da,X){\ displaystyle \ operatorname {Cov} (X, Y) = \ operatorname {Cov} (Y, X)}
• Cov⁡(vs.X,Da)=vs.Cov⁡(X,Da){\ displaystyle \ operatorname {Cov} (cX, Y) = c \ operatorname {Cov} (X, Y)}unde c este o constantă
• Cov⁡(X+vs.,Da)=Cov⁡(X,Da){\ displaystyle \ operatorname {Cov} (X + c, Y) = \ operatorname {Cov} (X, Y)}unde c este o constantă
• Cov⁡(X+Da,Z)=Cov⁡(X,Z)+Cov⁡(Da,Z){\ displaystyle \ operatorname {Cov} (X + Y, Z) = \ operatorname {Cov} (X, Z) + \ operatorname {Cov} (Y, Z)}unde X , Y și Z sunt trei variabile

Bilinearitatea covarianței:

Proprietate  -  Cov⁡(∑euXeu ,∑jDaj)=∑eu∑jCov⁡(Xeu,Daj){\ displaystyle \ operatorname {Cov} \ left (\ sum _ {i} {X_ {i}} \, \ sum _ {j} {Y_ {j}} \ right) = \ sum _ {i} {\ sum _ {j} {\ operatorname {Cov} \ left (X_ {i}, Y_ {j} \ right)}}}

Aceasta reflectă faptul că covarianța este o formă biliniară simetrică pozitivă și că forma pătratică asociată este varianța.

Corolar  -  Var⁡(laX+bDa)=la2Var⁡(X)+b2Var⁡(Da)+2labCov⁡(X,Da){\ displaystyle \ operatorname {Var} (aX + bY) = a ^ {2} \ operatorname {Var} (X) + b ^ {2} \ operatorname {Var} (Y) + 2ab \ operatorname {Cov} (X , Y)}

Această formulă este analogul . De fapt, majoritatea proprietăților covarianței sunt analoage cu cele ale produsului a doi reali sau produsul punct al a doi vectori.(X+y)2=X2+y2+2Xy{\ displaystyle (x + y) ^ {2} = x ^ {2} + y ^ {2} + 2xy}

Proprietate  -  Var⁡(∑eu=1nuXeu)=∑eu=1nuVar⁡(Xeu)+2∑1≤eu<j≤nuCov⁡(Xeu,Xj){\ displaystyle \ operatorname {Var} \ left (\ sum _ {i = 1} ^ {n} {X_ {i}} \ right) = \ sum _ {i = 1} ^ {n} \ operatorname {Var} (X_ {i}) + 2 \ sum _ {1 \ leq i <j \ leq n} \ operatorname {Cov} (X_ {i}, X_ {j})}

Această formulă este clasică pentru o formă pătratică asociată cu o formă biliniară simetrică .

Proprietățile matricei de covarianță

• Matricea de covarianță este simetrică  ; elementele sale diagonale sunt varianțele, iar elementele extra-diagonale sunt covarianțele perechilor de variabile.
• Matricea de covarianță este semidefinită pozitivă ( valorile proprii ale acesteia sunt pozitive sau zero). Este pozitiv definit (valori proprii strict pozitive) dacă nu există o relație afină aproape sigură între componentele vectorului aleatoriu.
• Este o cartografiere liniară a matricei . Fie un vector aleatoriu cu o matrice de covarianță de . Apoi vectorul aleator are matricea de covarianțăF{\ displaystyle F}Mm,nu(R){\ displaystyle M_ {m, n} (R)}M{\ displaystyle M}
  X→=(X1⋮Xnu){\ displaystyle {\ vec {X}} = {\ begin {pmatrix} X_ {1} \\\ vdots \\ X_ {n} \ end {pmatrix}}}VS{\ displaystyle C}Mnu(R){\ displaystyle M_ {n} (R)}
  F(X){\ displaystyle F (X)}MVSMT.{\ displaystyle M \, C \, M ^ {T}.}
• Inversă a matricei de covarianță este uneori menționată ca „matrice de precizie“.

Estima

Pornind de la un eșantion de realizări independente ale unui vector aleatoriu, un estimator imparțial al matricei de covarianță este dat de

Vlar^⁡(X→)=1nu-1∑eu=1nu(X→eu-X→¯)(X→eu-X→¯)T{\ displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ over {n-1}} \ sum _ {i = 1} ^ {n} ({\ vec {X }} _ {i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}}unde este vectorul mijloacelor empirice.X→¯=1nu∑eu=1nuX→eu{\ displaystyle {\ overline {\ vec {X}}} = {1 \ over {n}} \ sum _ {i = 1} ^ {n} {\ vec {X}} _ {i}}

Estimatorul covarianței a două variabile X și Y este doar un caz special:

VSov^⁡(X,Da)=1nu-1∑eu=1nu(Xeu-X¯)(Daeu-Da¯).{\ displaystyle \ operatorname {\ widehat {Cov}} (X, Y) = {1 \ over {n-1}} \ sum _ {i = 1} ^ {n} (X_ {i} - {\ overline { X}}) (Y_ {i} - {\ overline {Y}}).}

Când X urmează o distribuție normală multidimensională , estimatorul de probabilitate maximă este totuși:

Vlar^⁡(X→)=1nu∑eu=1nu(X→eu-X→¯)(X→eu-X→¯)T.{\ displaystyle \ operatorname {\ widehat {Var}} ({\ vec {X}}) = {1 \ over n} \ sum _ {i = 1} ^ {n} ({\ vec {X}} _ { i} - {\ overline {\ vec {X}}}) ({\ vec {X}} _ {i} - {\ overline {\ vec {X}}}) ^ {T}.}

În cazul în care datele sunt generate de o lege normală multidimensională, estimatorul de maximă probabilitate urmează o lege Wishart .

Testul de sfericitate Bartlett pentru a judeca dacă coeficienții extra-diagonali ai matricei sunt în general inexistenți.

Pentru procese stocastice care se ocupă cu evoluția unei variabile aleatoare, covarianță dă drumul la conceptele de autocovariance și autocorelație , precum și pentru a estima densitatea spectrală pentru procesele de staționare .

Exemple

• Într-un forum pe Internet, cineva susține că activitatea forumului este cea mai intensă în zilele de lună plină. Este posibil să nu avem calendarul lunii pline, dar dacă această afirmație este corectă și dacă numim N ( t ) numărul contribuțiilor din ziua t , covarianța cumulată între N ( t ) și N ( t +29) peste toate valorile De t , va fi probabil mai mare decât covarianțele dintre N ( t ) și N ( t + x ) pentru valori de x diferite de 29 ( perioada sinodică a lunii).
• Un proces stochastic X t pe un spațiu metric S se spune că este de covarianță izotropă dacă covarianța sa între două variabile depinde doar de distanța dintre indici:

∃f:R+↦R,∀t,s∈S,Cov⁡(Xs,Xt)=f(‖s-t‖){\ displaystyle \ există f: \ mathbb {R} ^ {+} \ mapsto \ mathbb {R}, \ forall t, s \ in S, \ operatorname {Cov} \ left (X_ {s}, X_ {t} \ right) = f \ left (\ left \ | st \ right \ | \ right)} Dacă X este un proces centrat izotrop pe ℝ d , autocorelația izotropă satisface ρ (‖ h ‖) ≥  −1 ⁄ d .

Utilizare în statistici

Matricea de covarianță este un instrument esențial pentru analiza multivariată  :

• APC care funcționează Diagonalizarea acestei matrice;
• analiza discriminantă care se bazează pe examinarea coeficienților acestei matrice.

Alte aplicații

Cunoașterea covarianțelor este cel mai adesea esențială în funcțiile de estimare , filtrare și netezire . În fotografia , ele permit să ajungă la dramatic corectă neclară focalizarea și estompează de mișcare, care este extrem de important pentru imagini astronomice. De asemenea, sunt utilizate automat . În sociolingvistică , covarianța desemnează corespondența dintre apartenența la o anumită clasă socială și un anumit limbaj inerent acestei condiții sociale. Matricile de covarianță sunt utilizate pentru metodele de analiză a descompunerii ortogonale kriging și autovalore . În cele din urmă, este încă utilizat în finanțe, pentru a judeca dacă două investiții tind să evolueze în aceeași direcție, în direcții opuse sau dacă valorile lor nu sunt legate.

Vezi și tu

• Legea normală multidimensională
• Autocovarianța
• Matricea de corelație
• Analiza componentelor principale
• Covarianța lui Matérn
• Tabel de contingență

Note și referințe

1. Variabilele se presupun că aparțin spațiului vectorial al variabilelor aleatoare integrabile pătrate.L2(Ω,B,P){\ displaystyle L ^ {2} (\ Omega, {\ mathcal {B}}, \ operatorname {P})}