Legea lui Wishart

Legea lui Wishart



Setări	${\ displaystyle n> p-1 \!}$ Gradul parametrului scalei libertății ( matrice definită pozitivă ) ${\ displaystyle \ mathbf {V}> 0 \,}$ ${\ displaystyle p \ times p}$
A sustine	ansamblul matricilor definite pozitive
Probabilitate densitate	${\ displaystyle {\ frac {1} {2 ^ {\ frac {np} {2}} \ left \| {\ mathbf {V}} \ right \| ^ {\ frac {n} {2}} \ Gamma _ { p} ({\ frac {n} {2}})}} {\ left \| \ mathbf {X} \ right \|} ^ {\ frac {np-1} {2}} e ^ {- {\ frac { 1} {2}} {\ rm {tr}} ({\ mathbf {V}} ^ {- 1} \ mathbf {X})}}$ unde este funcția gamma multidimensională și este funcția de urmărire ${\ displaystyle \ Gamma _ {p}}$ ${\ mathrm {tr}}$
Speranţă	${\ displaystyle n \ mathbf {V}}$
Modă	${\ displaystyle (np-1) \ mathbf {V} {\ text {for}} n \ geq p + 1}$
Varianța	${\ displaystyle \ operatorname {Var} (\ mathbf {X} _ {ij}) = n (v_ {ij} ^ {2} + v_ {ii} v_ {jj})}$
Entropie	vezi articolul
Funcția caracteristică	${\ displaystyle \ Theta \ mapsto \ left \| {\ mathbf {I}} -2i \, {\ mathbf {\ Theta}} {\ mathbf {V}} \ right \| ^ {- n / 2}}$

În teoria probabilității și statisticile , legea lui Wishart este generalizarea multidimensională a legii χ² sau, în cazul în care numărul de grade de libertate nu este întreg, a legii gamma . Legea este numită în onoarea lui John Wishart, care a formulat-o prima dată în 1928.

Este o familie de legi de probabilitate pe matrici definite pozitive , simetrice. O variabilă aleatorie cu legea lui Wishart este deci o matrice aleatorie . Trei legi sunt de mare importanță în estimarea matricelor varianță-covarianță .

Dacă o variabilă aleatorie X urmează o lege Wishart, vom indica sau ${\ displaystyle X \ sim W_ {p} (V, n)}$ ${\ displaystyle W (V, p, n)}$

Definiție

Să presupunem că Y este o matrice $n \times p$ , rândurile sunt vectori aleatori independenți și urmează o distribuție normală p-dimensională centrată:

{\ displaystyle Y _ {(i)} {=} (y_ {i} ^ {1}, \ dots, y_ {i} ^ {p}) \ sim {\ mathcal {N}} _ {p} (0 , V).}

Apoi , legea lui Wishart este legea de probabilitate de $p$ $\times$ $p$ matrice

{\ displaystyle X = Y ^ {T} Y \, \!}

cunoscută sub numele de matrice de dispersie . Numărul natural n este numărul de grade de libertate . Pentru $n > p$ , matricea X este inversabilă cu probabilitatea 1 dacă V este inversabilă. Dacă p = 1 și V = 1 , atunci legea lui Wishart este legea χ² cu n grade de libertate.

utilizare

Legea lui Wishart apare ca legea unei matrici de covarianță a unui eșantion de valori conform unei legi normale multidimensionale . Apare frecvent în testele de maximă probabilitate în analiza statistică multivariată. Apare, de asemenea, în teoria spectrală a matricelor aleatorii și în analiza Bayesiană multidimensională .

Probabilitate densitate

Legea lui Wishart poate fi caracterizată prin densitatea sa de probabilitate după cum urmează. Fixăm V o matrice simetrică pozitivă definită $p \times p$ (parametru de scară). Dacă $n \geq p$ , atunci densitatea de probabilitate a legii lui Wishart este dată de:

{\ displaystyle f (\ mathbf {X}) = {\ frac {1} {2 ^ {\ frac {np} {2}} \ left | {\ mathbf {V}} \ right | ^ {\ frac {n } {2}} \ Gamma _ {p} ({\ frac {n} {2}})}} {\ left | \ mathbf {X} \ right |} ^ {\ frac {np-1} {2} } e ^ {- {\ frac {1} {2}} {\ rm {tr}} ({\ mathbf {V}} ^ {- 1} \ mathbf {X})}}

pentru orice matrice $pxp$ X simetrică pozitivă $definită$ și unde $Γ p$ este funcția gamma multidimensională definită de:

{\ displaystyle \ Gamma _ {p} (n / 2) = \ pi ^ {\ frac {p (p-1)} {4}} \ prod _ {j = 1} ^ {p} \ Gamma \ left [ {\ frac {nj + 1} {2}} \ right].}

De fapt, definiția anterioară poate fi extinsă la orice $n \geq p$ real . Dacă $n < p$ , atunci legea lui Wishart nu mai are densitate, ci devine o lege singulară.

Proprietăți

General

O matrice aleatorie trasată conform construcției definiției de mai sus este întotdeauna o matrice simetrică definită pozitivă . Aceasta înseamnă că toate valorile sale proprii sunt strict pozitive. $X$

Jurnal-așteptare

Așteptarea logaritmului este dată de:

{\ displaystyle \ operatorname {E} [\ ln | \ mathbf {X} |] = \ sum _ {i = 1} ^ {p} \ psi \ left ({\ frac {n + 1-i} {2} } \ right) + p \ ln 2+ \ ln | \ mathbf {V} |}

unde $ψ$ este funcția digamma , adică derivata logaritmică a funcției gamma .

Calculul său este dezvoltat aici .

Entropie

Entropia legii Wishart este dată de următoarea formulă:

{\ displaystyle \ operatorname {H} [\ mathbf {X}] = - \ ln B (\ mathbf {V}, n) - {\ frac {(np-1)} {2}} \ operatorname {E} [ \ ln | \ mathbf {X} |] + {\ frac {np} {2}}}

unde este constanta de renormalizare a legii: ${\ displaystyle B (\ mathbf {V}, n)}$

{\ displaystyle B (\ mathbf {V}, n) = {\ frac {1} {\ left | \ mathbf {V} \ right | ^ {\ frac {n} {2}} 2 ^ {\ frac {np } {2}} \ Gamma _ {p} ({\ frac {n} {2}})}}}

Entropia poate fi scrisă ca:

{\ displaystyle {\ begin {align} \ operatorname {H} [\ mathbf {X}] & = {\ frac {n} {2}} \ ln | \ mathbf {V} | + {\ frac {np} { 2}} \ ln 2+ \ ln \ Gamma _ {p} ({\ frac {n} {2}}) - {\ frac {(np-1)} {2}} \ operatorname {E} [\ ln | \ mathbf {X} |] + {\ frac {np} {2}} \\ & = {\ frac {n} {2}} \ ln | \ mathbf {V} | + {\ frac {np} { 2}} \ ln 2 + {\ frac {p (p-1)} {4}} \ ln \ pi + \ sum _ {i = 1} ^ {p} \ ln \ Gamma \ left [n / 2 + (1-j) / 2 \ right] \\ & \ quad - {\ frac {(np-1)} {2}} \ left (\ sum _ {i = 1} ^ {p} \ psi \ left ( {\ frac {n + 1-i} {2}} \ right) + p \ ln 2+ \ ln | \ mathbf {V} | \ right) + {\ frac {np} {2}} \\ & = {\ frac {n} {2}} \ ln | \ mathbf {V} | - {\ frac {(np-1)} {2}} \ ln | \ mathbf {V} | + {\ frac {np} {2}} \ ln 2 - {\ frac {(np-1)} {2}} p \ ln 2 + {\ frac {p (p-1)} {4}} \ ln \ pi \\ & \ quad + \ sum _ {i = 1} ^ {p} \ ln \ Gamma \ left [n / 2 + (1-j) / 2 \ right] - {\ frac {(np-1)} {2}} \ sum _ {i = 1} ^ {p} \ psi \ left ({\ frac {n + 1-i} {2}} \ right) + {\ frac {np} {2}} \\ & = { \ frac {p + 1} {2}} \ ln | \ mathbf {V} | + {\ frac {p (p + 1)} {2}} \ ln 2 + {\ frac {p (p-1) } {4}} \ ln \ pi \\ & \ quad + \ sum _ {i = 1} ^ {p} \ ln \ Gamma \ left [n / 2 + (1-j) / 2 \ right] - { \ frac {(np-1)} {2}} \ sum _ {i = 1} ^ {p} \ psi \ left ({\ frac {n + 1- i} {2}} \ right) + {\ frac {np} {2}}. \\\ end {align}}}

Funcția caracteristică

Funcția caracteristică a legii lui Wishart este dată de : ${\ displaystyle \ Theta \ mapsto \ left | {\ mathbf {I}} -2i \, {\ mathbf {\ Theta}} {\ mathbf {V}} \ right | ^ {- n / 2}.}$

Cu alte cuvinte,

{\ displaystyle \ Theta \ mapsto \ operatorname {E} \ left \ {\ mathrm {exp} \ left [i \ cdot \ mathrm {tr} (\ mathbf {X} {\ mathbf {\ Theta}}) \ right] \ right \} = \ left | {\ mathbf {I}} -2i {\ mathbf {\ Theta}} {\ mathbf {V}} \ right | ^ {- n / 2}}

unde $Θ$ și I sunt matrici de aceeași dimensiune ca V și I este matricea unitară .

Teorema

Dacă X urmează legea lui Wishart cu m grade de libertate și matricea de covarianță V și dacă C este o $matrice$ $q \times p$ de rang q , atunci :

{\ displaystyle {\ mathbf {C}} \ mathbf {X} {\ mathbf {C}} ^ {T} \ sim {\ mathcal {W}} _ {q} \ left ({\ mathbf {C}} { \ mathbf {V}} {\ mathbf {C}} ^ {T}, m \ right).}

Corolarul 1

Dacă z este un vector p diferit de zero, atunci

{\ displaystyle {\ mathbf {z}} ^ {T} \ mathbf {X} {\ mathbf {z}} \ sim \ sigma _ {z} ^ {2} \ chi _ {m} ^ {2}.}

unde $χ m 2$ este legea loi² cu m grade de libertate și este o constantă pozitivă. ${\ displaystyle \ sigma _ {z} ^ {2} = {\ mathbf {z}} ^ {T} {\ mathbf {V}} {\ mathbf {z}}}$

Corolarul 2

Luați în considerare cazul în care (adică j -th element este 1 și celelalte 0). Apoi Corolarul 1 arată că: ${\ displaystyle {\ mathbf {z}} ^ {T} = (0, \ ldots, 0,1,0, \ ldots, 0)}$

{\ displaystyle w_ {dd} \ sim \ sigma _ {dd} \ chi _ {m} ^ {2}}

dă legea marginală a fiecăruia dintre elementele diagonalei matricei.

Trebuie remarcat faptul că distribuția Wishart nu este numită legea lui $χ 2$ multidimensională, deoarece marginale în afara diagonalei nu sunt legile lui $χ 2$ .

Descompunerea Bartlett

Descompunerea Bartlett a unei matrice X , conform unui p -dimensional legea Wishart de scară V matrice și cu n grade de libertate este factorizarea :

{\ displaystyle \ mathbf {X} = {\ textbf {L}} {\ textbf {A}} {\ textbf {A}} ^ {T} {\ textbf {L}} ^ {T}}

unde L este factorizarea Cholesky a lui V și:

{\ displaystyle \ mathbf {A} = {\ begin {pmatrix} {\ sqrt {c_ {1}}} și 0 & 0 & \ cdots & 0 \\ n_ {21} & {\ sqrt {c_ {2}} } & 0 & \ cdots & 0 \\ n_ {31} & n_ {32} & {\ sqrt {c_ {3}}} & \ cdots & 0 \\\ vdots & \ vdots & \ vdots & \ ddots & \ vdots \\ n_ {p1} & n_ {p2} & n_ {p3} & \ cdots & {\ sqrt {c_ {p}}} \ end {pmatrix}}}

unde și sunt independenți. Aceasta oferă o metodă utilă pentru obținerea eșantioanelor valorilor legii lui Wishart. ${\ displaystyle c_ {i} \ sim \ chi _ {n-i + 1} ^ {2}}$ ${\ displaystyle n_ {ij} \ sim {\ mathcal {N}} (0,1) \,}$

Proprietatea de concentrare

Notând măsura probabilității în raport cu matricea de ordine aleatorie (aceasta corespunde definiției de mai sus pentru matricea de identitate a ordinii ), precum și notând (resp. ) Cea mai mare (resp. Cea mai mică) dintre valorile proprii a unei matrice simetrice definite pozitive, atunci putem afirma următoarea proprietate: valorile proprii ale matricei aleatorii verifică $\ mathbb {P}$ $X$ ${\ displaystyle n \ times p}$ ${\ displaystyle V = I_ {p}}$ $p$ ${\ displaystyle \ lambda _ {max} (A)}$ ${\ displaystyle \ lambda _ {min} (A)}$ $LA$ ${\ displaystyle X {=} Y ^ {T} Y}$

pe de o parte , , ${\ displaystyle \ forall x> 0}$ ${\ displaystyle \ mathbb {P} \ left (\ lambda _ {max} (X) \ geq n \ left (1 + {\ sqrt {p / n}} + {\ sqrt {2x / n}} \ right) ^ {2} \ right) \ leq e ^ {- x}}$

și pe de altă parte , ${\ displaystyle \ forall x> 0}$ ${\ displaystyle \ mathbb {P} \ left (\ lambda _ {min} (X) \ leq n \ left (1 - {\ sqrt {p / n}} - {\ sqrt {2x / n}} \ right) ^ {2} \ right) \ leq e ^ {- x}}$

Aceasta înseamnă că cu o probabilitate cel puțin egală cu valorile proprii ale unei astfel de matrice sunt între și . ${\ displaystyle 1-2e ^ {- x}}$ ${\ displaystyle n \ left (1 - {\ sqrt {d / n}} - {\ sqrt {2x / n}} \ right) ^ {2}}$ ${\ displaystyle n \ left (1 + {\ sqrt {d / n}} + {\ sqrt {2x / n}} \ right) ^ {2}}$

Relația cu alte legi

Legea lui Wishart este legată de legea inversă a lui Wishart , notată $W p -1$ , după cum urmează: dacă și dacă efectuăm schimbarea variabilelor , atunci . Această relație poate fi obținută observând că valoarea absolută iacobiană a acestei modificări de variabilă este , a se vedea de exemplu ecuația (15.15) în [Dwyer]. ${\ displaystyle \ mathbf {X} \ sim W_ {p} (\ mathbf {V}, n)}$ ${\ displaystyle \ mathbf {C} = \ mathbf {X} ^ {- 1}}$ ${\ displaystyle \ mathbf {C} \ sim W_ {p} ^ {- 1} (\ mathbf {V} ^ {- 1}, n)}$ ${\ displaystyle | \ mathbf {C} | ^ {p + 1}}$
Legea lui Wishart este un caz special al legii gamma multidimensionale .

Referințe

(în) J. Wishart , „ Distribuția produsului în timp generalizat în eșantioane din populația multivariată normală are ” , Biometrika , vol. 20A, n os 1-2,1928, p. 32-52 ( DOI 10.1093 / biomet / 20A.1-2.32 )
„Despre distribuțiile beta singulare Wishart și singulare multivariate” de Harald Uhlig, Annals of Statistics , 1994, 395-405 proiectuclid
C.M. Bishop, Recunoașterea modelelor și învățarea automată , Springer 2006, p. 693.
(în) WB Smith și RR Hocking , " Algorithm AS 53: Wishart Variate Generator " , Journal of the Royal Statistical Society. Seria C (Statistici aplicate) , vol. 21, n o 3,1972, p. 341-345 ( JSTOR 2346290 )
(în) Verzelen și Gassiat, " Estimarea adaptivă a raportului semnal înalt la zgomot " , arXiv ,16 martie 2017, p. 41 ( citește online )
Paul S. Dwyer, „UNELE APLICAȚII A DERIVATELOR MATRICEI ÎN ANALIZA MULTIVARIATĂ”, JASA 1967; 62: 607-625, disponibil JSTOR .