Graficul unui lanț Markov și clasificarea statelor

Graficul unui lanț Markov și clasificarea stărilor sunt noțiuni de teoria grafurilor utilizate în probabilitate calcul .

Graficul unui lanț Markov

Graficul unui lanț Markov este un grafic direcționat definit din spațiul de stare și matricea de tranziție $G$ $E$

{\ displaystyle \ P = \ left (p_ {i, j} \ right) _ {(i, j) \ în E ^ {2}}}

din acest lanț Markov :

vârfurile sunt elementele $G$ ${\ displaystyle E,}$
marginile sunt verificarea cuplurilor $G$ ${\ displaystyle (i, j) \ în E ^ {2}}$

{\ displaystyle p_ {i, j}> 0.}

Clasificarea statelor

Căci , spunem că este accesibil din cazul în care și numai dacă există astfel încât să denotăm: ${\ displaystyle (i, j) \ în E ^ {2}}$ $j$ $eu$ $n \ geq 0$ ${\ displaystyle \ mathbb {P} (X_ {n} = j \ mid X_ {0} = i)> 0.}$

\ {j \ leftarrow i \} \ quad \ Leftrightarrow \ quad \ left \ {\ există n \ geq 0 {\ text {cum ar fi}} p _ {{i, j}} ^ {{(n)}}> 0 \ dreapta \}.

Spunem asta și comunicăm dacă și numai dacă există astfel încât și denotăm: $eu$ $j$ ${\ displaystyle (n, m) \ in \ mathbb {N} ^ {2}}$ ${\ displaystyle \ mathbb {P} (X_ {n} = j \ mid X_ {0} = i)> 0}$ ${\ displaystyle \ mathbb {P} (X_ {m} = i \ mid X_ {0} = j)> 0.}$

\ {j \ leftrightarrow i \} \ quad \ Leftrightarrow \ quad \ left \ {j \ leftarrow i {\ text {și}} i \ leftarrow j \ right \}.

Relația de a comunica , notată este o relație de echivalență . Când vorbim de clasă atunci când vorbim despre stările unui lanț Markov, în general se referă la clasele de echivalență pentru relația . Dacă toate statele comunică, se spune că lanțul Markov este ireductibil . ${\ displaystyle \ leftrightarrow,}$ $\ leftrightarrow$

Relația de a fi accesibilă , notată, se extinde la clasele de echivalență: pentru două clase și , avem ${\ displaystyle \ leftarrow,}$ $VS$ ${\ displaystyle C ^ {\ prime}}$

\ {C \ leftarrow C ^ {{\ prime}} \} \ quad \ Leftrightarrow \ quad \ left \ {\ există (i, j) \ în C \ times C ^ {{\ prime}}, \ qquad i \ leftarrow j \ right \} \ quad \ Leftrightarrow \ quad \ left \ {\ forall (i, j) \ in C \ times C ^ {{\ prime}}, \ qquad i \ leftarrow j \ right \}.

Relația este o relație de ordine între clasele de echivalență. $\ sageata stanga$

Se spune că o clasă este finală dacă nu conduce la alta, adică dacă clasa este minimă pentru relație. În caz contrar, clasa se spune că este tranzitorie . ${\ displaystyle \ leftarrow.}$

Este

{\ displaystyle M_ {ij} = \ {n \ geq 0 \ | \ P (X_ {n} = j \ mid X_ {0} = i)> 0 \}.}

Perioada unui stat este GCD setului. În cazul în care două state comunică, ele au aceeași perioadă: prin urmare , putem vorbi de perioada unei clase de stări. Dacă perioada este 1, se spune că clasa este aperiodică . $eu$ ${\ displaystyle M_ {ii}.}$

Clasificarea stărilor poate fi citită într-un mod simplu pe graficul lanțului Markov.

Mers aleatoriu pe un grup finit:

Luați în considerare un grup și o măsură de probabilitate pe acest grup, precum și o suită de variabile aleatoare independente de drept este reprezentat ${\ displaystyle (G, \ oplus)}$ $\ mu$ ${\ displaystyle (Y_ {n}) _ {n \ geq 1}}$ ${\ displaystyle \ mu.}$

{\ displaystyle X_ {0} = x_ {0} \ in G \ quad {\ text {et}} \ quad \ forall \, n \ geq 1, \ X_ {n} = X_ {n-1} \ oplus Y_ {nu}.}

Deci, se numește mers aleatoriu, nu pe grup , procesul stocastic este un proces Markov . Este un lanț Markov dacă este finit sau numărabil (în acest caz ). Notă suportul de : $(X_ {n}) _ {{n \ geq 0}}$ $\ mu$ ${\ displaystyle (G, \ oplus).}$ $(X_ {n}) _ {{n \ geq 0}}$ $G$ ${\ displaystyle \ mu = (\ mu _ {g}) _ {g \ în G}}$ ${\ displaystyle {\ text {supp}} (\ mu)}$ $\ mu$

{\ displaystyle {\ text {supp}} (\ mu) = \ {g \ în G \ quad | \ quad \ mu _ {g}> 0 \},}

și denotați subgrupul generat de Apoi, clasele din modulul drept (de tip ) sunt, de asemenea, clasele pentru relație. Aceste clase sunt toate finale. $H$ ${\ displaystyle {\ text {supp}} (\ mu).}$ $H,$ ${\ displaystyle xH = \ {xh \ | \ h \ în H \}}$ ${\ displaystyle \ leftrightarrow.}$

Pași pe cub:

Mersul aleatoriu pe marginile cubului poate fi văzut ca mersul pe grupul de pași, de fapt adăugarea unuia dintre cei 3 vectori ai bazei canonice echivalează cu schimbarea uneia dintre cele trei coordonate ale punctului de plecare, adică acest lucru înseamnă împrumuturi , la întâmplare, una dintre cele 3 margini de la punctul de plecare. În acest caz și mersul pe jos este ireductibil. ${\ displaystyle (\ mathbb {Z} _ {2} ^ {3}, +),}$ ${\ displaystyle \ mu _ {0} = {\ tfrac {1} {3}} (\ delta _ {(1,0,0)} + \ delta _ {(0,1,0)} + \ delta _ {(0,0,1)}):}$ ${\ displaystyle H_ {0} = \ langle {\ text {supp}} (\ mu _ {0}) \ rangle = G,}$
Dacă pasul este și pasul are două clase finale: cele 2 fețe orizontale. ${\ displaystyle \ mu _ {1} = {\ tfrac {1} {2}} (\ delta _ {(1,0,0)} + \ delta _ {(0,1,0)}),}$ ${\ displaystyle H_ {1} = \ langle {\ text {supp}} (\ mu _ {1}) \ rangle = \ mathbb {Z} _ {2} ^ {2} \ times \ {0 \},}$
Dacă pasul este și mersul are 4 clase finale: cele 4 margini verticale. ${\ displaystyle \ mu _ {2} = \ delta _ {(0,0,1)},}$ ${\ displaystyle H_ {2} = \ {0 \} ^ {2} \ times \ mathbb {Z} _ {2},}$
Dacă pasul este și mersul are două clase finale: cele 2 tetraedre inscripționate. ${\ displaystyle \ mu _ {3} = {\ tfrac {1} {2}} (\ delta _ {(0,1,1)} + \ delta _ {(1,0,1)}),}$ ${\ displaystyle | H_ {3} | = 4,}$

Pași aleatori pe octogon:

1 st Markov lanțul figurii împotriva unor practici un mers aleator pe gruparea ciclică de nici în acest exemplu, ${\ displaystyle \ mathbb {Z} _ {8},}$ ${\ displaystyle \ mu = p \ delta _ {1} + q \ delta _ {- 1}.}$ ${\ displaystyle H = \ langle {\ text {supp}} (\ mu) \ rangle = \ mathbb {Z} _ {8}.}$
2 e Markov lanțul figurii împotriva este o plimbare aleatorie pe grupul diedru de pași , care este pătrat de simetrie (ABCD) în raport cu diagonala (a, c), care este simetria relativ pătrat la axa orizontală , celelalte două simetrii fiind și ; este rotația unghiului În acest exemplu, ${\ displaystyle D_ {4},}$ ${\ displaystyle \ nu = p \ delta _ {\ tau} + q \ delta _ {\ rho},}$ ${\ displaystyle \ tau = (b, d)}$ ${\ displaystyle \ rho = (a, b) (c, d)}$ ${\ displaystyle \ tau \ circ \ rho \ circ \ tau}$ ${\ displaystyle \ rho \ circ \ tau \ circ \ rho}$ ${\ displaystyle \ sigma = \ rho \ circ \ tau = (a, b, c, d)}$ ${\ displaystyle \ pi / 2.}$ ${\ displaystyle H = \ langle {\ text {supp}} (\ nu) \ rangle = D_ {4}.}$

Cele două lanțuri sunt deci recurente ireductibile și pozitive, de drept staționar uniform.

Lexicon: grafice în lanț Markov

Raportul este accesibil din raport dacă și numai dacă este îndeplinită una dintre următoarele două condiții: j{\ displaystyle j} $j$ eu{\ displaystyle i} $eu$
- există o cale care merge de sus în sus în grafic $eu$ $j$ ${\ displaystyle G,}$
- ${\ displaystyle i = j.}$
Un lanț Markov este ireductibil dacă și numai dacă graficul său este puternic conectat , adică dacă pentru orice pereche de vârfuri ale graficului există o cale de la și o cale de la $i \ neq j$ $eu$ $j$ $j$ ${\ displaystyle i.}$
O clasă a unui lanț Markov este o componentă puternic conectată a graficului său. În prima figură din partea de sus a paginii (cu stările 1, 2, 3, 4, 5), graficul neorientat indus de graficul lanțului Markov are 2 componente conectate , dar graficul lanțului Markov (care este un grafic direcționat) are 3 componente puternic conectate , deoarece 2 nu comunică nici cu 1, nici cu 3.

Graficul unui lanț Markov și proprietăți probabilistice

Anumite proprietăți probabiliste ale stărilor unui lanț Markov sunt împărtășite de toate stările din aceeași clasă. Mai precis:

dacă o clasă nu este finală, toate stările sale sunt tranzitorii (sau tranzitorii), $VS$
dacă o clasă este atât finală, cât și finită, toate stările sale sunt recurente pozitive . $VS$

Stările unei clase finale pot fi foarte tranzitorii (de exemplu, în cazul mersului simplu părtinitor sau altele toate zero recurente (de exemplu, în cazul mersului simplu simetric pe cel mult este necesar ca clasa finală în cauză este infinită Există, de asemenea, exemple de clasă finală infinită recurentă pozitivă. ${\ displaystyle \ mathbb {Z}),}$ ${\ displaystyle \ mathbb {Z}).}$

In caz contrar,

dacă există recurent în clasă , atunci orice stare de este recurentă, $eu$ $VS$ $j$ $VS$
dacă există o recurență pozitivă în clasă , atunci orice stare de este recurentă pozitivă, $eu$ $VS$ $j$ $VS$
dacă există o recurență nulă în clasă , atunci orice stare de este recurentă nulă, $eu$ $VS$ $j$ $VS$
dacă există clasă tranzitorie în clasă , atunci orice stare a este tranzitorie, $eu$ $VS$ $j$ $VS$
dacă există perioadă în clasă , atunci orice stare de este perioadă $eu$ $d$ $VS$ $j$ $VS$ ${\ displaystyle d,}$
dacă există aperiodic în clasă , atunci orice stare de este aperiodic. $eu$ $VS$ $j$ $VS$

Prin urmare, spunem că clasa este tranzitorie, recurentă, aperiodică etc. deoarece acestea sunt de fapt proprietăți ale clasei, precum și proprietăți ale unei anumite stări. $VS$