Proces Markov în timp continuu
În teoria probabilității , un proces Markov în timp continuu sau un lanț Markov în timp continuu este o variantă în timp continuu a procesului Markov . Mai precis, este un model matematic cu valoare într-un set numărabil, stările, în care timpul petrecut în fiecare dintre stări este o variabilă reală aleatorie pozitivă, urmând o lege exponențială .
Acest obiect este utilizat pentru a modela evoluția anumitor sisteme, cum ar fi cozile.
Generator infinitesimal și definiții
Un lanț Markov în timp continuu ( X t ) t ≥0 se caracterizează prin
- un set finit sau numărabil S de stări;
- o distribuție inițială pe toate statele;
- o matrice a ratei de tranziție Q , numită și un generator infinitesimal (de dimensiune | S | ² ).
Pentru i ≠ j , elementele q ij ale matricei Q sunt numere reale pozitive care cuantifică viteza de tranziție de la starea i la starea j . Elementele q ii sunt alese astfel încât coloanele fiecărui rând să fie zero, adică
qeueu=-∑j≠euqeuj{\ displaystyle q_ {ii} = - \ sum _ {j \ neq i} q_ {ij}}Există mai multe moduri echivalente de definire a procesului ( X t ) t ≥0 .
Definiție infinitesimală
Fie X t variabila aleatorie care descrie starea procesului la momentul t . Pentru toate pozitivele t și h , condiționat de { X t = i }, X t + h este independent de ( X s : s ≤ t ) și, pentru h care are tendința la 0, avem pentru toate j
Relatii cu publicul(X(t+h)=j∣X(t)=eu)=δeuj+qeujh+o(h),{\ displaystyle \ Pr (X (t + h) = j \ mid X (t) = i) = \ delta _ {ij} + q_ {ij} h + o (h),}unde δ ij denotă delta Kronecker .
Definiție prin jumps
Fie Y n starea procesului după al n - lea salt și S n timpul petrecut în starea Y n . Atunci ( Y n ) n ≥0 este un lanț Markov în timp discret și, condiționat de ( Y 0 , ..., Y n ), timpii de așteptare ( S 0 , ..., S n ) sunt variabile exponențiale independente ale parametrii respectivi .
(-qDa0Da0,...,-qDanuDanu){\ displaystyle (-q_ {Y_ {0} Y_ {0}}, \ ldots, -q_ {Y_ {n} Y_ {n}})}
Definirea prin probabilitățile tranzițiilor
Pentru toate timpurile t 0 , t 1 , ... și pentru toate stările corespunzătoare i 0 , i 1 , ..., avem
Relatii cu publicul(Xtnu+1=eunu+1|Xt0=eu0,Xt1=eu1,...,Xtnu=eunu)=peunueunu+1(tnu+1-tnu),{\ displaystyle \ Pr (X_ {t_ {n + 1}} = i_ {n + 1} | X_ {t_ {0}} = i_ {0}, X_ {t_ {1}} = i_ {1}, \ ldots, X_ {t_ {n}} = i_ {n}) = p_ {i_ {n} i_ {n + 1}} (t_ {n + 1} -t_ {n}),}unde p ij este soluția ecuației lui Kolmogorov (en) :
P′(t)=P(t)Î,{\ displaystyle P '(t) = P (t) Q,}cu pentru condiția inițială P (0) = I , matricea identității . Rezolvarea acestei ecuații duce apoi la
P(t)=etÎ.{\ displaystyle P (t) = e ^ {tQ}.}
Proprietăți
Ireductibilitate
Se spune că o stare j este accesibilă dintr-o altă stare i (scrisă i → j ) dacă este posibil să se obțină j de la i . Adică dacă:
∃t≥0, Relatii cu publiculeu(X(t)=j)>0.{\ displaystyle \ există {t} \ geq 0 {\ text {,}} \ operatorname {Pr} _ {i} (X (t) = j)> 0.}Spunem despre o stare i că comunică cu o stare j (scrisă i ↔ j ) dacă i → j și j → i . Un set de stări C este o clasă de a comunica în cazul în care fiecare pereche de afirmații în C , să comunice unul cu celălalt, iar în cazul în care nici un stat C , comunică cu o stare de non-prezent în C . Deoarece comunicarea este o relație de echivalență , spațiul de stare S poate fi partiționat într-un set de clase comunicante. Un proces Markov în timp continuu este ireductibil dacă întregul spațiu S este o singură clasă comunicantă.
Pentru orice și în aceeași clasă de comunicare C , putem arăta (folosind proprietăți de subadditivitate ) că limita
eu{\ displaystyle i}j{\ displaystyle j}
limt→+∞Buturugapeu,j(t)t{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}}}există și nu depinde de sau de ; o observăm .
eu{\ displaystyle i}j{\ displaystyle j}λ(VS){\ displaystyle \ lambda (C)}
Demonstrație
Avem . Să pozăm . Deci și . Această subaditivitate implică faptul că limita
peu,eu(s+t)≥peu,eu(s)peu,eu(t){\ displaystyle p_ {i, i} (s + t) \ geq p_ {i, i} (s) p_ {i, i} (t)}ϕeu(t)=-Buturugapeu,eu(t){\ displaystyle \ phi _ {i} (t) = - \ log p_ {i, i} (t)}ϕeu(t)≥0{\ displaystyle \ phi _ {i} (t) \ geq 0}ϕeu(s+t)≤ϕeu(s)+ϕeu(t){\ displaystyle \ phi _ {i} (s + t) \ leq \ phi _ {i} (s) + \ phi _ {i} (t)}
λeu=limt→+∞ϕeu(t)t=inft≥0ϕeu(t)t{\ displaystyle \ lambda _ {i} = \ lim _ {t \ to + \ infty} {\ frac {\ phi _ {i} (t)} {t}} = \ inf _ {t \ geq 0} { \ frac {\ phi _ {i} (t)} {t}}}există cu . Deci și . In caz contrar,
λeu≥0{\ displaystyle \ lambda _ {i} \ geq 0}ϕeu(t)≥λeut{\ displaystyle \ phi _ {i} (t) \ geq \ lambda _ {i} t}peu,eu(t)≤e-λeut{\ displaystyle p_ {i, i} (t) \ leq e ^ {- \ lambda _ {i} t}}
peu,j(la)pj,j(t)pj,eu(b)≤peu,eu(t+la+b)≤e-λeu(t+la+b).{\ displaystyle p_ {i, j} (a) p_ {j, j} (t) p_ {j, i} (b) \ leq p_ {i, i} (t + a + b) \ leq e ^ { - \ lambda _ {i} (t + a + b)}.}Deci și . Prin inversarea rolurilor lui și , constatăm că . In cele din urma,
pj,j(t)≤Ke-λeut{\ displaystyle p_ {j, j} (t) \ leq Ke ^ {- \ lambda _ {i} t}}λj≥λeu{\ displaystyle \ lambda _ {j} \ geq \ lambda _ {i}}eu{\ displaystyle i}j{\ displaystyle j}λeu=λj=λ{\ displaystyle \ lambda _ {i} = \ lambda _ {j} = \ lambda}
Buturugapeu,j(la)t+Buturugapj,j(t-la)t≤Buturugapeu,j(t)t≤Buturugapj,j(t+la)t-Buturugapj,eu(la)t.{\ displaystyle {\ frac {\ log p_ {i, j} (a)} {t}} + {\ frac {\ log p_ {j, j} (ta)} {t}} \ leq {\ frac { \ log p_ {i, j} (t)} {t}} \ leq {\ frac {\ log p_ {j, j} (t + a)} {t}} - {\ frac {\ log p_ {j , eu la}}.}Membrul stâng tinde spre . Membrul din dreapta. Deci tinde spre .
-λ{\ displaystyle - \ lambda}(Buturugapeu,j(t))/t{\ displaystyle (\ log p_ {i, j} (t)) / t}-λ{\ displaystyle - \ lambda}
De exemplu, într-un lanț în care starea 0 se absoarbe, în care stările {1,2, ...} formează o clasă comunicantă și unde sistemul este absorbit de starea 0 aproape sigur, limita dă rata de absorbție a lanțului d, uneori menționată ca parametru Kingman .
Alt exemplu. Luați în considerare de mers aleator pe setul de numere întregi care generatorul este dat de , , precum și pentru alte indicii. Matricea este o matrice tridiagonală Toeplitz . Asa de
{...,-2,-1,0,1,2,...}{\ displaystyle \ {..., - 2, -1,0,1,2, ... \}}Îeu,eu=-1{\ displaystyle Q_ {i, i} = - 1}Îeu,eu+1=p{\ displaystyle Q_ {i, i + 1} = p} (0<p<1){\ displaystyle (0 <p <1)}Îeu,eu-1=q=1-p{\ displaystyle Q_ {i, i-1} = q = 1-p}Îeu,j=0{\ displaystyle Q_ {i, j} = 0}Î{\ displaystyle Q}
limt→+∞Buturugapeu,j(t)t=2pq-1.{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}Observăm că limita este strict negativă dacă și zero dacă .
p≠1/2{\ displaystyle p \ neq 1/2}p=1/2{\ displaystyle p = 1/2}
Demonstrație
Sistemul se deplasează cu un pas spre dreapta cu o probabilitate și cu un pas spre stânga cu o probabilitate după un timp distribuit exponențial de 1. După un timp , vor exista salturi cu o probabilitate (este un proces Poisson ). Sistemul va fi în cele din urmă mutat pași spre dreapta ( ) dacă a făcut pași spre dreapta și pași spre stânga (deci un total de pași). Prin urmare
p{\ displaystyle p}q{\ displaystyle q}t{\ displaystyle t}j{\ displaystyle j}e-ttj/j!{\ displaystyle e ^ {- t} t ^ {j} / j!}k{\ displaystyle k}k≥0{\ displaystyle k \ geq 0}k+r{\ displaystyle k + r}r{\ displaystyle r}k+2r{\ displaystyle k + 2r}
peu,eu+k(t)=∑r=0+∞e-ttk+2r(k+2r)!(k+2rr)qrpk+r{\ displaystyle p_ {i, i + k} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r)!}} {K + 2r \ alegeți r} q ^ {r} p ^ {k + r}}da . Observăm că
k≥0{\ displaystyle k \ geq 0}
peu,eu+k(t)=e-t(p/q)k/2∑r=0+∞(pqt)k+2rr!(k+r)!=e-t(p/q)k/2Euk(2tpq),{\ displaystyle p_ {i, i + k} (t) = e ^ {- t} (p / q) ^ {k / 2} \ sum _ {r = 0} ^ {+ \ infty} {\ frac { ({\ sqrt {pq}} t) ^ {k + 2r}} {r! (k + r)!}} = e ^ {- t} (p / q) ^ {k / 2} I_ {k} (2t {\ sqrt {pq}}),}unde este funcția Bessel modificată de primul fel. De asemenea,
Euk(⋅){\ displaystyle I_ {k} (\ cdot)}
peu,eu-k(t)=∑r=0+∞e-ttk+2r(k+2r)!(k+2rr)prqk+r=e-t(p/q)-k/2Euk(2tpq){\ displaystyle p_ {i, ik} (t) = \ sum _ {r = 0} ^ {+ \ infty} e ^ {- t} {\ frac {t ^ {k + 2r}} {(k + 2r )!}} {k + 2r \ alege r} p ^ {r} q ^ {k + r} = e ^ {- t} (p / q) ^ {- k / 2} I_ {k} (2t { \ sqrt {pq}})}da . In cele din urma,
k<0{\ displaystyle k <0}
peu,j(t)=e-t(p/q)(j-eu)/2Eu|j-eu|(2tpq).{\ displaystyle p_ {i, j} (t) = e ^ {- t} (p / q) ^ {(ji) / 2} I_ {| ji |} (2t {\ sqrt {pq}}).}Ca și când , așa avem
Eunu(X)∼eX/2πX{\ displaystyle I_ {n} (x) \ sim e ^ {x} / {\ sqrt {2 \ pi x}}}X→+∞{\ displaystyle x \ to + \ infty}
limt→+∞Buturugapeu,j(t)t=2pq-1.{\ displaystyle \ lim _ {t \ to + \ infty} {\ frac {\ log p_ {i, j} (t)} {t}} = 2 {\ sqrt {pq}} - 1.}
Aplicații
Teoria cozii
Un domeniu de aplicare a proceselor Markov în timp continuu este teoria cozilor . De exemplu, o coadă M / M / 1 (conform notației lui Kendall ) este un model în care un procesor trebuie să proceseze solicitările, care se acumulează (în ordine) într-o coadă. Solicitările ajung în conformitate cu o lege exponențială a ratelor, iar procesatorul le procesează cu o lege exponențială a tarifelor . Șirul de bază este:
λ{\ displaystyle \ lambda}μ{\ displaystyle \ mu}
Și matricea de rată (generator infinitesimal) este:
Î=(-λλμ-(μ+λ)λμ-(μ+λ)λμ-(μ+λ)λ⋱){\ displaystyle Q = {\ begin {pmatrix} - \ lambda & \ lambda \\\ mu & - (\ mu + \ lambda) & \ lambda \\ & \ mu & - (\ mu + \ lambda) & \ lambda \\ && \ mu & - (\ mu + \ lambda) & \ lambda & \\ &&&& ddot \ end {pmatrix}}}
Note și referințe
-
( Norris 1997 , Teorema 2.8.2)
Bibliografie
- P. Désesquelles: Procese Markov în biologie, sociologie, geologie, chimie, fizică și aplicații industriale. Elipsele, 2016.
- E. Pardoux: Procese și aplicații Markov. Dunod, 2007.
- B. Sericola: Lanțuri Markov - Teorie, algoritmi și aplicații. Lavoisier, 2013.
- (ro) JR Norris , Markov Chains , Cambridge University Press ,1997
- JFC Kingman: Decaderea exponențială a probabilităților de tranziție Markov . Proc. London Math. Soc. (1963) 337-358.
Link extern
Capitolul „Procesul Poisson” al cursului de master „Modele stochastice” (2002) de Dominique Bakry pe subiect, mai orientat către teoria măsurării .
<img src="https://fr.wikipedia.org/wiki/Special:CentralAutoLogin/start?type=1x1" alt="" title="" width="1" height="1" style="border: none; position: absolute;">