Distanța Hellinger
În teoria probabilității , pentru toate măsurile de probabilitate și absolut continue în raport cu o a treia măsură , pătratul distanței Hellinger între și este dat de:
P{\ displaystyle P}Î{\ displaystyle Q} λ{\ displaystyle \ lambda}P{\ displaystyle P}Î{\ displaystyle Q}
H2(P,Î)=12∫(dPdλ-dÎdλ)2dλ.{\ displaystyle H ^ {2} (P, Q) = {\ frac {1} {2}} \ displaystyle \ int \ left ({\ sqrt {\ frac {dP} {d \ lambda}}} - {\ sqrt {\ frac {dQ} {d \ lambda}}} \ right) ^ {2} d \ lambda.}
unde și semnifică , respectiv derivații Radon-Nykodym ai și . Această definiție nu depinde de , astfel încât distanța Hellinger între și nu se schimbă dacă este înlocuită cu o altă măsură de probabilitate față de care și sunt absolut continue.
dPdλ{\ displaystyle {\ frac {dP} {d \ lambda}}}dÎdλ{\ displaystyle {\ frac {dQ} {d \ lambda}}}P{\ displaystyle P}Î{\ displaystyle Q}λ{\ displaystyle \ lambda}P{\ displaystyle P}Î{\ displaystyle Q}λ{\ displaystyle \ lambda}P{\ displaystyle P}Î{\ displaystyle Q}
Pentru a simplifica scrierea, formula precedentă este scrisă de obicei:
H2(P,Î)=12∫(dP-dÎ)2.{\ displaystyle H ^ {2} (P, Q) = {\ frac {1} {2}} \ int \ left ({\ sqrt {dP}} - {\ sqrt {dQ}} \ right) ^ {2 }.}
Distanța Hellinger astfel definită verifică:
H(P,Î){\ displaystyle H (P, Q)}
0≤H(P,Î)≤1.{\ displaystyle 0 \ leq H (P, Q) \ leq 1.}
Notă : Unii autori nu includ factorul 1/2 care preced integralul în această definiție.
Proprietăți
- Distanța Hellinger este o divergență Amari α, corespunzătoare valorii α = 0.
Ca atare, este o divergență Csiszár și o divergență Bregman .
Deoarece este singura distanță (simetrică, auto-duală) din clasa divergențelor α, este distanța canonică a spațiului distribuțiilor familiei exponențiale , sistemul de coordonate asociat fiind .
reu=2Peu{\ displaystyle r_ {i} = 2 {\ sqrt {P_ {i}}}}
O altă consecință, fiind o divergență α, curbura locală ( Hessian în P) a distanței Hellinger este egală cu informațiile Fisher ale distribuției P:
Eutuv=∑eu∂reu∂tu∂reu∂v{\ displaystyle I_ {uv} = \ sum _ {i} {\ frac {\ partial r_ {i}} {\ partial u}} {\ frac {\ partial r_ {i}} {\ partial v}}}
Eutuv=4∑eu∂Peu∂tu∂Peu∂v{\ displaystyle I_ {uv} = 4 \ sum _ {i} {\ frac {\ partial {\ sqrt {P_ {i}}}} {\ partial u}} {\ frac {\ partial {\ sqrt {P_ { i}}}} {\ partial v}}}.
DB(P,Î)=-ln(∑euPeuÎeu){\ displaystyle D_ {B} (P, Q) = - \ ln \ left (\ sum _ {i} {\ sqrt {P_ {i} Q_ {i}}} \ right)}prin relație
H(P,Î)=1-exp(-DB(P,Î)){\ displaystyle H (P, Q) = {\ sqrt {1- \ exp (-D_ {B} (P, Q))}}}.
Exemple
- Distanța Hellinger între două legi normale și este dată deP∼NU(μ1,σ12){\ displaystyle P \ sim {\ mathcal {N}} (\ mu _ {1}, \ sigma _ {1} ^ {2})}Î∼NU(μ2,σ22){\ displaystyle Q \ sim {\ mathcal {N}} (\ mu _ {2}, \ sigma _ {2} ^ {2})}
H(P,Î)=1-2σ1σ2σ12+σ22e-12(μ1-μ2)2σ12+σ22.{\ displaystyle H \ left (P, Q \ right) = {\ sqrt {1 - {\ sqrt {{\ frac {2 \ sigma _ {1} \ sigma _ {2}} {\ sigma _ {1} ^ {2} + \ sigma _ {2} ^ {2}}} \, e ^ {- {\ frac {1} {2}} {\ frac {(\ mu _ {1} - \ mu _ {2} ) ^ {2}} {\ sigma _ {1} ^ {2} + \ sigma _ {2} ^ {2}}}}}}}}.}
- Distanța Hellinger între două legi exponențiale și este dată de:P ∼EXp(α){\ displaystyle P ~ \ sim {\ rm {{Exp} (\ alpha)}}}Î ∼EXp(β){\ displaystyle Q ~ \ sim {\ rm {{Exp} (\ beta)}}}
H(P,Î)=1-2αβα+β.{\ displaystyle H \ left (P, Q \ right) = {\ sqrt {1 - {\ frac {2 {\ sqrt {\ alpha \ beta}}} {\ alpha + \ beta}}}}.}
Bibliografie
- (în) Yang, Grace Lo; Le Cam, Lucien M., Asymptotics in Statistics: Some Basic Concepts , Berlin, Springer,2000, A 2 -a ed. , 285 p. ( ISBN 978-0-387-95036-5 , LCCN 00030759 , citit online )
- (en) Vaart, AW van der, Asymptotic Statistics (Cambridge Series in Statistical and Probabilistic Mathematics) , Cambridge, Marea Britanie, Cambridge University Press ,2006, 1 st ed. , 443 p. , buzunar ( ISBN 978-0-521-78450-4 , LCCN 98015176 , citiți online )
- (ro) Pollard, David E., Un ghid de utilizare pentru măsurarea probabilității teoretice , Cambridge, Marea Britanie, Cambridge University Press ,2002, 351 p. , buzunar ( ISBN 978-0-521-00289-9 , LCCN 2001035270 , citiți online )
Note și referințe
-
S. Amari, H. Nagaoka, Metode de geometrie a informațiilor, Traduceri de monografii matematice; v. 191, American Mathematical Society, 2000 ( ISBN 978-0821805312 )
-
(în) I. Csiszár, „ informații standard Măsuri ale diferenței de distribuție a probabilității și observare indirectă ” , Studia Sci. Matematica. Hungar. , vol. 2,
1967, p. 229-318
-
L. Bregman, Metoda de relaxare a găsirii punctului comun al seturilor convexe și aplicarea acesteia la rezolvarea problemelor în programarea convexă , URSS Matematică Computațională și Fizică Matematică, Vol. 7 (3): 200-217, 1967.
Articole similare