Probabilité stationnaire d'une chaîne de Markov

Carte Commune · n° 308340

La probabilité stationnaire π=(πi)i∈E d'une chaîne de Markov X=(Xn)n≥0 s'interprète usuellement comme la fraction du temps passé en chaque état i de l'espace d'états E de cette chaîne de Markov, asymptotiquement. En effet, une version de la loi forte des grands nombres pour les chaînes de Markov stipule que : πi = limn 1X0=i+1X1=i+⋯+1Xn−2=i+1Xn−1=in = limn Sn(i)n, presque sûrement, sous certaines hypothèses détaillées plus bas. La variable aléatoire Sn(i) s'interprète comme le temps passé en i lors des n premiers pas de la chaîne de Markov X. La fraction Sn(i)/n est donc la fraction de temps passé en l'état i pendant les n premiers pas de la chaîne de Markov. La convergence de cette fraction lorsque n tend vers l'infini n'est pas un résultat anodin. On trouvera une discussion plus poussée sur le temps de séjour sur la page Récurrence et transience d'une chaîne de Markov.

Lire sur Wikipédia