Processus de Markov

Carte Peu commune · n° 164295

En mathématiques, un processus de Markov est un processus stochastique possédant la propriété de Markov. Dans un tel processus, la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information concernant le passé. Les processus de Markov portent le nom de leur inventeur, Andreï Markov. Un processus de Markov en temps discret est une séquence X1, X2, X3, … de variables aléatoires. L'ensemble de leurs valeurs possibles est appelé l’espace d'états, la valeur Xn étant l'état du processus à l'instant n. Selon les auteurs, le vocable « chaîne de Markov » désigne les processus de Markov à temps discret ou uniquement les processus de Markov à temps discret et à espace d'états discret, c’est-à-dire les processus de Markov à temps discret dont l'espace d'états est fini ou dénombrable. Si la loi conditionnelle de Xn+1 sachant le passé, i.e. sachant (Xk)0≤k≤n est une fonction de Xn seul, alors : P(Xn+1=x∣X0,X1,X2,…,Xn)=P(Xn+1=x∣Xn). où x est un état quelconque...

Lire sur Wikipédia