Section : Proriétés markoviennes d'une marche
Précédent : Proriétés markoviennes d'une marche
Suivant : Matrice de transition d'une

Chaines de Markov

Revenons rapidement sur la notion de Chaine de Markov qui a été étudiée au premier semestre . Dans ce paragrahe , on désigera par

• $E$ un ensemble fini comportant $k$ éléments que nous appellerons espace d'états de la chaine .
• $P =(p_{ij})$ une matrice carrée d'ordre $k$ markovienne , (i.e $p_{ij}\geq 0 \;\;\;\forall i , j$ et $\sum_j p_{ij}=1 \;\;\forall i)$ ; si $f$ est une foncion numérique sur $E$ , on posera $Pf(i)=\sum_jp_{ij}f(j)$

Une suite $(X_0 , X_1,X_2 , \cdots ,X_N)$ de v.a. à valeurs dans $E$ sera appelée chaine de Markov de matrice de transition $P$ si quelque soit la fonction numérique $f$ sur $E$ ,

$$\textbf{E}[f(X_{n+1}) \vert {\cal F}_n]=Pf(X_n)\;\;\;\;\;\;\;\forall n \in \{0,1,2,\cdots , (N-1)\}$$

Le lecteur vérifiera , à titre d'exercice , une conséquence de cette égalité qui lui rappellera peut être quelques souvenirs :

$$\textbf{P}[X_{n+1}=j\vert X_0=i_0 ; X_1=i_1 ; \cdots ;X_n=i]=\textbf{P}[X_{n+1}=j\vert X_n=i]=p_{ij}$$