Section : Choix d'un modèle et
Précédent : Choix d'un modèle et
Suivant : Remarques :

Définition :

Soient $f$ et $g$ deux densités de probabilité sur ${\mathbb{R}}^m$. On appelle information de Kullback de $f$ par rapport à $g$ la valeur suivante :

$$K(f,g)=\left\{\begin{array}{l} 2\int_{{\mathbb{R}}^m}f(x_1,...,x_... ...}\right)dx_1...dx_m\mbox{ si }f<<g\ +\infty\mbox{ sinon.} \end{array}\right.$$

Propriété 3.V.1  

1. $K(f,g)$ est positive.
2. $K(f,g)=0$ si et seulement si $f=g$.

Soit $x=(x_1,...,x_N)$ une réalisation d'un processus $X$ ARMA($p,q$) gaussien, vérifiant ${\phi}(B)(X)={\theta}(B)({\varepsilon})$, et on note $\hat{\phi}$, $\hat{\theta}$ et $\hat{\sigma}^2$ les estimateurs du maximum de vraisemblance (on suppose correctement estimés $p$ et $q$). Soit $Y$ le processus ARMA vérifiant $\hat{\phi}(B)(Y)=\hat{\theta}(B)({\varepsilon}')$, avec ${\varepsilon}'$ bruit blanc de variance $\hat{\sigma}^2$.

La densité de probabilité du vecteur $(X_1,...,X_N)$ est donnée par $L({\theta},{\phi},{\sigma}_{\varepsilon}^2;.)$ tandis que celle de $(Y_1,...,Y_N)$ est donnée par $L(\hat{\phi},\hat{\theta},\hat{\sigma}^2;.)$. La distance de Kullback entre le modèle exact et le modèle estimé vaut donc

$$\begin{array}{l} K(L({\theta},{\phi},{\sigma^2};.),L(\hat{\p... ...}[\ln(L(\hat{\phi},\hat{\theta},\hat{\sigma}^2;X))] \end{array}$$

Minimiser cette distance revient à minimiser

$$\begin{array}{l} -2{\mathbb{E}}\Bigl[\ln\bigl(L(\hat{\phi},\... ... {{\delta}_t^{(\hat{\theta},\hat{\phi})}}\right] -N \end{array}$$

Or on a l'estimation

$${\mathbb{E}}\left[\frac{1}{\hat{\sigma}^2}\sum_{t=1}^N\frac{\tild... ...elta}_t^{(\hat{\theta},\hat{\phi})}}\right]\sim_{N\rightarrow +\infty}2(p+q+1)$$

Akaïke a donc proposé de choisir comme modèle celui qui minimise

$$AIC(p,q,{\theta},{\phi},{\sigma}^2)=-2\ln L({\theta},{\phi},{\sigma}^2;x)+2(p+q+1)$$

Ce critère a tendance à conduire à une surestimation des valeurs de $p$ et $q$. Akaïke en a donc proposé une modification, le critère bayésien de Schwartz :

$$SBC\equiv BIC(p,q,{\theta},{\phi},{\sigma}^2)=-2\ln L({\theta},{\phi},{\sigma}^2;x)+2(p+q+1)\ln N$$

Les estimateurs de $p$ et $q$ obtenus par minimisation de ce critère ont le mérite d'être convergents.
Section : Choix d'un modèle et
Précédent : Choix d'un modèle et
Suivant : Remarques :