Section : Estimateurs des moindres carrés
Précédent : Notations.
Suivant : Méthode du maximum de

Méthode des moindres carrés ordinaires

Soit donc $x=(x_1,\ldots,x_N)$ une série temporelle qu'on suppose modélisable par $X$ un processus ARMA($p,q$) dont on cherche les autres coefficients. La méthode des moindres carrés consiste à choisir les valeurs de ${\theta}$ et ${\phi}$ qui minimisent la variance ${\sigma}^2$ du bruit blanc d'innovation. Or $\left(\displaystyle \frac{\tilde{\varepsilon}_t}{\sqrt{{\delta}_t^{\left({\theta},{\phi}\right)}}},t=1,\ldots,N\right)$ est justement un bruit blanc de variance ${\sigma}^2$. L'estimateur le plus naturel de ${\sigma}^2$ est donc

$$\frac{1}{N}\sum_{t=1}^N\frac{\tilde{\varepsilon}_t^2}{{\delta}_t^{\left({\theta},{\phi}\right)}}.$$

On pose

$$\tilde e_t^{({\theta},{\phi})}(x)=x_t+\sum_{i=1}^{t-1}{\eta}_{t,i}^{\left({\theta},{\phi}\right)}x_{t-i},$$

et on choisit comme valeurs de ${\theta}$ et ${\phi}$ celles qui minimisent la fonction

$$\left({\theta},{\phi}\right)\mapsto\frac{1}{N}\sum_{t=1}^N\frac{\... ...)}}=\frac{1}{N}x.\left(R^{(N)}_{\left({\theta},{\phi}\right)}\right)^{-1}.{}^tx$$ (34)

Notons $\hat{\theta}$ et $\hat{\phi}$ ces estimateurs, et $\hat{\varepsilon}_t=X_t+\sum_{i=1}^{t-1}{\eta}_{t,i}^{\left(\hat{\theta},\hat{\phi}\right)}X_{t-i}$ . L'estimateur de ${\sigma}^2$ est la variable aléatoire

$$\frac{1}{N-p-q}\sum_{t=1}^N\frac{\hat{\varepsilon}_t^2}{{\delta}_t^{\left(\hat{\theta},\hat{\phi}\right)}}.$$

Notez que la renormalisation est en $1/N-p-q$ et non $1/N$, pour corriger l'écart qui existe entre $\tilde{\varepsilon}_t$ et $\hat{\varepsilon}_t$, et entre ${\delta}_t^{\left({\theta},{\phi}\right)}$ et ${\delta}_t^{\left(\hat{\theta},\hat{\phi}\right)}$.