Une fois passés les tests, il peut rester plusieurs modèles valides. On détermine le choix de l'un d'entre eux par d'autres critères, en particulier les critères d'information.
L'estimation par maximum de vraisemblance correspond à la minimisation d'une certaine distance entre la loi théorique et celle qu'on peut modéliser. Cette distance est appelée information de Kullback ou encore entropie. Il est donc assez naturel de choisir comme modèle celui qui minimise cette information.