Borne de Cramer-Rao

Enoncé

Soit $f_{\theta }(x)$ une densité de proba paramétrée par $\theta$ dont le domaine est $\Theta$ . Soit $\theta ^{*}$ un estimateur de $\theta$ .

On note:

$\ell (x,\theta )=\ln f_{\theta }(x)$ la log vraisemeblance de $f_{\theta }$
$L(X,\theta )=\sum _{n=1}^{N}\ln f_{\theta }(x_{n})$ la log vraisemblance d'un échantillon $X=(x_{n})_{1\leq n\leq N}$
et $a(\theta )=\mathbf {E} _{\theta }(\theta ^{*})=\theta +b(\theta )$ qui définie l'espérance $a$ et le biais $b$ de l'estimateur $\theta ^{*}$ .

On suppose que ${\sqrt {f_{\theta }(x)}}$ est presque-partout continuement différentiable en $\theta$ ; et que l' information de Fisher :

$I\!\!I(\theta )=\int _{x}{\frac {f'_{\theta }(x)^{2}}{f_{\theta }(x)}}d\mu (x)=\mathbf {E} _{\theta }(\ell '(x_{1},\theta ))^{2}$

existe et est donc continue et positive en $\theta$ .

Théorème de Cramer-Rao. Lorsque $\mathbf {E} _{\theta }(\theta ^{*})^{2}$ existe et est bornée, alors:

$\mathbf {V} _{\theta }(\theta ^{*})\geq {(1+b'(\theta ))^{2} \over n\,I\!\!I(\theta )}$

et lorsque cette inégalité est atteinte sur un intervalle en $\theta$ , sur lequel la variance $\mathbf {V} _{\theta }(\theta ^{*})$ est non nulle, alors sur ce même intervalle:

$f_{\theta }(X)=\exp(\theta ^{*}\,A(\theta )+B(\theta ))\,h(X)$

La réciproque est vraie.

Interprétation

Cela signifie que la variance d'un estimateur est au mieux en $I\!\!I(\theta )^{-1}$ par point disponible dans l'échantillon.

Pour mieux comprendre ce que cela signifi, calculons par exemple l'information de Fisher associée à une distribution gaussienne.

Information de Fisher d'une gaussienne

Pour cela, une définition mutlivariée (en terme de l'espace des paramètres) de l'information deFicher est nécessaire:

I\!\!I(\theta )=||I_{ij}(\theta )||,\,I_{ij}(\theta )=\mathbf {E} _{\theta }\left({\partial  \over \partial \theta _{i}}\ell (x_{1},\theta )\cdot {\partial  \over \partial \theta _{j}}\ell (x_{1},\theta )\right)

En notant $\varphi (x,\theta )=2\left({\sqrt {f_{\theta }(x)}}\right)'$ , on a :

I\!\!I(\theta )=\int _{x}\varphi ^{T}(x,\theta )\cdot \varphi (x,\theta )d\mu (x)

Références

Mathematical Statistics, by A. A. Borovkov