title: Disuguaglianza di Cramér-Rao
text: # Disuguaglianza di Cramér-Rao
  
  In statistica, la disuguaglianza di Cramér-Rao, che prende il nome da Harald Cramér e Calyampudi Radhakrishna Rao, afferma che il reciproco della matrice informazione di Fisher $\ {\mathcal {I}}(\vartheta )$ per un parametro $\ \vartheta$ costituisce un limite inferiore alla varianza di uno stimatore corretto per il parametro (denotato $\ {\hat {\vartheta }}$):
  
         $\ {\mbox{var}}\left({\hat {\vartheta }}\right)\geq {\frac {1}{{\mathcal {I}}(\vartheta )}}={\frac {1}{n{\mbox{E}}\left[\left({\frac {\partial }{\partial \vartheta }}\ln f(X;\vartheta )\right)^{2}\right]}}$
  
  In alcuni casi, non esiste uno stimatore corretto che consegue il limite inferiore così stabilito.
  
  Non è infrequente trovare riferimenti alla disuguaglianza di Cramér-Rao come al limite inferiore di Cramér-Rao.
  
  Si ritiene che il matematico francese Maurice René Fréchet sia stato il primo a scoprire e dimostrare questa disuguaglianza.
  
  ## Condizioni di regolarità
  
  La disuguaglianza di Cramér-Rao si fonda su due deboli condizioni di regolarità che caratterizzano la funzione di densità $\ f(x;\vartheta )$, e lo stimatore adottato, $\ T(X)$. Tali condizioni richiedono che:
  
  * L'informazione di Fisher sia sempre definita; ciò equivale a richiedere che, per ogni $\ x$ tale che $\ f(x;\vartheta )>0$,
  
         $\ {\frac {\partial }{\partial \vartheta }}\ln f(x;\vartheta )<\infty$
  * Le operazioni di integrazione rispetto a $\ x$ e di derivazione rispetto a $\ \vartheta$ possano essere scambiate all'interno del valore atteso dello stimatore $\ T(X)$, ossia:
  
         $\ {\frac {\partial }{\partial \vartheta }}\left[\int T(x)f(x;\vartheta )dx\right]=\int T(x)\left[{\frac {\partial }{\partial \vartheta }}f(x;\vartheta )\right]dx$
      ogniqualvolta il secondo membro della relazione sopra è finito.
  
  Laddove la seconda condizione di regolarità è estesa al secondo ordine di derivazione, è possibile esprimere la disuguaglianza tramite una forma alternativa dell'informazione di Fisher, così che il limite inferiore di Cramér-Rao è dato da:
  
         $\ {\mbox{var}}\left({\hat {\vartheta }}\right)\geq {\frac {1}{{\mathcal {I}}(\vartheta )}}={\frac {1}{-{\mbox{E}}\left[{\frac {\partial ^{2}}{\partial \vartheta ^{2}}}\ln f(X;\vartheta )\right]}}$
  
  In alcuni casi, può risultare più semplice applicare la disuguaglianza nella forma testé espressa.
  
  Si osservi che uno stimatore non corretto potrà avere una varianza o uno scarto quadratico medio inferiore al limite di Cramér-Rao; questo perché la disuguaglianza è riferita esclusivamente a stimatori corretti.
  
  ## Dimostrazione
  
  La dimostrazione della disuguaglianza di Cramér-Rao passa attraverso la verifica di un risultato più generale; per un qualsiasi stimatore (statistica di un campione $\ X$) $\ T=t(X)$, il cui valore atteso è denotato da $\ \psi (\vartheta )$, e per ogni $\ \vartheta$:
  
         $\ {\mbox{var}}(t(X))\geq {\frac {\left[\psi '(\vartheta )\right]^{2}}{{\mathcal {I}}(\vartheta )}}$
  
  La disuguglianza di Cramér-Rao discende direttamente da quest'ultima relazione, come caso particolare.
  
  Sia dunque $\ X$ una variabile casuale, avente funzione di densità $\ f(x;\vartheta )$. $\ T=t(X)$ è una statistica utilizzata come estimatore del parametro $\ \vartheta$. Sia inoltre $\ V$ il suo score, o derivata logaritmica rispetto a $\vartheta$:
  
         $\ V={\frac {\partial }{\partial \vartheta }}\ln f(X;\vartheta )$
  
  Il valore atteso $\ {\mbox{E}}(V)$ è nullo. Ciò a sua volta implica che $\ {\mbox{cov}}(V,T)={\mbox{E}}(VT)-{\mbox{E}}(V){\mbox{E}}(T)={\mbox{E}}(VT)$. Espandendo quest'ultima espressione, si ha:
  
         $\ {\mbox{cov}}(V,T)={\mbox{E}}\left(T{\frac {\partial }{\partial \vartheta }}\ln f(X;\vartheta )\right)$
  
  Svolgendo la derivata tramite la regola della catena:
  
  $\ {\frac {\partial }{\partial x}}\ln g(x)={\frac {1}{g(x)}}{\frac {\partial g}{\partial x}}$
  
  e conoscendo la definizione di speranza matematica:
  
         $\ {\mbox{E}}\left(T{\frac {\partial }{\partial \vartheta }}\ln f(X;\vartheta )\right)=\int t(x)\left[{\frac {\partial }{\partial \vartheta }}f(x;\vartheta )\right]dx={\frac {\partial }{\partial \vartheta }}\left[\int t(x)f(x;\vartheta )dx\right]=\psi '(\vartheta )$
  
  dal momento che gli operatori di derivazione e integrazione commutano.
  
  Tramite la disuguaglianza di Cauchy-Schwarz si ha inoltre:
  
         $\ {\sqrt {{\mbox{var}}(T){\mbox{var}}(V)}}\geq \mid {\mbox{cov}}(V,T)\mid =\psi '(\vartheta )$
  
  dunque:
  
         $\ {\mbox{var}}(T)\geq {\frac {\left[\psi '(\vartheta )\right]^{2}}{{\mbox{var}}(V)}}={\frac {\left[\psi '(\vartheta )\right]^{2}}{{\mathcal {I}}(\vartheta )}}=\left[{\frac {\partial }{\partial \vartheta }}{\mbox{E}}(T)\right]^{2}{\frac {1}{{\mathcal {I}}(\vartheta )}}$
  
  come volevasi dimostrare. Ora, se $\ T$ è uno stimatore corretto per $\ \vartheta$, ${\mbox{E}}(T)=\vartheta$, e $\ \psi '(\vartheta )=1$; dunque la relazione sopra diviene:
  
         $\ {\mbox{var}}(T)\geq {\frac {1}{{\mathcal {I}}(\vartheta )}}$
  
  ossia la disuguaglianza di Cramér-Rao.
  
  ## Estensione a più parametri
  
  Al fine di estendere la disuguaglianza di Cramér-Rao al caso di un vettore di parametri, si definisca il vettore colonna:
  
         ${\boldsymbol {\theta }}=\left[\vartheta _{1},\vartheta _{2},\dots ,\vartheta _{d}\right]'\in \mathbb {R} ^{d}$
  
  e sia ad esso associata una funzione di densità $f(x;{\boldsymbol {\theta }})$ che soddisfi le condizioni di regolarità elemento per elemento.
  
  L'informazione di Fisher $\ {\mathcal {I}}({\boldsymbol {\theta }})$ è allora una matrice di dimensioni $\ d\times d$, il cui generico elemento $\ (m,k)$ è definito da:
  
         $\ {\mathcal {I}}_{m,k}={\mbox{E}}\left[{\frac {\partial }{\partial \vartheta _{m}}}\ln f\left(x;{\boldsymbol {\theta }}\right){\frac {\partial }{\partial \vartheta _{k}}}\ln f\left(x;{\boldsymbol {\theta }}\right)\right]$
  
  La disuguaglianza di Cramér-Rao è dunque formulata come:
  
         ${\mbox{cov}}_{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)\geq {\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}^{T}}}{\mathcal {I}}\left({\boldsymbol {\theta }}\right)^{-1}{\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)'}{\partial {\boldsymbol {\theta }}}}$
  
  dove:
  
  * ${\boldsymbol {T}}(X)={\begin{bmatrix}T_{1}(X)&T_{2}(X)&\cdots &T_{d}(X)\end{bmatrix}}'$
  * ${\boldsymbol {\psi }}=\mathrm {E} \left[{\boldsymbol {T}}(X)\right]={\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)&\psi _{2}\left({\boldsymbol {\theta }}\right)&\cdots &\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}'$
  * ${\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)}{\partial {\boldsymbol {\theta }}'}}={\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)\\\psi _{2}\left({\boldsymbol {\theta }}\right)\\\vdots \\\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}{\begin{bmatrix}{\frac {\partial }{\partial \vartheta _{1}}}&{\frac {\partial }{\partial \vartheta _{2}}}&\cdots &{\frac {\partial }{\partial \vartheta _{d}}}\end{bmatrix}}={\begin{bmatrix}{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{1}}}&{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{2}}}&\cdots &{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{d}}}\\{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{1}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{2}}}&\cdots &{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{d}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{1}}}&{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{2}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{d}}}\end{bmatrix}}$
  * ${\frac {\partial {\boldsymbol {\psi }}\left({\boldsymbol {\theta }}\right)'}{\partial {\boldsymbol {\theta }}}}={\begin{bmatrix}{\frac {\partial }{\partial \vartheta _{1}}}\\{\frac {\partial }{\partial \vartheta _{2}}}\\\vdots \\{\frac {\partial }{\partial \vartheta _{d}}}\end{bmatrix}}{\begin{bmatrix}\psi _{1}\left({\boldsymbol {\theta }}\right)&\psi _{2}\left({\boldsymbol {\theta }}\right)&\cdots &\psi _{d}\left({\boldsymbol {\theta }}\right)\end{bmatrix}}={\begin{bmatrix}{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{1}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{1}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{1}}}\\{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{2}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{2}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{2}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial \psi _{1}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{d}}}&{\frac {\partial \psi _{2}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{d}}}&\cdots &{\frac {\partial \psi _{d}\left({\boldsymbol {\theta }}\right)}{\partial \vartheta _{d}}}\end{bmatrix}}$
  
  e $\ {\mbox{cov}}_{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)$ è una matrice semidefinita positiva, ossia tale per cui $\ x'{\mbox{cov}}_{\boldsymbol {\theta }}\left({\boldsymbol {T}}(X)\right)x\geq 0\ \forall \ x\in \mathbb {R} ^{d},\ x\neq \mathbf {0}$.
  
  Se $\ {\boldsymbol {T}}(X)={\begin{bmatrix}T_{1}(X)&T_{2}(X)&\cdots &T_{d}(X)\end{bmatrix}}'$ è uno stimatore corretto, e dunque $\ {\boldsymbol {\psi }}({\boldsymbol {\theta }})={\boldsymbol {\theta }}$, la disuguaglianza di Cramér-Rao è:
  
         $\ {\mbox{cov}}_{\boldsymbol {\theta }}({\boldsymbol {T}}(X))\geq {\mathcal {I}}({\boldsymbol {\theta }})^{-1}$
  
  La disuguaglianza stessa è da intendersi nel senso che la differenza tra il primo e il secondo membro è ancora una matrice semidefinita positiva.
  
  ## Disuguaglianza di Cramér-Rao ed efficienza
  
  La disuguaglianza di Cramér-Rao è strettamente legata al concetto di efficienza di uno stimatore. In particolare, è possibile definire una misura di efficienza per uno stimatore $\ T(X)$ per il parametro (o vettore di parametri) $\ \vartheta$, come:
  
         $\ e(T)={\frac {\frac {1}{{\mathcal {I}}(\vartheta )}}{{\mbox{var}}(T)}}$
  
  ossia la minima varianza possibile per uno stimatore corretto, basata sulla disuguaglianza di Cramér-Rao, rapportata all'effettiva varianza. In base alla disuguaglianza di Cramér-Rao, ovviamente $\ e(T)\leq 1$.
  
  ## Illustrazione del risultato
  
  Si illustra il significato della disuguaglianza di Cramér-Rao tramite un esempio basato sulla variabile casuale normale multivariata. Sia un vettore aleatorio $\ \mathbf {x} \in \mathbb {R} ^{d}$, tale che:
  
         $\ \mathbf {x} \sim N\left(\mu ({\boldsymbol {\theta }}),\Sigma ({\boldsymbol {\theta }})\right),\ \mu ({\boldsymbol {\theta }})\in \mathbb {R} ^{d},\ \Sigma ({\boldsymbol {\theta }})\in \mathbb {R} ^{d\times d}$
  
  dove $\ N(\cdot )$ denota la distribuzione normale; la funzione di densità multivariata associata è:
  
         $\ f_{\mathbf {X} }(\mathbf {x} ;{\boldsymbol {\theta }})={\frac {1}{\sqrt {(2\pi )^{d}|\Sigma |}}}\exp \left\{-{\frac {1}{2}}(\mathbf {x} -\mu )'\Sigma ^{-1}(\mathbf {x} -\mu )\right\}$
  
  La matrice informazione di Fisher ha generico elemento $\ (m,k)$:
  
         $\ {\mathcal {I}}({\boldsymbol {\theta }})_{m,k}={\frac {\partial \mu '}{\partial \vartheta _{m}}}\Sigma ^{-1}{\frac {\partial \mu }{\partial \mu _{k}}}+{\frac {1}{2}}{\mbox{tr}}\left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \vartheta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \vartheta _{k}}}\right)$
  
  dove $\ {\mbox{tr}}(\cdot )$ denota l'operatore traccia di una matrice.
  
  Si consideri caso di un vettore aleatorio gaussiano come sopra, di dimensione $\ n$, con media nulla ed elementi indipendenti aventi ciascuno varianza $\ \sigma ^{2}$:
  
         $\ x\sim N(\mathbf {0} ,\sigma ^{2}I)$
  
  La matrice informazione di Fisher è allora $\ 1\times 1$:
  
         $\ {\mathcal {I}}(\sigma ^{2})={\frac {1}{2}}{\mbox{tr}}\left(\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \vartheta _{m}}}\Sigma ^{-1}{\frac {\partial \Sigma }{\partial \vartheta _{k}}}\right)={\frac {1}{2\sigma ^{2}}}{\mbox{tr}}(I)={\frac {n}{2\sigma ^{2}}}$
  
  Dunque il limite inferiore di Cramér-Rao per la varianza di uno stimatore $\ T_{\sigma ^{2}}$ per $\ \sigma ^{2}$ è dato da:
  
         $\ {\mbox{var}}(T_{\sigma ^{2}})\geq {\frac {2\sigma ^{2}}{n}}$
  
  Giova osservare che tale limite è pari alla varianza teorica dello stimatore di massima verosimiglianza per il parametro $\ \sigma ^{2}$ nelle ipotesi presentate.
  
  