title: Informazione mutua puntuale
text: # Informazione mutua puntuale
  
  Linformazione mutua puntuale (IMP) (pointwise mutual information, PMI) (o informazione mutua specifica) è una misura di associazione usata nella teoria dell'informazione e nella statistica.
  
  L'IMP di un paio di esiti x e y appartenenti a variabili casuali discrete quantifica la discrepanza tra la probabilità della loro coincidenza data la loro distribuzione congiunta, rispetto alla probabilità della loro coincidenza date soltanto le loro distribuzioni individuali e assumendo l'indipendenza delle variabili. Matematicamente,
  
      $SI(x,y)=\log {\frac {p(x,y)}{p(x)p(y)}}.$
  
  L'informazione mutua di X e Y è il valore atteso dell'informazione mutua specifica di tutti i possibili esiti.
  
  La misura è simmetrica ($SI(x,y)=SI(y,x)$). È zero se X e Y sono indipendenti, ed uguale a -log(p(x)) se X e Y sono perfettamente associate. Infine, $SI(x,y)$ aumenterà se p(x|y) è fissa, ma p(x) diminuisce. Può assumere valori sia negativi che positivi.
  
  Ecco un esempio per illustrare:
  
  | x | y | p(x,y) |
  | - | - | - |
  | 0 | 0 | 0,1 |
  | 0 | 1 | 0,7 |
  | 1 | 0 | 0,15 |
  | 1 | 1 | 0,05 |
  
  Usando questa tabella possiamo marginalizzare per ottenere la seguente tabella di addizioni
  
  | | p(x) | p(y) |
  | - | - | - |
  | 0 | 0,8 | 0,25 |
  | 1 | 0,2 | 0,75 |
  
  Con questo esempio, possiamo calcolare quattro valori per SI(x,y). (Assumendo log in base 2)
  
  | SI(0,0) | -1 |
  | - | - |
  | SI(0,1) | 0,222392421 |
  | SI(1,0) | 1,584962501 |
  | SI(1,1) | -1,584962501 |
  
  (Per riferimento la mutua informazione MI(X,Y) sarebbe allora 0,214170945)
  
  ## Misure puntuali collegate
  
  Analogamente all'IMP, si può anche definire la divergenza di Kullback-Leibler puntuale, $PD_{KL}$:
  
  $PD_{KL}[X\|Y;x,y]=\log {\frac {p(X=x)}{p(Y=y)}}.$
  
  