Come si calcola U
L’entropia H misura l’incertezza di una distribuzione. H(Y|X) è l’incertezza residua su Y quando X è nota. La differenza è l’informazione mutua; U la rapporta all’incertezza iniziale.
- H(Y) = −Σ p(y) · ln p(y)
- U(Y|X) = (H(Y) − H(Y|X)) ÷ H(Y)
- U simmetrico = 2 · (H(X) + H(Y) − H(X,Y)) ÷ (H(X) + H(Y))
Esempio
Per la tabella iniziale [[30, 15, 5], [12, 25, 13], [4, 14, 32]] (n = 150) si ottiene U(riga|colonna) = 0,154, U(colonna|riga) = 0,154 e un U simmetrico di 0,154. Conoscere una variabile elimina quindi circa il 15% dell’incertezza sull’altra, con una V di Cramér di 0,41.
Quando usarlo e quando no
U è utile soprattutto quando lambda fallisce perché la categoria modale è la stessa ovunque.
- Variabili nominali con molte categorie.
- Domande direzionali: quanto spiega X di Y?
- I suoi valori sono di solito più bassi della V di Cramér e non si confrontano direttamente.
- Con variabili ordinali U ignora l’ordine.