01
U の計算方法
エントロピー H は分布の不確実性を表します。H(Y|X) は X がわかったあとに Y について残る不確実性です。その差が相互情報量で、U はそれを元の不確実性に対する割合で表します。
- H(Y) = −Σ p(y) · ln p(y)
- U(Y|X) = (H(Y) − H(Y|X)) ÷ H(Y)
- 対称 U = 2 · (H(X) + H(Y) − H(X,Y)) ÷ (H(X) + H(Y))
02
計算例
初期表 [[30, 15, 5], [12, 25, 13], [4, 14, 32]]（n = 150）では U(行|列) = 0.154、U(列|行) = 0.154、対称 U = 0.154 です。一方の変数を知ると、もう一方の不確実性が約 15% 減ります（Cramér の V は 0.41）。
03
使う場面と使わない場面
最頻カテゴリーがどこでも同じでラムダが使えないときに特に役立ちます。
- カテゴリーの多い名義変数。
- 向きのある問い：X は Y をどれだけ説明するか。
- 値は通常 Cramér の V より小さく、直接は比べられません。
- 順序変数では順序を無視します。