U 怎么计算
熵 H 衡量一个分布的不确定性。H(Y|X) 是知道 X 后对 Y 剩余的不确定性,两者之差就是互信息;U 把互信息表示为原有不确定性的比例。
- H(Y) = −Σ p(y) × ln p(y)
- U(Y|X) = [H(Y) − H(Y|X)] ÷ H(Y)
- 对称 U = 2 × [H(X) + H(Y) − H(X,Y)] ÷ [H(X) + H(Y)]
示例
以计算器打开时的表格 [[30, 15, 5], [12, 25, 13], [4, 14, 32]](n = 150)计算:U(行|列) = 0.154,U(列|行) = 0.154,对称 U = 0.154。知道一个变量后,另一个变量的不确定性约减少 15%;同一张表的 Cramér's V 为 0.41。
什么时候用,什么时候不用
各组众数类别相同、lambda 失效时尤其有用。
- 适用:类别较多的名义变量。
- 适用:有方向的问题,例如 X 能解释 Y 的多少不确定性。
- 不适用:与 Cramér's V 直接比较大小;U 的数值通常更小,尺度不同。
- 不适用:有序变量;U 会忽略类别顺序。