crosstabs.
打开导航
打开分析工作区

SPSS 命令: SPSS FLEISS MULTIRATER KAPPA

在浏览器中计算多评分者 Fleiss Kappa

Fleiss Kappa 衡量一组评分者将对象归入名义类别时超出随机水平的一致程度。

在浏览器中运行 Fleiss 多评分者 Kappa全部 SPSS 过程

免费 · 无需注册 · 文件留在本机 · 更新于 2026年10月18日

能告诉你什么

Crosstabs 在你的设备上运行与 SPSS Fleiss 多评分者 Kappa 对应的过程，给出总体 kappa 及每个评分类别的 kappa，均附渐近标准误、z 检验和置信区间。

  • 所有评分者在全部对象上经随机校正后的总体一致性。
  • 从各类别 kappa 看出评分者在哪些类别上一致、在哪些类别上容易混淆。
  • 每个类别的使用频率（评分比例），它决定了随机一致的大小。
  • 一致性是否显著高于随机水平，包括总体和各类别。

适用场景

适合使用

  • 三名及以上评分者将同一组对象归入无序类别，例如编码员为开放题答案打标签。
  • 不同对象由不同评分者评定，但每个对象获得的评分数量相同，这正是 Fleiss kappa 的前提。
  • 审核编码框架：类别 kappa 偏低说明相应标签需要更清晰的定义。

改用其他方法

  • 两名评分者、类别有序：加权 kappa 会对相近分歧给予部分得分。
  • 恰好两名评分者、名义类别：通常使用交叉表统计量面板中的 Cohen kappa。
  • 各对象的评分数量不同：含缺失评分的行会被删除，可考虑改用 Krippendorff alpha。

在 Crosstabs 中如何操作

  1. 01

    打开数据

    将文件整理为每行一个对象、每位评分者（或评分位置）一列，然后切换到“统计”模式。

  2. 02

    选择 Fleiss Kappa

    在“一致性与诊断”组中选择“Fleiss Kappa”（FLEISS MULTIRATER KAPPA）。

  3. 03

    选择评分者

    在“评分者（每位评分者一个变量）”下勾选评分列；至少需要两列，最多 40 列。非整数数值评分会被截断。

  4. 04

    设置置信水平并运行

    选择“置信水平（%）”；如有权重，将其声明为频数权重，然后点击“运行”。

在浏览器中运行 Fleiss 多评分者 Kappa

计算示例

以下结果由 Crosstabs 引擎在构建本页时根据模拟数据实际计算得出，并非手工填写。

数据

30 张模拟影像，每张由四名放射科医生判为良性、不确定或恶性。每位评分者以 .75 的概率选择真实类别，否则在另外两类中随机选择。固定随机种子。

总体 Kappa
项目Kappa渐近标准误Z显著性95% 置信区间
总体一致性0.2940.0535.52<.0010.190 – 0.399

标准误为无超出随机一致性零假设下的渐近值（Fleiss、Nee 和 Landis 1979）。

各类别的 Kappa
评分类别评分比例Kappa渐近标准误Z显著性
1 良性0.4500.3270.0754.38<.001
2 不确定0.2920.2870.0753.86<.001
3 恶性0.2580.2610.0753.50<.001

结果解读

4 名评分者、30 张影像的 Fleiss κ = 0.294（95% 置信区间 0.190 – 0.399）：实际一致率为 0.544，随机期望一致率为 0.354。一致性在“1 良性”上最高（κ = 0.327），在“3 恶性”上最低（κ = 0.261），后者最需要培训或更清晰的判定标准。

输出表格说明

总体 Kappa
总体一致性：kappa、渐近标准误、Z、显著性和置信区间。标准误在随机一致零假设下计算（Fleiss、Nee 和 Landis 1979）。
各类别的 Kappa
每个评分类别：其获得的评分占全部评分的比例、kappa、标准误、Z、显著性和置信区间。

前提假设与注意事项

  • 每个对象由相同数量的评分者评定；任一评分缺失的对象会被排除。
  • 评分相互独立，类别为名义类别（不考虑顺序）。
  • 标准误适用于检验是否为零；当 kappa 远离零时，据此构造的置信区间只是近似值。

结果如何验证

在 45 个对象、五名评分者并含频数权重的参考数据上，总体 kappa 与 statsmodels 0.15 fleiss_kappa 及 R irr 0.85 kappam.fleiss 一致到 1e-12，总体 z 与 irr 一致到 1e-9；各类别 kappa 与 z 值与 irr 明细表的差异在 6e-4 以内，即 irr 输出的精度。 验证证据（英文）

常见问题

每个对象都必须由同一批评分者评定吗？

不必。Fleiss kappa 将评分者视为可互换，因此不同对象可由不同的人评定，只要每个对象的评分数量相同即可。

为什么某个类别的 kappa 明显低于其他类别？

评分者容易将该类别与其他类别混淆，通常是因为其定义与相邻类别重叠（如“不确定”与“良性”）。厘清这一边界通常最能提高总体 kappa。

两名评分者能用 Fleiss kappa 吗？

面板可以在两名评分者时运行，但结果并不等于 Cohen kappa：Fleiss 假定评分者可互换并合并其类别使用比例。对于两名固定评分者，通常使用 Cohen kappa。

如果每行是一种评分组合及其频数怎么办？

将频数设为工作区权重并声明为频数权重，每个频数即视为相应数量的相同对象。

相关过程

用你自己的数据运行 Fleiss 多评分者 Kappa

打开 .sav、CSV 或 Excel 文件。所有计算都在浏览器中完成，文件不会离开你的设备。

打开分析工作区

SPSS 是 IBM Corp. 的商标。Crosstabs 与 IBM 无关联，也未获得 IBM 认可。